Questo è uno guida per conoscere la diffusione stabile e insegnare come utilizzare questo strumento.
L'immagine sopra è generata con Stable Diffusion. È stato generato dal seguente testo (prompt)
Skyline della città con grattacieli, di Stanislav Sidorov, arte digitale, ultra realistico, ultra dettagliato, fotorealistico, 4k, concetto di personaggio, luce soffusa, blade runner, futuristico
Stable Diffusion è un modello di apprendimento automatico da testo a immagine. Un modello di deep learning, di intelligenza artificiale che ci permette di generare immagini dal testo che mettiamo come input o input.
Non è il primo modello o il primo strumento di questo stile, in questo momento si parla molto di Dall-e 2, MidJourney, Google Image, ma è il più importante per quello che rappresenta. Stable Diffusion è un progetto Open Source, quindi chiunque può usarlo e modificarlo. Nella versione 1.4 abbiamo un file 4G .cpxt da cui proviene l'intero modello pre-addestrato, e questa è una vera rivoluzione.
Tanto che in sole 2 o 3 settimane dalla sua uscita, troviamo plugin per PhotoShop, GIMP, Krita, WordPress, Blender, ecc. praticamente tutti gli strumenti forniti con le immagini implementano la diffusione stabile, tanto che anche concorrenti come Midjourney lo utilizzano per migliorare i propri strumenti. Ma non viene utilizzato solo per generare strumenti, ma noi utenti possiamo installarlo sul nostro PC ed eseguirlo per ottenere le immagini in locale.
Perché oltre ad essere Open Source non significa che sia meno potente dei precedenti. È una vera meraviglia. Per me in questo momento è lo strumento migliore che possiamo usare se vogliamo generare le nostre immagini per qualsiasi progetto.
Modi per installare e utilizzare Stable Diffusion
Ci sono diversi modi per usarlo. In questo momento ti consiglio 2. Se il tuo computer ha la potenza necessaria, cioè una scheda grafica con circa 8 Gb di RAM, installala sul tuo computer. Se il tuo hardware non è abbastanza potente usa a Google Collabora, in questo momento consiglio quello di Altryne, perché ha un'interfaccia grafica ed è più facile da usare.
passo al dettaglio.
Colab di Altryne
Questa è l'opzione che ti consiglio se il tuo computer non è abbastanza potente (GPU con 8Gb di RAM) o se vuoi provarlo con tutte le sue funzionalità senza dover installare nulla.
Lo consiglio perché ha un'interfaccia grafica molto comoda con molte opzioni per controllare le immagini e altri strumenti modello come immagine per immagine e upscale.
Noi usiamo il Google colab creato da Altryne e Google Drive per salvare il modello e i risultati.
È tutto gratis. Vi lascio un video di tutto il processo che come vedrete è molto semplice.
Installa su PC
Per installarlo da PC puoi seguire le istruzioni fornite nel suo GitHub, https://github.com/CompVis/stable-diffusion oppure nella sua versione con interfaccia grafica che mi piace molto di più https://github.com/AUTOMATIC1111/stable-diffusion-webui e su Windows e Linux puoi usare questo eseguibile per installarlo Interfaccia utente a diffusione stabile v2
Sai già che hai bisogno di una GPU potente con un minimo di 8 Gb di RAM affinché funzioni senza intoppi. Puoi farlo tirare la CPU, ma è molto più lento e dipenderà anche dal processore che hai. Quindi se la tua attrezzatura è vecchia dovrai rassegnarti a utilizzare Colab o qualche metodo di pagamento per utilizzare Stable Diffusion
Il vantaggio di averlo sul tuo PC è che è molto più veloce da usare, non devi installare o configurare nulla, basta farlo una volta sola, da lì in poi tutto è molto più veloce.
Inoltre, un altro motivo per cui mi piace molto è perché posso integrarlo in altri script e sfruttare le immagini generate inserendole direttamente nel flusso di lavoro delle attività, che è un punto molto importante.
Diffusori ufficiali della collaborazione
È molto simile al Colab che ti ho consigliato sopra, funziona quasi allo stesso modo, NON devi caricare il modello, ma non ha un'interfaccia grafica e per modificare qualsiasi opzione devi cambiare le opzioni del codice blocchi e modificarli per adattarli a ciò di cui abbiamo bisogno.
Inoltre, non possiamo usare l'opzione da immagine a immagine, che è molto interessante.
Puoi accedere da questo https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/stable_diffusion.ipynb
Abbiamo un filtro per le immagini per adulti, il famoso NSFW, ma puoi disattivarlo usando questo codice, ovvero creando una cella nel documento con
def dummy_checker(images, **kwargs): return images, False http://pipe.safety_checker = dummy_checker
Devi metterlo subito dopo la cella
pipe = pipe.to("cuda")
ed eseguilo
Colab Diffusione Stabile Infinito
In questa Colab possiamo utilizzare lo strumento Infinity, che ci consente di completare le immagini. Crea contenuto dall'immagine esistente. Un vero passaggio.
Dreamboth con diffusione stabile
Si tratta dell'implementazione di Google Dreamboth con Stable Diffusion che permette, a partire da poche immagini di una persona, di ottenere risultati personalizzati con il volto che le demo.
Un modo fantastico per personalizzare le immagini
https://github.com/XavierXiao/Dreambooth-Stable-Diffusion
Altre Cola
Sai già come lavorare in Colab, bene te ne lascio altri che sto trovando così puoi usare quello che ti piace di più. Anche se vuoi puoi farne una copia e modificarla a tuo piacimento per avere la tua versione
- https://colab.research.google.com/drive/1AfAmwLMd_Vx33O9IwY2TmO9wKZ8ABRRa
- https://colab.research.google.com/drive/1Iy-xW9t1-OQWhb0hNxueGij8phCyluOh#scrollTo=B977dVS6AZcL
- Diffusione stabile per la compressione dell'immagine con perdita https://colab.research.google.com/drive/1Ci1VYHuFJK5eOX9TB0Mq4NsqkeDrMaaH?usp=sharing
- Implementazione con keras https://colab.research.google.com/drive/1zVTa4mLeM_w44WaFwl7utTaa6JcaH1zK
Dal suo sito ufficiale
Un modo semplice per usarlo, come se utilizzi Dall-e 2 in OpenAI, ma se utilizzi la piattaforma il servizio è a pagamento. https://stability.ai/
Da HuggingFace
Un'opzione interessante per testarlo rapidamente e scattare alcune foto, solo per vedere come funziona, ma ci sono molte opzioni che useremo se vogliamo fare sul serio.
https://huggingface.co/spaces/stabilityai/stable-diffusion
Utilizzando AWS o alcuni servizi Cloud
Il modello Stable Diffusion può essere utilizzato eseguendolo su hardware nel cloud, un servizio classico è l'AWS di Amazon. In questo momento sto testando con istanze EC2 per lavorare con algoritmi diversi. Ti dirò com'è.
Altri servizi di pagamento
Ce ne sono molti e sempre di più stanno emergendo, dalle implementazioni nelle foto d'archivio ai siti Web che ci consentono di integrarci con le API. Al momento questo ha attirato la mia attenzione, anche se personalmente utilizzerò i servizi gratuiti
Strumenti per l'ingegneria rapida
Il prompt ingegneristico è la parte che si riferisce alla generazione del prompt, ovvero la frase con cui alimentiamo il modello in modo che generi le nostre immagini. Non è una questione da poco e bisogna saperlo usare molto bene per ottenere ottimi risultati.
Uno strumento molto utile per imparare è lessico, dove vediamo le immagini e il prompt che hanno utilizzato, il seme e la scala di guida.
Navigando imparerai che tipo di elementi devi assegnare al prompt per ottenere il tipo di risultato che stai cercando.
