Wat is Stable Diffusion, hoe't jo it ynstallearje en brûke

ôfbyldings oanmakke mei stabile diffusion

Dit is ien gids om te learen oer Stable Diffusion en te learen hoe't jo dit ark kinne brûke.

De ôfbylding hjirboppe wurdt generearre mei Stable Diffusion. It is oanmakke út de folgjende tekst (prompt)

City skyline mei wolkekrabbers, troch Stanislav Sidorov, digitale keunst, ultra realistysk, ultra detaillearre, fotorealistysk, 4k, karakter konsept, sêft ljocht, blade runner, futuristysk

Stable Diffusion is in tekst-nei-ôfbylding masine learen model. In model foar djip learen, fan keunstmjittige yntelliginsje wêrmei wy ôfbyldings kinne generearje fan tekst dy't wy as ynfier of ynfier pleatse.

It is net it earste model as it earste ark fan dizze styl, op it stuit is d'r in protte praat oer Dall-e 2, MidJourney, Google Image, mar it is it wichtichste fanwegen wat it fertsjintwurdiget. Stable Diffusion is in Open Source-projekt, sadat elkenien it kin brûke en wizigje. Yn ferzje 1.4 wy hawwe in 4G .cpxt triem dêr't de hiele pre-trained model komt út, en dit is in echte revolúsje.

Sa folle dat wy yn just 2 of 3 wiken sûnt syn frijlitting plugins fine foar PhotoShop, GIMP, Krita, WordPress, Blender, ensfh. sa'n bytsje elk ark dat komt mei ôfbyldings ymplementearret Stable Diffusion, safolle dat sels konkurrinten lykas Midjourney it brûke om har ark te ferbetterjen. Mar it wurdt net allinich brûkt om ark te generearjen, mar wy as brûkers kinne it op ús PC ynstallearje en it útfiere om de ôfbyldings lokaal te krijen.

Want neist it wêzen fan Open Source betsjut net dat it minder machtich is as de foarige. It is in wier wûnder. Foar my is it op it stuit it bêste ark dat wy kinne brûke as wy ús ôfbyldings wolle generearje foar elk projekt.

Manieren om Stable Diffusion te ynstallearjen en te brûken

D'r binne ferskate manieren om it te brûken. Op it stuit advisearje ik 2. As jo ​​kompjûter de nedige krêft hat, dat is in grafyske kaart mei sawat 8Gb RAM, dan ynstallearje it op jo kompjûter. As jo ​​hardware net krêftich genôch is, brûk dan a Google gearwurkje, op it stuit advisearje ik de Altryne, om't it komt mei in grafyske ynterface en is makliker te brûken.

stap nei detail.

Colab of Altryne

Dit is de opsje dy't ik advisearje as jo kompjûter net krêftich genôch is (GPU mei 8Gb RAM) of as jo it wolle besykje mei al syn funksjes sûnder wat te ynstallearjen.

Ik advisearje it om't it in heul noflike grafyske ynterface hat mei in protte opsjes om de ôfbyldings en oare modelynstruminten te kontrolearjen, lykas ôfbylding nei ôfbylding en upscale.

Wy brûke de Google colab makke troch Altryne en Google Drive om it model en de resultaten te bewarjen.

it is allegear fergees. Ik lit in fideo litte fan it heule proses dat, lykas jo sille sjen, heul ienfâldich is.

Ynstallearje op PC

Om it fan PC te ynstallearjen kinne jo de ynstruksjes folgje jûn yn syn GitHub, https://github.com/CompVis/stable-diffusion of yn syn ferzje mei grafyske ynterface dat ik graach folle mear https://github.com/AUTOMATIC1111/stable-diffusion-webui en op Windows en Linux kinne jo dizze útfierbere brûke om it te ynstallearjen Stabile diffusion UI v2

Jo witte al dat jo in krêftige GPU nedich hawwe mei minimaal 8Gb RAM om it soepel te wurkjen. Jo kinne meitsje it pull CPU, mar it is folle stadiger en it sil ek ôfhingje fan de prosessor do hast. Dus as jo apparatuer âld is, moatte jo josels ûntjaan by it brûken fan Colab as ien of oare betelmetoade om Stable Diffusion te brûken

De foardielen fan it hawwen fan it op jo PC is dat it folle flugger is te brûken, jo hoege neat te ynstallearjen of te konfigurearjen, gewoan ien kear dwaan is genôch, fanôf dan is alles folle rapper.

Ek in oare reden wêrom't ik it in protte leuk fyn, is om't ik it kin yntegrearje yn oare skripts en profitearje fan 'e generearre ôfbyldings troch se direkt yn' e workflow fan 'e taken yn te foegjen, wat in heul wichtich punt is.

Offisjele Collab Diffusers

It is heul gelyk oan de Colab dy't ik hjirboppe haw oanrikkemandearre, it rint hast itselde, jo moatte it model NET uploade, mar it hat gjin grafyske ynterface en om elke opsje te feroarjen moatte jo de opsjes fan 'e koade feroarje blokken en wizigje se om it oan te passen oan wat wy nedich binne.

Derneist kinne wy ​​​​de opsje foar ôfbylding net brûke, wat heul oantreklik is.

Jo kinne tagong krije fan dit https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/stable_diffusion.ipynb

Wy hawwe in filter foar ôfbyldings foar folwoeksenen, de ferneamde NSFW, mar jo kinne it deaktivearje mei dizze koade, dat is, it meitsjen fan in sel yn it dokumint mei

def dummy_checker(images, **kwargs): return images, False
http://pipe.safety_checker = dummy_checker

Jo moatte it direkt nei de sel sette

pipe = pipe.to("cuda")

en rinne it

Colab Stable Diffusion Infinity

Yn dizze Colab kinne wy ​​​​it Infinity-ark brûke, wêrtroch wy ôfbyldings kinne foltôgje. Meitsje ynhâld fan de besteande ôfbylding. In echte pas.

https://colab.research.google.com/github/lkwq007/stablediffusion-infinity/blob/master/stablediffusion_infinity_colab.ipynb#scrollTo=lVLSD0Dh0i-L

Dreamboth mei stabile diffusion

Dit is de ymplemintaasje fan Google's Dreamboth mei Stable Diffusion wêrmei, fan in pear ôfbyldings fan in persoan, personaliseare resultaten te krijen mei it gesicht dat de demos.

In geweldige manier om ôfbyldings oan te passen

https://github.com/XavierXiao/Dreambooth-Stable-Diffusion

Oare Colabs

Jo witte al hoe't jo moatte wurkje yn Colab, goed, ik sil jo oaren litte dy't ik fyn, sadat jo dejinge kinne brûke dy't jo it meast leuk fine. Sels as jo wolle, kinne jo in kopy meitsje en it oanpasse nei jo smaak om jo eigen ferzje te hawwen

Fan har offisjele webside

In ienfâldige manier om it te brûken, as jo Dall-e 2 brûke yn OpenAI, mar as jo it platfoarm brûke, wurdt de tsjinst betelle. https://stability.ai/

Fan HuggingFace

In nijsgjirrige opsje om it fluch te testen en wat foto's te nimmen, gewoan om te sjen hoe't it wurket, mar d'r binne in protte opsjes dy't wy sille brûke as wy dit serieus sille wurde.

https://huggingface.co/spaces/stabilityai/stable-diffusion

Mei help fan AWS of wat Cloud-tsjinst

It Stable Diffusion-model kin brûkt wurde troch it út te fieren op hardware yn 'e wolk, in klassike tsjinst is Amazon's AWS. Op it stuit test ik mei EC2-eksimplaren om te wurkjen mei ferskate algoritmen. Ik sil dy fertelle hoe't it is.

Oare betelling tsjinsten

D'r binne in protte en mear en mear komme op, fan ymplemintaasjes yn stockfoto's oant websiden wêrmei't wy kinne yntegrearje mei API's. Op it stuit hat dit myn oandacht pakt, hoewol ik persoanlik de fergese tsjinsten sil brûke

Tools foar prompt engineering

De yngenieurprompt is it diel dat ferwiist nei de generaasje fan 'e prompt, dat is de sin wêrmei't wy it model fiede sadat it ús ôfbyldings genereart. It is gjin triviale probleem en jo moatte heul goed witte hoe't jo it brûke om geweldige resultaten te krijen.

In heul nuttich ark om te learen is leksikon, dêr't wy sjogge bylden en de prompt se hawwe brûkt, it sied en de begelieding skaal.

Blêdzje om jo hinne sil leare hokker type eleminten jo moatte tawize oan 'e prompt om it type resultaat te krijen wêr't jo nei sykje.

Leave a comment