Ano ang Stable Diffusion, kung paano i-install at gamitin ito

mga larawang nabuo na may matatag na pagsasabog

Ito ang isa gabay upang malaman ang tungkol sa Stable Diffusion at ituro kung paano mo magagamit ang tool na ito.

Ang imahe sa itaas ay nabuo gamit ang Stable Diffusion. Ito ay nabuo mula sa sumusunod na teksto (prompt)

City skyline na may mga skycraper, ni Stanislav Sidorov, digital art, ultra realistic, ultra detailed, photorealistic, 4k, character concept, soft light, blade runner, futuristic

Ang Stable Diffusion ay isang text-to-image machine learning model. Isang malalim na modelo ng pag-aaral, ng artificial intelligence na nagbibigay-daan sa amin na bumuo ng mga larawan mula sa text na inilalagay namin bilang input o input.

Hindi ito ang unang modelo o ang unang tool ng istilong ito, ngayon ay maraming usapan tungkol sa Dall-e 2, MidJourney, Google Image, ngunit ito ang pinakamahalaga dahil sa kung ano ang kinakatawan nito. Ang Stable Diffusion ay isang Open Source na proyekto, kaya maaaring gamitin at baguhin ito ng sinuman. Sa bersyon 1.4 mayroon kaming 4G .cpxt file kung saan nagmumula ang buong pre-trained na modelo, at ito ay isang tunay na rebolusyon.

Kaya't sa loob lamang ng 2 o 3 linggo mula nang ilabas ito, nakakita kami ng mga plugin para sa PhotoShop, GIMP, Krita, WordPress, Blender, atbp. halos lahat ng tool na kasama ng mga larawan ay nagpapatupad ng Stable Diffusion, kaya kahit na ang mga kakumpitensya tulad ng Midjourney ay ginagamit ito upang mapahusay ang kanilang mga tool. Ngunit hindi lamang ito ginagamit upang makabuo ng mga tool, ngunit maaari naming i-install ito bilang mga user sa aming PC at patakbuhin ito upang makuha ang mga imahe nang lokal.

Dahil bilang karagdagan sa pagiging Open Source ay hindi nangangahulugan na ito ay hindi gaanong makapangyarihan kaysa sa mga nauna. Ito ay isang tunay na kababalaghan. Para sa akin ngayon ito ang pinakamahusay na tool na magagamit namin kung gusto naming bumuo ng aming mga imahe para sa anumang proyekto.

Mga paraan ng pag-install at paggamit ng Stable Diffusion

Mayroong iba't ibang mga paraan upang gamitin ito. Sa ngayon, inirerekomenda ko ang 2. Kung ang iyong computer ay may kinakailangang kapangyarihan, iyon ay, isang graphics card na may humigit-kumulang 8Gb ng RAM, pagkatapos ay i-install ito sa iyong computer. Kung ang iyong hardware ay hindi sapat na malakas gumamit ng a Google Collab, sa ngayon ay inirerekomenda ko ang Altryne, dahil ito ay may kasamang graphical na interface at mas madaling gamitin.

hakbang sa detalye.

Colab ng Altryne

Ito ang opsyon na inirerekomenda ko kung hindi sapat ang lakas ng iyong computer (GPU na may 8Gb ng RAM) o kung gusto mong subukan ito sa lahat ng feature nito nang hindi kinakailangang mag-install ng anuman.

Inirerekomenda ko ito dahil mayroon itong napakakumportableng graphical na interface na may maraming mga opsyon para makontrol ang mga larawan at iba pang tool ng modelo tulad ng image to image at upscale.

Ginagamit namin ang Google colab na ginawa ni Altryne at Google Drive upang i-save ang modelo at ang mga resulta.

libre ang lahat. Nag-iiwan ako ng isang video ng buong proseso na tulad ng makikita mo ay napaka-simple.

Mag-install sa PC

Upang mai-install ito mula sa PC maaari mong sundin ang mga tagubiling ibinigay sa GitHub nito, https://github.com/CompVis/stable-diffusion o sa bersyon nito na may graphical na interface na mas gusto ko https://github.com/AUTOMATIC1111/stable-diffusion-webui at sa windows at linux maaari mong gamitin ang executable na ito para i-install ito Stable Diffusion UI v2

Alam mo na na kailangan mo ng malakas na GPU na may minimum na 8Gb ng RAM para gumana ito nang maayos. Maaari mong gawin itong hilahin ang CPU, ngunit ito ay mas mabagal at ito ay depende rin sa processor na mayroon ka. Kaya kung luma na ang iyong kagamitan, kakailanganin mong magbitiw sa iyong sarili sa paggamit ng Colab o ilang paraan ng pagbabayad para magamit ang Stable Diffusion

Ang mga bentahe ng pagkakaroon nito sa iyong PC ay mas mabilis itong gamitin, hindi mo kailangang mag-install o mag-configure ng anuman, ang paggawa lamang nito nang isang beses ay sapat na, mula noon ang lahat ay mas mabilis.

Gayundin, ang isa pang dahilan kung bakit gusto ko ito nang labis ay dahil maaari ko itong isama sa iba pang mga script at samantalahin ang mga nabuong larawan sa pamamagitan ng direktang pagpasok ng mga ito sa daloy ng trabaho ng mga gawain, na isang napakahalagang punto.

Mga Opisyal na Collab Diffuser

Ito ay halos kapareho sa Colab na inirerekumenda ko sa itaas, ito ay tumatakbo halos pareho, HINDI mo kailangang i-upload ang modelo, ngunit wala itong graphical na interface at upang baguhin ang anumang opsyon na kailangan mong baguhin ang mga opsyon ng code bloke at baguhin ang mga ito upang ayusin ito sa kung ano ang kailangan namin.

Bilang karagdagan, hindi namin magagamit ang imahe sa opsyon na imahe, na talagang kaakit-akit.

Maaari mong ma-access mula dito https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/stable_diffusion.ipynb

Mayroon kaming filter para sa mga pang-adultong larawan, ang sikat na NSFW, ngunit maaari mo itong i-deactivate gamit ang code na ito, iyon ay, ang paglikha ng isang cell sa dokumento na may

def dummy_checker(images, **kwargs): return images, False
http://pipe.safety_checker = dummy_checker

Kailangan mong ilagay ito pagkatapos ng cell

pipe = pipe.to("cuda")

at patakbuhin ito

Colab Stable Diffusion Infinity

Sa Colab na ito maaari naming gamitin ang tool na Infinity, na nagbibigay-daan sa aming kumpletuhin ang mga larawan. Lumikha ng nilalaman mula sa umiiral na larawan. Isang tunay na pass.

https://colab.research.google.com/github/lkwq007/stablediffusion-infinity/blob/master/stablediffusion_infinity_colab.ipynb#scrollTo=lVLSD0Dh0i-L

Dreamboth na may Stable Diffusion

Ito ang pagpapatupad ng Dreamboth ng Google na may Stable Diffusion na nagbibigay-daan, mula sa ilang larawan ng isang tao, na makakuha ng mga personalized na resulta sa mukha na ipinapakita ng mga demo.

Isang kamangha-manghang paraan upang i-customize ang mga larawan

https://github.com/XavierXiao/Dreambooth-Stable-Diffusion

Iba pang Colabs

Alam mo na kung paano magtrabaho sa Colab, mabuti iwanan kita ng iba na hinahanap ko para magamit mo ang pinaka gusto mo. Kahit na gusto mo ay maaari kang gumawa ng kopya at baguhin ito ayon sa gusto mo para magkaroon ng sarili mong bersyon

Mula sa opisyal na website nito

Isang simpleng paraan upang gamitin ito, na parang gumagamit ka ng Dall-e 2 sa OpenAI, ngunit kung gagamitin mo ang platform ang serbisyo ay binabayaran. https://stability.ai/

Mula sa HuggingFace

Isang kawili-wiling opsyon upang subukan ito nang mabilis at kumuha ng ilang mga larawan, para lamang makita kung paano ito gumagana, ngunit maraming mga opsyon na aming gagamitin kung kami ay magiging seryoso tungkol dito.

https://huggingface.co/spaces/stabilityai/stable-diffusion

Paggamit ng AWS o ilang serbisyo sa Cloud

Ang modelo ng Stable Diffusion ay maaaring gamitin sa pamamagitan ng pagpapatakbo nito sa hardware sa cloud, isang klasikong serbisyo ang AWS ng Amazon. Sa ngayon ay sumusubok ako sa mga instance ng EC2 upang gumana sa iba't ibang mga algorithm. Sasabihin ko sa iyo kung paano ito.

Iba pang mga serbisyo sa pagbabayad

Marami at higit pa at higit pa ang umuusbong, mula sa mga pagpapatupad sa mga stock na larawan hanggang sa mga website na nagbibigay-daan sa amin na magsama sa mga API. Sa sandaling ito ay nakuha ang aking pansin, kahit na personal na gagamitin ko ang mga libreng serbisyo

Mga tool para sa agarang engineering

Ang engineering prompt ay ang bahagi na tumutukoy sa pagbuo ng prompt, iyon ay, ang pariralang ginagamit namin sa modelo upang makabuo ito ng aming mga larawan. Ito ay hindi isang maliit na isyu at kailangan mong malaman kung paano gamitin ito upang makakuha ng mahusay na mga resulta.

Ang isang napaka-kapaki-pakinabang na tool upang matuto ay leksikon, kung saan nakikita natin ang mga larawan at ang prompt na ginamit nila, ang seed at ang guidance scale.

Ang pag-browse sa paligid mo ay malalaman kung anong uri ng mga elemento ang kailangan mong italaga sa prompt upang makuha ang uri ng resulta na iyong hinahanap.

Mag-iwan ng komento