Це одне посібник, щоб дізнатися про стабільну дифузію та навчити, як використовувати цей інструмент.
Зображення вище створено за допомогою стабільної дифузії. Його було згенеровано з наступного тексту (підказка)
Горизонт міста з хмарочосами, художник Станіслав Сидоров, цифрове мистецтво, ультрареалістичний, ультрадеталізований, фотореалістичний, 4k, концепція персонажа, м’яке світло, біжить по лезу, футуристичний
Stable Diffusion — це модель машинного навчання тексту в зображення. Модель глибокого навчання штучного інтелекту, яка дозволяє нам створювати зображення з тексту, який ми вводимо або вводимо.
Це не перша модель чи перший інструмент у цьому стилі, зараз багато говорять про Dall-e 2, MidJourney, Google Image, але це найважливіше через те, що він представляє. Stable Diffusion є проектом з відкритим вихідним кодом, тому будь-хто може використовувати та змінювати його. У версії 1.4 у нас є файл 4G .cpxt, з якого походить уся попередньо навчена модель, і це справжня революція.
Настільки, що всього за 2-3 тижні після його випуску ми знаходимо плагіни для PhotoShop, GIMP, Krita, WordPress, Blender тощо. Майже всі інструменти, які постачаються із зображеннями, реалізують стабільну дифузію настільки, що навіть такі конкуренти, як Midjourney, використовують її для вдосконалення своїх інструментів. Але він використовується не лише для створення інструментів, ми, як користувачі, можемо встановити його на свій ПК і запустити для отримання зображень локально.
Оскільки окрім того, що він відкритий, це не означає, що він менш потужний, ніж попередні. Це справжнє диво. Для мене зараз це найкращий інструмент, який ми можемо використовувати, якщо хочемо створити зображення для будь-якого проекту.
Способи встановлення та використання Stable Diffusion
Існують різні способи його використання. Зараз я рекомендую 2. Якщо ваш комп’ютер має необхідну потужність, тобто відеокарту з приблизно 8 Гб оперативної пам’яті, то встановіть її на свій комп’ютер. Якщо ваше обладнання недостатньо потужне, використовуйте a Google Collab, наразі я рекомендую Altryne, оскільки він має графічний інтерфейс і простіший у використанні.
крок до деталей.
Колаб Олтріна
Це варіант, який я рекомендую, якщо ваш комп’ютер недостатньо потужний (графічний процесор із 8 Гб оперативної пам’яті) або якщо ви хочете спробувати його з усіма його функціями, не встановлюючи нічого.
Я рекомендую його, тому що він має дуже зручний графічний інтерфейс із багатьма параметрами керування зображеннями та іншими інструментами моделювання, такими як «зображення до зображення» та підвищення масштабу.
Ми використовуємо Спільна робота Google, створена Altryne і Google Drive, щоб зберегти модель і результати.
це все безкоштовно. Я залишаю відео всього процесу, який, як ви побачите, дуже простий.
Встановити на ПК
Щоб установити його з комп’ютера, дотримуйтесь інструкцій, наведених на GitHub, https://github.com/CompVis/stable-diffusion або у його версії з графічним інтерфейсом, який мені подобається набагато більше https://github.com/AUTOMATIC1111/stable-diffusion-webui і в Windows і Linux ви можете використовувати цей виконуваний файл для його встановлення Stable Diffusion UI v2
Ви вже знаєте, що для безперебійної роботи вам потрібен потужний графічний процесор із мінімум 8 Гб оперативної пам’яті. Ви можете змусити його використовувати ЦП, але це набагато повільніше, і це також залежатиме від вашого процесора. Отже, якщо ваше обладнання старе, вам доведеться змиритися з використанням Colab або іншим способом оплати, щоб використовувати Stable Diffusion
Переваги його наявності на вашому комп’ютері полягають у тому, що він набагато швидший у використанні, вам не потрібно нічого встановлювати чи налаштовувати, достатньо зробити це один раз, і далі все набагато швидше.
Крім того, ще одна причина, чому мені це дуже подобається, полягає в тому, що я можу інтегрувати його в інші сценарії та використовувати згенеровані зображення, вставляючи їх безпосередньо в робочий процес завдань, що є дуже важливим моментом.
Офіційні дифузори Collab
Він дуже схожий на Colab, який я рекомендував вище, він працює майже так само, вам НЕ потрібно завантажувати модель, але він не має графічного інтерфейсу, і щоб змінити будь-який параметр, вам потрібно змінити параметри коду блоки та змінюйте їх, щоб пристосувати їх до того, що нам потрібно.
Крім того, ми не можемо використовувати опцію зображення до зображення, яка є дуже привабливою.
Ви можете отримати доступ з цього https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/stable_diffusion.ipynb
У нас є фільтр для зображень для дорослих, знаменитий NSFW, але ви можете деактивувати його за допомогою цього коду, тобто створивши комірку в документі з
def dummy_checker(images, **kwargs): return images, False http://pipe.safety_checker = dummy_checker
Ви повинні поставити його відразу після клітини
pipe = pipe.to("cuda")
і запустити його
Colab Stable Diffusion Infinity
У цьому Colab ми можемо використовувати інструмент Infinity, який дозволяє завершувати зображення. Створіть вміст із наявного зображення. Справжній пропуск.
Dreambot зі стабільною дифузією
Це реалізація Google Dreamboth зі стабільним розповсюдженням, яка дозволяє з кількох зображень людини отримати персоналізовані результати з обличчям, які демонструються.
Дивовижний спосіб персоналізувати зображення
https://github.com/XavierXiao/Dreambooth-Stable-Diffusion
Інші Colabs
Ви вже знаєте, як працювати в Colab, добре, я залишу вам інші, які я знайду, щоб ви могли використовувати той, який вам найбільше подобається. Навіть якщо ви хочете, ви можете зробити копію та змінити її на свій смак, щоб отримати власну версію
- https://colab.research.google.com/drive/1AfAmwLMd_Vx33O9IwY2TmO9wKZ8ABRRa
- https://colab.research.google.com/drive/1Iy-xW9t1-OQWhb0hNxueGij8phCyluOh#scrollTo=B977dVS6AZcL
- Стабільна дифузія для стиснення зображення з втратами https://colab.research.google.com/drive/1Ci1VYHuFJK5eOX9TB0Mq4NsqkeDrMaaH?usp=sharing
- Реалізація з keras https://colab.research.google.com/drive/1zVTa4mLeM_w44WaFwl7utTaa6JcaH1zK
З офіційного сайту
Простий спосіб використання, ніби ви використовуєте Dall-e 2 в OpenAI, але якщо ви використовуєте платформу, послуга платна. https://stability.ai/
Від HuggingFace
Цікава можливість швидко перевірити його та зробити кілька знімків, щоб просто побачити, як це працює, але є багато варіантів, які ми використаємо, якщо збираємось серйозно цим займатися.
https://huggingface.co/spaces/stabilityai/stable-diffusion
Використання AWS або якогось хмарного сервісу
Модель Stable Diffusion можна використовувати, запустивши її на апаратному забезпеченні в хмарі, класичним сервісом є AWS Amazon. Зараз я тестую екземпляри EC2 для роботи з різними алгоритмами. Я розкажу тобі як це.
Інші платіжні послуги
Їх багато, і з’являється все більше і більше, від реалізацій у стокових фотографіях до веб-сайтів, які дозволяють нам інтегруватися з API. На даний момент це привернуло мою увагу, хоча особисто я збираюся користуватися безкоштовними послугами
Інструменти для оперативного проектування
Інженерна підказка — це частина, яка стосується генерації підказки, тобто фрази, за допомогою якої ми живимо модель, щоб вона генерувала наші зображення. Це не тривіальна проблема, і ви повинні дуже добре знати, як її використовувати, щоб отримати чудові результати.
Це дуже корисний інструмент для навчання лексикон, де ми бачимо зображення та підказку, яку вони використали, початкову та вказівну шкалу.
Переглядаючи сторінку, ви дізнаєтеся, який тип елементів потрібно призначити підказці, щоб отримати потрібний тип результату.
