Τι είναι το Stable Diffusion, πώς να το εγκαταστήσετε και να το χρησιμοποιήσετε

εικόνες που δημιουργούνται με σταθερή διάχυση

Αυτό είναι ένα οδηγός για να μάθετε για το Stable Diffusion και να διδάξετε πώς μπορείτε να χρησιμοποιήσετε αυτό το εργαλείο.

Η παραπάνω εικόνα δημιουργείται με Stable Diffusion. Έχει δημιουργηθεί από το ακόλουθο κείμενο (προτροπή)

Ορίζοντας της πόλης με ουρανοξύστες, του Stanislav Sidorov, ψηφιακή τέχνη, εξαιρετικά ρεαλιστική, εξαιρετικά λεπτομερής, φωτορεαλιστική, 4k, έννοια χαρακτήρα, απαλό φως, blade runner, φουτουριστικό

Το Stable Diffusion είναι ένα μοντέλο μηχανικής εκμάθησης κειμένου σε εικόνα. Ένα μοντέλο βαθιάς μάθησης, τεχνητής νοημοσύνης που μας επιτρέπει να δημιουργήσουμε εικόνες από κείμενο που βάζουμε ως είσοδο ή είσοδο.

Δεν είναι το πρώτο μοντέλο ή το πρώτο εργαλείο αυτού του στυλ, αυτή τη στιγμή γίνεται πολύς λόγος για το Dall-e 2, το MidJourney, το Google Image, αλλά είναι το πιο σημαντικό λόγω αυτού που αντιπροσωπεύει. Το Stable Diffusion είναι ένα έργο ανοιχτού κώδικα, οπότε ο καθένας μπορεί να το χρησιμοποιήσει και να το τροποποιήσει. Στην έκδοση 1.4 έχουμε ένα αρχείο .cpxt 4G από το οποίο προέρχεται ολόκληρο το προεκπαιδευμένο μοντέλο και αυτό είναι μια πραγματική επανάσταση.

Τόσο πολύ που σε μόλις 2 ή 3 εβδομάδες από την κυκλοφορία του, βρίσκουμε πρόσθετα για PhotoShop, GIMP, Krita, WordPress, Blender κ.λπ. Σχεδόν κάθε εργαλείο που συνοδεύει εικόνες εφαρμόζει το Stable Diffusion, τόσο πολύ που ακόμη και ανταγωνιστές όπως το Midjourney το χρησιμοποιούν για να βελτιώσουν τα εργαλεία τους. Αλλά δεν χρησιμοποιείται μόνο για τη δημιουργία εργαλείων, αλλά εμείς ως χρήστες μπορούμε να το εγκαταστήσουμε στον υπολογιστή μας και να το εκτελέσουμε για να λάβουμε τις εικόνες τοπικά.

Γιατί εκτός από Open Source δεν σημαίνει ότι είναι λιγότερο ισχυρό από τα προηγούμενα. Είναι αληθινό θαύμα. Για μένα αυτή τη στιγμή είναι το καλύτερο εργαλείο που μπορούμε να χρησιμοποιήσουμε αν θέλουμε να δημιουργήσουμε τις εικόνες μας για οποιοδήποτε έργο.

Τρόποι εγκατάστασης και χρήσης του Stable Diffusion

Υπάρχουν διάφοροι τρόποι χρήσης του. Αυτή τη στιγμή προτείνω 2. Εάν ο υπολογιστής σας έχει την απαραίτητη ισχύ, δηλαδή μια κάρτα γραφικών με περίπου 8 Gb RAM, τότε εγκαταστήστε τον στον υπολογιστή σας. Εάν το υλικό σας δεν είναι αρκετά ισχυρό, χρησιμοποιήστε α Συνεργασία Google, αυτή τη στιγμή προτείνω το Altryne, γιατί έρχεται με γραφικό περιβάλλον και είναι πιο εύκολο στη χρήση.

βήμα στη λεπτομέρεια.

Colab of Altryne

Αυτή είναι η επιλογή που προτείνω αν ο υπολογιστής σας δεν είναι αρκετά ισχυρός (GPU με 8 Gb RAM) ή αν θέλετε να το δοκιμάσετε με όλες τις δυνατότητες του χωρίς να χρειάζεται να εγκαταστήσετε τίποτα.

Το προτείνω γιατί έχει πολύ άνετο γραφικό περιβάλλον με πολλές επιλογές για τον έλεγχο των εικόνων και άλλα μοντέλα εργαλείων όπως εικόνα σε εικόνα και αναβάθμιση.

Χρησιμοποιούμε το Το Google colab δημιουργήθηκε από την Altryne και το Google Drive για να αποθηκεύσετε το μοντέλο και τα αποτελέσματα.

Είναι όλα δωρεάν. Αφήνω ένα βίντεο με την όλη διαδικασία που όπως θα δείτε είναι πολύ απλή.

Εγκατάσταση σε υπολογιστή

Για να το εγκαταστήσετε από υπολογιστή, μπορείτε να ακολουθήσετε τις οδηγίες που δίνονται στο GitHub του, https://github.com/CompVis/stable-diffusion ή στην έκδοση του με γραφικό περιβάλλον που μου αρέσει πολύ περισσότερο https://github.com/AUTOMATIC1111/stable-diffusion-webui και σε windows και linux μπορείτε να χρησιμοποιήσετε αυτό το εκτελέσιμο για να το εγκαταστήσετε Stable Diffusion UI v2

Γνωρίζετε ήδη ότι χρειάζεστε μια ισχυρή GPU με τουλάχιστον 8 Gb μνήμης RAM για να λειτουργεί ομαλά. Μπορείτε να το κάνετε να τραβήξει την CPU, αλλά είναι πολύ πιο αργό και θα εξαρτηθεί και από τον επεξεργαστή που έχετε. Επομένως, εάν ο εξοπλισμός σας είναι παλιός, θα πρέπει να παραιτηθείτε από τη χρήση του Colab ή κάποιας μεθόδου πληρωμής για να χρησιμοποιήσετε το Stable Diffusion

Τα πλεονεκτήματα του να το έχετε στον υπολογιστή σας είναι ότι είναι πολύ πιο γρήγορο στη χρήση, δεν χρειάζεται να εγκαταστήσετε ή να ρυθμίσετε τίποτα, αρκεί να το κάνετε μόνο μία φορά, από εκεί και πέρα ​​όλα είναι πολύ πιο γρήγορα.

Επίσης, ένας άλλος λόγος που μου αρέσει πολύ είναι επειδή μπορώ να το ενσωματώσω σε άλλα σενάρια και να εκμεταλλευτώ τις εικόνες που δημιουργούνται εισάγοντάς τες απευθείας στη ροή εργασίας των εργασιών, κάτι που είναι πολύ σημαντικό.

Επίσημοι διαχυτές Collab

Μοιάζει πολύ με το Colab που έχω προτείνει παραπάνω, τρέχει σχεδόν το ίδιο, ΔΕΝ χρειάζεται να ανεβάσετε το μοντέλο, αλλά δεν έχει γραφικό περιβάλλον και για να τροποποιήσετε οποιαδήποτε επιλογή πρέπει να αλλάξετε τις επιλογές του κώδικα μπλοκ και να τα τροποποιήσουμε για να το προσαρμόσουμε σε αυτό που χρειαζόμαστε.

Επιπλέον, δεν μπορούμε να χρησιμοποιήσουμε την επιλογή εικόνα σε εικόνα, η οποία είναι πολύ ελκυστική.

Μπορείτε να έχετε πρόσβαση από αυτό https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/stable_diffusion.ipynb

Έχουμε ένα φίλτρο για εικόνες ενηλίκων, το περίφημο NSFW, αλλά μπορείτε να το απενεργοποιήσετε χρησιμοποιώντας αυτόν τον κωδικό, δηλαδή δημιουργώντας ένα κελί στο έγγραφο με

def dummy_checker(images, **kwargs): return images, False
http://pipe.safety_checker = dummy_checker

Πρέπει να το βάλεις αμέσως μετά το κελί

pipe = pipe.to("cuda")

και τρέξτε το

Colab Stable Diffusion Infinity

Σε αυτό το Colab μπορούμε να χρησιμοποιήσουμε το εργαλείο Infinity, το οποίο μας επιτρέπει να ολοκληρώσουμε εικόνες. Δημιουργήστε περιεχόμενο από την υπάρχουσα εικόνα. Πραγματικό πέρασμα.

https://colab.research.google.com/github/lkwq007/stablediffusion-infinity/blob/master/stablediffusion_infinity_colab.ipynb#scrollTo=lVLSD0Dh0i-L

Dreambot με σταθερή διάχυση

Αυτή είναι η υλοποίηση του Dreamboth της Google με σταθερή διάχυση που επιτρέπει, από μερικές εικόνες ενός ατόμου, να λαμβάνετε εξατομικευμένα αποτελέσματα με το πρόσωπο που έχουν οι επιδείξεις.

Ένας καταπληκτικός τρόπος για να προσαρμόσετε τις εικόνες

https://github.com/XavierXiao/Dreambooth-Stable-Diffusion

Άλλες Συνεργασίες

Ξέρεις ήδη πώς να δουλεύεις στο Colab, θα σου αφήσω κι άλλα που βρίσκω για να μπορείς να χρησιμοποιήσεις αυτό που σου αρέσει περισσότερο. Ακόμα κι αν θέλετε, μπορείτε να κάνετε ένα αντίγραφο και να το τροποποιήσετε σύμφωνα με τις προτιμήσεις σας για να έχετε τη δική σας έκδοση

Από την επίσημη ιστοσελίδα της

Ένας απλός τρόπος να το χρησιμοποιήσετε, σαν να χρησιμοποιείτε το Dall-e 2 στο OpenAI, αλλά αν χρησιμοποιείτε την πλατφόρμα η υπηρεσία πληρώνεται. https://stability.ai/

Από το HuggingFace

Μια ενδιαφέρουσα επιλογή για να το δοκιμάσετε γρήγορα και να τραβήξετε μερικές φωτογραφίες, απλά για να δείτε πώς λειτουργεί, αλλά υπάρχουν πολλές επιλογές που θα χρησιμοποιήσουμε εάν πρόκειται να ασχοληθούμε σοβαρά με αυτό.

https://huggingface.co/spaces/stabilityai/stable-diffusion

Χρήση AWS ή κάποιας υπηρεσίας Cloud

Το μοντέλο Stable Diffusion μπορεί να χρησιμοποιηθεί εκτελώντας το σε υλικό στο cloud, μια κλασική υπηρεσία είναι το AWS της Amazon. Αυτήν τη στιγμή δοκιμάζω με στιγμιότυπα EC2 για να εργαστώ με διαφορετικούς αλγόριθμους. Θα σας πω πώς είναι.

Άλλες υπηρεσίες πληρωμών

Υπάρχουν πολλά και όλο και περισσότερα αναδύονται, από υλοποιήσεις σε στοκ φωτογραφίες έως ιστότοπους που μας επιτρέπουν να ενσωματωθούμε με API. Αυτή τη στιγμή αυτό έχει τραβήξει την προσοχή μου, αν και προσωπικά πρόκειται να χρησιμοποιήσω τις δωρεάν υπηρεσίες

Εργαλεία για άμεση μηχανική

Το engineering prompt είναι το μέρος που αναφέρεται στη δημιουργία του prompt, δηλαδή τη φράση με την οποία τροφοδοτούμε το μοντέλο έτσι ώστε να δημιουργεί τις εικόνες μας. Δεν είναι ένα ασήμαντο θέμα και πρέπει να γνωρίζετε πολύ καλά πώς να το χρησιμοποιήσετε για να έχετε εξαιρετικά αποτελέσματα.

Ένα πολύ χρήσιμο εργαλείο για να μάθετε είναι λεξικό, όπου βλέπουμε εικόνες και την προτροπή που έχουν χρησιμοποιήσει, τον σπόρο και την κλίμακα καθοδήγησης.

Με την περιήγησή σας θα μάθετε τι είδους στοιχεία πρέπει να αντιστοιχίσετε στην προτροπή για να αποκτήσετε τον τύπο του αποτελέσματος που αναζητάτε.

Αφήστε ένα σχόλιο