Stable Diffusion in der Architektur – Steigere deine Renderings mit KI
- Jonas Grumann
- 15. Jan.
- 5 Min. Lesezeit
Die Entwicklungen im Bereich der Künstlichen Intelligenz schreiten rasant voran, und es kann schwierig sein, den Einstieg zu finden. In diesem Tutorial zeigen wir dir, wie du die Benutzeroberfläche (UI) von Stable Diffusion und dessen Inpainting-Funktion nutzen kannst, um Visualisierungspräsentationen durch nahtlose Integration zusätzlicher Details zu verbessern.
Schritt 1 – Installation und Start von Stable Diffusion
Bereite dein System vor:Stelle sicher, dass dein System die Mindestanforderungen erfüllt:
GPU: Eine moderne NVIDIA-GPU mit mindestens 4 GB VRAM (z. B. RTX 3070).
RAM: Mindestens 8 GB.
Betriebssystem: Windows, macOS oder Linux.
Lade die Web-Benutzeroberfläche von Automatic1111 herunter (eine beliebte Stable-Diffusion-Oberfläche):
Besuche das GitHub-Repository von Automatic1111: Automatic1111 GitHub repository.
Klone das Repository oder lade die ZIP-Datei herunter
Installiere Python und Git:
Lade Python 3.10.6 herunter und installiere es.
Aktiviere während der Installation die Option „Add Python to PATH“.
Installiere Git von git-scm.com.
Richte Stable Diffusion ein:
Suche die Datei webui-user.bat im Repository-Ordner.
Doppelklicke auf die BAT-Datei, um die Benutzeroberfläche zu starten.
Die erforderlichen Abhängigkeiten, einschließlich der Python-Pakete, werden beim ersten Start automatisch installiert.
Run the Web UI:
Starte die Benutzeroberfläche:
Nach Abschluss der Einrichtung wird die Benutzeroberfläche gestartet.
Öffne deinen Browser und navigiere zu http://127.0.0.1:7860/.
Schritt 2 – Das richtige Modell auswählen und installieren
Dieser Schritt ist subjektiv. Modelle sind im Wesentlichen verschiedene „Gehirne“, die du in Stable Diffusion installieren kannst. Sie wurden mit unterschiedlichen Daten trainiert und liefern daher unterschiedliche Ergebnisse. Ich arbeite mit RealisticVision und bin ziemlich zufrieden damit. Du kannst es kostenlos bei CivitAi herunterladen.
Platziere die heruntergeladene Datei im Installationsverzeichnis von Stable Diffusion unter models/Stable-diffusion.
Schritt 3 – Vorbereitung deines Architektur-Renderings
Exportiere das Rendering:
Speichere deine architektonische Visualisierung als hochauflösende PNG- oder JPG-Datei.
Stelle sicher, dass die Bereiche, die du übermalen möchtest (z. B. Personen oder Objekte hinzufügen/ändern), klar zugänglich sind.
Ich habe mich entschieden, ein Außenrendering zu erstellen, da KI besonders gut mit natürlichen Assets umgehen kann, die chaotische Eigenschaften aufweisen.
Schritt 4: Nutzung der Stable Diffusion-Benutzeroberfläche für Inpainting
Es ist Zeit, Spaß zu haben! Klicke auf den Tab „img2img“, um auf die Inpainting-Seite zuzugreifen: img2img bedeutet, dass wir mit einem Bild starten und ebenfalls ein Bild generieren möchten.
Auf der Seite, die angezeigt wird, klicke auf die Schaltfläche „inpaint“ unter der großen weißen Leinwand.
Super! Dein Arbeitsbereich ist eingerichtet!
Navigiere nun zu deinem Bild mithilfe des Dateibrowsers und ziehe es auf die Leinwand links.
Sobald dein Bild auf der Leinwand angezeigt wird, klicke auf das kleine Markersymbol oben rechts auf der Leinwand:
Jetzt bist du im „Malen“-Modus. Beginne damit, über die Teile deines Renderings zu zeichnen, die du bearbeiten möchtest. Die KI-Generierung ist ziemlich anspruchsvoll für die GPU, daher kann sie nicht große Bereiche auf einmal bearbeiten. Selbst wenn du einen großen Teil deines Bildes auswählst, wird das System es auf die Größe herunterskalieren, die du in den Optionen unter dem Bild angibst, seine Berechnungen durchführen und es dann wieder strecken, um die ursprüngliche Größe zu erreichen. Das ist in dieser Phase kein großes Problem – wir versuchen nur, eine Vorstellung davon zu bekommen, wie unser fertiges Bild aussehen soll. In unserem Beispiel habe ich das ganze Bild ausgewählt, um zu sehen, was die KI sich vorstellen kann.
Scrolle ein wenig nach unten zu allen Optionen. Man könnte ein Buch über all diese Optionen schreiben, daher gehen wir nicht ins Detail, aber hier ist, was ich normalerweise tue:
Setze „Resize mode“ auf „Crop and resize“
„Mask mode“ auf „inpaint masked“ – das bedeutet, wir möchten, dass die KI den bemalten Teil des Bildes ändert.
„Masked content“ auf „Original“ – das bedeutet, dass die KI den Teil des Bildes sieht, den wir bemalt haben, und davon ausgeht.
„Sampling method“ – du kannst hier verschiedene ausprobieren, ich verwende gerne „Euler A“ und Karras für den Scheduler-Typ.
Setze die Breite auf etwa 768 und die Höhe so, dass das Seitenverhältnis deines ursprünglichen Bildes beibehalten wird.
Die vier Dinge, die ich ausgelassen habe, sind die, die du am meisten ändern wirst:
Das Textfeld „Prompt“ oben auf der Seite. Hier solltest du beschreiben, was die KI generieren soll. In meinem Fall habe ich geschrieben: „modern hut, conifers, warm sunlight, river, rocky beach, photorealistic, deatiled“. Optional kannst du auch einen negativen Prompt hinzufügen, z. B. im Textfeld „negative prompt“. Das sind Dinge, die die KI vermeiden soll, z. B. könntest du „3D, CGI, Anime, Cartoon“ schreiben, um einen bestimmten Stil auszuschließen.
„Denoising strength“ – das entscheidet, wie kreativ oder invasiv die KI sein wird. Lasse es auf 0 und es wird genau dasselbe Bild liefern, das du ihr gegeben hast, setze es auf 1 und es wird etwas völlig anderes generieren.
Der CGF-Scale entscheidet, wie sehr die KI deinem Prompt folgt und wie viel sie erfindet. Ich finde, dass ein Wert um den Standardwert 7 ziemlich gut ist.
„Inpaint area“: „Only masked“ bedeutet, dass die KI nur den Teil sieht, den du bemalt hast, sodass sie nichts von dem, was darum herum ist, weiß. Das ist weniger belastend für die GPU, aber die Ergebnisse werden sich nicht so gut in das ursprüngliche Bild einfügen, während „whole image“ bedeutet, dass die KI das ganze Bild sieht.
Schritt 5: Feinabstimmung und Iteration
Denoising strength von 0 bis 1 mit 0,25-Intervallen. Wie du sehen kannst, ist das erste Bild genau das, was wir hatten, während das letzte etwas völlig anderes ist. Mit der Denoising strength zu spielen, ist eine gute Möglichkeit, „Brainstorming“ zu betreiben und zu sehen, wohin du dein Rendering bringen möchtest.
Jetzt, da wir eine allgemeine Idee haben, können wir beginnen, unser Bild fein abzustimmen. Von den Bildern, die ich erstellt habe, kann ich bereits sagen, dass die glatten Steine besser aussehen als die, die ich in meinem Rendering hatte. Außerdem scheinen die Bäume noch einiges an Arbeit zu brauchen. Fangen wir mit den Steinen an.
Ich entferne den gesamten Bereich, den ich bemalt habe, indem ich auf das Radiergummi-Symbol auf der Leinwand klicke, und dann male ich nur einen kleinen Teil der Steine und ändere den Prompt zu „felsiger Strand, Fluss, Sträucher, fotorealistisch“. Ich wähle nur einen kleinen Teil aus, da wir keine hohe Auflösung beibehalten können, während wir generieren, und wir Qualität verlieren würden.
Ich ziehe die Denoising strength auf 0,4 herunter und klicke auf „Generate“.
Diese Steine sehen schon besser aus als das, was ich vorher hatte!
Wenn du mit dem Ergebnis nicht zufrieden bist, klicke erneut auf „Generate“ oder spiele mit den Einstellungen, bis es dir gefällt.
Sobald du denkst, dass es gut aussieht, kannst du das Bild von der rechten Leinwand (das generierte) auf die linke Leinwand ziehen und es damit effektiv ersetzen. Damit sagen wir: „Ich bin zufrieden damit und möchte von diesem neuen Bild aus weiterarbeiten.“
Denke daran, dass alle Bilder im Verzeichnis „output“ im Installationsordner von Stable Diffusion gespeichert werden. Falls du einen Fehler machst, kannst du immer dorthin zurückgehen und von dort aus neu starten.
Das werde ich tun und einen neuen Teil des felsigen Strandes bemalen:
Ich habe das Originalbild und das mit dem KI-Strand gepostet. Wie du sehen kannst, sieht es viel besser aus!
Von hier an musst du nur noch andere Teile des Bildes auf dieselbe Weise bearbeiten. Hier ist, was ich erstellt habe – ich denke, es sieht viel besser aus als das Original.
Hinweis: Dieses Tutorial konzentriert sich nur auf Inpainting, aber es gibt noch viel mehr über Stable Diffusion und KI zu entdecken. Außerdem haben wir uns in diesem Tutorial darauf beschränkt, kleine Bereiche zu maskieren und sie Stück für Stück zu rendern. Das funktioniert, ist aber nicht ideal. Es gibt einen Weg, mit dem du viel größere Bereiche generieren kannst, aber darüber sprechen wir in einem anderen Beitrag.
Translated by AI, for the original article switch language to English. Danke!
