Stable Diffusion

aus Wikipedia, der freien Enzyklopädie
Zur Navigation springen Zur Suche springen
Stable Diffusion

A photograph of an astronaut riding a horse 2022-08-28.png
Ein von Stable Diffusion generiertes Bild mithilfe des Prompts: „a photograph of an astronaut riding a horse“
Basisdaten

Erscheinungsjahr 22. August 2022
Aktuelle Version 2[1]
Programmiersprache Python
Lizenz CreativeML Open RAIL-M
stability.ai/blog/stable-diffusion-public-release

Stable Diffusion ist ein Deep-Learning-Text-zu-Bild Generator. Es wird hauptsächlich zur Generierung detaillierter Bilder auf der Grundlage von Textbeschreibungen verwendet, kann aber auch für andere Aufgaben wie Inpainting, Outpainting und die Generierung von Bild-zu-Bild-Übersetzungen auf der Grundlage einer Textaufforderung eingesetzt werden.

Stable Diffusion verwendet ein latentes Diffusionsmodell, eine Variante eines tiefen generativen neuronalen Netzes, das von der CompVis-Gruppe an der LMU München entwickelt wurde.[2] Das Modell wurde in Zusammenarbeit von Stability AI, CompVis LMU und Runway mit Unterstützung von EleutherAI und LAION entwickelt.[3] Im Oktober 2022 erhielt Stability AI in einer von Lightspeed Venture Partners und Coatue Management angeführten Finanzierungsrunde 101 Millionen US-Dollar.[4]

Der Code und die Modellgewichte von Stable Diffusion wurden veröffentlicht[5] und können auf den meisten Consumer-Hardware-Systemen ausgeführt werden, die mit einer durchschnittlichen GPU mit mindestens 8 GB Grafikspeicher, ausgestattet sind. Dies stellt eine Abkehr von früheren proprietären Text-zu-Bild-Modellen wie DALL-E und Midjourney dar, die nur über Cloud-Dienste zugänglich waren.[6][7]

Technologie[Bearbeiten | Quelltext bearbeiten]

Diagramm der von Stable Diffusion verwendeten Architektur.

Trainingsdaten[Bearbeiten | Quelltext bearbeiten]

Stable Diffusion wurde anhand von Bild- und Beschriftungspaaren aus LAION-5B trainiert, einem öffentlich zugänglichen Datensatz, der aus „Common Crawl“-Daten aus dem Internet abgeleitet wurde. Dabei wurden 5 Milliarden Bild-Text-Paare auf der Grundlage ihrer Sprache, Auflösung, vorhergesagter Wahrscheinlichkeit ein Wasserzeichen zu enthalten, und vorhergesagter „ästhetischer“ Bewertung (z. B. subjektive visuelle Qualität) in separate Datensätze gefiltert.[8] Der Datensatz wurde von LAION erstellt, einer deutschen gemeinnützigen Organisation, die von Stability AI finanziert wird.[8][9] Das Stable-Diffusion-Modell wurde auf drei Teilmengen von LAION-5B trainiert: laion2B-de, laion-high-resolution und laion-aesthetics v2 5+. Eine von Dritten durchgeführte Analyse der Trainingsdaten des Modells ergab, dass von einer kleineren Teilmenge von 12 Millionen Bildern aus dem ursprünglich verwendeten größeren Datensatz etwa 47 % der Bilder von 100 verschiedenen Domains stammten, wobei Pinterest 8,5 % der Teilmenge ausmachte, gefolgt von Websites wie WordPress, Blogger, Flickr, DeviantArt und Wikimedia Commons.[8][10]

Verwendung[Bearbeiten | Quelltext bearbeiten]

Stable Diffusion beansprucht keine Rechte an den generierten Bildern und räumt den Nutzern die Nutzungsrechte für alle aus dem Modell generierten Bilder ein, vorausgesetzt, der Bildinhalt ist nicht illegal oder schädlich für Personen. Die den Nutzern gewährte Freiheit bei der Verwendung der Bilder hat zu einer Kontroverse über die Ethik des Eigentums geführt, da Stable Diffusion und andere generative Modelle anhand von urheberrechtlich geschützten Bildern ohne die Zustimmung des Eigentümers trainiert werden.[11]

Da visuelle Stile und Kompositionen nicht dem Urheberrecht unterliegen, wird häufig die Auffassung vertreten, dass Benutzer von Stable Diffusion, die Bilder von Kunstwerken generieren, nicht gegen das Urheberrecht von visuell ähnlichen Werken verstoßen. Allerdings können Personen, die in den generierten Bildern abgebildet sind, durch Persönlichkeitsrechte geschützt sein, wenn ihr Konterfei verwendet wird, und geistiges Eigentum wie erkennbare Markenlogos bleiben weiterhin durch das Urheberrecht geschützt. Dennoch haben bildende Künstler ihre Besorgnis darüber geäußert, dass der weit verbreitete Einsatz von Bildsynthese-Software wie Stable Diffusion dazu führen könnte, dass menschliche Künstler sowie Fotografen, Models, Kameraleute und Schauspieler allmählich ihre kommerzielle Rentabilität gegenüber KI-basierten Konkurrenten verlieren.[12]

Im Vergleich zu anderen kommerziellen Produkten, die auf generativer KI beruhen, ist Stable Diffusion deutlich freizügiger, was die Art der Inhalte angeht, die die Nutzer erstellen dürfen, wie etwa gewalttätige oder sexuell eindeutige Bilder.[13] Emad Mostaque, CEO von Stability AI, entgegnet den Bedenken, dass das Modell zu missbräuchlichen Zwecken eingesetzt werden könnte: „Es liegt in der Verantwortung der Menschen, ob sie diese Technologie auf ethische, moralische und legale Weise einsetzen“, und dass die Technologie trotz möglicher negativer Folgen einen Nettonutzen bringen würde, wenn die Fähigkeiten von Stable Diffusion der Öffentlichkeit zugänglich gemacht würden.[6] Darüber hinaus argumentiert Mostaque, dass die Absicht hinter der offenen Verfügbarkeit von Stable Diffusion darin besteht, die Kontrolle von Unternehmen über solche Technologien zu beenden, die bisher nur geschlossene KI-Systeme für die Bildsynthese entwickelt haben. Dies spiegelt sich in der Tatsache wider, dass alle Beschränkungen, die Stability AI für die von den Nutzern erzeugten Inhalte auferlegt, aufgrund der Open-Source-Natur der Lizenz, unter der Stable Diffusion veröffentlicht wurde, leicht umgangen werden können.[11]

Lizenz[Bearbeiten | Quelltext bearbeiten]

Im Gegensatz zu Modellen wie DALL-E stellt Stable Diffusion seinen Quellcode zusammen mit den vortrainierten Gewichten zur Verfügung.[14] Die Lizenz von Stable Diffusion verbietet bestimmte Anwendungsfälle, darunter Verbrechen, Verleumdung, Belästigung, Doxing, „Ausbeutung von Minderjährigen“, medizinische Ratschläge, die automatische Schaffung rechtlicher Verpflichtungen, die Erstellung juristischer Beweise und „die Diskriminierung oder Schädigung von Einzelpersonen oder Gruppen aufgrund von … sozialem Verhalten oder … persönlichen oder charakterlichen Eigenschaften … [oder] gesetzlich geschützten Merkmalen oder Kategorien“. Der Nutzer ist Eigentümer der Rechte an den von ihm erzeugten Bildern und kann diese kommerziell nutzen.[11]

Literatur[Bearbeiten | Quelltext bearbeiten]

  • Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer: High-Resolution Image Synthesis with Latent Diffusion Models. 13. April 2022, doi:10.48550/arXiv.2112.10752.

Weblinks[Bearbeiten | Quelltext bearbeiten]

Commons: Stable Diffusion – Sammlung von Bildern, Videos und Audiodateien

Einzelnachweise[Bearbeiten | Quelltext bearbeiten]

  1. Stable Diffusion 2.0 Release. 24. November 2022 (englisch).
  2. Der KI-Bildgenerator Stable Diffusion stammt aus München – und soll KI „demokratisieren“. 15. Dezember 2022, abgerufen am 20. Dezember 2022.
  3. Revolutionizing image generation by AI: Turning text into images. Abgerufen am 25. November 2022 (englisch).
  4. Kyle Wiggers: Stability AI, the startup behind Stable Diffusion, raises $101M. In: TechCrunch. 17. Oktober 2022, abgerufen am 25. November 2022 (amerikanisches Englisch).
  5. Stable Diffusion. CompVis – Machine Vision and Learning LMU Munich, 25. November 2022, abgerufen am 25. November 2022.
  6. a b James Vincent: Anyone can use this AI art generator — that’s the risk. 15. September 2022, abgerufen am 25. November 2022 (amerikanisches Englisch).
  7. The new killer app: Creating AI art will absolutely crush your PC | PCWorld. 31. August 2022, archiviert vom Original am 31. August 2022; abgerufen am 25. November 2022.  Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.@1@2Vorlage:Webachiv/IABot/www.pcworld.com
  8. a b c Andy Baio: Exploring 12 Million of the 2.3 Billion Images Used to Train Stable Diffusion's Image Generator. In: Waxy.org. 30. August 2022, abgerufen am 25. November 2022 (amerikanisches Englisch).
  9. This artist is dominating AI-generated art. And he’s not happy about it. Abgerufen am 25. November 2022 (englisch).
  10. Alex Ivanovs: Stable Diffusion: Tutorials, Resources, and Tools – Stack Diary. In: Stack Diary. 8. September 2022 (stackdiary.com [abgerufen am 25. November 2022]).
  11. a b c Kenrick Cai: Startup Behind AI Image Generator Stable Diffusion Is In Talks To Raise At A Valuation Up To $1 Billion. Abgerufen am 25. November 2022 (englisch).
  12. This artist is dominating AI-generated art. And he’s not happy about it. Abgerufen am 25. November 2022 (englisch).
  13. 清水亮 / Ryo Shimizu: Midjourneyを超えた? 無料の作画AI「 #StableDiffusion 」が「AIを民主化した」と断言できる理由. 26. August 2022, abgerufen am 25. November 2022 (japanisch).
  14. Stable Diffusion Public Release. Abgerufen am 25. November 2022 (britisches Englisch).