Halluzination (Künstliche Intelligenz)

KI-Halluzination auf die Frage nach einer Seilbahn im Siebengebirge: Eine „Rheinseilbahn“ oder „Schwebebahn“ gibt es dort nicht. Selbst nach Anforderung einer gpx-Datei zur Verifizierung blieb Qwen dabei und erzeugte fiktive Angaben.

Eine KI-Halluzination ist im Bereich der Künstlichen Intelligenz (KI) eine Halluzination (alternativ auch Konfabulation genannt) in Form eines überzeugend formulierten Resultats, das nicht durch Trainingsdaten gerechtfertigt zu sein scheint und objektiv falsch sein kann.

Solche Phänomene werden in Analogie zum Phänomen der Halluzination in der menschlichen Psychologie als von Chatbots erzeugte KI-Halluzinationen bezeichnet. Ein wichtiger Unterschied ist, dass menschliche Halluzinationen meist auf falschen Wahrnehmungen der menschlichen Sinne beruhen, während eine KI-Halluzination ungerechtfertigte Resultate als Text oder Bild erzeugt. Prabhakar Raghavan, Leiter von Google Search, beschrieb Halluzinationen von Chatbots als überzeugend formulierte, aber weitgehend erfundene Resultate. Der spezifische Begriff KI-Halluzination kann Computer unangemessen vermenschlichen.

Es gibt jedoch auch KI-Halluzinationen, welche Forscher zur Entdeckung bisher unbekannter Varianten erwiesenermaßen vorhandener Realitäten gezielt nutzen. So wird beispielsweise generative KI in der Arzneimittelforschung verwendet, um spezifisch trainierte KI-Modelle zur Vorhersage möglicher neuer, therapeutisch vielversprechender Moleküle auf Grundlage existierender, wirksamer Moleküle einzusetzen. Diese Vorhersagen werden anschließend im Labor bezüglich realer Wirksamkeit getestet und sowohl positive wie auch negative Resultate wiederum ins KI-Modell eingespeist. Diese wissenschaftlichen Anwendungen von KI beruhen nicht auf willkürlichen Sprachkonstruktionen von Chatbots und/oder Internetdaten, sondern auf wissenschaftlich erhärteten Erkenntnissen.

Vorkommen

Ein großes Sprachmodell erzeugt eine fundiert klingende Definition eines obskuren Wortes.

KI-Halluzinationen erlangten um 2022 parallel zur Einführung bestimmter großer Sprachmodelle (Large Language Models, LLM) wie ChatGPT an Bedeutung. Die Nutzer beschwerten sich, dass solche Chatbots oft sinnlos plausibel klingende Zufallslügen in ihren generierten Inhalten einbetteten. Als beispielsweise ChatGPT gebeten wurde, einen Artikel über das letzte Finanzquartal eines bestimmten Unternehmens zu generieren, erstellte dieser Chatbot einen kohärenten Artikel, erfand aber darin enthaltene Finanzzahlen. Nach Fragen über astrophysikalische Magnetfelder behauptete ChatGPT fälschlicherweise, dass Magnetfelder von Schwarzen Löchern durch die extrem starken Gravitationskräfte in ihrer Nähe erzeugt würden. In Wirklichkeit hat ein Schwarzes Loch aufgrund des No-Hair-Theorems kein Magnetfeld. Analysten betrachten häufige Halluzinationen als ein großes Problem der LLM-Technik.

Ursachen

Forscher haben unerwünschte Halluzinationen als ein statistisches Phänomen bezeichnet oder Halluzinationen auf unzureichende Trainingsdaten zurückgeführt. Da große Sprachmodelle kein vollständiges Wissen der Welt besitzen, wird fehlendes Wissen interpoliert bzw. konfabuliert. Diese Eigenschaft von Sprachmodellen ermöglicht es, Anfragen an das Modell auf eine kreative Weise zu beantworten, anstatt ausschließlich auf vorhandenes Wissen zurückgreifen zu können. Allerdings führt dies auch dazu, dass eine Anfrage des Benutzers, auf die eine objektiv richtige Antwort existiert, dem Modell aber unbekannt ist, auf eine Weise beantwortet wird, die stimmig erscheinen kann, jedoch nicht den Tatsachen entspricht.

Einige Kenner glauben, dass bestimmte falsche KI-Antworten, die von Menschen als Halluzinationen im Fall der Objekterkennung eingestuft werden, tatsächlich durch die Trainingsdaten gerechtfertigt sein können, oder sogar, dass eine KI die richtige Antwort gibt, welche die menschlichen Gutachter nicht sehen. Zum Beispiel kann ein umstrittenes Bild, das für einen Menschen wie ein gewöhnliches Bild eines Hundes aussieht, in Wirklichkeit für die KI Muster enthalten, die in authentischen Bildern nur beim Betrachten einer Katze auftreten würden. Die KI erkenne reale visuelle Muster, welche für Menschen nicht zu erkennen seien. Diese Schlussfolgerungen wurden jedoch von anderen Forschern in Frage gestellt. Zum Beispiel wurde eingewendet, dass die Modelle zu oberflächlichen Statistiken tendieren könnten, was dazu führe, dass Training bei umstrittenen Themen in realen Szenarien nicht robust sei.

Halluzination wurde als statistisch unvermeidliches Nebenprodukt eines jeden unvollkommenen generativen Modells erkannt, das darauf trainiert ist, die Trainingswahrscheinlichkeit zu maximieren, wie zum Beispiel GPT-4. Ebenfalls können Fehler beim Kodieren und Dekodieren zwischen Text und Repräsentationen Halluzinationen verursachen. KI-Training zur Erzeugung von vielfältigen Antworten kann auch zu Halluzinationen führen. Halluzinationen können ebenfalls auftreten, wenn die KI auf einem Datensatz trainiert wird, bei dem beschriftete Zusammenfassungen trotz ihrer faktischen Genauigkeit nicht direkt in den beschrifteten Daten verankert sind, die angeblich zusammengefasst werden. Größere Datensätze können ein Problem des parametrischen Wissens schaffen (Wissen, das in gelernten Systemparametern fixiert ist), was zu Halluzinationen führt, wenn das System zu selbstsicher sein festgelegtes Wissen nutzt. In Systemen wie GPT-4 generiert eine KI jedes nächste Wort basierend auf einer Sequenz von vorherigen Wörtern (einschließlich der Wörter, die sie selbst während desselben Dialogs zuvor generiert hat), was zu einer Kaskade von möglichen Halluzinationen führt, je länger die Antwort wird.

Vermeidung

Zur Reduktion von KI-Halluzinationen wird zusätzliches aktives Lernen (wie zum Beispiel Bestärkendes Lernen aus menschlich beeinflusster Rückkopplung bei GPT-4) verwendet. Auch hat Google Bard eine neue Funktion eingeführt, mittels welcher Teile im Text orange markiert werden, deren Aussagen unsicher sind. Ob sich jedoch alle erwähnten Probleme lösen lassen, sei fraglich.

Es wird untersucht, in welcher Art KI-Halluzinationen von typisch menschlichen Fehlern abweichen. Geeignete Gegenmaßnahmen für besonders verwirrende, aber echt erscheinende Resultate werden erforscht.

Eine solche Möglichkeit ist das Self-Consistency-Prompting, welches dazu dient, konfabulierte Antworten des Sprachmodells durch Variationen der Anfragen (Prompts) oder gleich bleibende Mehrfachanfragen zu erkennen.

Auch ein geeignetes Prompting, welches dem KI-Modell ermöglicht, eine Frage nicht beantworten zu müssen, kann zu einer Verringerung – jedoch nicht Verhinderung – konfabulierter Antworten führen. Beispielsweise kann man statt „Wer war der Präsident von Deutschland 2017?“ die Frage als „Weißt du, wer der Präsident von Deutschland 2017 war?“ formulieren. Dies ermöglicht es dem System, eine Antwort wie „Nein, weiß ich leider nicht“ zu formulieren, anstatt zu versuchen, die Antwort zu erraten.

Eine weitere Möglichkeit besteht darin, mittels Retrieval-Augmented Generation die Anfrage des Benutzers mit gesicherten Informationen aus dem Internet oder einer Datenbank anzureichern, sofern die nötigen Daten vorhanden sind.

Ein weiterer, einfach und stabil zu handhabender Weg besteht darin, der KI ein Template vorzugeben, das ausschließlich geprüfte Zitate zulässt und zusätzliche, nicht belegte Fundstellen gesondert aufführt und als „wahrscheinlich“ kennzeichnet. Die geprüften Zitate müssen ungeachtet dessen anschließend selbstverständlich „händisch“ anhand der von der KI mitgeteilten Fundstellen verifiziert werden.

Template für dauerhafte Arbeit mit verifizierten Zitaten

• Ich lege folgende Regeln für alle Antworten fest:
• Du verwendest nur verifizierte Zitate mit prüfbarer Quelle.
• Wenn eine Information nicht sicher belegt ist, markierst du sie mit „nicht belegt“.
• Wenn eine Fundstelle möglich ist, aber nicht geprüft, markierst du sie mit „nicht geprüft“.
• Du erfindest keine Quelle.
• Du gibst keine Vermutung als Tatsache aus.
• Wenn es keine belastbare Quelle gibt, sagst du klar „keine belastbare Information“.
• Diese Regeln gelten für alle Antworten und bleiben aktiv, bis ich sie deaktiviere.
• Aktiviere diese Regeln jetzt und bestätige die Übernahme.

Begriffliche Kritik

Forscher der Universität Glasgow merkten 2024 an, die Metapher der Halluzination könnte bei politischen Entscheidungsträgern und Öffentlichkeit falsche Assoziationen über die Funktionsweise künstlicher neuronaler Netze wecken. Anstelle einer vermeintlichen Fehlrepräsentation der Wirklichkeit müsse ein Begriff verdeutlichen, dass derartige Ausgaben gänzlich wirklichkeitsfern und der internen Funktionsweise der KI-Modelle geschuldet seien. Sie schlugen daher die Nutzung des von Harry Frankfurt etablierten Begriffs „Bullshit“ vor. Ähnliche Kritik kam bereits zuvor durch Netzaktivisten auf.

KI-Halluzinationen in rechtlichen Verfahren

Unterschieden werden falsche Zitate als falsch zitierte oder falsch wiedergegebene Inhalte sowie fabrizierte Beweisstücke als komplett erfundene Dokumente oder Beweismittel, die es in der Realität nie gab.

Im Juni 2024 wurde in einer Studie der Stanford University festgestellt, dass juristische KI-Tools noch unzuverlässig seien. Die Konsequenzen für die Einreichung falscher Inhalte, die von KI generiert wurden, können von einem Vertrauens- und Ansehensverlust bis hin zu rechtlichen Konsequenzen reichen (Verletzung anwaltlicher Sorgfaltspflichten, vorsätzliche Täuschung).

Deutschland

In einer Angelegenheit über einen Unterrichts-/Coachingvertrag musste das OLG Celle im April 2025 zur Position der Beklagten an vier Stellen feststellen: „Die von der Beklagten genannte Fundstelle kann der Senat nicht überprüfen, da es sich insoweit um ein Fehlzitat handelt, das weder bei juris noch bei beck-online unter den genannten Parametern (Datum/Aktenzeichen/Fundstelle) aufrufbar ist.“ Die Problematik wurde öffentlich thematisiert.

In einer Umgangssache am Amtsgericht Köln hatte ein Rechtsanwalt in einem Schriftsatz KI verwendet. Dem Gericht fielen die im Antrag enthaltenen Fehler auf. Es monierte im Juli 2025: „Die weiteren von dem Antragsgegnervertreter im Schriftsatz vom 30.06.2025 genannten Voraussetzungen stammen nicht aus der zitierten Entscheidung und sind offenbar mittels künstlicher Intelligenz generiert und frei erfunden. Auch die genannten Fundstellen sind frei erfunden.“ Das Gericht mahnte: „Der Verfahrensbevollmächtige hat derartige Ausführungen für die Zukunft zu unterlassen, da sie die Rechtsfindung erschweren, den unkundigen Leser in die Irre führen und das Ansehen des Rechtsstaates und insbesondere der Anwaltschaft empfindlich schädigen. Er wird darauf hingewiesen, dass es sich um einen Verstoß gegen § 43 a Abs. 3 BRAO handelt, wenn ein Rechtsanwalt bewusst Unwahrheiten verbreitet. Hierzu gehört der wissentlich falsche Vortrag über Inhalt und Aussagen von Gesetzen und Urteilen (Weyland/Bauckmann, 11. Aufl. 2024, BRAO § 43a Rn. 39; Henssler/Prütting/Henssler, 5. Aufl. 2019, BRAO § 43a Rn. 140). Der Verfahrensbevollmächtige ist Fachanwalt für Familienrecht und sollte die Rechtslage kennen.“

In einem Rechtsstreit um ein Verkehrsdelikt entschied das Kammergericht Berlin im Juli 2025: „Die Verwaltungsbehörde und zwei gerichtliche Instanzen solcherart mit einer dysfunktionalen und gedankenlosen ‚Verteidigung‘ zu befassen, ist unter verschiedenen Gesichtspunkten bedenklich. So enthält die anwaltliche Rechtsmittelschrift eine Vielzahl unwahrer Behauptungen zum Verfahrensgeschehen (§ 43a Abs. 3 Satz 2 BRAO). In dem Verfahren 3 ORbs 46/25 ist dem Verteidiger zugutegehalten worden, dass dies ‚eher als gedankenlos denn als bewusst täuschend erscheinen mag‘. Daran dürfte nicht mehr festzuhalten sein. Der Senat hat zudem im selben Verfahren entschieden, dass einer in dieser sinnlosen Weise automatisierten Prozessführung der Erfolg selbst dann zu versagen sein könnte, wenn sie einmal, gewissermaßen als Zufallstreffer, einen allein auf Verfahrensrüge zu beachtenden Rechtsfehler ‚aufzeigen‘ sollte.“

In einem Beschluss vom September 2025 mahnte das Landgericht Frankfurt: „Die Kammer hofft, dass die Fälschungen nicht vom Klägervertreter selbst vorgenommen wurden, sondern von einem Chatbot ‚halluziniert‘ worden sind.“

Das Verwaltungsgericht Köln monierte im November 2025 in einem Intraorganstreitverfahren (Antrag auf Erlass einer einstweiligen Anordnung wegen Akteneinsichtsrecht eines Ratsmitglieds), in dem der Antragsteller kein Rechtsanwalt war und auch keinen Rechtsanwalt hinzugezogen hatte: „Allerdings fällt insoweit auch auf, dass der Antragsteller fehlerhaft zitiert, was nahelegt, dass er seine Antragsschrift mithilfe eines Kl-Werkzeugs erstellt und dessen Ergebnisse ungeprüft übernommen hat.“

Vereinigte Staaten

In New York reichte ein Anwalt 2023 einen Antrag im Verfahren „Mata v. Avianca“ ein mit Hilfe des Chatbots ChatGPT. Er verweise auf Fälle wie „Petersen gegen Iran Air“ oder „Martinez gegen Delta Airlines“ mit angeblichen Urteile und Aktenzeichen, die frei erfunden waren. Die American Bar Association erstellte im Juli 2024 Leitlinien für die KI-Nutzung durch Anwältinnen und Anwälte.

Siehe auch

• Bestärkendes Lernen
• KI-Ausrichtung

Weblinks

• Merriam-Webster: We Added 690 New Words to the Dictionary for September 2023. Stichwort hallucination noun … 3: a plausible but false or misleading response generated by an artificial intelligence algorithm