Was sind KI-Halluzinationen?
KI-Halluzinationen sind Antworten eines Sprachmodells, die plausibel klingen, aber falsch oder frei erfunden sind: nicht existierende Quellen, falsche Zahlen, erfundene Funktionen einer Software oder Gerichtsurteile, die es nie gab. Sie entstehen, weil das Modell wahrscheinliche Wortfolgen erzeugt und keine geprüften Fakten abruft. Der Begriff hat sich eingebürgert, obwohl er schief ist: Das Modell nimmt nichts wahr, es rechnet.
Für Unternehmen ist das Thema nicht akademisch. Sobald ein Sprachmodell Kundenanfragen beantwortet, Verträge zusammenfasst oder Mahntexte formuliert, wird aus einer falschen Antwort ein Haftungsrisiko. Dieser Artikel erklärt, warum KI-Halluzinationen entstehen, woran Sie sie erkennen und mit welchen sechs Maßnahmen Sie sie im Betrieb weitgehend vermeiden.
Beispiele für KI-Halluzinationen
Drei typische Fälle aus der Praxis zeigen, wie unauffällig KI-Halluzinationen daherkommen:
- Erfundene Rechtsprechung: 2023 reichte eine New Yorker Kanzlei einen Schriftsatz ein, in dem ein Sprachmodell mehrere Gerichtsurteile zitierte – mit Aktenzeichen, Datum und Leitsatz. Keines der Urteile existierte. Das Gericht verhängte eine Geldstrafe gegen die Anwälte.
- Falsche Produktangaben: Ein Chatbot im Kundenservice bestätigt eine Rückerstattungsregel, die es im Unternehmen nie gab. Der Kunde beruft sich darauf, das Unternehmen muss sich erklären.
- Erfundene Software-Funktionen: Bei einer technischen Frage beschreibt das Modell eine Schnittstelle oder einen Parameter, der in der Dokumentation nicht vorkommt. Wer den Vorschlag ungeprüft übernimmt, verliert Stunden mit der Fehlersuche.
Allen drei Fällen ist gemeinsam: Die Antwort ist sprachlich einwandfrei, inhaltlich aber nicht gedeckt. Genau deshalb fallen solche Fehler ohne Prüfung selten auf.
Warum halluzinieren KI-Systeme? Die fünf Ursachen
1. Probabilistische Wortvorhersage
Große Sprachmodelle (Large Language Models, LLMs) erzeugen Text, indem sie das jeweils wahrscheinlichste nächste Wort vorhersagen. Das liefert flüssige Sätze, aber keine Garantie für Wahrheit. Fehlt dem Modell das Wissen, füllt es die Lücke mit dem, was statistisch gut passt – und das klingt oft überzeugend.
2. Lücken und Fehler in den Trainingsdaten
Die Qualität der Trainingsdaten bestimmt die Qualität der Antworten. Unvollständige, veraltete oder widersprüchliche Daten führen zu falschen Aussagen. Besonders anfällig sind Nischenthemen, aktuelle Ereignisse und interne Unternehmensinformationen, die in öffentlichen Daten gar nicht vorkommen können.
3. Modellarchitektur und Trainingsziel
Sprachmodelle werden darauf trainiert, Text zu vervollständigen, nicht darauf, Fakten zu prüfen. Die Architektur belohnt Kohärenz. Ob eine Aussage stimmt, ist für das Trainingsziel zunächst zweitrangig – das muss nachträglich durch Feinabstimmung und Prüfmechanismen ergänzt werden.
4. Generierungs- und Dekodierungsstrategien
Einstellungen wie Temperature Sampling oder Beam Search steuern, wie frei das Modell formuliert. Höhere Kreativität erhöht die Wahrscheinlichkeit erfundener Inhalte, weil das Modell dann auch weniger wahrscheinliche Fortsetzungen wählt. Für Sachantworten gehört die Temperatur niedrig.
5. Unklare oder suggestive Fragen
Enthält eine Frage eine falsche Annahme („Wie hoch war die Strafe im Fall X?“), übernimmt das Modell die Annahme oft statt sie zu hinterfragen. Es liefert dann eine Antwort auf eine Frage, die so nie hätte gestellt werden dürfen.
KI-Halluzinationen vermeiden: sechs Maßnahmen
Vollständig verhindern lassen sich KI-Halluzinationen mit heutigen Modellen nicht. Im Betrieb lässt sich die Rate aber auf ein Maß drücken, mit dem sich arbeiten lässt. Diese sechs Maßnahmen haben sich bewährt:
1. Retrieval-Augmented Generation (RAG)
Bei RAG beantwortet das Modell Fragen nicht aus dem Gedächtnis, sondern aus Dokumenten, die ihm zur Laufzeit mitgegeben werden: Verträge, Handbücher, Produktdaten, Tickets. Das Modell formuliert, die Fakten kommen aus Ihren Quellen. Das ist der wirksamste Einzelhebel gegen erfundene Antworten und zugleich der Weg, interne Informationen überhaupt nutzbar zu machen.
2. Quellenpflicht in der Antwort
Verlangen Sie, dass jede Sachaussage mit der Fundstelle belegt wird – Dokument, Abschnitt, Datum. Findet das Modell keine Quelle, soll es das sagen statt zu raten. Eine Antwort ohne Beleg ist dann eine Antwort, die geprüft werden muss.
3. Niedrige Temperatur und enge Aufgaben
Für Sachantworten, Zusammenfassungen und Klassifikationen gehört die Temperatur nahe null. Je enger die Aufgabe formuliert ist („Extrahiere Rechnungsnummer und Betrag“ statt „Fasse das Dokument zusammen“), desto weniger Raum bleibt für erfundene Details.
4. Prüfschleife durch ein zweites Modell
Eine zweite Instanz prüft die Antwort gegen die Quellen: Ist jede Aussage gedeckt? Widerspricht etwas dem Dokument? Diese Prüfung ist günstig, läuft automatisch und fängt einen großen Teil der Fehler ab, bevor ein Mensch sie sieht.
5. Mensch in der Schleife bei Entscheidungen
Überall dort, wo eine Antwort rechtliche oder finanzielle Folgen hat – Mahnungen, Vertragsauskünfte, medizinische oder steuerliche Hinweise –, gibt ein Mensch frei. Die KI bereitet vor, sie entscheidet nicht. Reinforcement Learning from Human Feedback (RLHF) macht Modelle zwar insgesamt zuverlässiger, ersetzt die Freigabe im Einzelfall aber nicht.
6. Testfälle mit bekannten Antworten
Legen Sie vor dem Start eine Sammlung von Fragen mit geprüften Antworten an, darunter bewusst Fangfragen mit falschen Annahmen. Jede Änderung am Modell, am Prompt oder an den Dokumenten läuft gegen diese Testfälle. So fällt auf, wenn eine Umstellung neue Fehler erzeugt – bevor Kunden sie bemerken.
KI-Halluzinationen erkennen: fünf Warnzeichen
- Zu glatte Belege: Quellen mit perfekt passendem Titel, aber ohne auffindbare Fundstelle.
- Präzise Zahlen ohne Herkunft: Prozentwerte, Daten oder Beträge, die nirgends im Material stehen.
- Widersprüche zur Vorlage: Die Antwort sagt etwas anderes als das Dokument, auf das sie sich bezieht.
- Selbstbewusste Antworten auf Fangfragen: Das Modell beantwortet eine Frage mit falscher Annahme, statt sie zu korrigieren.
- Details, die niemand gefragt hat: Ergänzte Namen, Funktionen oder Paragrafen, die über die Frage hinausgehen.
Checkliste für Entscheider
- Welche Antworten der KI haben rechtliche oder finanzielle Folgen? Dort Freigabe durch Menschen vorsehen.
- Liegen die relevanten Informationen als Dokumente vor, die ein RAG-System nutzen kann?
- Gibt es eine Testsammlung mit geprüften Antworten, gegen die jede Änderung läuft?
- Ist festgelegt, wie das Modell mit fehlenden Quellen umgeht („Ich weiß es nicht“ statt raten)?
- Werden Antworten protokolliert, damit sich Fehler nachvollziehen lassen?
- Sind Mitarbeitende geschult, KI-Antworten als Entwurf und nicht als Ergebnis zu behandeln?
Häufige Fragen
Was sind KI-Halluzinationen einfach erklärt?
KI-Halluzinationen sind erfundene Inhalte in der Antwort eines Sprachmodells: Fakten, Quellen oder Zahlen, die nicht stimmen, aber überzeugend formuliert sind. Das Modell errät die wahrscheinlichste Fortsetzung eines Textes und hat kein eingebautes Wissen darüber, ob diese Fortsetzung wahr ist.
Kann man KI-Halluzinationen komplett vermeiden?
Nein, mit heutigen Sprachmodellen nicht. Mit RAG, Quellenpflicht, niedriger Temperatur, einer Prüfschleife, menschlicher Freigabe und Testfällen lässt sich die Rate aber so weit senken, dass der Einsatz im Unternehmen vertretbar ist – vorausgesetzt, folgenreiche Antworten werden weiterhin von Menschen freigegeben.
Welche KI halluziniert am wenigsten?
Die Rate unterscheidet sich zwischen Modellen und ändert sich mit jeder Modellgeneration. Wichtiger als die Modellwahl ist der Aufbau: Ein mittelgroßes Modell mit Zugriff auf die richtigen Dokumente halluziniert weniger als das größte Modell ohne Quellen. Prüfen Sie Kandidaten mit Ihrer eigenen Testsammlung statt mit allgemeinen Benchmarks.
Wie erkenne ich KI-Halluzinationen?
Prüfen Sie Belege, Zahlen und Paragrafen gegen die Originalquelle, stellen Sie bewusst Fangfragen mit falschen Annahmen und achten Sie auf Details, die über die Frage hinausgehen. Im Betrieb übernimmt diese Prüfung ein zweites Modell oder eine Freigabe durch Menschen.
Ausblick
Die Forschung arbeitet an Modellen, die Unsicherheit ausdrücken und Quellen von sich aus mitliefern. Bis dahin gilt: Halluzinationen sind kein Grund, auf Sprachmodelle zu verzichten, aber ein Grund, sie nur mit Quellen, Prüfung und klarer Verantwortung einzusetzen. Wer das sauber aufsetzt, bekommt ein Werkzeug, das Routinearbeit zuverlässig abnimmt. Wie wir solche Systeme als individuelle Software mit Anbindung an Ihre Dokumente bauen, zeigen wir Ihnen gern im Gespräch.
