KI-Halluzinationen: Warum KI überzeugend falsch liegen kann

Was sind KI-Halluzinationen?

KI-Halluzinationen sind Ausgaben generativer KI, die plausibel und selbstbewusst formuliert wirken, aber sachlich falsch, erfunden oder nicht durch die zugrunde liegenden Informationen gedeckt sind. Betroffen sein können Tatsachen, Quellen, Zitate, Zahlen, Namen oder ganze Argumentationsketten.

Das US-amerikanische National Institute of Standards and Technology verwendet in seinem GenAI-Risikoprofil bevorzugt den Begriff Confabulation und beschreibt damit selbstbewusst präsentierte fehlerhafte oder falsche Inhalte. Umgangssprachlich hat sich dafür dennoch der Begriff Halluzination etabliert.

Warum halluzinieren Sprachmodelle?

Ein Sprachmodell erzeugt Text, indem es auf Basis gelernter Muster wahrscheinliche nächste Bestandteile einer Antwort berechnet. Es arbeitet nicht automatisch wie eine juristische Datenbank, die jede Aussage gegen eine verbindliche Quelle prüft.

Dadurch kann ein Modell sprachlich sehr überzeugende Antworten erzeugen, obwohl einzelne Angaben nicht stimmen. Besonders riskant ist, dass sich sprachliche Sicherheit und tatsächliche Richtigkeit für den Nutzer häufig ähnlich anhören.

Warum sind Halluzinationen für Anwälte besonders relevant?

Juristische Arbeit hängt stark von überprüfbaren Tatsachen und belastbaren Quellen ab. Eine erfundene Entscheidung, ein falsches Aktenzeichen oder eine unzutreffende Norm kann deshalb wesentlich schwerwiegendere Folgen haben als ein kleiner Fehler in einem allgemeinen Unterhaltungstext.

Die Bundesrechtsanwaltskammer weist ausdrücklich darauf hin, dass KI-Tools falsche Informationen beziehungsweise Halluzinationen erzeugen können und deshalb hinreichende anwaltliche Kontrolle erforderlich ist.

Welche Formen von KI-Halluzinationen gibt es?

In der Praxis können sich Halluzinationen sehr unterschiedlich zeigen:

• Erfundene Quellen: Entscheidungen, Literatur oder Links werden genannt, obwohl sie nicht existieren.
• Falsche Details: Eine reale Quelle wird mit einem falschen Datum, Aktenzeichen oder Inhalt verbunden.
• Erfundene Tatsachen: Das Modell ergänzt Informationen, die in den Ausgangsdaten nicht enthalten sind.
• Widersprüche: Aussagen innerhalb derselben Antwort oder zwischen mehreren Antworten passen nicht zusammen.
• Unbelegte Schlussfolgerungen: Aus korrekten Informationen wird eine fachlich nicht tragfähige Folgerung gezogen.

Kann RAG Halluzinationen verhindern?

Retrieval-Augmented Generation (RAG) kann die Wahrscheinlichkeit bestimmter Fehler reduzieren, weil das Modell vor der Antwort relevante Quellen erhält. Das ist besonders hilfreich, wenn Antworten auf definierten Wissensbeständen beruhen sollen.

Eine Garantie ist RAG jedoch nicht. Schon die Suche kann unpassende Inhalte auswählen, und das Sprachmodell kann selbst guten Kontext falsch interpretieren. Quellenbasierte Systeme brauchen deshalb weiterhin Prüfmechanismen.

Wie können Kanzleien Halluzinationsrisiken reduzieren?

Geeignete Maßnahmen hängen vom konkreten Einsatz ab. Typische Leitplanken sind:

• Rechtsprechung, Normen und Zitate immer anhand geeigneter Primär- oder Fachdatenquellen überprüfen.
• KI nicht als alleinige Rechtsquelle behandeln.
• Für sensible Aufgaben definierte Systeme und freigegebene Datenquellen nutzen.
• Ausgaben mit Quellenangaben bevorzugen, ohne Quellenangaben automatisch für richtig zu halten.
• bei folgenreichen Ergebnissen verbindliche menschliche Prüf- und Freigabeschritte festlegen.
• Mitarbeitende darin schulen, sprachliche Plausibilität nicht mit fachlicher Verlässlichkeit gleichzusetzen.

Halluzination ist nicht dasselbe wie Unsicherheit

Ein KI-System kann ausdrücklich sagen, dass es eine Information nicht kennt. Das ist etwas anderes als eine Halluzination. Problematisch wird es vor allem dann, wenn das System eine nicht abgesicherte Information als scheinbar sicheren Fakt formuliert.

Eine gute Kanzleipraxis sollte daher Systeme und Prompts bevorzugen, die Unsicherheiten sichtbar machen, Quellen offenlegen und menschliche Überprüfung erleichtern.

Fazit: Sprachliche Qualität ist kein Beweis für Richtigkeit

KI-Halluzinationen zeigen eine zentrale Grenze generativer KI: Eine Antwort kann hervorragend formuliert und trotzdem falsch sein. Für Anwälte ist deshalb nicht die sprachliche Eleganz der Ausgabe entscheidend, sondern ihre fachliche Überprüfbarkeit.

Der professionelle Einsatz von KI für Anwälte braucht daher klare Quellenkontrolle, definierte Prüfprozesse und ein Bewusstsein dafür, welche Aufgaben nicht ungeprüft automatisiert werden dürfen.

Quellen und Vertiefung:
NIST: Generative AI Profile und Confabulation
Bundesrechtsanwaltskammer: KI in Anwaltskanzleien