RAG: Wie KI mit eigenen Wissensquellen arbeitet

Was ist Retrieval-Augmented Generation?

Retrieval-Augmented Generation, kurz RAG, ist ein technischer Ansatz, bei dem ein Sprachmodell vor der Antwort zusätzliche Informationen aus externen Datenquellen abruft. Statt ausschließlich auf dem Wissen zu beruhen, das während des Modelltrainings gelernt wurde, erhält das Modell passenden Kontext aus Dokumenten, Datenbanken oder anderen Informationsbeständen.

Vereinfacht gesagt verbindet RAG Suche und generative KI. Genau deshalb ist der Ansatz für Kanzleien und Legal AI besonders interessant.

Wie funktioniert RAG vereinfacht?

Ein typischer RAG-Prozess lässt sich in mehrere Schritte zerlegen:

1. Wissensquellen vorbereiten: Dokumente oder andere Informationen werden technisch erschlossen und indexiert.
2. Frage verstehen: Eine Nutzerfrage wird so verarbeitet, dass passende Informationen gesucht werden können.
3. Relevante Inhalte abrufen: Das System sucht Textstellen oder Dokumente, die zur Frage passen.
4. Kontext an das Sprachmodell geben: Die gefundenen Inhalte werden zusammen mit der Frage an das Modell übergeben.
5. Antwort erzeugen: Das Modell formuliert eine Antwort unter Einbeziehung des abgerufenen Kontexts.

Microsoft beschreibt RAG entsprechend als Muster, das Suche mit Large Language Models verbindet, damit Antworten auf eigenen beziehungsweise aktuellen Daten basieren können.

Warum ist RAG für Kanzleien interessant?

Kanzleien verfügen über große Mengen an Wissen, das nicht im allgemeinen Trainingsdatensatz eines Sprachmodells enthalten ist: interne Vorlagen, Muster, Schriftsätze, Vertragsklauseln, Fachnotizen, Mandatswissen, Richtlinien oder Wissensdatenbanken.

RAG kann dazu beitragen, dieses Wissen für konkrete Fragen besser zugänglich zu machen. Ein System könnte beispielsweise passende interne Vorlagen finden, frühere Formulierungen zu einem Thema heranziehen oder Informationen aus einer definierten Dokumentensammlung in eine Antwort einbeziehen.

Was ist der Unterschied zwischen RAG und Training?

Bei RAG wird das Basismodell nicht zwingend neu trainiert. Stattdessen erhält es zur Laufzeit zusätzliche Informationen. Das ist ein wesentlicher Unterschied zu Fine-Tuning oder eigenem Modelltraining.

Für Kanzleien kann das praktisch sein, weil sich Wissensbestände laufend verändern. Ein neues Dokument kann in einen Suchindex aufgenommen werden, ohne dass dafür jedes Mal ein Sprachmodell neu trainiert werden muss.

Verhindert RAG KI-Halluzinationen?

RAG kann Antworten stärker an konkrete Quellen binden und dadurch die Qualität verbessern. Es beseitigt KI-Halluzinationen jedoch nicht automatisch.

Das System kann falsche Dokumente abrufen, relevante Inhalte übersehen, Textpassagen falsch interpretieren oder trotz passendem Kontext eine unzutreffende Schlussfolgerung formulieren. Gute RAG-Systeme benötigen deshalb Qualitätskontrollen sowohl beim Retrieval als auch bei der generierten Antwort.

Welche Daten eignen sich für RAG?

Technisch lassen sich viele Informationsquellen anbinden. Für Kanzleien ist aber nicht alles, was technisch erreichbar ist, automatisch sinnvoll. Daten sollten aktuell, eindeutig zugeordnet, ausreichend strukturiert und nur für berechtigte Nutzer zugänglich sein.

Gerade bei mandatsbezogenen Informationen braucht es klare Zugriffsrechte. Ein RAG-System darf nicht dazu führen, dass Mitarbeitende über eine KI-Abfrage Informationen aus Mandaten erhalten, auf die sie im ursprünglichen System keinen Zugriff haben dürften.

RAG und KI-Agenten

RAG wird zunehmend mit KI-Agenten kombiniert. Ein Agent kann beispielsweise selbst entscheiden, welche Wissensquelle durchsucht werden soll, mehrere Suchanfragen durchführen und die Ergebnisse in einen mehrstufigen Arbeitsprozess einbinden.

Damit entwickelt sich klassisches RAG in Richtung agentischer Retrieval-Ansätze. Für Legal AI steigt dadurch der mögliche Nutzen, aber ebenso die Bedeutung von Berechtigungen, Protokollierung und menschlicher Kontrolle.

Fazit: RAG verbindet KI mit Kanzleiwissen

RAG ist für den Rechtsmarkt deshalb relevant, weil juristische Arbeit stark von verlässlichen und kontextbezogenen Informationen abhängt. Sprachmodelle werden wertvoller, wenn sie nicht nur allgemein formulieren, sondern auf passende interne oder externe Quellen zugreifen können.

Der eigentliche Erfolgsfaktor liegt aber nicht nur im Modell. Qualität, Struktur und Berechtigungen der angeschlossenen Wissensquellen entscheiden wesentlich darüber, wie nützlich ein RAG-System in einer Kanzlei ist.

Quellen und Vertiefung:
Microsoft Learn: Retrieval-Augmented Generation und Indizes
Leadsleader: Legal AI