RAG (Retrieval-Augmented Generation)

Wie funktioniert RAG?

RAG verbindet eine Suche mit einem LLM. Vorgestellt haben das Verfahren Forscher um Patrick Lewis 2020 auf der Konferenz NeurIPS. In ihren Tests formulierten die RAG-Modelle konkreter und sachlich genauer als ein Modell, das nur aus seinem Trainingswissen schrieb.

1. Abruf (Retrieval). Das System sucht zur Frage passende Textabschnitte in einer Wissensquelle, etwa in einer Dokumentensammlung oder im Web.
2. Ergänzung (Augmentation). Die gefundenen Abschnitte kommen zusammen mit der Frage in das Kontextfenster des Modells.
3. Antwort (Generation). Das Modell formuliert die Antwort auf Basis dieser Abschnitte und kann die Quellen nennen.

Für den Abruf werden Dokumente vorab in kurze Abschnitte zerlegt und in Embeddings umgewandelt. Ein Embedding ist laut OpenAI ein Zahlenvektor, und je näher sich zwei Vektoren sind, desto enger ist ihr Inhalt verwandt. Eine Vektorsuche findet so auch Abschnitte, die andere Wörter verwenden als die Frage. Anthropic beschreibt als üblichen Aufbau, sie mit einer Stichwortsuche zu kombinieren, die exakte Begriffe wie Artikelnummern trifft.

Wie nutzen KI-Suchen RAG?

KI-Suchen wenden RAG auf das offene Web an. Sie suchen zu einer Frage passende Seiten und fassen deren Inhalt in einer Antwort mit Quellenlinks zusammen.

• ChatGPT. Für die Suchfunktionen von ChatGPT erfasst OpenAI Websites mit dem Crawler OAI-SearchBot. Seiten, die diesen Crawler aussperren, erscheinen laut OpenAI nicht in den Antworten der ChatGPT-Suche.
• Perplexity. Nach eigener Angabe durchsucht Perplexity das Internet in Echtzeit und versieht jede Antwort mit nummerierten Quellenangaben.
• Google. Die KI-Übersichten und der KI-Modus können zu einer Frage mehrere verwandte Suchanfragen stellen (Query Fan-out) und verlinken unterstützende Seiten. Eine Seite muss dafür indexiert sein und mit Snippet in der Google-Suche erscheinen dürfen.

Ihre Seiten müssen bei solchen Abrufen also gefunden werden und die Frage klar beantworten. Was ein Modell im Training gelernt hat, ändert sich erst mit neuen Versionen. Abgerufene Seiten können sich dagegen schon nach der nächsten Indexierung auf Antworten auswirken. Den Rahmen beschreibt der Eintrag GEO, und wie wir Websites dafür vorbereiten, zeigt unsere Seite zur GEO-Agentur.

Wie setzen Unternehmen RAG ein?

Im Unternehmen verbindet RAG ein Sprachmodell mit dem eigenen Wissen. Diese Anwendungen sind typisch.

• Ein Assistent für Vertrieb und Innendienst beantwortet Produktfragen aus Katalog und Datenblättern.
• Im Kundenservice entstehen Antwortentwürfe aus Handbüchern und häufigen Anfragen.
• Ein Marketing-Assistent schreibt Texte nur aus freigegebenen Produktinformationen und Markenrichtlinien.

Nicht jede Anwendung braucht eine Vektordatenbank. Ist die Wissensbasis kleiner als rund 200.000 Tokens, kann sie laut Anthropic vollständig in den Prompt. Bei größeren Beständen ruft das System jeweils nur die passenden Abschnitte ab.

Was ist der Unterschied zwischen RAG und Feintuning?

RAG gibt dem Modell bei jeder Anfrage Wissen mit, ein Feintuning verändert das Modell selbst durch zusätzliches Training. Laut OpenAI eignet sich RAG, wenn dem Modell Wissen fehlt, und Feintuning, wenn es ein Verhalten lernen soll.

Beide Verfahren lassen sich kombinieren. RAG und gutes Prompt Engineering kommen ohne eigenes Training aus.

Wo liegen die Grenzen von RAG?

• Qualität der Quelle. Veraltete oder widersprüchliche Dokumente führen zu falschen Antworten.
• Fehlgriffe beim Abruf. Kurze Abschnitte können beim Zerlegen ihren Zusammenhang verlieren, etwa auf welches Produkt sie sich beziehen. In Tests von Anthropic sank der Anteil fehlgeschlagener Abrufe um 49 Prozent, als jeder Abschnitt zusätzlichen Kontext erhielt.
• Halluzinationen bleiben möglich. Das Modell kann Abschnitte falsch wiedergeben oder Lücken mit eigenen Annahmen füllen. Wichtige Angaben brauchen weiterhin einen Prüfschritt, siehe KI-Halluzination.
• Berechtigungen. Ein interner Assistent darf nur Dokumente abrufen, die die fragende Person auch sehen darf, geregelt über ein Rechte- und Rollenkonzept.
• Datenschutz. Für RAG-Systeme gibt es seit Oktober 2025 eine eigene Orientierungshilfe der Datenschutzaufsichtsbehörden. Enthält die Wissensquelle personenbezogene Daten, stimmen Sie den Aufbau mit Ihrem Datenschutzbeauftragten ab.