---
title: RAG (Retrieval-Augmented Generation)
url: https://eom.de/glossar/rag/
anbieter: EOM, Effektiv Online-Marketing GmbH, Hannover
---

# RAG (Retrieval-Augmented Generation)

> RAG (Retrieval-Augmented Generation) ist ein Verfahren, bei dem ein KI-Sprachmodell vor dem Antworten passende Informationen aus einer Wissensquelle abruft und seine Antwort darauf stützt. So kann es aktuelle oder interne Inhalte nutzen, die nicht in seinen Trainingsdaten stehen.

Ein Großhändler für Elektroinstallationsmaterial stellt seinem Innendienst einen KI-Assistenten zur Seite. Fragt eine Mitarbeiterin nach einem Ersatz für eine nicht mehr lieferbare Steckdosenserie, durchsucht das System zuerst Katalog und Datenblätter. Die passenden Abschnitte gehen zusammen mit der Frage an das Sprachmodell. Die Antwort nennt Artikelnummer und Datenblatt.

Nach demselben Prinzip arbeiten KI-Suchen im offenen Web. Fragt ein Elektriker Perplexity nach einer Alternative, sucht das System passende Webseiten und fasst sie zusammen. Ob der Großhändler dort vorkommt, hängt davon ab, ob seine Produktseiten gefunden und als Quelle ausgewählt werden.

## Wie funktioniert RAG?

RAG verbindet eine Suche mit einem [LLM](https://eom.de/glossar/llm/). Vorgestellt haben das Verfahren Forscher um Patrick Lewis 2020 auf der Konferenz NeurIPS. In ihren Tests formulierten die RAG-Modelle konkreter und sachlich genauer als ein Modell, das nur aus seinem Trainingswissen schrieb.

1. **Abruf (Retrieval).** Das System sucht zur Frage passende Textabschnitte in einer Wissensquelle, etwa in einer Dokumentensammlung oder im Web.
2. **Ergänzung (Augmentation).** Die gefundenen Abschnitte kommen zusammen mit der Frage in das Kontextfenster des Modells.
3. **Antwort (Generation).** Das Modell formuliert die Antwort auf Basis dieser Abschnitte und kann die Quellen nennen.

Für den Abruf werden Dokumente vorab in kurze Abschnitte zerlegt und in Embeddings umgewandelt. Ein Embedding ist laut OpenAI ein Zahlenvektor, und je näher sich zwei Vektoren sind, desto enger ist ihr Inhalt verwandt. Eine Vektorsuche findet so auch Abschnitte, die andere Wörter verwenden als die Frage. Anthropic beschreibt als üblichen Aufbau, sie mit einer Stichwortsuche zu kombinieren, die exakte Begriffe wie Artikelnummern trifft.

## Wie nutzen KI-Suchen RAG?

KI-Suchen wenden RAG auf das offene Web an. Sie suchen zu einer Frage passende Seiten und fassen deren Inhalt in einer Antwort mit Quellenlinks zusammen.

- **ChatGPT.** Für die Suchfunktionen von ChatGPT erfasst OpenAI Websites mit dem Crawler OAI-SearchBot. Seiten, die diesen Crawler aussperren, erscheinen laut OpenAI nicht in den Antworten der ChatGPT-Suche.
- **Perplexity.** Nach eigener Angabe durchsucht Perplexity das Internet in Echtzeit und versieht jede Antwort mit nummerierten Quellenangaben.
- **Google.** Die [KI-Übersichten](https://eom.de/glossar/ai-overviews/) und der KI-Modus können zu einer Frage mehrere verwandte Suchanfragen stellen (Query Fan-out) und verlinken unterstützende Seiten. Eine Seite muss dafür indexiert sein und mit Snippet in der Google-Suche erscheinen dürfen.

Ihre Seiten müssen bei solchen Abrufen also gefunden werden und die Frage klar beantworten. Was ein Modell im Training gelernt hat, ändert sich erst mit neuen Versionen. Abgerufene Seiten können sich dagegen schon nach der nächsten Indexierung auf Antworten auswirken. Den Rahmen beschreibt der Eintrag [GEO](https://eom.de/glossar/geo/), und wie wir Websites dafür vorbereiten, zeigt unsere Seite zur [GEO-Agentur](https://eom.de/ki-marketing/geo/).

## Wie setzen Unternehmen RAG ein?

Im Unternehmen verbindet RAG ein Sprachmodell mit dem eigenen Wissen. Diese Anwendungen sind typisch.

- Ein Assistent für Vertrieb und Innendienst beantwortet Produktfragen aus Katalog und Datenblättern.
- Im Kundenservice entstehen Antwortentwürfe aus Handbüchern und häufigen Anfragen.
- Ein Marketing-Assistent schreibt Texte nur aus freigegebenen Produktinformationen und Markenrichtlinien.

Nicht jede Anwendung braucht eine Vektordatenbank. Ist die Wissensbasis kleiner als rund 200.000 Tokens, kann sie laut Anthropic vollständig in den Prompt. Bei größeren Beständen ruft das System jeweils nur die passenden Abschnitte ab.

## Was ist der Unterschied zwischen RAG und Feintuning?

RAG gibt dem Modell bei jeder Anfrage Wissen mit, ein Feintuning verändert das Modell selbst durch zusätzliches Training. Laut OpenAI eignet sich RAG, wenn dem Modell Wissen fehlt, und Feintuning, wenn es ein Verhalten lernen soll.

| Kriterium | RAG | Feintuning |
| --- | --- | --- |
| Was sich ändert | die Eingabe, das Modell bekommt passende Inhalte mit | das Modell selbst, durch weiteres Training |
| Geeignet für | aktuelles oder internes Wissen | festes Format, Tonfall, wiederkehrende Aufgaben |
| Neue Informationen | Dokumente in der Wissensquelle ergänzen | erneut trainieren |
| Quellenangabe | möglich, weil die Abschnitte bekannt sind | kaum möglich |
| Aufwand | Wissensquelle aufbauen und pflegen | Trainingsdaten erstellen und das Ergebnis testen |

Beide Verfahren lassen sich kombinieren. RAG und gutes [Prompt Engineering](https://eom.de/glossar/prompt-engineering/) kommen ohne eigenes Training aus.

## Wo liegen die Grenzen von RAG?

- **Qualität der Quelle.** Veraltete oder widersprüchliche Dokumente führen zu falschen Antworten.
- **Fehlgriffe beim Abruf.** Kurze Abschnitte können beim Zerlegen ihren Zusammenhang verlieren, etwa auf welches Produkt sie sich beziehen. In Tests von Anthropic sank der Anteil fehlgeschlagener Abrufe um 49 Prozent, als jeder Abschnitt zusätzlichen Kontext erhielt.
- **Halluzinationen bleiben möglich.** Das Modell kann Abschnitte falsch wiedergeben oder Lücken mit eigenen Annahmen füllen. Wichtige Angaben brauchen weiterhin einen Prüfschritt, siehe [KI-Halluzination](https://eom.de/glossar/ki-halluzination/).
- **Berechtigungen.** Ein interner Assistent darf nur Dokumente abrufen, die die fragende Person auch sehen darf, geregelt über ein Rechte- und Rollenkonzept.
- **Datenschutz.** Für RAG-Systeme gibt es seit Oktober 2025 eine eigene Orientierungshilfe der Datenschutzaufsichtsbehörden. Enthält die Wissensquelle personenbezogene Daten, stimmen Sie den Aufbau mit Ihrem Datenschutzbeauftragten ab.

## Verwandte Begriffe

- [LLM (Large Language Model)](https://eom.de/glossar/llm/)
- [Prompt Engineering](https://eom.de/glossar/prompt-engineering/)
- [KI-Halluzination](https://eom.de/glossar/ki-halluzination/)
- [GEO (Generative Engine Optimization)](https://eom.de/glossar/geo/)
- [AI Overviews (KI-Übersichten)](https://eom.de/glossar/ai-overviews/)
- [KI-Sichtbarkeit](https://eom.de/glossar/ki-sichtbarkeit/)
- [Knowledge Graph](https://eom.de/glossar/knowledge-graph/)
- [MCP (Model Context Protocol)](https://eom.de/glossar/mcp/)

## Quellen

- [Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv 2005.11401, NeurIPS 2020)](https://arxiv.org/abs/2005.11401)
- [Anthropic: Introducing Contextual Retrieval (19.09.2024)](https://www.anthropic.com/news/contextual-retrieval)
- [OpenAI: Vector embeddings](https://developers.openai.com/api/docs/guides/embeddings)
- [OpenAI: Optimizing LLM accuracy](https://developers.openai.com/api/docs/guides/optimizing-llm-accuracy)
- [OpenAI: Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots)
- [DSK: Orientierungshilfe zu generativen KI-Systemen mit RAG-Methode (Oktober 2025)](https://www.datenschutzkonferenz-online.de/media/oh/DSK_OH_RAG.pdf)
- [Google Search Central: AI features and your website](https://developers.google.com/search/docs/appearance/ai-features)

## Häufige Fragen

### Was bedeutet RAG auf Deutsch?

RAG steht für Retrieval-Augmented Generation, sinngemäß durch Abruf ergänzte Texterzeugung. Das Sprachmodell bekommt vor dem Antworten passende Inhalte aus einer Wissensquelle und stützt seine Antwort darauf.

### Was ist der Unterschied zwischen RAG und einer normalen Suche?

Eine normale Suche liefert eine Liste von Treffern, die Sie selbst lesen. Bei RAG liest das Sprachmodell die Treffer und formuliert daraus eine zusammenhängende Antwort, im besten Fall mit Quellenangaben. Die Qualität hängt deshalb von beiden Teilen ab, von der Suche und vom Modell.

### Verhindert RAG Halluzinationen?

Es verringert sie, verhindert sie aber nicht vollständig. Das Modell kann abgerufene Abschnitte falsch zusammenfassen oder fehlende Informationen mit Annahmen füllen. Anthropic empfiehlt zusätzlich, das Modell auf die bereitgestellten Dokumente zu beschränken und für jede Aussage ein Zitat zu verlangen.

### Was ist eine Vektordatenbank?

Eine Vektordatenbank speichert Textabschnitte als Embeddings, also als Zahlenvektoren, die ihre Bedeutung abbilden. Zu einer Frage liefert sie die Abschnitte mit der größten inhaltlichen Nähe. In RAG-Systemen dient sie als Suchindex für den Abruf.

### Nutzt ChatGPT RAG?

Wenn ChatGPT im Web sucht, arbeitet es nach diesem Prinzip. Es ruft Seiten ab und stützt die Antwort darauf, die Seiten erfasst OpenAI vorab mit dem Crawler OAI-SearchBot. Ohne Websuche antwortet das Modell aus seinem Trainingswissen.

### Wie wird meine Website zur Quelle für KI-Antworten?

Ihre Seiten müssen für die Crawler der KI-Suchen erreichbar sein und die Fragen Ihrer Zielgruppe direkt beantworten. Für Googles KI-Funktionen gibt es laut Google keine Zusatzanforderungen, eine Seite muss indexiert sein und mit Snippet erscheinen dürfen. [Strukturierte Daten](https://eom.de/glossar/strukturierte-daten/) sind dafür laut Google nicht nötig, bleiben aber Teil einer soliden SEO-Grundlage.

### Braucht man für RAG eigene Server?

Nicht unbedingt. Modellanbieter wie OpenAI bieten eine Dateisuche über hochgeladene Dokumente als fertige Funktion an, die beim Anbieter läuft. Wer Daten im Haus behalten will, kann RAG auch mit einem Open-Weight-Modell im eigenen Rechenzentrum betreiben.

### Was kostet ein RAG-System?

Das hängt vor allem von der Wissensbasis ab, also davon, wie viele Dokumente es gibt und wie oft sie sich ändern. Hinzu kommen die Nutzung des Sprachmodells, die meist nach Tokens abgerechnet wird, und die Anbindung an bestehende Systeme mit ihren Berechtigungen.