RAG: Wie KI aus eigenen Dokumenten antwortet

Künstliche IntelligenzUpdated: 22. October 2026

RAG steht für Retrieval-Augmented Generation, auf Deutsch etwa „durch Suche ergänzte Texterzeugung“. Die KI sucht zuerst in Ihren eigenen Dokumenten nach passenden Abschnitten und formuliert dann eine Antwort auf Grundlage dieser Abschnitte, idealerweise mit Quellenangabe.

So kann ein Sprachmodell Fragen zu internen Handbüchern, Verträgen oder Produktdaten beantworten, ohne dass es mit diesen Daten trainiert werden muss.

So funktioniert RAG in drei Schritten

Ein Sprachmodell kennt nur das, was in seinen Trainingsdaten stand. Interne Dokumente eines Unternehmens gehören nicht dazu. RAG löst das, indem es dem Modell bei jeder Frage die passenden Informationen mitgibt.

• Vorbereiten: Die Dokumente werden in kurze Abschnitte zerlegt und so aufbereitet, dass sie sich nach ihrer Bedeutung durchsuchen lassen. Dafür werden sie meist in sogenannte Embeddings umgewandelt, also Zahlenvektoren, die den Inhalt eines Textes abbilden.
• Suchen: Stellt jemand eine Frage, sucht das System die Abschnitte heraus, die inhaltlich am besten passen. Das funktioniert auch, wenn die Frage andere Wörter verwendet als das Dokument.
• Antworten: Das Sprachmodell erhält die Frage zusammen mit den gefundenen Abschnitten und formuliert daraus eine Antwort. Gute Systeme zeigen an, aus welchem Dokument die Information stammt.

Welche Vorteile RAG gegenüber einem reinen Sprachmodell hat

Ein reines Sprachmodell antwortet aus seinem allgemeinen Wissen. Zu Ihren internen Abläufen, Preisen oder Produkten weiß es nichts und erfindet im schlechtesten Fall eine plausibel klingende Antwort. Mit RAG stützt sich die Antwort auf Ihre Dokumente.

Die Quellenangabe macht Antworten überprüfbar. Nutzer können mit einem Klick nachsehen, ob die KI den Text richtig wiedergegeben hat.

Neue oder geänderte Dokumente stehen zur Verfügung, sobald sie neu eingelesen sind. Ein aufwendiges Nachtrainieren des Modells ist nicht nötig. Das spart Rechenleistung und hält die Daten vom Modell selbst getrennt.

Was Sie für RAG mit eigenen Dokumenten brauchen

Die Qualität der Antworten hängt direkt von der Qualität der Dokumente ab. Liegen drei Versionen einer Richtlinie nebeneinander, kann die KI die veraltete erwischen. Vor dem Start lohnt es sich deshalb, Dokumente aufzuräumen und klar zu regeln, wer sie aktuell hält.

Ebenso wichtig sind Zugriffsrechte. Ein RAG-System darf einem Nutzer nur Inhalte aus Dokumenten zeigen, die dieser auch sonst öffnen dürfte. Sonst erfährt etwa ein Mitarbeiter aus der Produktion über die KI Details aus Personalakten. Das System muss die bestehenden Berechtigungen deshalb bei jeder Suche berücksichtigen.

Technisch braucht RAG ein Sprachmodell, eine Suchdatenbank für die aufbereiteten Abschnitte und eine Anbindung an die Datenquellen, etwa Dateiserver, SharePoint oder ein Wiki. Alle drei Bausteine lassen sich auch im eigenen Rechenzentrum betreiben.

Wo die Grenzen von RAG liegen

RAG verringert Halluzinationen, schließt sie aber nicht aus. Halluzinationen sind Aussagen, die die KI erfindet, obwohl sie falsch sind. Auch mit den richtigen Abschnitten kann ein Modell Zusammenhänge falsch verknüpfen oder Details ungenau wiedergeben.

Findet die Suche keinen passenden Abschnitt, sollte das System das offen sagen. Manche Modelle antworten in diesem Fall trotzdem aus allgemeinem Wissen. Das lässt sich durch Konfiguration eindämmen, aber nicht ganz verhindern.

Schwierig sind zudem Fragen, die viele Dokumente gleichzeitig betreffen, etwa „Wie haben sich unsere Lieferzeiten über drei Jahre entwickelt?“. Für solche Auswertungen sind strukturierte Daten und klassische Berichte oft besser geeignet. Wichtige Antworten sollten Menschen anhand der Quelle prüfen.

So unterstützt S.WERK bei RAG-Anwendungen

S.WERK betreibt Sprachmodelle auf eigener Hardware in den Rechenzentren in München, Nürnberg und Linz. Ihre Dokumente bleiben in Deutschland oder Österreich und werden nicht zum Training verwendet. Wir unterstützen dabei, geeignete Datenquellen auszuwählen, Berechtigungen zu prüfen und eine RAG-Anwendung aufzubauen und zu betreiben.

Mehr dazu: Souveräne KI im eigenen Rechenzentrum · KI-Beratung

Häufige Fragen