Enterprise-RAG-Architektur: KI-Antworten, auf die sich das Geschäft verlassen kann
RAG-Demos gelingen in einer Woche und scheitern in der Produktion aus demselben Grund: Abrufqualität ist ein Datenengineering-Problem im KI-Kostüm.
Retrieval-Augmented Generation ist zur Standardarchitektur der Unternehmens-KI geworden, und das aus gutem Grund: Sie verankert Antworten in Ihren Dokumenten, aktualisiert sich mit ihnen und legt ihre Arbeit über Zitate offen. Sie ist zugleich die Architektur, die am häufigsten bei 80 Prozent fertig aussieht und nie in Produktion geht, weil die letzten 20 Prozent unspektakuläres Datenengineering sind.
Die Kette und wo jede Stufe bricht
| Stufe | Aufgabe | Typischer Fehler |
|---|---|---|
| Ingestion | Text aus Quellsystemen extrahieren | Tabellen und PDFs zerstört; Inhalte still verworfen |
| Chunking | Dokumente in abrufbare Einheiten teilen | Feste Größen, die den Kontext zerschneiden |
| Anreicherung | Metadaten und Berechtigungen anhängen | Entfällt, wodurch Filtern und Zitieren unmöglich wird |
| Indexierung | Vektoren und lexikalischen Index speichern | Nur Vektoren: exakte Kennungen scheitern |
| Abruf | Kandidaten holen | Top-k ohne Neusortierung und Berechtigungsfilter |
| Generierung | Aus dem Kontext antworten | Keine Anweisung zum Verzicht; erfundene Sicherheit |
| Evaluation | Wirksamkeit belegen | Fehlt, ersetzt durch Meinungen |
Chunking ist eine Inhaltsentscheidung, kein Parameter
Die wirkungsvollste Verbesserung in fast jedem RAG-System ist besseres Chunking. Teilen Sie nach Dokumentstruktur – Überschriften, Abschnitte, Klauseln, Tabellenzeilen – und nicht nach Zeichenzahl. Behalten Sie den Überschriftenpfad im Chunk, damit ein abgerufener Abschnitt seinen Kontext mitbringt. Halten Sie Tabellen intakt und speichern Sie neben langen Chunks eine kurze Zusammenfassung, um die Einbettungsqualität zu verbessern.
Hybrid abrufen, dann neu sortieren
Vektorähnlichkeit allein scheitert an exakten Kennungen, Teilenummern, Richtliniencodes und Negation. Lexikalische Suche allein scheitert an Paraphrasen. Führen Sie beides aus, fusionieren Sie die Kandidaten und sortieren Sie die besten mit einem Cross-Encoder neu, bevor ein kleines, hochwertiges Kontextfenster an das Modell geht. Zwanzig mittelmäßige Chunks zu senden ist schlechter als vier gute.
Metadaten leisten die Hauptarbeit
Fast jede Unternehmensfrage ist implizit eingegrenzt: dieses Jahr, diese Region, dieses Produkt, diese Richtlinienversion. Ohne Metadaten lässt sich das nicht ausdrücken, und das System zitiert bereitwillig eine außer Kraft gesetzte Richtlinie. Erfassen Sie Quellsystem, Dokumenttyp, Gültigkeitsdaten, Version, Verantwortliche, Sprache und Schutzklasse bei der Ingestion – nachträgliches Ergänzen ist teuer.
Berechtigungen: der Grund, warum Pilotprojekte nie starten
Ein RAG-System, das alles lesen kann und von allen genutzt wird, ist ein Datenleck mit Chat-Oberfläche. Die Regel ist nicht verhandelbar: Berechtigungen in der Abrufanfrage durchsetzen, mit der Identität des Nutzers, bevor irgendetwas das Modell erreicht. Nach der Generierung zu filtern ist keine Kontrolle – der Inhalt wurde bereits verwendet.
Schutzmechanismen mit messbarer Wirkung
- Verpflichtende Verankerung. Weisen Sie das Modell an, nur aus dem übergebenen Kontext zu antworten und sonst Unwissen einzuräumen – und prüfen Sie die Einhaltung.
- Zitate von Grund auf. Jede Aussage verweist auf den erzeugenden Chunk, und der Link öffnet ein Dokument, das der Nutzer sehen darf.
- Verzichtsschwellen. Bei niedriger Abrufkonfidenz Quellen ohne synthetisierte Antwort zurückgeben.
- Schutz vor Prompt Injection. Abgerufene Inhalte sind nicht vertrauenswürdige Eingaben: Sie dürfen niemals Anweisungen ändern oder Rechte ausweiten. Die OWASP Top 10 für LLM-Anwendungen sind hier die praktische Referenz.
- Menschliche Prüfung in regulierten Bereichen vor jeder kundengerichteten oder vertraglichen Ausgabe.
Evaluation, sonst liefern Sie ein Gefühl aus
Bauen Sie den Evaluationsrahmen, bevor Sie etwas justieren. Sammeln Sie 200 echte Fragen mit menschlich geprüften Antworten und Quelldokumenten. Messen Sie getrennt, ob der Abruf die richtigen Abschnitte gefunden hat und ob die Antwort treu, vollständig und korrekt zitiert war: eine schlechte Antwort bei gutem Abruf und eine schlechte Antwort bei fehlgeschlagenem Abruf verlangen entgegengesetzte Korrekturen.
Kosten und Latenz
In der Produktion dominieren Kontextgröße und Neusortierung die Kosten, nicht das Basismodell. Reduzieren Sie den Kontext, cachen Sie Einbettungen und wiederkehrende Antworten und nutzen Sie ein kleines Modell für Klassifikation und Query-Umschreibung, während das große der Synthese vorbehalten bleibt. Setzen Sie Budgets pro Team und alarmieren Sie bei Anomalien: ein Agent in einer Wiederholungsschleife kann ein Quartalsbudget über Nacht verbrauchen.
Stufenweiser Weg in die Produktion
Wochen 1–4: eine Dokumentdomäne, eine Nutzergruppe, nur Lesen. Ingestion mit strukturbewusstem Chunking und vollständigen Metadaten, Evaluationsset aufgesetzt.
Wochen 5–8: hybrider Abruf, Neusortierung und Berechtigungsfilter. Messen und Abruf justieren; dem Wunsch nach einem Modellwechsel widerstehen.
Wochen 9–12: Schutzmechanismen, Zitat-Oberfläche, Protokollierung und Kostenkontrolle. Pilot mit echten Nutzern, Verzichts- und Korrekturquoten messen.
Erfolgreiche Systeme haben nicht das beste Modell, sondern jemanden, der die Metadaten ordentlich gemacht hat.
Häufige Fragen
Was ist Retrieval-Augmented Generation?
RAG verbindet ein Abrufsystem mit einem Sprachmodell: Zum Zeitpunkt der Anfrage werden relevante Dokumente geholt und als Kontext übergeben, sodass Antworten auf Ihrem Korpus statt auf dem Modellgedächtnis beruhen. Der Ansatz wurde 2020 von Lewis et al. eingeführt.
Warum scheitern RAG-Pilotprojekte in der Produktion?
Fast immer an Abrufqualität und Berechtigungen, nicht am Modell. Schlechtes Chunking, fehlende Metadaten, kein Evaluationsset und kein Berechtigungsfilter erzeugen selbstsichere, falsche und teils unbefugte Antworten.
Sollten wir Fine-Tuning statt RAG einsetzen?
Beides löst unterschiedliche Probleme. RAG liefert Fakten, die sich ändern; Fine-Tuning prägt Stil, Format und Verhalten. Die meisten Unternehmensfälle brauchen zuerst RAG, und Fine-Tuning behebt selten ein Abrufproblem.
Wie verhindern wir, dass ein RAG-System geschützte Dokumente preisgibt?
Durch Filterung nach den Rechten des anfragenden Nutzers vor dem Abruf, nicht nach der Generierung. Berechtigungen müssen in der Abrufanfrage selbst greifen, mit durchgängiger Identitätsweitergabe.
Wie evaluiert man ein RAG-System?
Abruf und Generierung getrennt messen: Mit einem menschlich bewerteten Fragenset werden Trefferquote und Präzision der abgerufenen Abschnitte bewertet und separat Treue, Vollständigkeit und Korrektheit der Zitate.