Retrieval-Augmented Generation: belegte Antworten, Quellenangaben, Audit-Spur.

Retrieval-Augmented Generation ist kein Modell. Es ist eine sechsstufige Information-Retrieval-Pipeline, die einem Sprachmodell vorgeschaltet ist und entscheidet, welche Textpassagen das Modell lesen darf, bevor es irgendetwas schreibt. Der Korpus wird in Passagen zerlegt, jede Passage wird durch ein separates Encoder-Modell in einen hochdimensionalen Vektor eingebettet, und diese Vektoren werden in einer approximativen Nearest-Neighbour-Struktur indexiert (typischerweise HNSW). Zur Abfragezeit wird die Frage in denselben Vektorraum eingebettet, der Index liefert die Top-k-ähnlichsten Passagen, ein Cross-Encoder bewertet sie neu, und nur die überlebenden Passagen werden in den Prompt injiziert. Das Sprachmodell sieht den Korpus nie. Es sieht nur, was der Retrieval-Stack ihm zu zeigen entschieden hat.

Zwei Design-Entscheidungen dominieren die Qualität. Die erste ist das Chunking - fixed-size, rekursiv, parent-document oder propositional - das bestimmt, ob eine Passage genug Kontext trägt, um die Frage allein zu beantworten. Die zweite ist Hybrid-Retrieval, bei dem eine dichte semantische Suche mit einem dünnbesetzten BM25-Token-Match fusioniert wird. Dense-Retrieval findet konzeptionelle Treffer; BM25 fängt exakte Token, die dichte Embeddings glätten - was im Buy-Side-Kontext ISINs, LEIs, Aufsichtscodes, Fondscodes und Datumsangaben bedeutet. Produktionsreifes RAG in der regulierten Finanzwirtschaft ist fast immer hybrid, mit einem Reranker obendrauf.

Das 'Augmented' in RAG bezieht sich auf den Prompt, nicht auf die Modellgewichte. Zur Inferenzzeit wird nichts gelernt. Was sich ändert, ist die Evidenz, auf die das Modell konditioniert wird, und welche abgerufenen Chunk-IDs neben der Antwort protokolliert werden können.

Die teure Frage bei einem VV oder einer Boutique-Vermögensverwaltung lautet selten 'wie ist die Antwort'. Sie lautet 'wo in den Dokumenten kam die Antwort her'. Analysten öffnen prospectus_ABC_2024.pdf, suchen mit ctrl-F nach einer Klausel, kopieren den Absatz in ein IC-Memo und tippen die Seitenzahl von Hand in eine Fußnote. KIID-Extraktion, MiFID-Geeignetheitsprüfungen, SFDR Artikel 8 vs. 9 Offenlegungen und Ad-hoc-Kundenfragen zu einer Position laufen alle nach diesem Muster. Die Kosten liegen nicht im Lesen - sie liegen in der Gewissheit und im Beleg.

RAG ersetzt das manuelle ctrl-F durch eine Vektor-Abfrage und ersetzt die handgetippte Fußnote durch einen strukturierten Retrieval-Eintrag. Der für den Käufer sichtbare Unterschied ist, dass jeder Satz in einer generierten Antwort auf die exakte Passage erweitert werden kann, aus der er stammt - mit Dokumentname und Seitenzahl, festgehalten als Zeile im Audit-Log in dem Moment, in dem die Antwort erzeugt wurde.

Die Use Cases, in denen sich das auszahlt, sind die repetitiven: regulatorische Offenlegungs-Recherchen, Fonds-Richtlinienfragen aus dem Vertrieb, interne Was-sagt-unser-Prozess-zu-Anfragen und jede Entwurfsaufgabe, bei der bisher ein Junior-Analyst die Recherche-Maschine war. Der Senior-Analyst prüft weiterhin. Die Recherche-Arbeit wandert.

DORA Art. 28 verlangt von Häusern, ein Register der IKT-Drittanbietervereinbarungen zu führen, die kritische oder wichtige Funktionen wesentlich unterstützen. Der EU AI Act Anhang IV Abschnitt 3 verlangt, dass die Technische Dokumentation eines hochriskanten KI-Systems die Daten dokumentiert, die für Training, Validierung und Betrieb des Systems verwendet werden - einschließlich Herkunft. Ein RAG-System macht beide Pflichten handhabbar, weil die zitierte Chunk-ID der Herkunftsnachweis ist - jede generierte Antwort verweist zurück auf eine spezifische Passage in einer spezifischen Dokumentenversion, und dieser Verweis ist die Audit-Zeile.

Gepaart mit DORA-Konformität und einem Deployment 'Daten bleiben im Haus': der Encoder, der Index, der Reranker und das Sprachmodell laufen alle innerhalb des Haus-Perimeters oder in einer souveränen Tenancy unter Ihrer Kontrolle. Prompts, abgerufene Chunks und Completions verlassen den Perimeter nicht. Die Aufsicht liest eine KI-gestützte Antwort dann genauso wie eine vom Analysten geschriebene: die Quelle kann geöffnet, die Version rekonstruiert, die Chain-of-Custody bleibt intakt.

Wir beginnen mit dem Korpus, nicht mit dem Modell. Prospekte, KIIDs, Factsheets, interne Verfahrensanweisungen, Aufsichts-Rundschreiben und historische IC-Memos werden normalisiert, segmentiert und mit Versions- und Stichtags-Metadaten gestempelt. Das Chunking ist rekursiv mit Parent-Document-Overlap, sodass eine abgerufene Passage ihren umgebenden Kontext trägt. Wir embedden mit einem Encoder, den wir lokal betreiben können, speichern Vektoren in einem im Perimeter ansässigen Index und paaren jeden Dense-Lookup mit einem BM25-Kanal, damit ISINs und LEIs den Embedding-Schritt überleben.

Reranking ist ein Cross-Encoder-Durchlauf über die Top-50 bis Top-200 Kandidaten, der die volle Query-Document-Attention bewertet - nicht die gepoolte Ähnlichkeit, die zum Retrieval-Zeitpunkt verwendet wird. Das ist der Schritt, der aus 'grob relevant' macht 'das ist die Passage, die der Analyst zitiert hätte'. Die rerankten Top-3 bis Top-6 Chunks werden dann in einen strukturierten Prompt zusammengestellt, wobei das Sprachmodell hinter einem Host läuft, der Tool-Consent durchsetzt und für jeden Aufruf eine strukturierte Audit-Zeile schreibt.

Das Sprachmodell selbst wird nach dem ausgewählt, was es tun muss, nicht nach Marketing-Reichweite. Für die meisten Entwurfsaufgaben reicht ein Open-Weight-Modell im 8B-70B-Bereich, lokal betrieben, und hält die gesamte Pipeline im Perimeter - das ist der Teil, der für DORA Art. 28-30 und die BaFin-Leitlinie von Dezember 2025 zu KI als IKT-Risiko zählt. Wo ein Frontier-Modell benötigt wird, ist der Aufruf gegatet, geloggt und auf nicht-sensitive Payloads beschränkt.

Jede generierte Antwort wird mit Chunk-IDs, Modellversion, Retrieval-Scores und Zeitstempel ausgeliefert. Die Quellenangabe ist keine Fußnote - sie ist die Audit-Spur by construction.

Kaufen Sie nicht 'das LLM durchsucht Ihre Dokumente'. Das Sprachmodell durchsucht gar nichts. Ein separates Retrieval-System wählt die Passagen aus, und das Modell liest nur, was der Retriever zurückgegeben hat. Wenn ein Anbieter diese Unterscheidung nicht in den ersten zehn Minuten erklären kann, überlebt der Rest des Decks den Kontakt mit Ihrem Audit-Team nicht.

Überspringen Sie nicht den Reranker. Cosine-Similarity auf gepoolten Embeddings ist ein Recall-Schritt, kein Precision-Schritt, und in der Finanzwelt ist die falsche-aber-ähnliche Passage gefährlicher als die fehlende Passage.

Behandeln Sie Chunking nicht als Nachgedanken. Fixed-size 512-Token-Chunks zerschneiden Sätze und zerstören Tabellen-Kontext; das Retrieval sieht in Demos gut aus und versagt an echten Prospekten.

Lassen Sie den Index nicht außerhalb des Perimeters leben. Eine gehostete Vector-Datenbank in einer fremden Jurisdiktion ist ein IKT-Drittanbieter-Konzentrationsrisiko unter DORA, unabhängig davon, wie bequem die API ist. Halten Sie Gewichte, Vektoren und Prompts in einem Perimeter, auf den Sie zeigen können.