LoRA: der kleine Adapter, der die Stimme Ihres Hauses trägt

Jeder quantitative PM hat schon mit einem Factor-Model gearbeitet. MSCI Barra, Fama-French, ein internes Risikomodell - die Form ist immer dieselbe. Es gibt ein großes dichtes Objekt, das die ambiente Struktur erfasst: eine Kovarianzmatrix der Asset-Returns, validiert, langsam veränderlich, als Grundwahrheit behandelt. Auf diesem ambienten Objekt sitzt eine kleine Menge von Faktoren - fünf, zehn, vielleicht fünfzig - die den Großteil der Varianz erklären, die Sie tatsächlich interessiert. Die Faktoren sind nicht die Welt; sie sind die niedrigdimensionale Re-Gewichtung, mit der Sie sagen können 'dieses Portfolio ist überwiegend Value plus Momentum minus ein Quality-Tilt', ohne die Kovarianzmatrix jedes Mal neu zu schreiben, wenn Sie Ihre Sicht ändern.

LoRA - Low-Rank Adaptation, Hu et al., arXiv:2106.09685, 2021 - ist derselbe architektonische Schritt, angewendet auf ein Sprachmodell. Das Basismodell ist das ambiente Objekt: ein eingefrorener 13B- oder 70B-Parameter-Block, der bereits trainiert, evaluiert und (im regulierten Fall) validiert wurde. Der Adapter ist eine kleine Menge von Low-Rank-Matrizen, die obendrauf geschraubt werden und die Basis für das Vokabular, die Formate und den Hausstil Ihres Hauses re-gewichten. Die Basis ist die Kovarianz. Der Adapter ist das Faktor-Exposure. Die Basis bewegt sich nie; der Adapter ist das, was Sie tatsächlich trainieren, ausliefern und steuern.

Das ist der Fehlschluss, den dieser Artikel korrigieren soll. 'Fine-tuning' klingt nach 'das Modell auf Ihren Daten neu trainieren'. In einem modernen Stack ist es das fast nie. Es ist das Anbringen eines Low-Rank-Faktors an einer eingefrorenen Basis.

Für jede Gewichtsmatrix W im Basismodell der Form (d, k) lernt LoRA zwei kleine Matrizen A der Form (r, k) und B der Form (d, r), wobei der Rang r typischerweise 4, 8, 16 oder 64 ist - klein im Vergleich zu d und k. Das effektive Gewicht zur Inferenzzeit ist W + BA. Die Basis W wird nie modifiziert; die einzigen trainierbaren Parameter liegen in A und B. Die Anzahl trainierbarer Parameter fällt von d mal k auf r mal (d + k), routinemäßig eine Reduktion um den Faktor hundert bis tausend. Für eine 13B-Parameter-Basis ist ein Adapter mit Rang 8 typischerweise wenige Millionen Parameter - etwa 0,05 Prozent der Basis.

QLoRA (Dettmers et al., 2023) quantisiert die eingefrorene Basis auf 4 Bit und trainiert den Adapter in höherer Präzision, sodass ein 65B-Fine-tune auf eine einzelne 48-GB-GPU passt. DoRA (Liu et al., 2024) zerlegt das Update in Magnitude und Richtung für einen kleinen Qualitätsgewinn. Multi-LoRA-Serving routet ein einziges Basismodell hinter N verschiedene Adapter zur Inferenzzeit - Adapter tauschen, Persona tauschen, die Basis nie anfassen. Alles läuft innerhalb des Haus-Perimeters: die Basisgewichte, die Adaptergewichte, der Trainingskorpus, der Inferenzpfad. DORA Art. 28-30 gilt für den Inferenz-Stack, den Sie kontrollieren, nicht für einen gehosteten Fine-tuning-Service auf fremder Hardware. Die Daten bleiben im Haus.

Was der Adapter tatsächlich trägt, ist Stil, Format und Vokabular - die Reporting-Vorlagen Ihres Hauses, Ihren Hausstil, die richtige Art, eine SFDR-Offenlegung zu formulieren, Ihre interne Produkttaxonomie. Was er nicht trägt, sind Fakten. Fakten gehören in RAG, gegen aktuelle Quellen, mit Zitationen. Die Trennung ist bewusst: Fakten müssen sich täglich ändern können, Stil ändert sich jährlich; das eine gehört in einen Retrieval-Store, das andere in einen eingefrorenen Adapter.

Die operative Geschichte ist Governance. Ein LoRA-Adapter ist ein kleines, benanntes, versioniertes Artefakt - typischerweise wenige Megabyte Gewichte plus ein Trainingsdaten-Manifest. Er hängt an einem Basismodell, das die Validierung bereits bestanden hat; er kann unabhängig gegen das Eval-Set des Hauses geprüft, zurückgerollt und ersetzt werden. Vergleichen Sie das mit einem Wholesale-Fine-tune, der eine frische Multi-Gigabyte-Modellvariante erzeugt: jede Variante ist ein neues Artefakt, das zu validieren, zu speichern und bei jedem Basis-Update neu zu validieren ist.

Dieselbe Eigenschaft macht Multi-Mandanten-Stilarbeit handhabbar. Eine eingefrorene Basis, ein validierter Inferenz-Stack und N Adapter - einer für deutschsprachige IC-Memos, einer für englische regulatorische Narrative, einer für den internen Research-Desk - jeder separat gesteuert und auditiert. Die Stimme des Hauses lebt im Adapter; das regulatorisch sichtbare schwere Heben wurde einmal auf der Basis erledigt.

SR 11-7 ist diesem Muster strukturell freundlicher gesinnt als einem Wholesale-Fine-tuning. Eine eingefrorene, validierte Basis plus ein kleiner auditierbarer Adapter passt sauber auf das Modellinventar und das Tiering nach SR 11-7: die Basis ist das validierte Modell, der Adapter ist eine Änderung, die ihrer eigenen Validierung und laufenden Überwachung unterliegt. EU AI Act Anhang IV Abschnitt 6 verlangt die Dokumentation von Lebenszyklus-Änderungen; ein Adapter-Swap ist eine einzelne, versionierte Änderung mit kleiner dokumentierter Oberfläche, kein Modell-Rewrite.

Paaren Sie das mit DORA Art. 28-30 und Datenresidenz: die Basisgewichte, die Adaptergewichte, der Trainingskorpus und der Inferenzpfad sitzen alle innerhalb des Haus-Perimeters. Nichts vom Hausstil oder von proprietärer Formulierung verlässt im Zuge von Training oder Serving die Grenze. Die Audit-Spur für jeden Adapter-Swap ist eine Zeile: Zeitstempel, Adapter-Version, Basis-Version, Freigabe des Validators.

Stellen Sie das nicht als generisches Neuronales-Netz-Diagramm mit Knoten dar, die mit 'Fine-tuning' beschriftet sind. Dieses Bild trägt keine strukturelle Information und transportiert die falsche Intuition - die Verbindungen des Basisnetzes werden nicht modifiziert. Die Basis ist eingefroren. Der ganze Punkt von LoRA ist, dass die Basis eingefroren ist. Zeigen Sie die Basis als durchscheinenden Block und den Adapter als kleines helles Modul daneben; zeigen Sie, dass die Trainingsupdates nur in den Adapter fließen; zeigen Sie die Basis unberührt.

Pitchen Sie Fine-tuning nicht als den Weg, die Fakten Ihres Hauses ins Modell zu laden. Es ist nicht der Weg. Fakten gehören in RAG, gegen aktuelle Quellen, mit Zitationen - in dem Moment, in dem sich die Hausansicht ändert, ändert sich auch das RAG-Retrieval. Fakten in einem eingefrorenen Adapter altern, und das System hat keine Möglichkeit, das zu wissen. Die richtige Architektur paart RAG (Fakten, aktuell, zitiert) mit LoRA (Stil, Format, Vokabular). Fine-tuning als Faktenspeicher zu verkaufen ist das häufigste und schädlichste Missverständnis im mentalen Modell des Käufers.

Vermarkten Sie Fine-tuning nicht als 'ein Custom GPT' oder 'Ihr privates Modell', ohne den Mechanismus zu benennen. Diese Formeln vermischen System-Prompting, RAG, Tool-Use und LoRA zu einer einzigen Blackbox, und der Käufer endet mit drei Jahren verworrener Erwartungen. Seien Sie spezifisch: eine eingefrorene validierte Basis, ein kleiner auditierbarer Adapter, ein dokumentierter Trainingskorpus und ein Inferenzpfad innerhalb Ihres Perimeters. Das ist die Beschreibung, die ein Model-Risk-Team abzeichnen kann.