Guardrails und strukturierte Ausgabe: drei Schienen, kein einzelnes Schild.

Guardrails sind kein Schild. Sie sind drei verschiedene Mechanismen, die an drei verschiedenen Positionen der Generierungs-Pipeline angewandt werden, und jede setzt eine andere Klasse von Constraints durch. Sie zu vermengen ist der erste Fehler, den jedes Anbieter-Deck macht.

Eingabe-Schienen sind Klassifikatoren, die Prompts vor dem Modell durchleuchten: PII-Erkennung, Jailbreak-Erkennung, Themenrestriktion, Prompt-Injection-Signaturen. Die Referenzimplementierungen sind selbst Sprachmodelle, fein-getunt darauf, ein kleines kategorisches Label auszugeben - Llama Guard von Meta und Anthropics Constitutional Classifiers sind die öffentlichen Beispiele.

Decodierungs-Schienen sind Token-Level-Constraints, die während der Generierung greifen. Der grundlegende Mechanismus ist Logit-Masking: bei jedem Generierungsschritt werden die Logits über das Vokabular mit einer 'gültige nächste Tokens'-Menge geschnitten, die aus einer Restriktion berechnet wird - eine Regex, ein JSON-Schema oder eine kontextfreie Grammatik. Tokens außerhalb der gültigen Menge bekommen ihre Wahrscheinlichkeiten im Log-Raum auf minus Unendlich gesetzt, bevor Softmax greift. Outlines kompiliert ein JSON-Schema auf eine Regex herunter, dann auf einen endlichen Automaten, und schlägt pro Schritt die gültigen nächsten Tokens nach FSM-Zustand nach. XGrammar, inzwischen Default in vLLM, SGLang und TensorRT-LLM, arbeitet unter 40 Mikrosekunden pro Token. llguidance von Microsoft parst auf Byte-Ebene, unabhängig vom Tokenizer. Die nativen Structured-Outputs-Features der großen Modell-Anbieter implementieren dieselbe Idee innerhalb der Provider-Stacks.

Ausgabe-Schienen sind Validatoren nach der Generierung: ein Guard-Objekt umschließt den Aufruf, lässt Validatoren (Regex, Klassifikator, semantische Prüfungen) auf die Antwort laufen und schlägt dann fehl, wiederholt oder repariert. NeMo Guardrails modelliert die gesamte Schleife als fünf Stufen - Eingabe, Dialog, Retrieval, Ausführung, Ausgabe - deklarativ konfiguriert.

Der FSM-Coalescence-Trick ist erwähnenswert: hat ein Zustand nur einen ausgehenden Übergang, überspringt man den Sample-Schritt komplett. Dokumentierte Speed-ups um etwa Faktor 5 sind typisch.

Die strukturelle Analogie, die bei Portfoliomanagern und Compliance-Leitern landet, ist die Pre-Trade-Compliance- / Post-Trade-Surveillance-Paarung in Handelssystemen. Pre-Trade blockiert die Order bei der Aufgabe. Post-Trade prüft, was ausgeführt wurde. Sie sind komplementär, nicht redundant, und Sie würden niemals das eine durch das andere ersetzen.

Guardrails sind dieselbe Idee, angewandt auf einen KI-Workflow. Die Eingabe-Schiene ist das Pre-Trade-Pendant: sie stoppt einen Prompt, der gegen die Policy verstößt, bevor das Modell ihn überhaupt sieht. Die Decodierungs-Schiene ist der In-Flight-Constraint: die Ausgabe wird Zeichen für Zeichen zu gültigem JSON gegen das veröffentlichte Schema Ihres Hauses gezwungen, mit Null-Chance, dass ein Schema-fremdes Feld im nachgelagerten System auftaucht. Die Ausgabe-Schiene ist die Post-Trade-Surveillance: sie validiert die abgeschlossene Antwort gegen Fachregeln, klassifiziert sie für das Routing und gibt sie entweder durch, wiederholt oder stellt sie unter Quarantäne.

Für einen regulierten Buy-Side-Workflow - Portfolio-Kommentierung, Factsheet-Entwurf, KIID-zu-internem-Schema-Ingestion, Durchsetzung einer Compliance-Taxonomie - ist insbesondere die Decodierungs-Schiene das, was eine ganze Klasse von Integrationsrisiko entfernt. Wenn das Schema der Vertrag ist, ist der FSM das, was ihn durchsetzt.

MiFID II Artikel 17 verlangt von Wertpapierfirmen, die algorithmische Systeme betreiben, wirksame Kontrollen, Kill-Switches und Pre-Trade-Limits. Die aufsichtsrechtliche Erwartung sind geschichtete Kontrollen mit definierter Position in der Order-Pipeline. Behandelt man Guardrails als KI-Pendant zu diesem Kontroll-Set, ist der strukturelle Fit unmittelbar.

EU AI Act Anhang IV Abschnitt 2(b) verlangt die Dokumentation der Risikomanagement-Maßnahmen, die auf ein Hochrisiko-KI-System angewandt werden. Ein einzelnes Schild-Symbol ist keine Maßnahme. Drei Schienen, jede benannt, jede mit dokumentiertem Mechanismus, ist das Artefakt, das die Technische Dokumentation erwartet.

DORA Artikel 6 bis 8 verlangen ein ICT-Risikomanagement mit dokumentierten Kontrollen und Incident-Handling. Die Guardrail-Schicht ist eine ICT-Kontrolle und muss in diesem Register leben. Wir betreiben den Constraint-Apparat auf einer Infrastruktur, in der Prompts, Masken und Validator-Ausgaben innerhalb der Mandantenumgebung und Region des Kunden bleiben - die Schienen, die das Modell schützen, werden nicht selbst zum Daten-Exfiltrations-Kanal.

Schema zuerst. Jeder Workflow beginnt mit einem Pydantic-Modell oder einem JSON-Schema, das als versioniertes Artefakt im Repository des Kunden veröffentlicht ist. Dieses Schema ist die Source of Truth - der FSM wird daraus kompiliert, der Ausgabe-Validator läuft dagegen, das nachgelagerte System liest es. Kein Drift zwischen den Schichten, weil es eine Definition gibt.

Die Decodierungs-Schiene nutzt XGrammar oder Outlines, je nach Runtime. Für hochdurchsatz-orientierte Batch-Workloads betreiben wir XGrammar innerhalb von vLLM auf den GPUs des Kunden. Für interaktive Workflows mit geringerem Durchsatz auf gehosteten Modellen nutzen wir das native Structured-Output-Feature des Anbieters mit demselben kompilierten Schema. Der Mechanismus ist derselbe: Logit-Maske, FSM-Schritt, Token-Coalescence, wo der Zustandsgraph es erlaubt.

Die Eingabe-Schiene schichtet einen lokalen PII-Detektor plus einen fein-getunten Klassifikator für die Liste verbotener Themen des Hauses. Die Ausgabe-Schiene schichtet einen semantischen Validator (zitiert die Antwort eine vom Haus zugelassene Quelle?) und einen deterministischen Validator (parst das JSON, passen die regex-typisierten Felder, liegen die numerischen Wertebereiche in der Toleranz?).

Inferenz, Klassifikatoren und Validatoren laufen alle auf lokaler oder Private-Tenancy-Infrastruktur - das ICT-Drittparteienrisiko nach DORA Art. 28 bis 30 sinkt, weil es keine Drittpartei gibt. Der Constraint-Apparat ist by construction Teil der Audit-Spur: jeder Prompt, jede Maske, jede Validator-Entscheidung wird mit stabiler ID protokolliert und auf dem Speicher des Kunden vorgehalten.

Das Latenz-Budget ist nicht verhandelbar. Wir messen den Per-Token-Overhead der Decodierungs-Schiene gegen die unrestringierte Baseline und zielen auf die publizierten XGrammar-Werte. Verträgt ein Workflow den Masken-Aufwand nicht, verschieben wir die Struktur auf die Ausgabe-Schiene und akzeptieren die Retry-Schleife - wir lassen die Restriktion nicht stillschweigend fallen.

Setzen Sie kein schwebendes Vorhängeschloss mit der Aufschrift 'GUARDRAILS' auf Ihr Architekturdiagramm. Es löscht den drei-schichtigen Mechanismus aus und ersetzt ihn durch ein Gefühl. Compliance-Leiter lesen das als Marketing.

Verwenden Sie nicht die Metapher 'KI-Gehirn im Käfig'. Sie zeichnet das Modell als Gegner und stellt die Risikoposition des Käufers falsch dar - das Risiko ist, dass das Modell eine Schema-fremde Ausgabe produziert, die ein nachgelagertes System bricht, nicht dass das Modell feindselig wäre.

Zeichnen Sie Guardrails nicht als einzelnes 'Eingabe -> Filter -> Ausgabe'-Rohr. Es verbirgt den Token-Level-Mechanismus, der genau die strukturelle Arbeit leistet, die kein Klassifikator nachbilden kann.

Überspringen Sie die Ausgabe-Schiene nicht, nur weil die Decodierungs-Schiene gültiges JSON erzwungen hat. Schema-Validität ist nicht fachliche Validität - eine perfekt typisierte falsche Antwort ist immer noch falsch.

Schicken Sie Prompts, Masken oder Validator-Logs nicht an eine Drittanbieter-Guardrails-SaaS ohne Eintrag im DORA-Art.-28-Register. Die Constraint-Schicht ist in Scope für das ICT-Risiko.