Vectorize · Die Pipeline im Detail
Jeder Schritt zweimal erklärt: einfach gesagt — und darunter, für die Technik-Interessierten, was genau passiert.
Ihre Dateien landen über das Upload-Portal in einem Tresor in Deutschland. Jede Datei bekommt sofort einen Fingerabdruck und einen Eintrag im Inventarbuch — nichts kann unbemerkt fehlen oder doppelt sein. Ergebnis: 3.202 von 3.202 Dateien lückenlos erfasst, 46 Duplikat-Gruppen erkannt, über 1.000 kaputte Umlaut-Dateinamen repariert.
TechnischS3-kompatibler Object Storage (Nürnberg), Prefix-isoliert pro Mandant. Beim Einlesen wird jede Datei gestreamt SHA-256-gehasht; Manifest als Postgres-Zustandsmaschine (Datei → Status → Prüfschritt), Abgleich Bucket ↔ Manifest, Duplikat-Cluster über identische Hashes, CP850-Encoding-Reparatur der Dateinamen.
Wie eine gute Poststelle: Rechnungen, Angebote, E-Mails, Fotos, Tabellen — jede Datei wird ihrer Sorte zugeordnet (91 % vollautomatisch), denn jede Sorte wird später anders gelesen.
TechnischRegel- und modellgestützte Klassifikation in eine Dokumentklassen-Taxonomie (doc_class); die Klasse steuert die Parsing-Route und wird als Metadatum durchgereicht bis in die Zitate.
Digitale PDFs werden direkt ausgelesen. Gescannte Papiere liest eine Texterkennung. Fotos beschreibt eine Bild-KI in einem deutschen Satz („Wechselrichter an Hauswand montiert“), damit auch Bilder auffindbar werden. Tabellen bleiben Tabellen. Ergebnis: alle 3.202 Dateien gelesen, null Ausfälle.
TechnischFormat-Routing: born-digital PDF → Text-Layer-Extraktion; Scans/TIFF → OCR mit Layout- und Tabellenerkennung; Bilder → EXIF + OCR + Vision-Modell-Caption (als maschinell markiert, nie als Quellen-Fakt zitierbar); E-Mails → Header+Body-Parsing. Ausgabe: kanonisches JSON pro Dokument mit Seitenreferenzen. 535 Dateien OCR-gelesen, 26,6 Mio. Zeichen extrahiert.
Zwei unabhängige Leser lesen dasselbe Dokument; stimmen sie nicht überein, schaut ein KI-Gutachter auf das Originalbild der Seite. Nur wenn auch dann Widerspruch bleibt, entscheidet ein Mensch. Jede Entscheidung wird protokolliert — für jedes Dokument steht fest: wer hat gelesen, wer hat geprüft.
TechnischDual-Extractor-Agreement (Ø 0,81 auf PDFs), Sprach-Wortscore de/en 0,88–0,93 als Auffälligkeits-Signal; ~2,5 % geflaggt → Vision-Language-Modell rendert die Seite und vergleicht mit der Extraktion (Agreement-Score, Auto-Clear / illegible / Mensch). Verdikt-Kette vollständig im Register — Audit-Trail.
Ein 40-Seiten-Dokument beantwortet selten eine Frage am Stück. Deshalb wird jedes Dokument in idee-große Karten zerschnitten — entlang von Überschriften und Absätzen, nie mitten im Gedanken. Aus dem Archiv wurden so 31.514 Karten.
TechnischStrukturbewusstes, deterministisches Chunking (Überschriften/Abschnitte, Tabellen zusammenhaltend) statt LLM-entschiedener Schnitte: reproduzierbar, kostenlos pro Re-Ingest, versionierbar. Chunk trägt Dokument-ID, Seitenbezug, Klasse, Projekt.
Jede Karte bekommt eine lange Zahlenreihe, die ihre Bedeutung beschreibt — ähnliche Inhalte bekommen ähnliche Zahlen. So findet die Suche „Undichtigkeit am Dach“ auch dann, wenn im Dokument „Wassereintritt Flachdach“ steht. Nebenbei merkt sich das System die wichtigsten Fachwörter jeder Karte.
TechnischEmbedding mit BGE-M3, selbst gehostet auf EU-GPU: dichter 1024-d-Vektor und gelernte Sparse-Gewichte aus einem Durchlauf (zwei Retrieval-Signale, ein Modell). Durchsatz ~230 Chunks/s auf einer GPU; Index-Generationen versions-gepinnt, Re-Embeds blue/green.
Jede Karte steht danach in drei Registern: einem Wörterbuch (findet exakte deutsche Wortformen), einer Bedeutungs-Landkarte (findet Sinn) und einem Fachwort-Register. Daneben führt das System einen klassischen Katalog aller Dateien und Projekte — für Fragen wie „alle“, „wie viele“, „das neueste“.
TechnischOpenSearch: BM25 mit deutschem Analyzer (Komposita, Stemming), dichte Vektoren im HNSW-Graph (kNN), Sparse-Signale; parallel Postgres-Katalog (Manifest + Metadaten) für strukturierte Abfragen. Top-k-Vektorsuche beantwortet strukturell keine „alle/every“-Fragen — dafür existiert die Katalog-Spur.
Ihre Frage geht an eine KI, die wie ein Bibliothekar arbeitet: Sie beantwortet nichts aus dem Kopf, sondern entscheidet, wo nachzuschlagen ist — in den Texten, im Katalog oder bei den Original-Dateien. Bei Folgefragen versteht sie den Zusammenhang („das zweite Projekt“), holt die Fakten aber immer neu aus den Registern.
TechnischTool-Calling-Agent mit drei Werkzeugen: suche (Passagen), katalog (feste, parametrisierte SQL-Abfragen — nie freies SQL), dateien (Original-Dateien je Projekt). Max. 3 Tool-Runden; Konversationshistorie nur clientseitig, Fakten pro Runde frisch.
Gesucht wird auf vier Wegen zugleich: exakte Nummern und Kennungen, Wörterbuch, Bedeutungs-Landkarte, Fachwort-Register. Dann wird abgestimmt: Was mehrere Wege unabhängig finden, steigt nach oben. So entsteht eine Vorauswahl von rund 100 Karten.
TechnischExact-ID-Lane → BM25 + kNN (Frage wird mit demselben BGE-M3 eingebettet) + Sparse, fusioniert mit Reciprocal Rank Fusion — parameterfrei, robust, auch cross-lingual (englische Frage findet deutsche Belege).
Ein zweites, gründlicheres KI-Modell liest Frage und jede Karte zusammen und fragt: Beantwortet diese Karte wirklich diese Frage? Nur die besten Karten kommen weiter.
TechnischCross-Encoder-Reranking (Qwen3-Reranker, fp16 auf GPU): Ja-Wahrscheinlichkeit pro (Frage, Passage)-Paar über die ~100 Kandidaten, Top-8 als nummerierte Evidenz an den Agenten.
Die KI darf nur schreiben, was in den vorgelegten Karten steht, und muss jede Aussage mit einer Fußnote [1], [2] … belegen. Steht es nirgends, lautet die Antwort „nicht gefunden“ — raten ist verboten.
TechnischEvidence-locked Prompting: Antwortgenerierung ausschließlich über nummerierte Evidenzblöcke; retrieved Content wird als Daten behandelt (Prompt-Injection-Abwehr); strukturierte JSON-Ausgabe inkl. Zitatliste.
Bevor Sie die Antwort sehen, prüft ein Korrektor: Existiert jede Fußnote? Passt sie? Fehlt etwas, muss die KI nachbessern. Erst dann erscheint die Antwort — mit dem Prüfsiegel, den Quellen und einem Klick zum Originaldokument. Und die Qualität bleibt messbar: Ein fester Katalog von Prüffragen wird nach jeder Änderung am System erneut durchgespielt.
TechnischZitat-Cross-Check gegen die Evidenzmenge + eine korrektive Runde; VERIFIED-Badge in der UI; Originale über session-gebundenen, mandanten-geprefixten Streaming-Proxy (Zugangsdaten nur serverseitig). Gold-Set-Evaluation als Regressionstest (maschinen-verifizierte Katalogfragen + menschlich adjudizierte Inhaltsfragen).