Der Erzmagier-Test: Welches KI-Setup findet Firmenwissen wirklich?
Bevor ein Modell in ein Kundensystem kommt, muss es beweisen, dass es verstreutes Firmenwissen findet, korrekt beantwortet und belegt. Genau das misst der Erzmagier-Test: reproduzierbar, mit kontrollierter Ground Truth, statt mit Marketingfolien.
Warum wir messen, statt zu glauben.
Die Modellwahl entscheidet über Datenschutz, Kosten und Antwortqualität. Diese Entscheidung sollte auf Messwerten beruhen, nicht auf Bauchgefühl oder Anbieterfolien.
Lokal oder Cloud ist eine Vertrauensfrage
Viele Unternehmen wollen Wissen im eigenen Haus halten. Ob ein lokales Modell dafür gut genug ist, lässt sich nur mit einem kontrollierten Vergleich beantworten.
Benchmarks aus dem Internet reichen nicht
Öffentliche Benchmarks testen Schulwissen und Logikrätsel. Sie sagen wenig darüber, ob ein Modell die gültige SOP-Version in einem Ordnerchaos aus PDF, Excel und E-Mail findet.
Ground Truth statt Eindruck
Weil jedes Dokument und jeder Fakt im Korpus kontrolliert erzeugt wird, ist für jede Aufgabe bekannt, welche Antwort und welche Belege richtig sind. Bewertung wird prüfbar.
Das Testfeld: die Dokumentenwüste.
Grundlage ist das Korpus „Dokumentenwüste": eine frei erfundene deutsche Mittelstandsfirma, die Falkenberg Maschinenbau GmbH, Sondermaschinenbau. Ihre Dokumentlandschaft ist absichtlich so unordentlich wie die Realität.
| Eigenschaft | Ausprägung | Warum das wichtig ist |
|---|---|---|
| Umfang | Rund 2000 Dokumente | Genug Masse, damit Suche wirklich gefordert ist. |
| Formate | PDF, DOCX, XLSX, E-Mail, Markdown | Wissen liegt im Betrieb nie in nur einem Format. |
| Inhalte | Angebote, Auftragsbestätigungen, Preislisten, Besuchsberichte, SOPs, Prüfberichte | Typische Quellen aus Vertrieb, Qualität und Betrieb. |
| Ground Truth | Rund 200 Fakten-Anker, 80 Aufgaben mit Gold-Antworten | Jede Antwort ist gegen bekannte Wahrheit prüfbar. |
| Reproduzierbarkeit | Deterministisch generiert mit festem Seed | Zwei Läufe erzeugen ein identisches Korpus. Ergebnisse sind wiederholbar. |
| Datenschutz | Alles fiktiv, E-Mail-Domains enden auf .example | Keine echten Personen-, Kunden- oder Geschäftsdaten. |
Drei getrennte Messungen.
Kernprinzip des Tests: eine schlechte Suchschicht darf nie mit einem schlechten Modell verwechselt werden. Deshalb wird jede Stufe einzeln gemessen.
Findet die Suche die richtigen Dokumente?
Das Retrieval wird deterministisch gegen die bekannten Zieldokumente jeder Aufgabe gemessen, mit Kennzahlen wie Trefferquote und Ranking-Qualität. Ganz ohne subjektive Bewertung.
Antwortet das Modell richtig?
Alle Modelle bekommen exakt denselben gefundenen Kontext. Ein blinder Judge bewertet die Antworten, ohne zu wissen, von welchem Modell sie stammen.
Wie schnell ist das Setup?
Latenz und Durchsatz werden auf der Zielhardware gemessen: lokale Modelle über Ollama auf Hardware der 16-GB-VRAM-Klasse, Cloud-Modelle über API.
Korpus und Messaufbau stehen, die Vergleichsläufe laufen.
Das Korpus ist generiert und durch automatische Qualitätsprüfungen abgesichert, der Messaufbau für alle drei Messungen ist gebaut. Die Ergebnistabellen je Modell und Konfiguration werden nach Abschluss der Läufe auf dieser Seite veröffentlicht.
- Ergebnisse erscheinen hier, sobald die Läufe abgeschlossen sind.
- Veröffentlicht werden Methodik, Konfiguration und Kennzahlen je Modell.
- Vorab-Einordnung für Ihren Fall gern im kostenlosen Erstgespräch.
Häufige Fragen zum Erzmagier-Test.
Warum fiktive Daten?
Nur mit vollständig erfundenen Daten lässt sich ein Testkorpus veröffentlichen, mit kontrollierter Ground Truth versehen und beliebig oft regenerieren, ohne Datenschutz- oder Geheimhaltungsfragen. Firma, Personen, Kunden und Beträge sind erfunden, alle E-Mail-Domains enden auf .example.
Warum drei getrennte Messungen?
Damit eine schlechte Suchschicht nie mit einem schlechten Modell verwechselt wird. Retrieval wird deterministisch gemessen, Antwortqualität mit identischem Kontext durch einen blinden Judge, Geschwindigkeit auf der Zielhardware.
Was heißt lokal gegen Cloud konkret?
Lokal bedeutet Modelle, die über Ollama auf Hardware der 16-GB-VRAM-Klasse laufen, also im eigenen Haus betrieben werden können. Cloud bedeutet Modelle über API. Der Test zeigt den tatsächlichen Qualitätsabstand für typische Firmenfragen.
Lässt sich das auf unser Unternehmen übertragen?
Ja. Dieselbe Methodik wenden wir im Readiness-Check auf Ihre Dokumentlandschaft an: erst messen, was auffindbar und belegbar ist, dann entscheiden, welches Setup und welcher Prozess sich lohnen.
Alles fiktiv, alles reproduzierbar.
Verwandte Erzmagier-Themen.
Erst messen, dann entscheiden.
Im Readiness-Check übertragen wir die Testlogik auf Ihre Dokumentlandschaft: Was ist auffindbar, was ist belegbar und welches Setup passt zu Ihren Datenschutzanforderungen?