Jev im Praxistest: Ein Modell für die kleinen Urteile

Jev erzeugt keinen Text. Es bekommt einen Sachverhalt, also eine Mail, ein Log oder einen ganzen Vorgang mit Anhängen, dazu typisierte Fragen: Ist diese Aussage wahr, welche dieser Optionen trifft zu, wo auf dieser Skala liegt der Fall. Zurück kommt pro Frage ein Wert mit Wahrscheinlichkeit. Kein Satz dazu, nichts zum Parsen.

TypeSafe AI nennt die Gattung System-One-Modell und verspricht vier Dinge: schneller als ein Sprachmodell, billiger, keine Halluzinationen, echte Wahrscheinlichkeiten.¹ Ich habe seit ein paar Tagen Vorabzugang und drei Tage lang nachgemessen, gegen Jev selbst und gegen drei günstige Sprachmodelle auf denselben Fällen.² Zwei halten, zwei nur halb. Die interessantere Frage ist ohnehin, wofür man so ein Modell nimmt und wofür nicht.

Kein Sprachmodell mit Schema

Ein Sprachmodell mit JSON-Schema liefert auf den ersten Blick dasselbe. Es schreibt Wort für Wort einen Text, der am Ende ins Schema passt. Will ich von ihm eine Wahrscheinlichkeit, muss ich es bitten, eine Zahl zu schreiben, und ihm vorher erklären, was 70 Prozent bedeuten sollen. Bei Jev ist die Verteilung über den Wertebereich das Ergebnis selbst. Die Zahl kommt umsonst, und die Form stimmt immer.

Ob die Zahl auch gut ist, steht auf einem anderen Blatt. In meinem Testsatz waren alle drei Sprachmodelle auf den entscheidbaren Fällen besser kalibriert als Jev, GLM 5.3 Flash am deutlichsten.³ Wie gut die Zahl zur eigenen Wirklichkeit passt, muss man auf eigenen Daten nachmessen, bei jedem Modell.

Sortieren für drei Cent

Die 758 Jev-Anfragen für Vergleich und Kontaminationstest, zusammen 734.000 Eingabe-Token, haben 3 Cent gekostet. Gegen GLM 5.3 Flash, das günstigste Sprachmodell im Vergleich, ist das Faktor 3.

Beim Tempo verspricht TypeSafe 70 bis 500 Millisekunden.¹ Über eine offengehaltene Verbindung antwortet Jev aus Deutschland in 260 Millisekunden im Median. Davon sind rund 160 der Weg nach Oregon und zurück, die Bearbeitung selbst meldet der Server mit 80 Millisekunden. GPT-5.6 Luna über die schnellste Route und GLM 5.3 Flash lagen in denselben Minuten zwischen 500 und 1.100 Millisekunden.² Das Versprechen hält.

Interessanter als der Preis pro Anfrage ist, wie er zustande kommt.

Das ändert, wie man ein Feature schneidet. Man stellt an einer Stelle alle Fragen, die man zu einem Vorgang hat, und bekommt für jede eine Zahl. Bündeln kann ein Sprachmodell auch, nur zahlt man dort jede erzeugte Antwort mit.

Wofür ich das nehmen würde: Sensordaten und Telemetrie deuten, also ist dieses Muster auffällig, ist dieser Log-Eintrag neu oder bekannt. Vorsortieren statt entscheiden, ein Ticket in eine Warteschlange legen, eine Mail einer Abteilung zuordnen, beides reversibel, solange der Fehler rechtzeitig auffällt. Oder als Gate vor dem teuren Modell: Braucht dieser Fall überhaupt ein Sprachmodell? Wobei ein Gate, das den falschen Fall abweist, nicht mehr folgenarm ist.

Drei Kriterien, und alle drei müssen gelten. Die Entscheidung ist folgenarm, sie ist billig zu korrigieren, und sie hängt nicht allein an einem unbegründeten Modellurteil. Das trifft auf erstaunlich viel zu, nämlich auf all die Fälle, für die ich heute ein Sprachmodell rufe, obwohl ich keine Prosa brauche.

Dahinter beginnen drei Grenzen.

Was das Schema nicht vorsieht, verschwindet

TypeSafe wirbt mit null Halluzinationen. Das stimmt in einem engen Sinn: Es entsteht kein Text, also kann keiner erfunden werden, und die Antwort passt immer ins Schema. TypeSafe räumt selbst ein, dass die Null aus dieser Garantie folgt und nicht gemessen wurde.¹ Fachlich falsch kann die Zahl weiterhin sein.

Wie oft, habe ich an 120 Fällen mit bekannter Antwort gemessen, gegen drei günstige Sprachmodelle. 80 Fälle lassen sich aus dem Sachverhalt entscheiden, bei 40 schweigt er. Alle vier bekommen dieselbe Auswahlfrage mit drei Optionen: ja, nein, steht nicht da. Bei den 80 zählt das richtige Urteil, eine Enthaltung zählt als Fehler. Bei den 40 zählt, ob das Modell “steht nicht da” wählt.

Fehlende Information erkennen alle vier fast vollständig, sobald sie die Option haben. Der Unterschied liegt bei den entscheidbaren Fällen, und dort an einer Stelle: Wo der Sachverhalt die Antwort nur andeutet, enthalten sich alle, die Sprachmodelle häufiger als Jev. Zwingt man alle zu Ja oder Nein, kehrt sich das um, dann liegen die Sprachmodelle mit 80 bis 86 Prozent knapp vor Jev mit 79.

Nimmt man Jev die dritte Option weg und fragt schlicht Ja oder Nein, verneint es alle 40 Aussagen ohne Information, im Mittel mit 24 Prozent. Tatsächlich trafen 47 Prozent zu.

Fehlende Information ist kein Nein. Wenn das Schema den Unterschied nicht vorsieht, verschwindet er geräuschlos.

Das gilt für jedes Modell mit Schema. Jev trifft es härter, weil es außer dem Schema nichts hat. Was ich nicht in die Fragen stecke, kann es nicht beantworten.

Was in der Akte steht, wirkt mit

Die zweite Grenze steckt im Sachverhalt selbst. Ich habe fünf Vorgänge genommen, jeweils eine Urteilsfrage gestellt und der Person im Sachverhalt unterschiedliche Eigenschaften angehängt, gemessen gegen eine gleich lange, belanglose Rahmung. Vier Modelle, 1.120 Messungen.

Der eindeutigste Fall ist die Ticketpriorität. Ob jemand Senioren betrogen hat, hat nichts damit zu tun, wie dringend sein Export-Fehler behoben gehört.

Bei den anderen vier Vorgängen war strittig, ob die Angabe sachfremd ist. Bei einer Bewerbung ist eine Betrugsverurteilung ein Kriterium, ob es das sein darf, ist eine rechtliche Frage. Deshalb hier nur der Ticketfall.

Der Befund ist klein, aber er hält: Auch eine typisierte Entscheidung lässt sich von Angaben beeinflussen, die zur Frage nichts beitragen. Und kein Modell sortiert von selbst, welche Merkmale zulässig sind.

Welche Merkmale zulässig sind, entscheide ich beim Bauen des Sachverhalts. Das Modell tut es nicht.

Praktisch heißt das: Freitext vom Kunden gehört gefiltert, bevor er in eine Urteilsfrage geht. Das setzt dem Bündeln von vorhin eine Grenze: In einen Request gehören die Fragen, die denselben zulässigen Ausschnitt des Vorgangs brauchen. Und wo ein Merkmal zulässig ist, gehört es als eigene Frage in den Vorgang statt als Nebensatz im Fließtext. Dann ist das Kriterium sichtbar, und wie schwer es wiegt, legt der Code fest.

Die Zahl sagt nicht, warum

Die dritte Grenze zeigt sich an dem Fall, der mich beim ersten Ausprobieren am meisten beeindruckt hat.

“URGENT!!! CRITICAL!!! Produktionsdatenbank komplett ausgefallen, wir verlieren Umsatz, brauchen SOFORT jemanden.”

Eine Supportmail, wie sie in jedem Ticketsystem liegt. Im selben Vorgang das Audit-Log: Der Absender hat die Instanz fünf Minuten vorher selbst gelöscht. Demo-Mandant, kein Vertrag.

Drei Zahlen, die den Ton von der Sachlage trennen. Und genau diesen Fall würde ich Jev nicht allein überlassen. Der Sachbearbeiter, bei dem der Vorgang landet, bekommt 82 Prozent dafür, dass der Kunde es selbst war, und keinen Satz dazu, warum. Er liest Mailverlauf und Log noch einmal von vorn. Diese Prüfhilfe liefert Jev nicht mit. Wo Menschen die Entscheidung nachvollziehen müssen, muss die Anwendung die Belege dazulegen, hier den Log-Eintrag mit Zeitstempel und den Mandantenstatus, oder ein Sprachmodell eine Begründung nachliefern. Auf die darf man sich allerdings nicht verlassen: Anthropic hat gezeigt, dass Modelle Hinweise verwerten, ohne sie in der Begründung zu nennen.⁴

Damit dreht sich die Kostenrechnung. Gegen GLM spart Jev 2,5 Cent auf tausend Anfragen. Führt ein Prozentpunkt mehr Fehler dazu, dass ein Mensch zehn Vorgänge zusätzlich anfasst, ist der Vorsprung weg. Kreditwürdigkeit und Personalauswahl stehen in Anhang III des AI Act. Dort schuldet man Transparenz über den Entscheidungsprozess, keine Begründungsprosa vom Modell, und eine nackte 82 ohne Belege ist im Audit die unangenehmere Ausgangslage.

Das kleine Modell unter dem großen

Ich freue mich über dieses Werkzeug, obwohl es bei der Urteilsqualität nicht besser ist als ein günstiges Sprachmodell. Es ist ein Kandidat für die Stellen, an denen bisher ein Sprachmodell saß, obwohl niemand Prosa brauchte: die vielen kleinen Urteile. Dort ist Jev schneller und im Bündel deutlich billiger. Und die Wahrscheinlichkeit kommt ohne Umweg.

Nach oben hin bleibt alles beim Alten. Wo Text entstehen soll oder eine Begründung geschuldet ist, bleibt das Sprachmodell. Jev hängt darunter.