Ist Jev die Zukunft des Spamfilters?

Diesen Monat ist TypeSafe AI mit Jev aus der Deckung gekommen, einem gehosteten Modell, das nicht chatten kann: Es nimmt eine typisierte Frage entgegen und gibt eine Wahrscheinlichkeit zurück. „Ist diese E-Mail Spam?“ ist die naheliegende Frage, also habe ich es gegen Klars eigenes Modell antreten lassen. Abgerechnet wird pro Token, bei meinen Nachrichten waren das 11 Cent pro Tausend.

Jev fängt mehr von meinem Spam als das Modell, das ich ausliefere, für elf Cent pro tausend Nachrichten. Fair ist der Vergleich nicht: Klars Filter läuft auf jedem Mac mit Apple-Chip, und nichts, was er liest, verlässt das Gerät. Jev läuft in einem Rechenzentrum.

Jev fängt mehr und verpasst Newsletter und Kaltakquise

Ich habe die 5.000 Nachrichten genommen, an denen ich Klar messe: 2.500 Spam (2.456 aus einem öffentlichen Korpus von 2026, 44 aus meinem eigenen Junk-Ordner) und 2.500 legitime, anteilig gezogen aus meinen Belegen, Benachrichtigungen und abonnierten Newslettern von 2025. Post von Mensch zu Mensch blieb auf dem Mac. Drei Modelle haben sie gelesen: Jev, das Modell, das Klar heute ausliefert, und das, welches es letztes Jahr abgelöst hat.

Auf denselben Nachrichten fängt Jev 151 Spam-Nachrichten, die Klar verpasst, und verpasst 11, die Klar fängt (in beide Richtungen dieselben Nachrichten, also kein Zufall: p unter 10^-30). Bei Belegen und Benachrichtigungen markiert es 6, wo Klar 18 markiert.

Ich habe alle sechs gelesen. Zwei sind Spam, der als legitim abgelegt war (ein weitergeleitetes „letzte Stunden“-Angebot, eine „Metamask Team“-Meldung über eine Newsletter-Plattform); die zweite markiert auch Klar. Vier sind legitime Post, die nach Phishing aussieht, etwa eine Börse, die ihre Bankverbindung ändert, und die Recruiting-Seite einer Bank auf einer SaaS-Domain.

Jevs Fehlschläge bilden zwei Familien. Die Newsletter, die ich in den Junk-Ordner geworfen habe (ein Digest zu KI-Werkzeugen, die Saisonpost eines Spiels), bewertet es mit 0,1 bis 0,5: Ich habe sie einmal abonniert, und seine Definition ist unverlangte Massenpost. B2B-Anfragen („business inquiry“, „get back to me“) landen auf seiner Skala bei 0,43 bis 0,63; Klar, an Tausenden davon trainiert, fängt 9 der 11 bei 0,99.

Klar fängt beide Familien, weil es an Tausenden davon trainiert wurde. Jev hat keine offenen Gewichte, die man nachtrainieren könnte, also bekommt man beides nur, wenn man die zwei zusammen laufen lässt.

Jevs Schwelle liegt hier bei 0,640, der niedrigsten, bei der es nicht mehr legitime Post fälschlich markiert als Klar an seiner eigenen Schwelle von 0,99. Gesetzt habe ich sie auf der einen Hälfte der 5.000, berichtet wird über die andere. Unter 0,6 fallen seine Werte auf meiner Post niedrig aus, deshalb ist die Schwelle nicht Jevs eigene 0,5.

Jev wiederholt sich: Fünfmal nach denselben 500 Nachrichten gefragt, verschob es einen Wert im Mittel um 0,006 und wechselte bei 2 von 500 Zeilen die Seite. Unter 0,02 ist Rauschen.

Außerdem habe ich Jev Klars Urteil und Wert mit einer einzigen Frage übergeben, „ist dieses Urteil falsch?“, auf den 2.240 Nachrichten, die Klar mit Sicherheit markiert hat. Es hebt 15 der 43 Fehlalarme auf und keinen einzigen echten Spam (im Mittel 0,09, wo Klar recht hat, 0,80, wo Klar irrt). Eine erwünschte Nachricht, bei der Klar sich sicher ist, ist der eine Fehler, den keine Schwelle rückgängig macht. Genau diese Fehler erreicht das hier.

Für Jev zählt, was es liest, nicht wie ich frage

Dann habe ich ihm absichtlich das Falsche geschickt. Nur Betreff und Absender fangen 0,98 des Spams, den es auf der ganzen Nachricht fängt, zu einem Fünftel des Preises, und kein Nachrichteninhalt verlässt den Server.

Auch eine andere Formulierung der Frage bewegt es nicht. Jede Sonde ging an die 120 schwersten Nachrichten (die 72, die der Hauptlauf falsch hatte, die 48 nächsten an seiner Schwelle) und an vierzig leichte, an denen eine Änderung etwas kaputt machen kann. Gezählt wird, wie viele schwere Nachrichten sie behebt und wie viele sie kaputt macht.

Was es liest, ist eine andere Sache. Jev glaubt eine Zeile „diese Nachricht ist an DMARC gescheitert“, die im Text steht: 14 von 38 legitimen Nachrichten nahe der Schwelle steigen um mehr als 0,1. Bekommt es die Rohquelle, die ich nicht sende, liest es einen Authentifizierungs-Header, den der Absender selbst geschrieben hat, als bestanden: 15 von 82 Spam-Nachrichten nahe der Schwelle wechseln zu „kein Spam“.

Jev ist egal, wie ich frage, es zählt nur, was es liest. Der größte Teil seines Vorsprungs vor Klar ist, dass es mehr liest: Auf Klars Sicht von 128 Tokens verliert es 31 schwere Zeilen und 9 leichte.

Geschrieben, um Jev zu täuschen, und eine von fünfhundert kam durch

Ich habe fünfunddreißig Nachrichten geschrieben, für die Formen, denen ein Filter begegnet, und die Tricks, die ein Absender versucht. Darunter: eine authentifizierte „neue Anmeldung“, ein „PayPaI“, das seine eigene Doppelgänger-Domain authentifiziert, apple.com mit kyrillischem a, der Chef auf einer Freemail-Adresse, der Geschenkkarten verlangt, ein Anhang namens Invoice_2026-09.pdf.exe. Zweiunddreißig haben eine Seite, drei davon Kontrollen, und Jev trifft siebenundzwanzig.

Dieselbe Quittung und derselbe Phishing-Versuch in dreizehn Sprachen, von Englisch bis Russisch, Japanisch, Arabisch und Türkisch: Jev bewertet jede Quittung mit 0,02 bis 0,03 und jeden Phishing-Versuch mit 0,94 bis 0,98.

Eine von fünfhundert Umschreibungen kam unter die Schwelle. Das sind die hundert Spam-Nachrichten, bei denen Jev am sichersten ist, jede auf fünf Arten umgeschrieben, jeder Link und die Aufforderung beibehalten: förmlich, auf ein Drittel gekürzt, auf Französisch, mit einer behaupteten früheren Beziehung, im Layout einer Quittung. Klar fängt 96 der 100 Originale und verpasst 69 der Umschreibungen.

Alles andere, was ein Absender kostenlos tun kann (Unicode-Tricks, HTML-Tags, Großbuchstaben, ein Abmelde-Header, ein Reply-To bei einer großen Marke), bewegt nichts oder bewegt sich für ihn in die falsche Richtung. Der eine Hebel liegt auf der anderen Seite: Ein Firmen-Signaturblock schiebt legitime Post nahe der Schwelle um etwa 0,1 Richtung Spam.

Die Kollegin, die an Jev vorbeikommt

Zwei Fehler oben in der Tabelle zeigen in dieselbe Richtung, also habe ich dreißig echte Spam-Nachrichten in die Post einer Kollegin gesteckt. Zitiert unter einer eigenen Zeile von ihr bleiben für Jev 11 von 30 Spam; weitergeleitet mit „ist das echt?“ 26 von 30; ohne ein Wort weitergeleitet 30 von 30. Zwanzig Wörter von ihr bringen es auf 8 von 30, hundert auf 2 von 30.

Der Spammer kann das von seiner eigenen Adresse aus nicht: Sein Angebot über sechshundert zitierten Wörtern eines echten Threads bleibt 30 von 30 Spam, und hundert Wörter Büroprosa über dem zitierten Angebot sind immer noch 24 von 30 Spam. Es zählt, wer den neuesten Teil geschrieben hat und wie viel. Ein Zitat unter einem Angebot bringt dem Spammer nichts.

Meine erste Zählung dieser Antwort war 23 von 30, nicht 11: Ein Reviewer fand heraus, dass der Aufbau ihre Adresse und ihre Authentifizierung in die Nachricht gesetzt, Envelope-Absender und Datum des Spams aber stehen gelassen hatte. Mit jedem Feld von ihr: 11 von 30. Die anderen zwölf waren Jev, der einen Umschlag las, der seiner Authentifizierung widersprach, und das kann ein Spammer von seiner eigenen Adresse aus nicht fälschen.

Kein Lehrer

Ich habe Jev auch als Labeling-Lehrer gegen Claude Haiku antreten lassen, das mein Trainingskorpus labelt, mit einem menschlichen Durchgang dahinter. Auf den 170 Nachrichten, die ich von Hand beurteilt habe, in vier Klassen, stimmt Haiku 123-mal mit mir überein und Jev 115-mal. Beide scheitern in entgegengesetzte Richtungen: Haiku nennt legitimes Marketing Spam, Jev nennt 15 von 19 Spam-Nachrichten „Marketing“.

Also nein: Jev bleibt dem Lehrerstuhl fern. Wo die beiden uneins sind, liegt die Warteschlange, die ein Mensch lesen sollte.

Wo wir damit stehen

Habe ich es getäuscht? Kaum: eine Umschreibung von fünfhundert, hundert Wörter der eigenen Prosa des Spammers über einem Zitat und ein eingeschmuggelter Authentifizierungs-Header in der Rohquelle, die ich nicht sende. Was durchkommt, ist ein echter Mensch, der den Spam zitiert. Das ist eine Lücke in dem, was ich sende, nicht im Richter.

Jev ist gehostet und hat keine offenen Gewichte. Aber ein Modell, das eine schmale Frage mit einer Wahrscheinlichkeit beantwortet, muss nicht groß sein: Die offenen, die seine Form nachbauen, haben 0,3 bis 4 Milliarden Parameter, und ein gewöhnlicher Mac führt schon Klars Encoder mit 278 Millionen Parametern aus. Wird ein Jev-ähnliches Modell in ein paar Jahren auf einem Verbrauchergerät laufen, für ein schmales Problem wie Spam? Diese Frage entscheidet über Klars nächste Form.

Ja auf einem Server, heute, hinter Klars eigenem Modell. Auf Ihrem Mac noch nicht. Schafft es ein Jev-ähnliches Modell dorthin, bleibt alles privat auf dem Gerät, wie ich es für kleinere Modelle mit einer einzigen Aufgabe vertreten habe. Wenn nicht, bleibt die zweite Meinung, was sie in Klar Plus sein wird: eine optionale zweite Verteidigungslinie in der Cloud, standardmäßig aus, für die Post, bei der Klar unsicher ist, und nie in der kostenlosen App auf Ihrem Mac.

Der Klar-Wert hier ist der des Modells, nicht der des Produkts

Jede Klar-Zahl auf dieser Seite stammt von einem Modell allein: dem Encoder, an seiner Schwelle von 0,99. Klar macht mit Ihrer Post mehr. Das Urteil verbindet diesen Wert mit einem kleinen Modell, das aus Ihren eigenen Korrekturen lernt (FTRL), dann mit Prüfungen, wer die Nachricht geschickt hat, statt was sie sagt:

• Wer sie signiert hat: SPF, DKIM und DMARC, aus den Headern gelesen.
• Wer sie zu sein behauptet: ein Absender, der nach einer Bank oder einer Marke benannt ist, von einer Domain, die dieser Marke nicht gehört.
• Wohin ihre Links wirklich führen.
• Ob sie auf eine Nachricht antwortet, die Sie geschickt haben, was eine Antwort aus dem Junk-Ordner heraushält.

Jev wurde also an Klars Modell gemessen, nicht an Klar. Das vollständige Urteil auf diesen Panels ist eine andere Zahl, und die Schicht, die es fällt, ist öffentlich, zusammen mit der Engine, unter github.com/klar-im/engine.

Das letzte Wort hat er

Wie gemessen wurde, und was es nicht beweist

• Jede Nachricht ging bereinigt hinaus (Zugangsdaten, Einmalcodes, Kartennummern, Adressen, Krypto-Adressen, Schlüssel, mein Name), in Jevs eigenem Nachrichtenformat: Betreff, Text und Absender-Header. Das Rohprotokoll jeder Anfrage und Antwort bleibt bei mir.
• Jede Zahl stammt aus der Hälfte der Nachrichten, die ich für den Bericht zurückgehalten habe, geteilt per Hash jeder einzelnen. Eine Anfrage pro Nachricht stellte sechzehn Fragen: die breite, eine Wahl aus vier Klassen, Jevs sechs, sieben von mir und eine vierstufige Bewertung, wie erwünscht die Post ist.
• Das sind meine Zahlen auf meinem Korpus, und das ist nicht Ihr Postfach. Dasselbe sage ich über jeden Anbieter, mich eingeschlossen.
• Das öffentliche Spam-Panel ist ein öffentliches Korpus und liest sich als Obergrenze; ein Modell kann darauf trainiert worden sein.
• Ein Lauf einer Modellversion, jev-1.13.0, an einem Tag; Jevs API hat sich zwischen meiner Lektüre der Dokumentation und dem Lauf verändert.
• Nichts hier läuft auf einem Mac. Klars kostenlose Mac-App und Klar for Messages auf dem iPhone senden nichts vom Gerät; die gehostete zweite Meinung ist eine Option von Klar Plus, noch in Entwicklung, und bleibt aus, bis Sie sie einschalten.

Den Durchsatz habe ich von Lyon aus gemessen, wo ein leerer Aufruf an Jevs Host an der US-Westküste 584 ms der 680 ausmacht. Der Anteil des Modells liegt unter 100 ms und ändert sich nicht mit der Zahl paralleler Anfragen. Die Wartezeit ist der Ozean, nicht das Modell.

Alle Artikel