Jev est-il l’avenir du filtrage du spam ?

Ce mois-ci, TypeSafe AI est sorti de l’ombre avec Jev, un modèle hébergé qui ne sait pas discuter : il reçoit une question typée et rend une probabilité. « Cet e-mail est-il du spam ? » est la première question qui vient, alors je l’ai opposé au modèle de Klar. Il est facturé au token, ce qui a fait 11 centimes pour mille de mes messages.

Jev attrape plus de mon spam que le modèle que je livre, pour onze centimes les mille messages. Le combat n’est pas équitable : le filtre de Klar tourne sur n’importe quel Mac Apple silicon, et rien de ce qu’il lit ne quitte la machine. Jev tourne dans un centre de données.

Jev attrape plus, et rate les newsletters et la prospection à froid

J’ai pris les 5 000 messages sur lesquels je mesure Klar : 2 500 spams (2 456 d’un corpus public de 2026, 44 de mon propre dossier Indésirables) et 2 500 légitimes, tirés au prorata de mes reçus, notifications et newsletters souscrites de 2025. Le courrier de personne à personne est resté sur le Mac. Trois modèles les ont lus : Jev, le modèle que Klar livre aujourd’hui, et celui qu’il a remplacé l’an dernier.

Sur les mêmes messages, Jev attrape 151 spams que Klar rate et en rate 11 que Klar attrape (les mêmes messages des deux côtés, donc ce n’est pas le hasard : p sous 10^-30). Sur les reçus et notifications, il en signale 6 là où Klar en signale 18.

Je les ai lus tous les six. Deux sont du spam qui avait été classé légitime (une offre « dernières heures » transférée, un avis « Metamask Team » passé par une plateforme de newsletters) ; Klar signale aussi le second. Quatre sont du courrier légitime qui ressemble à de l’hameçonnage, comme une plateforme d’échange qui change de coordonnées bancaires et le site de recrutement d’une banque sur un domaine SaaS.

Les ratés de Jev forment deux familles. Il note entre 0,1 et 0,5 les newsletters que j’ai jetées (un digest d’outils IA, le courrier saisonnier d’un jeu) : je m’y suis abonné un jour, et sa définition est le courrier de masse non sollicité. La prospection B2B (« business inquiry », « get back to me ») tombe sur son échelle entre 0,43 et 0,63 ; Klar, entraîné sur des milliers de ces messages, en attrape 9 sur 11 à 0,99.

Klar attrape les deux familles parce qu’il a été entraîné sur des milliers de ces messages. Jev n’a pas de poids ouverts à affiner, donc la seule façon d’avoir les deux est de les faire tourner ensemble.

Le seuil de Jev est ici de 0,640 : le plus bas auquel il ne signale pas plus de courrier légitime que Klar à son propre seuil de 0,99. Je l’ai réglé sur une moitié des 5 000 et je rapporte sur l’autre. Sous 0,6, ses notes sont basses sur mon courrier, c’est pourquoi le seuil n’est pas le 0,5 de Jev.

Jev se répète : interrogé cinq fois sur les mêmes 500 messages, il a bougé une note de 0,006 en moyenne et changé de côté sur 2 lignes sur 500. Sous 0,02, c’est du bruit.

J’ai aussi donné à Jev le verdict et la note de Klar, sur les 2 240 messages que Klar a signalés avec assurance, avec une seule question : ce verdict est-il faux ? Jev blanchit 15 des 43 faux positifs et pas un seul vrai spam (0,09 en moyenne quand Klar a raison, 0,80 quand il a tort). Un message voulu dont Klar est sûr, aucun seuil ne le rattrape. Cette question, si.

Jev s’intéresse à ce qu’il lit, pas à la façon dont je demande

Puis je lui ai envoyé exprès autre chose que le message. N’envoyer que le sujet et l’expéditeur garde 0,98 de ce qu’il obtient sur le message complet, au cinquième du prix, et aucun contenu de message ne quitte alors le serveur.

Reformuler la question ne le fait pas bouger non plus. Chaque sonde est partie vers les 120 messages les plus difficiles (les 72 que la campagne principale a ratés, les 48 les plus proches de son seuil) et vers quarante faciles, où un changement peut casser quelque chose. Elle se compte en messages difficiles corrigés et cassés.

Ce qu’il lit, c’est une autre affaire. Jev croit une ligne « ce message a échoué à DMARC » écrite dans le corps : 14 des 38 messages légitimes proches du seuil montent de plus de 0,1. Sur la source brute, que je n’envoie pas, il lit comme un succès un en-tête d’authentification écrit par l’expéditeur lui-même : 15 des 82 spams proches du seuil passent à « pas spam ».

Jev se moque de la façon dont je demande, seul compte ce qu’il lit. L’essentiel de son avance sur Klar vient de ce qu’il lit davantage : sur la vue de 128 tokens de Klar, il perd 31 lignes difficiles et 9 faciles.

Écrits pour tromper Jev, et un sur cinq cents est passé

J’ai écrit trente-cinq messages pour les formes qu’un filtre rencontre et les ruses qu’un expéditeur tente. Parmi eux : une alerte « nouvelle connexion » authentifiée, un « PayPaI » qui authentifie son propre domaine sosie, apple.com avec un a cyrillique, le patron sur une adresse gratuite qui réclame des cartes cadeaux, une pièce jointe nommée Invoice_2026-09.pdf.exe. Trente-deux ont un côté, dont trois témoins, et Jev en trouve vingt-sept.

Le même reçu et le même hameçonnage en treize langues, de l’anglais au russe, au japonais, à l’arabe et au turc : Jev note chaque reçu entre 0,02 et 0,03, et chaque hameçonnage entre 0,94 et 0,98.

Une réécriture sur cinq cents est passée sous le seuil. Ce sont les cent spams dont Jev est le plus sûr, chacun réécrit de cinq façons en gardant chaque lien et la demande : en registre formel, condensé au tiers, en français, avec une relation antérieure prétendue, dans la mise en page d’un reçu. Klar attrape 96 des 100 originaux et rate 69 des réécritures.

Tout le reste de ce qu’un expéditeur peut faire gratuitement (astuces unicode, balises HTML, majuscules, un en-tête de désinscription, un Reply-To chez une grande marque) ne bouge rien, ou bouge dans le mauvais sens pour lui. Le seul levier est de l’autre côté : un bloc de signature d’entreprise pousse le courrier légitime limite vers le spam d’environ 0,1.

La collègue qui trompe Jev

Deux ratés en haut du tableau vont dans le même sens, alors j’ai glissé trente vrais spams dans le courrier d’une collègue. Cités sous une ligne de sa main, 11 sur 30 restent du spam pour Jev ; transférés avec « c’est vrai ? », 26 sur 30 ; transférés sans un mot, 30 sur 30. Vingt mots de sa main ramènent le compte à 8 sur 30, cent mots à 2 sur 30.

Le spammeur ne peut pas en faire autant depuis sa propre adresse : son offre posée sur six cents mots cités d’un vrai fil reste du spam 30 sur 30, et cent mots de prose de bureau au-dessus de l’offre citée restent du spam 24 sur 30. Ce qui compte, c’est qui a écrit la partie la plus récente, et combien. Une citation sous une offre n’achète rien au spammeur.

Mon premier compte pour cette réponse était de 23 sur 30, pas 11 : un relecteur a vu que la construction avait mis son adresse et son authentification dans le message, en laissant en place l’expéditeur d’enveloppe et la date du spam. Avec chaque champ à elle, 11 sur 30. Les douze autres, c’était Jev qui lisait une enveloppe en désaccord avec son authentification, ce qu’un spammeur ne peut pas falsifier depuis sa propre adresse.

Pas le professeur

J’ai aussi essayé Jev comme professeur d’étiquetage face à Claude Haiku, qui étiquette mon corpus d’entraînement avec une passe humaine derrière. Sur les 170 messages que j’ai jugés à la main, en quatre classes, Haiku est d’accord avec moi 123 fois et Jev 115, et ils échouent en sens inverse : Haiku traite le marketing légitime de spam, Jev range 15 spams sur 19 en « marketing ».

Donc non : Jev reste hors du fauteuil du professeur. Là où les deux divergent, voilà la file qu’un humain devrait lire.

Où cela nous laisse

L’ai-je trompé ? À peine : une réécriture sur cinq cents, cent mots de la prose du spammeur au-dessus d’une citation, et un en-tête d’authentification planté dans une source brute que je n’envoie pas. Ce qui passe, c’est une vraie personne qui cite le spam : un trou dans ce que j’envoie, pas dans le juge.

Jev est hébergé, sans poids ouverts. Mais un modèle qui répond à une seule question étroite par une probabilité n’a pas besoin d’être gros : les modèles ouverts qui copient sa forme vont de 0,3 à 4 milliards de paramètres, et un Mac ordinaire fait déjà tourner les 278 millions de l’encodeur de Klar. Un modèle à la Jev tournera-t-il sur une machine grand public, pour le seul spam, d’ici quelques années ? Cette question décide de la prochaine forme de Klar.

Oui sur un serveur, aujourd’hui, derrière le modèle de Klar. Sur votre Mac, pas encore. Si un tel modèle y arrive, tout reste privé sur la machine, ce que je défendais pour de petits modèles à tâche unique. S’il n’y arrive pas, le second avis reste ce qu’il sera dans Klar Plus : une seconde ligne de défense optionnelle dans le cloud, désactivée par défaut, pour le courrier sur lequel Klar hésite, jamais dans l’application gratuite sur votre Mac.

Ici, la note de Klar est celle du modèle, pas celle du produit

Chaque chiffre de Klar sur cette page vient d’un seul modèle : l’encodeur, à son seuil de 0,99. Klar fait davantage avec votre courrier. Le verdict combine cette note avec un petit modèle qui apprend de vos propres corrections (FTRL), puis avec des vérifications sur qui a envoyé le message plutôt que sur ce qu’il dit :

• Qui l’a signé : SPF, DKIM et DMARC, lus dans les en-têtes.
• Qui il prétend être : un expéditeur au nom d’une banque ou d’une marque, depuis un domaine que cette marque ne possède pas.
• Où pointent vraiment ses liens.
• S’il répond à un message que vous avez envoyé, ce qui garde une réponse hors des indésirables.

Jev a donc été mesuré face au modèle de Klar, pas face à Klar. Le verdict complet sur ces panels donne un autre chiffre, et la couche qui le produit est publique, avec le moteur, sur github.com/klar-im/engine.

Le mot de la fin est pour lui

Comment je l’ai mené, et ce que cela ne prouve pas

• Chaque message est parti nettoyé (identifiants, codes à usage unique, numéros de carte, adresses, adresses crypto, clés, mon nom) dans le format de message de Jev : sujet, corps et en-têtes d’expéditeur. Le journal brut de chaque requête et de chaque réponse reste chez moi.
• Chaque chiffre vient de la moitié des messages gardée pour le rapport, coupée par un hachage de chacun. Une requête par message posait seize questions : la question large, un choix à quatre classes, les six de Jev, sept des miennes, et une note à quatre niveaux du caractère désiré du courrier.
• Ce sont mes chiffres sur mon corpus, qui n’est pas votre boîte. Je dis la même chose de chaque fournisseur, moi compris.
• Le panel de spam public est un corpus public et se lit comme une borne supérieure ; un modèle a pu s’entraîner dessus.
• Une seule campagne, d’une seule version du modèle, jev-1.13.0, un seul jour ; l’API de Jev a changé entre ma lecture de sa documentation et la campagne.
• Rien ici ne tourne sur un Mac. L’application Mac gratuite de Klar et Klar for Messages sur iPhone n’envoient rien hors de l’appareil ; le second avis hébergé est une option de Klar Plus, encore en développement, désactivée tant que vous ne l’activez pas.

J’ai mesuré le débit depuis Lyon, où un appel vide vers l’hôte de Jev sur la côte ouest américaine prend 584 ms des 680. La part du modèle lui-même est sous 100 ms et ne bouge pas avec la concurrence. L’attente, c’est l’océan, pas le modèle.

Tous les articles