Premiers tests avec Jev et d’autres modèles de décision

Publié le IA Braindump

J’ai vu passer Jev sur X il y a quelques semaines, juste après son lancement par TypeSafe. Depuis, je l’ai testé dans quelques applications pour des clients et comparé à d’autres modèles.

Jev est un modèle de décision. On l’utilise pour des choix à réponses fixes, par exemple pour savoir si un e-mail est urgent. Un grand modèle de langage (LLM) peut aussi le faire, mais il rédige sa réponse token par token, et même avec un format de sortie fixe, votre code doit encore lire la réponse. Pour une décision simple, c’est un sacré détour.

Ce que fait un modèle de décision

Vous lui donnez un peu de contexte et quelques questions à choix fixes. Pour chaque question, vous recevez un choix, un score ou un oui ou non, chaque fois avec une probabilité entre 0 et 1. Aucun texte libre n’en sort. TypeSafe parle de « smart if-statements ».

Avec cette probabilité, vous fixez vous-même un seuil : au-dessus, le modèle décide automatiquement ; en dessous, une personne vérifie.

D’après TypeSafe, Jev répond à toutes vos questions en une fois, en 70 à 500 millisecondes. Sur son site, l’entreprise compare un workflow de 0,11 seconde avec Jev contre 8,6 secondes avec un LLM, même s’il s’agit de ses propres mesures.

D’autres modèles de décision sont arrivés depuis. Cloudflare a lancé Clef le 1er octobre, en open-weight sous licence Apache 2.0 et avec la même interface de programmation (API) que Jev. OpenAI propose sa Decisions API en bêta publique, annoncée comme environ dix fois plus rapide que sa Responses API habituelle.

Mes propres tests : RAG et 150 e-mails

Dans un premier test, j’ai placé un modèle de décision en amont de la génération augmentée par récupération (RAG). Au lieu de faire passer chaque question par un LLM d’abord, le modèle de décision évalue tout de suite s’il faut chercher dans les documents et lance directement la requête RAG.

J’ai aussi fait un test sur environ 150 e-mails, pour les classer par catégorie et archiver directement ceux qui n’étaient pas pertinents. J’ai comparé Jev, le modèle de décision d’OpenAI et un flux classique avec Claude et Codex.

Jev et OpenAI ont obtenu une précision comparable, mais Jev a été plus rapide et moins cher qu’OpenAI. L’avantage du modèle de décision d’OpenAI, c’est qu’on n’a pas une intégration supplémentaire à maintenir quand on utilise déjà sa plateforme. Mes résultats avec Jev rejoignent un test plus large de MindStudio sur 1 000 e-mails, où Jev a répondu en parallèle à sept questions par e-mail en six secondes environ, contre cinq minutes pour une seule catégorie avec un modèle de la classe GPT-5.6.

Quand je fais quand même appel à un LLM

Si cette décision doit être suivie d’une vraie réponse écrite au client, je fais toujours intervenir un LLM pour transformer les éléments techniques en une explication claire.

En pratique, je combine donc les deux : un e-mail ou une question arrive, et le modèle de décision détermine tout de suite s’il faut lancer une recherche RAG, si le message est urgent ou s’il peut être archivé. Le LLM n’intervient que lorsqu’il faut rédiger une réponse.