Un matin, on se lève, et on a l’impression de passer à côté d’une nouvelle révolution. Depuis son lancement, Jev suscite des commentaires excessivement enthousiastes. Ce modèle qui renvoie une décision structurée à partir d’un prompt texte est accompagné d’une multitude de démonstrations qui insistent sur sa vitesse et son faible coût.

Jack Rudenko analyse et prend le recul nécessaire dans son article titré Jev: Solving yesterday’s problems, faking wins with overengineered demos, and never facing the real competition.

« (…) le problème : presque toutes les démonstrations comparent Jev à un énorme modèle de conversation généraliste, plutôt qu’aux solutions banales mais fiables — un BERT ajusté à la tâche ou de bons vieux systèmes fondés sur des règles. »1

Je partage sa critique. Jev semble surtout impressionner ceux qui voulaient mettre du LLM partout. Ils découvrent alors qu’on peut classer un ticket rapidement et sans passer par un modèle conversationnel et cela leur semble révolutionnaire. En fait, il existait déjà des solutions pour ce type de problème et Rudenko entre dans le détail dans son article.

Comme il l’indique, Jev n’est pas sans intérêt :

« (Si vous) n’avez pas de données étiquetées. Pas le temps d’en recueillir. (Si) la question change chaque semaine. Jev reçoit la question sous forme de texte au moment de la requête et y répond. Un BERT ajusté à la tâche ne peut pas faire cela. »2

En fait, Jev est intéressant, mais il est souvent décrit comme un outil révolutionnaire qui prend les bonnes décisions instantanément alors que dès son introduction, TypeSafe l’a présenté comme un modèle « Système 1 » en référence à la théorie de Daniel Kahneman : c’est à dire un modèle instinctif qui prend mécaniquement une décision rapide.

Jev a donc sa place dans la panoplie d’outils à notre disposition. Mais les essais que j’ai vus ne m’ont pas convaincu que ses probabilités soient assez fiables pour guider seules une décision. Je traiterais ses réponses comme des intuitions rapides. La révolution peut attendre.

  1. Citation traduite de l’anglais : “But here’s the catch: almost every demo compares Jev to a giant generalist chat model, instead of the boring, reliable stuff—fine-tuned BERT, or good old rule-based systems.” ↩
  2. Citation traduite de l’anglais : “You have no labeled data. No time to collect it. The question changes every week. Jev takes the question as a string at request time and answers it. A fine-tuned BERT can’t do that.” ↩