Jack Rudenko analyse et prend le recul nécessaire dans son article titré Jev: Solving yesterday’s problems, faking wins with overengineered demos, and never facing the real competition.

« (…) le problème : presque toutes les démonstrations comparent Jev à un énorme modèle de conversation généraliste, plutôt qu’aux solutions banales mais fiables — un BERT ajusté à la tâche ou de bons vieux systèmes fondés sur des règles. »¹

Je partage sa critique. Jev semble surtout impressionner ceux qui voulaient mettre du LLM partout. Ils découvrent alors qu’on peut classer un ticket rapidement et sans passer par un modèle conversationnel et cela leur semble révolutionnaire. En fait, il existait déjà des solutions pour ce type de problème et Rudenko entre dans le détail dans son article.

Comme il l’indique, Jev n’est pas sans intérêt :

« (Si vous) n’avez pas de données étiquetées. Pas le temps d’en recueillir. (Si) la question change chaque semaine. Jev reçoit la question sous forme de texte au moment de la requête et y répond. Un BERT ajusté à la tâche ne peut pas faire cela. »²

En fait, Jev est intéressant, mais il est souvent décrit comme un outil révolutionnaire qui prend les bonnes décisions instantanément alors que dès son introduction, TypeSafe l’a présenté comme un modèle « Système 1 » en référence à la théorie de Daniel Kahneman : c’est à dire un modèle instinctif qui prend mécaniquement une décision rapide.

Jev a donc sa place dans la panoplie d’outils à notre disposition. Mais les essais que j’ai vus ne m’ont pas convaincu que ses probabilités soient assez fiables pour guider seules une décision. Je traiterais ses réponses comme des intuitions rapides. La révolution peut attendre.