1961 : on trie des résumés d’articles d’informatique avec Naive Bayes.

Repartage — contenu de Vincent Levorato

1961 : on trie des résumés d'articles d'informatique avec Naive Bayes.

2026 : la communauté tech s'enflamme pour un nouveau modèle… qui trie du texte.

Et pour une fois, je ne suis pas sûr que la hype ait tort.

Le modèle s'appelle Jev et vous avez déjà vu passer des posts dessus. Vous lui donnez un texte, une question fermée et les réponses possibles, il renvoie un choix et une probabilité. Rien d'autre.

Mon premier réflexe a été celui de Sebastian Raschka, PhD : « un classifieur ? J'en monte un en un après-midi. »

Lui a vérifié. Il a refait 65 ans de classification de texte sur le même jeu de données, 25 000 critiques de films IMDb à classer en positif ou négatif :

– sac de mots + régression logistique : 89,9 %

– LSTM entraîné de zéro : 85,7 % (oui, moins bien que la régression logistique 🙃)

– ModernBERT fine-tuné : environ 95 %

– Jev, sans aucun entraînement : 96,5 %, en 22 minutes, pour 0,65 $

Six points au-dessus de la vieille baseline, donc pas de quoi réveiller toute la tech.

Le truc, c'est que le même modèle trie aussi des tickets de support, filtre des mails et joue à Tetris en temps réel. Sans un seul fine-tuning. Et ses probabilités sont annoncées calibrées : quand il dit 80 %, il a raison à peu près 8 fois sur 10. Essayez d'obtenir ça d'un LLM qui vous répond "positif" avec son aplomb habituel (LGTM pour les connoisseurs).

Jusqu'ici, la règle était simple : un gros LLM pour une décision ponctuelle, un classifieur maison dès que la tâche se répète. Jev se glisse entre les deux, et il faudra désormais de meilleurs arguments pour justifier un fine-tuning.

C'est là que ça devient intéressant pour ceux qui construisent des agents.

Ouvrez n'importe quel harness agentique et comptez les questions fermées. Quel outil appeler, quelle skill charger, ce message cache-t-il une injection de prompt, quels fichiers mettre en contexte.

Des classifications, toutes. Qu'on confie habituellement à un modèle qui génère du texte, qu'on parse ensuite en croisant les doigts.

Deux réserves quand même. Personne ne sait si IMDb faisait partie de ses données d'entraînement. Et d'après un lecteur de l'article source, il peine sur du juridique hors anglais, ce qui nous concerne un peu 🙂

P.S. : le jour même de l'article, OpenAI annonçait sa propre « Decision API ». Naive Bayes doit bien rigoler.

P.S. bis : mon passage préféré de l'article. Des jours de tuning d'hyperparamètres pour gagner 2 à 5 points, contre 10 à 20 points en doublant le jeu de données annoté à la main. Ça non plus, ça n'a pas bougé depuis 1961.

#MachineLearning #NLP #AgentsIA #DataScience #LLM

Sources LinkedIn

• Profil : Pierre Jean Duvivier dit Sage (LinkedIn)
• Auteur partagé : Vincent Levorato (LinkedIn)