Linkedin

Meta a publié un article qui pourrait mettre fin à l’ère actuelle des LLM. Ils ont prouvé qu’on n’a pas besoin de tokenizers pour entraîner des modèles SOTA.

Repartage — contenu de Marc Savall

Meta a publié un article qui pourrait mettre fin à l'ère actuelle des LLM. Ils ont prouvé qu'on n'a pas besoin de tokenizers pour entraîner des modèles SOTA.

Tous les grands modèles d'IA (ChatGPT, Claude, Llama) lisent le texte en « tokens », des morceaux de mots. Cela nécessite des vocabulaires massifs, généralement autour de 100 000 tokens différents. C'est comme ça que les modèles ont toujours été construits.

Mais des chercheurs chez Meta ont prouvé que c'est un goulot d'étranglement massif.

Ils ont entraîné un modèle à lire des « bytes » bruts à la place. Seulement 256 unités de base. Ils ont pris un petit modèle de 1 milliard de paramètres et lui ont donné jusqu'à 1 trillion de bytes de données. Au début, le modèle standard basé sur les tokens gagnait dans le régime de faible calcul.

Mais ensuite, quelque chose de fou s'est produit. Le modèle à tokens a atteint un plafond. Il a plafonné. Il a complètement arrêté de devenir plus intelligent. Le modèle à bytes a juste continué à grimper.

En convertissant les probabilités de tokens en raisonnement pur au niveau des bytes (en utilisant une nouvelle méthode de distillation appelée « End-Of-Token »), le petit modèle à bytes a brisé le plafond de performance.

Il a égalé le modèle standard à tokens en utilisant seulement 1/6e des données d'entraînement. Il a réduit les coûts de stockage de 80 %.

Et asymptotiquement, ce petit modèle à bytes de 1B de paramètres surpasse Llama 3.2 et même le modèle Gemma de 2 milliards de paramètres dans tous les domaines.

Nous avons passé des années à forcer l'IA à lire le texte comme le font les humains. Il s'avère que l'IA devient beaucoup plus intelligente, beaucoup plus vite, quand on la laisse lire comme une machine (dans certaines circonstances).

https://lnkd.in/eQDfeiYm

https://lnkd.in/e59JbkhJ

Sources LinkedIn