Repartage — contenu de Herve Rincent
Des chercheurs du MIT ont demandé à un LLM de modifier directement les poids d'un réseau de neurones. Sans entraînement, sans descente de gradient.
Et ça marche. Plutôt bien.
Le modèle (GPT-6 Astra) lit les poids, comprend ce que fait chaque partie du réseau, et les réécrit.
1) Un réseau entraîné à piloter une voiture dans un simulateur restait bloqué au pied d'une rampe : il fallait reculer pour prendre de l'élan, il ne l'avait jamais appris.
Après modification de 3,5 % de ses poids, la voiture passe à tous les coups.
2) Sur un petit LLM de 0,8 milliard de paramètres, il trouve ce qui provoque des boucles de raisonnement et le retire. Score en maths : de 8% à 48%, en modifiant 0,016 % des poids du modèle.
3) Pour un jeu simplifié de go, il écrit un réseau couche par couche : les premières repèrent les pierres, celles du milieu suivent les groupes menacés, la dernière note chaque coup.
Jusqu'ici, un modèle de deep learning, on l'entraînait. On ne le concevait pas.
Là, on s'intéresse à son architecture : ce que chaque couche doit faire, et pourquoi.
Ça ressemble à une nouvelle forme d'ingénierie logicielle.
Au lieu de concevoir des algorithmes déterministes, on travaille sur des cohortes de poids. Evidemment, impossible à faire sans un autre modèle beaucoup plus large, capable de s'y retrouver dans la complexité d'un vaste réseau de neurones.
Ça reste un début. Sur un modèle qui n'avait pas ce problème de boucles, ils n'ont rien amélioré. Ça enlève un défaut, ça n'ajoute pas une compétence.
L'article en commentaire.
Sources LinkedIn
- Profil : Pierre Jean Duvivier dit Sage (LinkedIn)
- Auteur partagé : Herve Rincent (LinkedIn)
