Debats

Et si, au lieu d’utiliser un LLM local, on lui apprenait à raisonner comme un développeur expérimenté ?

Et si, au lieu d'utiliser un LLM local, on lui apprenait à raisonner comme un développeur expérimenté ?

Je continue mes expérimentations autour de la distillation et de l'optimisation d'un modèle IA local extrêmement petit, rapide et spécialisé. (Liens vers les précédentes étapes en commentaires.)

L'objectif ? Aller bien au-delà du simple chatbot et construire une IA capable de mobiliser une expertise technique précise, sans dépendre systématiquement de modèles géants, coûteux et hébergés dans le cloud.

Trois étapes déjà franchies :

1. Spécialisation du modèle sur la stack LAMP (PHP/JS/HTML/CSS).

Résultat : mitigé ! Le modèle reste trop limité sur certaines tâches complexes. Je passerai probablement à un modèle 9B pour gagner en capacité de raisonnement.

2. Optimisation radicale des performances.

Résultat : 100 % validé. Nous atteignons désormais 70 à 100 tokens/seconde en local sur des petits ordis avec 8GB ou 16GB dispo de RAM.

De quoi rendre ces petits modèles réellement exploitables dans des applications professionnelles.

3. Distribution et parallélisation P2P.

Résultat : 100 % validé également. Un harnais d'orchestration permet à plusieurs nœuds de se répartir les tâches et de travailler ensemble.

Une architecture distribuée, rapide et évolutive. (Pas encore publiée.)

Et maintenant, place à la quatrième étape. La plus ambitieuse !

4. Ne plus seulement apprendre au modèle QUOI répondre, mais chercher à influencer COMMENT il raisonne.

Je m'attaque maintenant aux poids du réseau et à ses mécanismes internes d'inférence.

Mon idée est assez simple à formuler, beaucoup moins à réaliser : transmettre au modèle mes propres réflexes de développeur, acquis après des années de pratique sur les stacks PHP/JS/HTML/CSS.

Comme je le ferais avec un développeur junior.

Lui apprendre à analyser un problème, identifier les dépendances, hiérarchiser les solutions, anticiper les erreurs et choisir une architecture cohérente.

Mais plutôt que de lui répéter ces consignes dans des prompts interminables, je veux expérimenter leur intégration directement dans les paramètres du modèle.

Moins de prompts. Moins de tokens.

Plus de spécialisation. Et, idéalement, de meilleurs résultats.

C'est encore expérimental, et rien ne garantit que la modification des poids permettra d'obtenir les comportements recherchés.

Mais c'est précisément ce que je veux mesurer.

La vraie révolution des LLMs locaux ne sera peut-être pas d'avoir des modèles toujours plus gros, mais des modèles beaucoup plus petits qui excellent dans un domaine précis.

Et si demain, un modèle de quelques milliards de paramètres pouvait devenir un véritable spécialiste de votre environnement technique, entraîné sur vos méthodes, vos architectures et votre manière de travailler ?

C'est exactement ce que j'essaie de construire.

À suivre !

#LLM #LocalAI #MachineLearning #OpenSource #PHP #AIEngineering


Sources LinkedIn