Est-ce que tu as déjà regardé le code produit par ton LLM favori ?
Et surtout ses performances, entre la verbosité du code généré, son coût de production et la vitesse d'exécution du script ?
J'ai testé, via OpenCode Go (10 USD/mois), plusieurs LLM sur un prompt simple : « Fais un script PHP qui consomme le plus rapidement possible un fichier XML de 100'000 entrées. »
Au final, j'ai testé 6 LLM (j'utilise massivement DeepSeek v4.1 Flash actuellement, que je trouve extraordinaire en coding).
DeepSeek v4.1 Flash, Grok 4.7, Kimi K3.1 Pro, GPT-6 Luna, Gemini-5 Argon et Claude Haiku 5.5.
Et les résultats sur cette demande sont les suivants :
Le code le plus resserré est généré par GPT-6 Luna, en 29 secondes, pour un coût de 0,00156 USD ! C'est ma grande surprise du test : OpenAI est 10 fois moins cher avec Luna que DeepSeek…
Le script le plus rapide est produit par DeepSeek v4.1 Flash, qui atteint 528'000 entrées/s sur le traitement du fichier.
Il lui faut en effet seulement 189 ms pour parser les 100'000 entrées XML !
Il choisit d'utiliser XMLReader en streaming… et va le plus vite.
Claude Haiku 5.5 est aussi peu cher dans ce benchmark, génère très rapidement le code (17 secondes), contre 115 secondes (presque 7 fois plus) pour DeepSeek, mais produit un code parmi les moins rapides à l'exécution.
En termes de rapport performance / vitesse / coût, DeepSeek est devant sur ce coup-là, si l'on privilégie la vitesse d'exécution du code produit.
Grok est très cher (20 fois plus que DeepSeek), mais arrive deuxième en performance.
Luna est 10 fois moins cher que DeepSeek, pour arriver quatrième en performance, avec une production extrêmement rapide (29 secondes).
Ce qui est intéressant dans ce petit exercice, c'est qu'on ne mesure pas simplement la capacité d'un LLM à produire du code fonctionnel, mais aussi sa capacité à faire les bons choix techniques, à éviter la verbosité inutile et à générer un programme réellement performant.
Et, manifestement, le modèle le plus cher n'est pas nécessairement celui qui produit le meilleur code.
Cela illustre aussi un autre problème : quels modèles pour quelles tâches…
La (bonne) orchestration va devenir un enjeu de plus en plus important.
Sources LinkedIn
- Profil : Pierre Jean Duvivier dit Sage (LinkedIn)
Laisser un commentaire