Étiquette : llama.cpp

Il était une fois quatre vieux ordinateurs qui rêvaient de devenir une intelligence artificielle.

20 octobre 2026 · 2 min de lecture

Il était une fois quatre vieux ordinateurs qui rêvaient de devenir une intelligence artificielle. Pas de GPU à 10 000 euros. Pas de datacenter. Juste leurs CPU et de petits modèles spécialisés dans le développement web. Chacun pouvait coder. Mais…

⚡ Près de trois fois plus rapide que vLLM sur le premier token. Près de deux fois plus que llama.cpp en CUDA. Avec un moteur qui n’utilise pas CUDA.

19 octobre 2026 · 2 min de lecture

⚡ Près de trois fois plus rapide que vLLM sur le premier token. Près de deux fois plus que llama.cpp en CUDA. Avec un moteur qui n'utilise pas CUDA. RTX 4080, petit modèle, prompt court, une requête à la fois…