⚡ Près de trois fois plus rapide que vLLM sur le premier token. Près de deux fois plus que llama.cpp en CUDA. Avec un moteur qui n’utilise pas CUDA.
⚡ Près de trois fois plus rapide que vLLM sur le premier token. Près de deux fois plus que llama.cpp en CUDA. Avec un moteur qui n'utilise pas CUDA. RTX 4080, petit modèle, prompt court, une requête à la fois…