Je tiens à souligner que pour les tâches du monde réel (pas les benchmarks), Kimi K2 surpasse Gemini. Il s’agit de la télémétrie pour tous les utilisateurs @cline, montrant le taux d’échec de la modification des différences. Remarquez que Kimi a un taux d’échec d’environ 6 %, ce qui est nettement mieux que le taux d’erreur de ~ 10 % de Gemini. Remarquablement, Kimi a même dépassé Claude 4 pendant la majeure partie de cette semaine, atteignant un taux d’échec inférieur à 4 % !

Dans notre benchmark interne d'édition de diff "Hard" pour les cas où un modèle de pointe a précédemment échoué à une édition de diff (avant nos mises à jour de l'algorithme de diff), Kimi a surpassé Claude 3.5. Il sera intéressant de voir les résultats de nos benchmarks "Nightmare Difficulty" dans les prochaines semaines.