MMLU à 92 %. HumanEval à 91 %. Quand chaque nouveau modèle bat ces benchmarks de quelques points, ça ne veut plus rien dire. Une nouvelle génération de benchmarks tente de mesurer ce qui compte vraiment en production en 2026 : SWE-Bench, BrowseComp, OSWorld, TAU-Bench. Lesquels regarder, et comment les lire ?
Pourquoi les anciens benchmarks ont craqué
MMLU teste les connaissances générales. HumanEval teste l’écriture de fonctions Python isolées. GPQA teste les questions de doctorat. Tous ces benchmarks mesurent une compétence très étroite, et les modèles 2026 y atteignent un plafond proche du score humain. Plus moyen de différencier les modèles sur ces tests.
Les nouveaux benchmarks visent la chose différente : la capacité à accomplir une tâche complète, pas à répondre à une question isolée. C’est plus aligné sur les usages réels en entreprise.
SWE-Bench : le code dans des projets réels
SWE-Bench teste la capacité d’un LLM à résoudre de vrais bugs dans de vrais repositories GitHub. Le modèle reçoit un repo de 50 000-200 000 lignes de code et une description d’issue. Il doit produire un patch qui passe les tests existants. C’est la tâche d’un développeur junior-intermédiaire.
Scores mai 2026 : Claude Opus 4.6 à 67 %, GPT-5 à 69 %, Sonnet 4.6 à 58 %, Gemini 3 Pro à 52 %. Le delta est massif et représentatif. Si vous bâtissez une stack dev avec assistance IA, SWE-Bench est le benchmark le plus pertinent à suivre.
BrowseComp : la navigation web autonome
Publié par OpenAI en 2024, BrowseComp teste la capacité d’un modèle à trouver de l’information précise sur le web. Mais pas en mode « tape une requête Google ». En mode « navigue, lis, recoupe les sources, formule la réponse ». 1266 questions exigent typiquement 5-15 actions de navigation.
Scores mai 2026 : GPT-5 avec Operator à 64 %, Claude Sonnet 4.6 avec son agent web à 51 %, Gemini 3 Pro à 47 %. Pour vos cas d’usage de recherche concurrentielle, veille, due diligence, c’est le benchmark à regarder.
OSWorld : la maîtrise du bureau
OSWorld teste la capacité d’un agent à utiliser un système d’exploitation complet (Linux ou macOS) : ouvrir des fichiers, éditer du texte, manipuler des images, créer des fichiers tabulaires, naviguer dans des applications. 369 tâches sur 9 catégories. C’est le benchmark de l’agent qui « bosse » comme un humain devant un ordinateur.
Scores mai 2026 : Claude (avec Computer Use 2.0) à 38 %, GPT-5 (avec Operator) à 42 %, Gemini 3 Pro à 24 %. Encore loin du niveau humain, mais en progression rapide. À suivre absolument si vous prévoyez des agents de bureau autonomes dans les 18 mois.
TAU-Bench : le service client réaliste
TAU-Bench simule des conversations service client complètes avec un client (joué par un autre LLM) qui a un problème spécifique à résoudre. Le modèle évalué doit naviguer dans une politique d’entreprise, consulter une base de données, prendre les bonnes décisions. Pas du chat à 3 tours, du chat à 15-25 tours avec enjeux réels.
Scores mai 2026 : Claude Sonnet 4.6 à 76 %, GPT-5 à 73 %, Opus 4.6 à 81 %. Pour quiconque déploie de l’IA en relation client, TAU-Bench est plus pertinent que MMLU.
Le piège des benchmarks « tournés vers l’avenir »
Tous ces nouveaux benchmarks mesurent des choses que les modèles 2026 ne font pas encore très bien. Scores typiques 40-75 %, vs 90-95 % sur MMLU. Ne croyez pas que des scores autour de 50 % signifient « peut être déployé en production ». Pour les cas critiques, vous voulez 90 %+ d’exactitude réelle, donc 60 % de benchmark plus une validation humaine systématique.
Le bon usage : suivre la tendance, pas le niveau absolu. Si SWE-Bench passe de 50 % à 67 % en 12 mois, c’est qu’un changement d’ordre de grandeur est en train de se produire sur les capacités code des modèles. C’est cette dynamique qu’il faut intégrer dans votre roadmap.
Le benchmark qui manque encore : la fiabilité dans le temps
Aucun des benchmarks majeurs ne mesure ce qui est probablement la métrique la plus critique en production : la stabilité des sorties sur un même input répété 100 fois. Les LLM 2026 restent stochastiques, avec des variations de 5 à 20 % selon la température et le contexte. Pour des workflows régulés (banque, santé, juridique), c’est un trou béant.
Si vous opérez dans ces secteurs, construisez votre propre métrique de reproductibilité avant tout déploiement. Aucun benchmark public ne vous la donnera.
Le calendrier des nouveaux benchmarks à venir
Plusieurs initiatives sont à surveiller. RE-Bench (recherche autonome en sciences) attendu fin 2026. WebArena 2 (interactions web complexes) en bêta. HELM 3 (méta-benchmark multi-axes) en construction par Stanford. Ces benchmarks formeront probablement le standard de référence en 2027.
À l’inverse, prévoir la dépréciation progressive de MMLU et HumanEval dans les analyses sérieuses. Ils resteront cités, mais perdront leur poids dans les arbitrages business.
Comment intégrer ça dans vos arbitrages
Pour chaque grand cas d’usage de votre stack IA, identifiez 1-2 benchmarks publics pertinents :
Dev/code → SWE-Bench. Service client → TAU-Bench. Agents de bureau → OSWorld. Recherche/veille → BrowseComp. Synthèse documentaire → MMLU-Pro et LongBench. Multilingue/français → MMLU-FR.
Suivez les scores de votre modèle actuel et de ses challengers une fois par trimestre. Pas pour basculer mécaniquement, mais pour anticiper.
Le réflexe sain
Ne tombez pas dans le piège du « benchmark theater » : choisir le modèle qui brille sur tous les benchmarks, sans test interne. Les benchmarks orientent, ils ne décident pas. Votre benchmark interne (cf article précédent) reste le seul indicateur fiable de production.
Mais ignorer les nouveaux benchmarks publics c’est aussi se priver d’un signal faible précieux. La bonne posture : surveillez les 5-6 benchmarks pertinents pour votre activité, comparez aux tests internes, et arbitrez en croisant les deux.
