Le 3 novembre 2025, la plateforme publique compar:IA, initiée par la Direction interministérielle du numérique (DINUM) en collaboration avec le ministère de la Culture, a publié ses premiers résultats de classement des IA, un an après son lancement.
Ce comparateur gouvernemental permet d’évaluer anonymement divers modèles d’IA conversationnelle à travers des tests réalisés par les utilisateurs. L’équipe de Yiaho revient sur ce classement, qui s’avère surprenant comparé aux autres benchmarks mondiaux. Analysons cela ensemble.
Compar IA : Fonctionnement de la plateforme
Mais comment sont comparées les IA sur le site du gouvernement ? Dans 95 % des cas, un utilisateur soumet une question libre à deux modèles d’IA sans connaître leur identité. Les réponses sont générées simultanément, et l’utilisateur sélectionne celle qu’il juge la plus pertinente.
À l’issue du vote, les noms des modèles sont dévoilés, accompagnés d’informations complémentaires telles que leur origine, leur taille, leur statut open source ou propriétaire, et une estimation de leur impact environnemental.
Dans 5 % des interactions, les utilisateurs optent pour des questions prédéfinies parmi une liste proposée.
Le classement français des IA
Le palmarès établi par compar:IA place en tête des modèles surprenants par rapport aux évaluations internationales habituelles :
- 1er : Mistral Medium
- 2eme : Gemini 2.5 Flash
- 3eme : Gemini 2.0 Flash
Parmi les autres positions notables, Claude Sonnet 3.5 se situe à la 11e place et GPT-5 occupe la… 30e place !
Le premier modèle de la famille GPT n’apparaît qu’à la 7e place, et il s’agit de gpt-oss-120b, une variante open source publiée en août 2025, plutôt que des versions plus récentes comme GPT-4.5 ou GPT-5.
Gemini 2.5 Pro, souvent cité en tête des benchmarks mondiaux, n’est même pas dans ce classement.
Comparateur d’IA : Comparaisons avec d’autres évaluations
Ce classement français diverge sensiblement des références internationales.
Par exemple, la plateforme LMArena, mise à jour le 16 octobre 2025 avec plus de 4,2 millions de votes sur 258 modèles, met en avant des leaders différents en évaluant la polyvalence, la précision linguistique et l’adaptation culturelle.
Meilleure IA : Le classement LMArena
Ses premières places sont occupées par des modèles comme :
- gemini 2.5 pro (Google),
- claude opus 4.1 (Anthropic),
- claude sonnet 4.5 (Anthropic)
- et gpt-4.5 (OpenAI), tous notés autour de 1440-1451 points avec des intervalles de confiance indiqués.
Et l’indicateur Open Router
Un autre indicateur, basé sur l’usage réel via la plateforme OpenRouter, reflète les volumes de tokens traités et les parts de marché.
Ici, les modèles (LLM) les plus sollicités incluent dans l’ordre :
- Grok Code Fast 1 (xAI) en première position avec 1,47 trillion de tokens (9 %),
- Claude Sonnet 4.5 (Anthropic) avec 638 milliards de tokens (12 %),
- Gemini 2.5 Flash (Google) avec 325 milliards de tokens (9 %).
Des variantes comme Gemini 2.5 Pro, Grok 4 Fast ou DeepSeek V3 complètent le top 10, avec des croissances notables pour certains modèles gratuits. Ces écarts soulignent les différences méthodologiques : compar:IA repose sur des préférences subjectives d’utilisateurs francophones dans un cadre anonyme, tandis que d’autres classements intègrent des critères techniques objectifs ou des volumes d’utilisation massifs.
La plateforme gouvernementale vise ainsi à offrir une perspective locale et accessible au public. Est-ce la bonne solution pour comparer les modèles d’IA ? Donnez votre avis en commentaire !
Source :
