Méthodologie · AI
Comment le AI Models Top 20 est calculé
Le score principal croise l'Elo texte d'Arena et l'Intelligence Index d'Artificial Analysis, chacun normalisé en percentile parmi les candidats. Les autres vues ne s'activent que si une source fournit une mesure comparable.
Dernière mise à jour : · semaine 41 · 16 semaines d’historique
D’où viennent les chiffres
Sources
| Source | Ce qu’on en tire | Statut |
|---|---|---|
| Arena Leaderboard Dataset (nouvel onglet) | Classements publics de texte, WebDev, agents, vision et recherche; un score n'est retenu qu'à partir de 1 000 votes, ou 1 000 observations pour la catégorie agents. | Branchée |
| Hugging Face Hub (nouvel onglet) | Identité des modèles publics, téléchargements sur 30 jours, likes, licence déclarée et accès restreint. Les évaluations de model cards ne sont pas classées tant qu'elles ne sont pas validées indépendamment. | Branchée |
| OpenRouter API (nouvel onglet) | Rang d'usage hebdomadaire, rang relatif de débit, contexte maximal et prix publiés par modèle. | Branchée |
| Artificial Analysis via OpenRouter (nouvel onglet) | Intelligence Index, Coding Index et Agentic Index lus via le point d'accès benchmarks d'OpenRouter. | Branchée |
Ce qui entre dans la note
Critères et pondérations
Qualité générale (50 % Arena, 50 % Artificial Analysis)
Le score Arena texte et l'Artificial Analysis Intelligence Index sont convertis séparément en percentiles sur les candidats de la semaine, puis moyennés à parts égales. Si une seule source est disponible, son poids est renormalisé.
Coding
Moyenne des percentiles Arena WebDev et Artificial Analysis Coding Index quand les deux existent; sinon le percentile disponible est utilisé.
Reasoning
Vue désactivée tant qu'aucune évaluation externe dont le jeton de vérification a été contrôlé n'est disponible. Les valeurs auto-déclarées sur les model cards sont exclues.
Maths
Vue désactivée tant qu'aucune évaluation mathématique externe vérifiée n'est disponible.
Agents
Percentile du score Arena Agent; complété par l'Agentic Index d'Artificial Analysis quand il existe.
Multimodal
Percentile du score Arena Vision. Les modèles absents de ce classement n'apparaissent pas dans cette vue.
Long context
Classement par taille de contexte déclarée par OpenRouter; le contexte ne rentre pas dans le score de qualité générale.
Speed et Price
Débit : ordre publié par OpenRouter. Prix : moyenne pondérée de trois parts entrée et une part sortie, par million de tokens; le coût le plus bas obtient le percentile le plus élevé.
Value (rapport qualité/prix)
60 % qualité générale et 40 % percentile de prix. C'est un choix éditorial, distinct du score de qualité.
Pool et identité
Le pool vient des premières pages publiques de Hugging Face, Arena et OpenRouter. Les sources ne sont reliées que par nom de modèle normalisé et organisation canonique; les collisions restent séparées, sans rapprochement approximatif.
Générée à partir du code, donc toujours à jour
La formule, ligne par ligne
Coding
Résoudre de vrais tickets et écrire du code correct.
| SWE-bench Verified | 60 % | valeur telle quelle (déjà sur 100) |
| LiveCodeBench | 40 % | valeur telle quelle (déjà sur 100) |
Reasoning
Raisonnement scientifique et questions expertes.
| GPQA Diamond | 60 % | valeur telle quelle (déjà sur 100) |
| Humanity's Last Exam | 40 % | échelle linéaire entre 0 (0) et 50 (100) |
Maths
Mathématiques de concours.
| AIME 2025 | 100 % | valeur telle quelle (déjà sur 100) |
Agents
Enchaîner des actions avec des outils sans dérailler.
| Terminal-Bench | 55 % | échelle linéaire entre 0 (0) et 70 (100) |
| τ-bench | 45 % | valeur telle quelle (déjà sur 100) |
Multimodal
Comprendre les images en plus du texte. Absente pour les modèles texte seul.
| MMMU | 100 % | valeur telle quelle (déjà sur 100) |
Long context
Taille de la fenêtre et capacité à y retrouver l'information.
| MRCR | 60 % | valeur telle quelle (déjà sur 100) |
| Fenêtre de contexte | 40 % | échelle logarithmique entre 32 (0) et 2000 (100) |
Speed
Vitesse de génération, échelle logarithmique de 30 à 400 tokens par seconde.
| Vitesse de sortie | 100 % | échelle logarithmique entre 30 (0) et 400 (100) |
Price
Prix mixte (3 parts d'entrée pour 1 de sortie), inversé : moins cher = score plus haut.
| Prix mixte | 100 % | échelle logarithmique entre 0.2 (0) et 20 (100), inversée (plus bas = mieux) |
Global Note principale
Qualité globale : coding 25 %, reasoning 22 %, agents 20 %, maths 13 %, multimodal 10 %, long context 10 %. La vitesse et le prix n'y entrent pas.
| Coding | 25 % | sous-score composite |
| Reasoning | 22 % | sous-score composite |
| Agents | 20 % | sous-score composite |
| Maths | 13 % | sous-score composite |
| Multimodal | 10 % | sous-score composite |
| Long context | 10 % | sous-score composite |
Value
Rapport qualité/prix : 60 % qualité globale, 40 % score de prix.
| Global | 60 % | sous-score composite |
| Price | 40 % | sous-score composite |
Ce qu’on ne sait pas faire
Limites
Un benchmark mesure une tâche, pas votre usage. Aucun score ne remplace un essai sur vos propres données.
Arena mesure des préférences humaines; Artificial Analysis publie un index distinct. Un percentile ne rend pas leurs protocoles identiques.
Les vues Reasoning et Maths restent désactivées jusqu'à validation réelle des scores et de leurs jetons; les résultats auto-déclarés ne sont pas considérés comme vérifiés.
Le débit, le contexte et le prix dépendent du catalogue OpenRouter et de ses fournisseurs; le rang de débit n'est pas un temps de réponse garanti.
Les percentiles changent lorsque le pool de candidats change. Le rang hebdomadaire est conservé, mais un score sur 100 n'est comparable qu'à l'intérieur de son édition.
Le classement ne couvre que les modèles présents dans les sources collectées et les éditions ne sont publiées qu'à partir de vingt candidats évaluables.