À quoi il sert
Video-MME servait à noter la tâche Vision et multimodal. Archivé faute de modèle récent mesuré, il ne sert plus qu'à situer les modèles plus anciens sur l'échelle commune.
VisionFiche benchmark · Équipe Video-MME (auteurs de l'article de 2024) · video-mme.github.io
Video-MME
2 700 questions à choix multiples sur 900 vidéos, de moins de deux minutes à une heure.
Comment c'est noté
Part de bonnes réponses sans les sous-titres ; le hasard donne 25 %.
Pour le calcul, ce score est ramené entre 0 et 1 : 25 %, le niveau du hasard, vaut 0 et 100 % vaut 1.
Ce qu'il ne dit pas
Beaucoup de lignes concernent des modèles de recherche, et le nombre d'images transmises varie d'un modèle à l'autre. Aucun modèle sorti après juin 2025.
Qui le tient
Équipe Video-MME (auteurs de l'article de 2024).
video-mme.github.io/home_page.html · tâche Vision · 50 modèles mesurés
Comment lire le score
50 modèles mesurésSeuil de saturation : 96,3 % ↓
0 %50 %video-SALMONN 2+ : 79,7 %100 %
En tête : video-SALMONN 2+, 79,7 %
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 62 % a un score IA d'environ 39. Le meilleur, video-SALMONN 2+, atteint 79,7 %. Le benchmark est archivé, faute de modèle récent mesuré.
Ce que ce benchmark attend à chaque niveau
- Score IA 51niveau de GPT-4o (Nov 2024)
- 69 %
- Score IA 76niveau de Claude Sonnet 4.5
- 81 %
- Score IA 100niveau de Claude Opus 5.5
- 89 %
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
Son poids chez nous
0 %du score général. Video-MME est archivé et ne compte plus : la tâche Vision et multimodal (5 % du score général) repose sur 3 autres benchmarks.
En couleur, la tâche Vision et multimodal dans le score général. Video-MME n'y a plus de part.
Le classement du benchmark
Scores relevés auprès de 2 sources · édition duRangModèleRéflexionScore publiéSuggèreSource
50 modèles mesurés, chacun à sa meilleure configuration. « Suggère » : le score IA que cette seule mesure indique.Voir les 50 →Replier le classement ↑
En bref
- Que mesure Video-MME ?
- 2 700 questions à choix multiples sur 900 vidéos, de moins de deux minutes à une heure. Sur Quelle IA, il est rangé dans la tâche Vision et multimodal.
- Comment Video-MME est-il noté ?
- Part de bonnes réponses sans les sous-titres ; le hasard donne 25 %. Un modèle qui obtient 62 % a un score IA d'environ 39.
- Qui est en tête sur Video-MME ?
- video-SALMONN 2+ (ByteDance) est en tête de Video-MME avec 79,7 %, dans l'édition du 28 septembre 2026. Suivent Gemini 1.5 Pro (Feb 2024) (75 %) et Gemini 1.5 Pro (May 2024) (75 %). 50 modèles y sont mesurés.
- Quelles sont les limites de Video-MME ?
- Beaucoup de lignes concernent des modèles de recherche, et le nombre d'images transmises varie d'un modèle à l'autre. Aucun modèle sorti après juin 2025. Au 28 septembre 2026, le benchmark est archivé.
- Combien pèse Video-MME dans le score IA ?
- Video-MME compte pour 0 % du score général, dans l'édition du 28 septembre 2026. Il est archivé et ne compte plus : la tâche Vision et multimodal (5 % du score général) repose sur 3 autres benchmarks.
- Qui maintient Video-MME ?
- Équipe Video-MME (auteurs de l'article de 2024). Sa page de référence : video-mme.github.io/home_page.html.
Les autres benchmarks de la tâche Vision et multimodal
- Arena, vision121 modèles · 1,67 % du score
- Furniture Assembly28 modèles · 1,67 % du score
- Blueprint-Bench 226 modèles · 1,67 % du score
- VPCT (Visual Physics Comprehension Test)28 modèles · hors scoreARCHIVÉ
- GeoBench27 modèles · hors scoreARCHIVÉ
- CadEval15 modèles · hors scoreARCHIVÉ
- SpatialViz-Bench8 modèles · hors scoreARCHIVÉ
- MindCube5 modèles · hors scoreARCHIVÉ