À quoi il sert
Sur QUELLE IA, CritPt sert à noter la tâche Sciences et savoir expert : c'est l'un de ses 5 benchmarks. Il départage surtout les modèles dont le score IA approche 104.
SciencesFiche benchmark · Collectif de physiciens mené par le laboratoire d'Argonne et l'université de l'Illinois ; classement Artificial Analysis · artificialanalysis.ai
71 défis de physique de niveau recherche, comparables à un premier projet de thèse, écrits par plus de 50 physiciens.
Source : Artificial Analysis. Ces mesures, relayées par Epoch AI, comptent dans le score IA avec leur accord.
Sur QUELLE IA, CritPt sert à noter la tâche Sciences et savoir expert : c'est l'un de ses 5 benchmarks. Il départage surtout les modèles dont le score IA approche 104.
Part de défis résolus ; les réponses (nombres, formules, fonctions Python) sont vérifiées automatiquement.
Scores très bas, 32 % au mieux. Les résultats sont mesurés par Artificial Analysis, dans ses propres conditions.
Collectif de physiciens mené par le laboratoire d'Argonne et l'université de l'Illinois ; classement Artificial Analysis.
artificialanalysis.ai/evaluations/critpt · tâche Sciences · 160 modèles mesurés
En tête : Gemini 4 Carbon, 36 %
Chaque trait est un modèle, placé à son meilleur score. Un modèle qui obtient 50 % a un score IA d'environ 104. Le meilleur, Gemini 4 Carbon, atteint 36 %. Le benchmark sera dit saturé quand un modèle atteindra 95 %.
Valeurs lues sur la courbe d'étalonnage du benchmark, qui relie le score publié au score IA. La démarche
2 %du score général. CritPt porte 20 % de la tâche Sciences et savoir expert (10 % du score général), que se partagent 5 benchmarks.
En couleur, la tâche Sciences et savoir expert dans le score général. En noir, la part de CritPt.
↑↓ choisirEntrée ouvrirÉchap fermerTous les modèles, avec filtres