STEMBench d'Ulam
Hors du scoreSTEMBench d'Ulam soumet aux modèles 120 tâches de recherche en sciences et en ingénierie, tenues secrètes, 20 dans chacun de six domaines. Chaque tâche reçoit une note de 0 à 4 : un niveau entier, de 0 (aucun progrès exploitable) à 4 (l'objectif entier atteint), affiné par un indice de qualité. La moyenne compte toutes les tâches, tentatives notées zéro comprises. Elle ne compte pas dans le score IA de QUELLE IA.
Deux des 11 passages ont travaillé avec des outils (recherche de sources, exécution de code, fichiers) : les passages avec outils ne se comparent pas directement aux autres.
Gemini 4 Argon
sans outils
Moyenne2,444 sur 4
- Rang
- 9e sur 11
- Dans son réglage
- 7e des 9 passages sans outils
- Tâches notées
- 120 sur 120, dont 15 notées zéro
- Réussites complètes
- aucune
Moyenne par domaine, sur 4
- Biologie2,348
- Chimie2,336
- Physique2,083
- Astronomie2,778
- Sciences de la Terre2,647
- Ingénierie2,471
Instantané du 28 octobre 2026 (STEMBench120, version 1.0.0). Rang parmi les 11 passages publiés par Ulam, tous réglages confondus. Sur une même tâche, Ulam tient deux notes à moins de 0,05 l'une de l'autre pour égales. Aucun des 11 passages n'a atteint l'objectif entier d'une tâche.
Source : Ulam STEMBench