Modèles de décisionRelevé le · 1 tableau · 17 lignes
Décider à l'écoute
Le système écoute un appel ou une commande vocale, sans transcription écrite, et décide : intention, urgence, sécurité d'une commande, locuteur. Un tableau par banc, repris tel que le banc le publie : son score de 0 à 100 et son rang. QUELLE IA n'en tire aucun score et ne mélange jamais deux tableaux.
AudioJevBenchBenchmark Heaven
AudioJevBench
Ce qui est mesuré : score de capacité de 0 à 100, moyenne de l'exactitude et de la calibration, sur des décisions prises à l'écoute d'un appel (intention, urgence, sentiment, sécurité d'une commande, vérification du locuteur, sons) ; seuls les systèmes à moins d'une seconde de latence médiane et de 0,25 dollar les 1 000 décisions reçoivent un rang. Score de capacité : plus il est haut, mieux c'est. Le rang est celui que le banc publie ; une ligne sans rang dit pourquoi.
Qwen3-Omni-30B-A3B-Instruct arrive premier avec 83,2, sur 7 systèmes classés (AudioJevBench, relevé du 26 octobre 2026, version 0.1 du 29 septembre 2026).
| Rang | Système | Capacité | Exactitude | Calibration | $ les 1 000 décisions | Latence médiane |
|---|---|---|---|---|---|---|
| 1 | Qwen3-Omni-30B-A3B-Instruct | 83,2 | 81,0 | 85,4 | 0,049 $ | 0,66 s |
| 2 | Qwen2.5-Omni-7B | 68,1 | 57,8 | 78,5 | 0,063 $ | 0,68 s |
| 3 | Qwen2.5-Omni-3B | 53,8 | 50,1 | 57,4 | 0,060 $ | 0,52 s |
| 4 | Voxtral Mini 3B2507 | 47,8 | 47,2 | 48,4 | 0,070 $ | 0,38 s |
| 5 | Ultravox v0.5Llama 3.2 1B | 31,4 | 0,0 | 62,9 | 0,019 $ | 0,22 s |
| 6 | MOSS-Audio-4B-Instruct | 27,9 | 31,8 | 23,9 | 0,061 $ | 0,40 s |
| 7 | Qwen2-Audio-7B-Instruct | 12,8 | 0,0 | 25,6 | 0,112 $ | 0,65 s |
| Sans rang chez le banc : la raison est sous le nom | ||||||
| Gemini 3.8 Flashprovisoirelatence médiane de 1,65 s, au-delà de 1,0 s ; 1,5 $ les 1 000 décisions, au-delà de 0,25 $ | 94,4 | 91,9 | 1,53 $ | 1,65 s | ||
| Gemini 3.5 Flashprovisoirelatence médiane de 1,27 s, au-delà de 1,0 s ; 1,1 $ les 1 000 décisions, au-delà de 0,25 $ | 83,1 | 79,0 | 1,07 $ | 1,27 s | ||
| Gemini 3.1 Flash-Liteprovisoirelatence médiane de 1,27 s, au-delà de 1,0 s | 72,1 | 64,0 | 0,232 $ | 1,27 s | ||
| GPT Audioprovisoire4,9 $ les 1 000 décisions, au-delà de 0,25 $ | 69,3 | 71,3 | 4,94 $ | 0,95 s | ||
| GPT Audio Miniprovisoire1,2 $ les 1 000 décisions, au-delà de 0,25 $ | 66,3 | 64,0 | 1,24 $ | 0,84 s | ||
| Gemini 3.5 Flash-Liteprovisoirelatence médiane de 1,32 s, au-delà de 1,0 s | 65,6 | 57,8 | 0,220 $ | 1,32 s | ||
| CLAPprovisoirelaion/clap-htsat-fused | 47,5 | 95,1 | 0,0 | 0,001 $ | 0,61 s | |
| ASTprovisoireMIT AudioSet fine-tunelatence médiane de 3,94 s, au-delà de 1,0 s | 29,9 | 59,8 | 0,0 | 0,001 $ | 3,94 s | |
| Whisper large-v3-turbo → Qwen3-4B-Instruct-2507hors classementlatence médiane de 8,04 s, au-delà de 1,0 s | 57,6 | 48,2 | 67,1 | 0,174 $ | 8,04 s | |
| AudioJevhors classementmocomoco edge ONNXlatence médiane de 1,65 s, au-delà de 1,0 s | 0,0 | 0,0 | 0,0 | 0,006 $ | 1,65 s | |
Source : AudioJevBench, Benchmark Heaven · .
Ce que ces tableaux ne disent pas
- Un seul banc, AudioJevBench, dans sa version 0.1 du 29 septembre 2026 : 17 systèmes, dont les modèles de Google et d'OpenAI mesurés sur les seuls éléments publics, donc provisoires.
- Le banc mesure des décisions prises à l'écoute d'un appel : il ne dit rien de la qualité d'une transcription ni d'une voix de synthèse. Pour cela, voir les classements de la voix.
Sans score QUELLE IA. Ces tableaux ne comptent dans aucun score du site et ne se combinent pas entre eux. Accords de Benchmark Heaven et de multimodalart du 17 octobre 2026 : relevé chaque semaine, mention de la source, lien et date sous chaque tableau. La méthode.