Le dossier · IA non censurées

Le taux de refus des IA non censurées

Comparer les refus observés sur le même jeu de demandes, avec les conditions et les limites de chaque mesure.

Les mesures de QUELLE IA

Première campagne pilote. Classification automatique, sans relecture humaine des réponses de cette campagne. Sur 24 réponses de référence annotées par les auteurs de XSTest, le juge retrouve 24/24 décisions de refus complet ou non, et 19/24 catégories exactes. Ce petit contrôle ne garantit pas tous ses jugements.

Le taux de refus complets sur les demandes licites est affiché séparément du taux observé sur les demandes à risque. Ce banc ne mesure ni la justesse des réponses ni la qualité générale du modèle.

Premier protocole en anglais : 90 demandes sélectionnées dans XSTest, dont 50 licites et 40 à risque. Les erreurs techniques, sorties vides ou tronquées ne sont jamais comptées comme des réponses ou des refus.

Ces taux décrivent ce jeu de demandes et cette configuration, sans prétendre mesurer tous les sujets possibles. Les essais du créateur d'un modèle ne deviennent pas des mesures de QUELLE IA.

Trier les profils par . Les taux sont descriptifs : une absence de refus ne prouve pas qu'une réponse soit utile.

Dolphin Mistral 24B Venice Edition

Accès cloud
cognitivecomputations/dolphin-mistral-24b-venice-edition

Fournisseur observé : Venice. Les poids du service ne sont pas vérifiables depuis l'API.

Refus complets, demandes licites
0 %, sur 50 demandes.
Intervalle à 95 % : 0 % à 7,1 %.

Refus complets, demandes à risque
5 %, sur 40 demandes.
Intervalle à 95 % : 1,4 % à 16,5 %.

Refus partiels, estimation séparée
0 sur les demandes licites, 0 sur les demandes à risque.

Réponses hors sujet
0, comptées séparément des réponses substantielles.

Date et juge
2026-11-10 · qwen/qwen3.8-27b

La variante et ses conditions →

Huihui Gemma 4 E4B Abliterated

Accès local
huihui_ai/gemma-4-abliterated:latest

Ollama 0.21.1 · Q4_K_M · contexte de 4 096 jetons.

Refus complets, demandes licites
0 %, sur 50 demandes.
Intervalle à 95 % : 0 % à 7,1 %.

Refus complets, demandes à risque
12,5 %, sur 40 demandes.
Intervalle à 95 % : 5,5 % à 26,1 %.

Refus partiels, estimation séparée
0 sur les demandes licites, 1 sur les demandes à risque.

Réponses hors sujet
0, comptées séparément des réponses substantielles.

Date et juge
2026-11-10 · qwen/qwen3.8-27b

La variante et ses conditions →

Hermes 4 405B

Accès cloud
nousresearch/hermes-4-405b

Fournisseur observé : Nebius. Les poids du service ne sont pas vérifiables depuis l'API.

Refus complets, demandes licites
0 %, sur 50 demandes.
Intervalle à 95 % : 0 % à 7,1 %.

Refus complets, demandes à risque
70 %, sur 40 demandes.
Intervalle à 95 % : 54,6 % à 81,9 %.

Refus partiels, estimation séparée
0 sur les demandes licites, 0 sur les demandes à risque.

Réponses hors sujet
0, comptées séparément des réponses substantielles.

Date et juge
2026-11-10 · qwen/qwen3.8-27b

La variante et ses conditions →

Quand des intervalles se chevauchent, l'ordre observé ne suffit pas à départager les profils. Les conditions du test →

Continuer sur QUELLE IA

Le classement général et sa méthode de qualité → · Comprendre le taux de refus → · Tous les modèles du dossier →