Freeze-Omni
- Poids ouverts
- Licence : Apache 2.0
En bref : 34e sur 38 en raisonnement à l'écoute (Big Bench Audio) ; 28e sur 31 en tenue de la conversation (Full Duplex Bench).
Présentation
Modèle de dialogue vocal à poids ouverts bâti sur un modèle de langage textuel gelé (Qwen2-7B-Instruct), pour garder ses capacités intactes. Un encodeur et un décodeur de parole en flux lui permettent de répondre vite et de détecter quand l'utilisateur l'interrompt. Lu sur raw.githubusercontent.com, le 23/10/2026.
- Sortie
- 26 novembre 2024 lu sur la page de l'éditeur
Langues
- Évaluées par nos sources : anglais.
- Le français : pas évalué en français par nos sources.
Ses 2 classements
Chaque ligne vient d'une seule source, dans son unité : les chiffres de deux lignes ne se comparent pas entre eux. Ils ne comptent pas dans le score des modèles de langage.
- En anglais · Voix à voix
Raisonnement à l'écoute, Big Bench Audio
34e sur 38part de réussite 33,4 %
Source : Artificial Analysis · relevé du 9 novembre 2026.
- En anglais · Voix à voix
Tenue de la conversation, Full Duplex Bench
28e sur 31part de réussite 58,7 %
Source : Artificial Analysis · relevé du 9 novembre 2026.
Modèles proches
- Raisonnement à l'écoute, Big Bench Audio : devant, GPT-4o Audio (33e, 54,3 %) · derrière, Nemotron Voicechat (35e, 27,0 %)
- Tenue de la conversation, Full Duplex Bench : devant, Moshi (27e, 61,0 %) · derrière, Nemotron Voicechat (29e, 52,9 %)
Comment lire ces chiffres
Voix à voix : Un agent vocal écoute et répond de vive voix. Artificial Analysis le mesure sur plusieurs épreuves en anglais : son indice les résume sur 100, Big Bench Audio compte les bonnes réponses à des questions posées à l'oral, la tenue de la conversation compte les situations bien gérées (pauses, interruptions), plus c'est haut, mieux c'est ; le délai avant le premier son se lit à l'inverse, plus il est court, mieux c'est.
D'où vient cette fiche
- Nom dans les sources
- Artificial Analysis (voix à voix) :
Freeze-Omni - Fiche
- Registre de QUELLE IA, lu sur https://huggingface.co/VITA-MLLM/Freeze-Omni/raw/main/README.md (« license: apache-2.0 »), 23/10/2026.
- Pages lues
- https://raw.githubusercontent.com/VITA-MLLM/Freeze-Omni/main/README.md (« Freeze-Omni is a speech-to-speech dialogue model, exhibiting the characteristic of being "**smart**" as it is constructed upon a "**frozen**" text-modality LLM. »), 23/10/2026
- https://raw.githubusercontent.com/VITA-MLLM/Freeze-Omni/main/README.md (« Download [Qwen2-7B-Instruct checkpoint](https://huggingface.co/Qwen/Qwen2-7B-Instruct) then move `Qwen2-7B-Instruct` into the root dir of this repo »), 23/10/2026
- https://raw.githubusercontent.com/VITA-MLLM/Freeze-Omni/main/README.md (« Freeze-Omni contains a speech encoder that supports streaming speech input and a speech decoder that generates streaming output speech. »), 23/10/2026
- https://raw.githubusercontent.com/VITA-MLLM/Freeze-Omni/main/README.md (« These states will determine whether or not the user interrupts the dialogue to achieve a duplex dialogue for the user and the bot. »), 23/10/2026
- https://raw.githubusercontent.com/VITA-MLLM/Freeze-Omni/main/README.md (« **`2024.11.26`** 🌟 The inference code, server demo and model weights **have been released**. »), 23/10/2026
Voir aussi : la voix en bref, la transcription, la synthèse vocale, la voix à voix, ou cette fiche en texte.