Audio Revue publiée le Mise à jour le
Comparer

OpenAI : Whisper Large V3 Turbo

Whisper Large V3 Turbo est un modèle d’OpenAI sorti le 30 septembre 2024. Selon le README du dépôt Whisper d’OpenAI, il transcrit les fichiers audio en texte dans leur langue d’origine.

Connectez-vous pour suivre Whisper Large V3 Turbo et être prévenu de ce qui change.

Whisper Large V3 Turbo ou Whisper Large V3 : lequel choisir ?

Whisper Large V3 Turbo est, selon OpenAI à sa sortie, une version optimisée de Whisper large-v3. Selon OpenAI, à sa sortie, son décodeur ne compte que 4 couches, comme celui du modèle tiny, contre 32 dans la série large.

Selon OpenAI, à sa sortie, turbo a été affiné pendant deux époques supplémentaires sur la même quantité de données de transcription multilingue que celle utilisée pour entraîner large-v3. Cet affinage exclut les données de traduction, selon OpenAI dans son annonce. Distil-Whisper est entraîné par distillation, contrairement à turbo, selon OpenAI. Pour la traduction, OpenAI n’attendait pas de bons résultats à sa sortie.

Selon le README du dépôt Whisper d’OpenAI, turbo compte 809 M de paramètres et demande environ 6 Go de mémoire vidéo. Pour le modèle large, le même README d’OpenAI indique 1550 M de paramètres et environ 10 Go de mémoire vidéo. Pour traduire vers l’anglais une parole dans une autre langue, OpenAI conseille dans son README d’utiliser un modèle multilingue, tiny, base, small, medium ou large, au lieu de turbo.

À quoi sert Whisper Large V3 Turbo

Transcription de fichiers audio

Whisper Large V3 Turbo transcrit la parole de fichiers audio aux formats flac, mp3 et wav avec la commande whisper, selon le README du dépôt Whisper d’OpenAI. Selon OpenAI, le réglage par défaut, qui choisit le modèle turbo, fonctionne bien pour transcrire l’anglais.

Transcription multilingue

Whisper Large V3 Turbo n’existe qu’en modèle multilingue, selon le README du dépôt Whisper d’OpenAI. Aucune déclinaison réservée à l’anglais n’est proposée pour turbo dans ce README.

  • Audio
  • Transcription

Les performances de Whisper Large V3 Turbo

Whisper Large V3 Turbo obtient, selon OpenAI à sa sortie, des résultats proches de ceux de large-v2 d’une langue à l’autre, avec une dégradation plus forte pour certaines langues, dont le thaï et le cantonais. Selon OpenAI à sa sortie, ses résultats sont meilleurs sur FLEURS, un jeu de données composé d’enregistrements plus propres que ceux de Common Voice.

La figure publiée par OpenAI à la sortie du modèle présente ses résultats sur un sous-ensemble des langues présentes dans les jeux de données Common Voice 15 et FLEURS. Selon OpenAI, elle retient uniquement les langues pour lesquelles large-v3 obtenait un taux d’erreur inférieur ou égal à 20 % dans ces tests.

Selon OpenAI à sa sortie, avec le correctif utilisant F.scaled_dot_product_attention, une fonction d’attention, lorsqu’elle est disponible, turbo dépasse la vitesse de transcription qu’avait jusque-là tiny. D’après le README du dépôt Whisper d’OpenAI, turbo atteint environ 8 fois la vitesse du modèle large lors de la transcription de parole anglaise sur une A100. Selon ce même README d’OpenAI, la vitesse réelle peut varier fortement selon la langue, le débit de parole et le matériel disponible.

Caractéristiques techniques de Whisper Large V3 Turbo

Whisper Large V3 Turbo est sorti le 30 septembre 2024. OpenAI l’a annoncé le 1er octobre 2024 dans la discussion « turbo model release » du dépôt GitHub openai/whisper.

Selon le README d’OpenAI, le modèle turbo n’est pas entraîné pour les tâches de traduction. Même avec la commande de traduction –task translate, il renvoie le texte dans la langue d’origine, selon ce même README. Selon OpenAI, le code et les poids des modèles Whisper sont publiés sous licence MIT. Le tableau des caractéristiques donne l’éditeur et la date de sortie.

Éditeur
OpenAI
Sortie
Hébergeurs
DeepInfra, Groq

Source : OpenRouter.

Où utiliser Whisper Large V3 Turbo

Whisper Large V3 Turbo devient, à sa sortie selon OpenAI, le modèle utilisé par défaut par la commande whisper après la mise à jour du paquet Python openai-whisper. En Python, le modèle se charge avec whisper.load_model(« turbo »), selon le README du dépôt Whisper d’OpenAI. Selon la carte du modèle publiée sur Hugging Face, il est également pris en charge par la bibliothèque Transformers.

L'API chez des hébergeurs

Servi par d'autres hébergeurs que OpenAI, selon OpenRouter

Hébergé via OpenRouter chezDeepInfra, Groq

Un accès gratuit dépend toujours de l'outil, de l'offre et de ses limites : nous ne l'attribuons pas au modèle seul.

Whisper Large V3 Turbo parmi les versions de Whisper

Whisper Large V3 Turbo, sorti le 30 septembre 2024, est l’une des 3 versions de Whisper publiées sur Aikiwi, rangées dans la frise par date de sortie.

  1. Whisper 1
1 version sélectionnéeAjoutez 1 ou 2 autres versions pour comparer leurs données.

FAQ

Comment installer Whisper Large V3 Turbo ?

Whisper Large V3 Turbo s’utilisait à sa sortie en mettant à jour le paquet Python avec la commande pip install -U openai-whisper, selon OpenAI. Selon OpenAI, la version nécessaire était 20240930 ou une version ultérieure.

Whisper Large V3 Turbo peut-il traduire ?

Whisper Large V3 Turbo renvoie le texte dans la langue d’origine, selon le README du dépôt Whisper d’OpenAI. Même lorsque la tâche de traduction est demandée avec –task translate, il conserve ce comportement selon ce README.

Quand Whisper Large V3 Turbo a-t-il été annoncé ?

Whisper Large V3 Turbo a été annoncé le 1er octobre 2024, selon OpenAI. OpenAI a publié cette annonce dans une discussion du dépôt GitHub openai/whisper intitulée « turbo model release ».

Usage sur OpenRouter

Transcription
23,1 M requêtes sur le dernier mois · 2e sur 20 des modèles les plus utilisés en Transcription

Source : OpenRouter (openrouter.ai/rankings), au , données sous licence CC BY 4.0. Le volume traité via l'API OpenRouter mesure l'adoption, pas la qualité.