OpenAI : Whisper Large V3 Turbo
Whisper Large V3 Turbo est un modèle d’OpenAI sorti le 30 septembre 2024. Selon le README du dépôt Whisper d’OpenAI, il transcrit les fichiers audio en texte dans leur langue d’origine.
Whisper Large V3 Turbo ou Whisper Large V3 : lequel choisir ?
Whisper Large V3 Turbo est, selon OpenAI à sa sortie, une version optimisée de Whisper large-v3. Selon OpenAI, à sa sortie, son décodeur ne compte que 4 couches, comme celui du modèle tiny, contre 32 dans la série large.
Selon OpenAI, à sa sortie, turbo a été affiné pendant deux époques supplémentaires sur la même quantité de données de transcription multilingue que celle utilisée pour entraîner large-v3. Cet affinage exclut les données de traduction, selon OpenAI dans son annonce. Distil-Whisper est entraîné par distillation, contrairement à turbo, selon OpenAI. Pour la traduction, OpenAI n’attendait pas de bons résultats à sa sortie.
Selon le README du dépôt Whisper d’OpenAI, turbo compte 809 M de paramètres et demande environ 6 Go de mémoire vidéo. Pour le modèle large, le même README d’OpenAI indique 1550 M de paramètres et environ 10 Go de mémoire vidéo. Pour traduire vers l’anglais une parole dans une autre langue, OpenAI conseille dans son README d’utiliser un modèle multilingue, tiny, base, small, medium ou large, au lieu de turbo.
À quoi sert Whisper Large V3 Turbo
Transcription de fichiers audio
Whisper Large V3 Turbo transcrit la parole de fichiers audio aux formats flac, mp3 et wav avec la commande whisper, selon le README du dépôt Whisper d’OpenAI. Selon OpenAI, le réglage par défaut, qui choisit le modèle turbo, fonctionne bien pour transcrire l’anglais.
Transcription multilingue
Whisper Large V3 Turbo n’existe qu’en modèle multilingue, selon le README du dépôt Whisper d’OpenAI. Aucune déclinaison réservée à l’anglais n’est proposée pour turbo dans ce README.
- Audio
- Transcription
Les performances de Whisper Large V3 Turbo
Whisper Large V3 Turbo obtient, selon OpenAI à sa sortie, des résultats proches de ceux de large-v2 d’une langue à l’autre, avec une dégradation plus forte pour certaines langues, dont le thaï et le cantonais. Selon OpenAI à sa sortie, ses résultats sont meilleurs sur FLEURS, un jeu de données composé d’enregistrements plus propres que ceux de Common Voice.
La figure publiée par OpenAI à la sortie du modèle présente ses résultats sur un sous-ensemble des langues présentes dans les jeux de données Common Voice 15 et FLEURS. Selon OpenAI, elle retient uniquement les langues pour lesquelles large-v3 obtenait un taux d’erreur inférieur ou égal à 20 % dans ces tests.
Selon OpenAI à sa sortie, avec le correctif utilisant F.scaled_dot_product_attention, une fonction d’attention, lorsqu’elle est disponible, turbo dépasse la vitesse de transcription qu’avait jusque-là tiny. D’après le README du dépôt Whisper d’OpenAI, turbo atteint environ 8 fois la vitesse du modèle large lors de la transcription de parole anglaise sur une A100. Selon ce même README d’OpenAI, la vitesse réelle peut varier fortement selon la langue, le débit de parole et le matériel disponible.
Caractéristiques techniques de Whisper Large V3 Turbo
Whisper Large V3 Turbo est sorti le 30 septembre 2024. OpenAI l’a annoncé le 1er octobre 2024 dans la discussion « turbo model release » du dépôt GitHub openai/whisper.
Selon le README d’OpenAI, le modèle turbo n’est pas entraîné pour les tâches de traduction. Même avec la commande de traduction –task translate, il renvoie le texte dans la langue d’origine, selon ce même README. Selon OpenAI, le code et les poids des modèles Whisper sont publiés sous licence MIT. Le tableau des caractéristiques donne l’éditeur et la date de sortie.
- Éditeur
OpenAI
- Sortie
- Hébergeurs
- DeepInfra, Groq
Source : OpenRouter.
Où utiliser Whisper Large V3 Turbo
Whisper Large V3 Turbo devient, à sa sortie selon OpenAI, le modèle utilisé par défaut par la commande whisper après la mise à jour du paquet Python openai-whisper. En Python, le modèle se charge avec whisper.load_model(« turbo »), selon le README du dépôt Whisper d’OpenAI. Selon la carte du modèle publiée sur Hugging Face, il est également pris en charge par la bibliothèque Transformers.
L'API chez des hébergeurs
Servi par d'autres hébergeurs que OpenAI, selon OpenRouter
Un accès gratuit dépend toujours de l'outil, de l'offre et de ses limites : nous ne l'attribuons pas au modèle seul.
Whisper Large V3 Turbo parmi les versions de Whisper
Whisper Large V3 Turbo, sorti le 30 septembre 2024, est l’une des 3 versions de Whisper publiées sur Aikiwi, rangées dans la frise par date de sortie.
Les versions sélectionnées
| Repères | Whisper Large V3 TurboVous êtes ici | Whisper 1 | Whisper Large V3 |
|---|---|---|---|
| Elo | |||
| Sortie | |||
| Contexte | |||
| Prix d'entrée | |||
| Prix de sortie | |||
| Entrées | |||
| Réflexion | |||
| Tâches | |||
| Ce qui le distingue | Whisper Large V3 Turbo est un modèle d’OpenAI sorti le 30 septembre 2024. Selon le README du dépôt Whisper d’OpenAI, il transcrit les fichiers audio en texte dans leur langue d’origine. | OpenAI Whisper 1 a été ouvert dans l’API le 1er mars 2023 sous l’identifiant whisper-1, selon OpenAI. Selon la documentation d’OpenAI, il reçoit de l’audio et produit du texte. OpenAI ajoute qu’il peut aussi s’utiliser comme modèle multitâche, en reconnaissance de la parole multilingue, en traduction de la parole et en identification de la langue. | Whisper Large V3 est un modèle de reconnaissance de la parole publié par OpenAI le 6 novembre 2023. Il transcrit l’audio parlé en texte dans sa langue d’origine et sait le traduire en anglais. |
Les repères sont ceux renseignés dans l'annuaire ; un repère absent de toutes les versions sélectionnées n'est pas affiché. Comparaison complète dans le comparateur
FAQ
Comment installer Whisper Large V3 Turbo ?
Whisper Large V3 Turbo s’utilisait à sa sortie en mettant à jour le paquet Python avec la commande pip install -U openai-whisper, selon OpenAI. Selon OpenAI, la version nécessaire était 20240930 ou une version ultérieure.
Whisper Large V3 Turbo peut-il traduire ?
Whisper Large V3 Turbo renvoie le texte dans la langue d’origine, selon le README du dépôt Whisper d’OpenAI. Même lorsque la tâche de traduction est demandée avec –task translate, il conserve ce comportement selon ce README.
Quand Whisper Large V3 Turbo a-t-il été annoncé ?
Whisper Large V3 Turbo a été annoncé le 1er octobre 2024, selon OpenAI. OpenAI a publié cette annonce dans une discussion du dépôt GitHub openai/whisper intitulée « turbo model release ».
Usage sur OpenRouter
- Transcription
- 23,1 M requêtes sur le dernier mois · 2e sur 20 des modèles les plus utilisés en Transcription
Source : OpenRouter (openrouter.ai/rankings), au , données sous licence CC BY 4.0. Le volume traité via l'API OpenRouter mesure l'adoption, pas la qualité.