Sao10K : Llama 3.1 Euryale 70B v2.2

Ce que Llama 3.1 Euryale 70B v2.2 change par rapport à Euryale v2.1

Llama 3.1 Euryale 70B v2.2 succède à Euryale v2.1, selon Sao10K. Pour renforcer la cohérence d’un tour de dialogue à l’autre, Sao10K indique avoir ajouté des jeux de données d’instruction fondés sur des conversations à plusieurs tours. Selon Sao10K, les instructions à un seul tour ont été remplacées par des consignes et réponses jugées meilleures, produites par Claude 3.5 Sonnet et Claude 3 Opus.

Selon Sao10K, l’affinage comprend 55 % d’exemples de jeu de rôle en plus par rapport à Euryale v2.1, issus des jeux de cartes de personnages de Gryphe, et 40 % d’exemples d’écriture créative en plus. Pour compléter ces changements, Sao10K indique avoir ajouté des jeux de données visant le respect du prompt système, ainsi que d’autres visant le raisonnement et la conscience spatiale.

À quoi sert Llama 3.1 Euryale 70B v2.2

Chat

Llama 3.1 Euryale 70B v2.2 a reçu une première passe d’affinage sur des données d’instruction tirées de conversations à plusieurs tours de dialogue, selon Sao10K.

Rédaction créative

Selon Sao10K, la seconde passe d’affinage porte sur l’écriture créative et le jeu de rôle, avec des données d’instruction à visée créative. Dans ses opinions personnelles, l’auteur juge que le modèle convient parfaitement au jeu de rôle, tout en estimant qu’il peut être moins « non censuré » d’emblée.

Bien utiliser Llama 3.1 Euryale 70B v2.2 : format et réglages

Llama 3.1 Euryale 70B v2.2 s’utilise avec le format d’instruction « L3 Instruct », selon le conseil de Sao10K. Pour l’échantillonnage, Sao10K recommande une température de 1,2 et un min_p de 0,2. Sao10K juge également que le préréglage d’Euryale 2.1 fonctionne bien avec ce modèle.

Caractéristiques techniques de Llama 3.1 Euryale 70B v2.2

Llama 3.1 Euryale 70B v2.2 est sorti le 25 août 2024. Sur OpenRouter, il accepte du texte en entrée et dispose d’une fenêtre de contexte de 131 072 tokens. Le tableau des caractéristiques présente ses données techniques.

Selon Sao10K, le modèle résulte d’un affinage de Llama 3.1 70B réalisé en une seule étape, sur 2 époques. Son entraînement a pris environ 4 jours sur 8 GPU A100, selon Sao10K. Pour cet affinage, les données d’entraînement mêlent des données humaines et des données produites par Claude, selon Sao10K.

Selon Meta, la base Llama 3.1 appartient à une collection de modèles de langage multilingues qui reçoit et produit du texte. Sao10K publie le modèle affiné sous licence CC BY-NC 4.0, selon sa carte Hugging Face. De son côté, Meta publie la base Llama 3.1 sous la Llama 3.1 Community License, une licence commerciale sur mesure, selon sa carte de modèle.

Où utiliser Llama 3.1 Euryale 70B v2.2

Llama 3.1 Euryale 70B v2.2 est référencé sur OpenRouter sous l’identifiant sao10k/l3.1-euryale-70b. Selon Hugging Face, Sao10K publie les poids du modèle dans le dépôt Sao10K/L3.1-70B-Euryale-v2.2. La carte d’accès présente les derniers tarifs relevés.

Llama 3.1 Euryale 70B v2.2 parmi les versions d’Euryale

Llama 3.1 Euryale 70B v2.2 a pour successeur Llama 3.3 Euryale 70B, publié sous le nom Euryale v2.3 et décrit par Sao10K comme « un remplacement direct ». Euryale v2.3 est sorti le 8 décembre 2024. Selon Sao10K, ce successeur est entièrement entraîné sur Llama 3.3 Instruct. La frise des versions situe le modèle parmi les versions de la famille Euryale, avec leurs dates de sortie.

FAQ