Benchmarks
European languages
Qualité du modèle sur les benchmarks traduits en langues européennes. Les lignes EU21 proviennent de l'évaluation OpenGPT-X publiée avec Teuken 7B Instruct v0.6, qui traduit ARC, HellaSwag, TruthfulQA et MMLU dans les 21 langues de l'UE qu'elle couvre et rapporte une moyenne par modèle. La ligne MMMLU est le chiffre MMLU multilingue de Google pour Gemma 4.
The EU21 numbers are OpenGPT-X’s, taken from the Teuken 7B Instruct v0.6 model card and the accompanying evaluation preprint; they are machine-translated benchmarks, not native-language test sets. The MMMLU number is Google’s own. LLM EU has run no evaluation and has not verified either harness.
| Modèles | score | source |
|---|---|---|
| Teuken 7B Instruct v0.6 | 0.57 | link |
| Llama 3.1 8B Instruct | 0.563 | link |
| Mistral 7B Instruct v0.3 | 0.527 | link |
| Aya 23 8B | 0.485 | link |
| Pharia-1-LLM-7B-control-aligned | 0.417 | link |
| Gemma 4 31B IT | 88.4 | link |