Συγκριτικές δοκιμές
European languages
Ποιότητα μοντέλου σε μεταφρασμένα benchmarks ευρωπαϊκών γλωσσών. Οι σειρές EU21 προέρχονται από την αξιολόγηση OpenGPT-X που δημοσιεύτηκε με το Teuken 7B Instruct v0.6, το οποίο μεταφράζει τα ARC, HellaSwag, TruthfulQA και MMLU στις 21 γλώσσες της ΕΕ που καλύπτει και αναφέρει έναν μέσο όρο ανά μοντέλο. Η σειρά MMMLU είναι το δικό της πολύγλωσσο MMLU της Google για το Gemma 4.
The EU21 numbers are OpenGPT-X’s, taken from the Teuken 7B Instruct v0.6 model card and the accompanying evaluation preprint; they are machine-translated benchmarks, not native-language test sets. The MMMLU number is Google’s own. LLM EU has run no evaluation and has not verified either harness.
| Μοντέλα | score | source |
|---|---|---|
| Teuken 7B Instruct v0.6 | 0.57 | link |
| Llama 3.1 8B Instruct | 0.563 | link |
| Mistral 7B Instruct v0.3 | 0.527 | link |
| Aya 23 8B | 0.485 | link |
| Pharia-1-LLM-7B-control-aligned | 0.417 | link |
| Gemma 4 31B IT | 88.4 | link |