Title: European languages %E2%80%94 Benchmark-Werte | LLM EU
Canonical: https://llmeu.com/de/benchmarks/eu-languages/
Markdown mirror: https://llmeu.com/de/benchmarks/eu-languages.md
Machine-readable: https://llmeu.com/llms.txt (index) - https://llmeu.com/llms-full.txt (full catalogue) - https://llmeu.com/llms-catalogue.json

# European languages

Modellqualit%C3%A4t auf %C3%BCbersetzten europ%C3%A4ischen Benchmarks. Die EU21-Zeilen stammen aus der OpenGPT-X-Evaluation, die mit Teuken 7B Instruct v0.6 ver%C3%B6ffentlicht wurde und ARC, HellaSwag, TruthfulQA und MMLU in die 21 abgedeckten EU-Sprachen %C3%BCbersetzt; je Modell wird ein Mittelwert berichtet. Die MMMLU-Zeile ist Googles eigener mehrsprachiger MMLU-Wert f%C3%BCr Gemma 4.

The EU21 numbers are OpenGPT-X%E2%80%99s, taken from the Teuken 7B Instruct v0.6 model card and the accompanying evaluation preprint; they are machine-translated benchmarks, not native-language test sets. The MMMLU number is Google%E2%80%99s own. LLM EU has run no evaluation and has not verified either harness.