What capabilities does Multilingual MMLU test?

Multilingual MMLU evaluates factual recall, multilingual.

How can a model improve its Multilingual MMLU score?

Tools linked to Multilingual MMLU on Sophon include Mmmlu RL Env (Community), Aya Dataset - RL environments, datasets, and scaffolds that target this eval.

What license is Multilingual MMLU under?

Multilingual MMLU is available under MIT.

Multilingual MMLU

Active

MMLU translated into 14-26 languages (community variants exist); measures world knowledge and reasoning across non-English languages.

Open

Publisher: OpenAI
Capabilities: Factual Recall Multilingual
Domain: multilingual
Format: HF Dataset
Size: 14000 tasks
License: MIT
Published: May 2026
Notable for: Benchmark for evaluating factual recall and multilingual in the multilingual domain.
Canonical: huggingface.co/datasets/openai/MMMLU
Also on: huggingface.co/datasets/alexandrainst/m_mmlu

Cite

Notes

Only stored in your browser.

Sample tasks

from the eval dataset

abstract_algebra

أوجد درجة امتداد الحقل المحدد Q(sqrt(2)، sqrt(3)، sqrt(18)) على Q.

Show 4 more examples

abstract_algebra

لتكن p = (1, 2, 5, 4)(2, 3) في S_5 . أوجد دليل <p> في S_5.

A8
B2
C24
D120

abstract_algebra

أوجد جميع الأصفار في الحقل المحدود المشار إليه في كثيرة الحدود المعطاة مع المعاملات في هذا الحقل. x^5 + 3x^3 + x^2 + 2x في Z_5

A0
B1
C0,1
D0,4

abstract_algebra

العبارة 1 | مجموعة عوامل لمجموعة غير آبلية هي غير آبلية. العبارة 2 | إذا كانت K مجموعة فرعية عادية من H وH مجموعة فرعية عادية من G، فإن K هي مجموعة فرعية عادية من G.

Aصواب، صواب
Bخطأ، خطأ
Cصواب، خطأ
Dخطأ، صواب

abstract_algebra

أوجد حاصل ضرب كثيرات الحدود المعطاة في حلقة كثيرات الحدود المعطاة. f(x) = 4x - 5، g(x) = 2x^2 - 4x + 2 في Z_8[x].

A2x^2 + 5
B6x^2 + 4x + 6
C0
Dx^2 + 1

[
  {
    "Unnamed: 0": 0,
    "Question": "أوجد درجة امتداد الحقل المحدد Q(sqrt(2)، sqrt(3)، sqrt(18)) على Q.",
    "A": "0",
    "B": "4",
    "C": "2",
    "D": "6",
    "Answer": "B",
    "Subject": "abstract_algebra"
  },
  {
    "Unnamed: 0": 1,
    "Question": "لتكن p = (1, 2, 5, 4)(2, 3) في S_5 . أوجد دليل <p> في S_5.",
    "A": "8",
    "B": "2",
    "C": "24",
    "D": "120",
    "Answer": "C",
    "Subject": "abstract_algebra"
  },
  {
    "Unnamed: 0": 2,
    "Question": "أوجد جميع الأصفار في الحقل المحدود المشار إليه في كثيرة الحدود المعطاة مع المعاملات في هذا الحقل. x^5 + 3x^3 + x^2 + 2x في Z_5",
    "A": "0",
    "B": "1",
    "C": "0,1",
    "D": "0,4",
    "Answer": "D",
    "Subject": "abstract_algebra"
  },
  {
    "Unnamed: 0": 3,
    "Question": "العبارة 1 | مجموعة عوامل لمجموعة غير آبلية هي غير آبلية. العبارة 2 | إذا كانت K مجموعة فرعية عادية من H وH مجموعة فرعية عادية من G، فإن K هي مجموعة فرعية عادية من G.",
    "A": "صواب، صواب",
    "B": "خطأ، خطأ",
    "C": "صواب، خطأ",
    "D": "خطأ، صواب",
    "Answer": "B",
    "Subject": "abstract_algebra"
  },
  {
    "Unnamed: 0": 4,
    "Question": "أوجد حاصل ضرب كثيرات الحدود المعطاة في حلقة كثيرات الحدود المعطاة. f(x) = 4x - 5، g(x) = 2x^2 - 4x + 2 في Z_8[x].",
    "A": "2x^2 + 5",
    "B": "6x^2 + 4x + 6",
    "C": "0",
    "D": "x^2 + 1",
    "Answer": "B",
    "Subject": "abstract_algebra"
  }
]

Related tools

View all

Implementations, trainers, datasets and scaffolds linked to this eval.

Mmmlu RL Env (Community)

Massive multilingual task understanding multiple choice evaluation environment

Trains towardRL Env

Aya Dataset

Cohere

Cohere For AI's massively multilingual instruction dataset covering 65 languages, built by a 3,000-person open-science collaboration.

Training dataSFT DatasetInstruction FollowingMultilingual

FAQ

What is Multilingual MMLU?: MMLU translated into 14-26 languages (community variants exist); measures world knowledge and reasoning across non-English languages.
What capabilities does Multilingual MMLU test?: Multilingual MMLU evaluates factual recall, multilingual.
How can a model improve its Multilingual MMLU score?: Tools linked to Multilingual MMLU on Sophon include Mmmlu RL Env (Community), Aya Dataset - RL environments, datasets, and scaffolds that target this eval.
What license is Multilingual MMLU under?: Multilingual MMLU is available under MIT.