MMLU

У сфері штучного інтелекту, визначення масштабного багатозадачного розуміння мови (ВМБРМ або MMLU від Шаблон:Lang-en) є засобом оцінки можливостей великих мовних моделей (LLM).

Бенчмарк

В нього близько 16 тис. питань множинного вибору серед яких такі предмети як математика філософія юриспруденція та медицина. Це один із найбільш часто використовуваних тестів для порівняння можливостей великих мовних моделей із понад 100 мільйонами завантажень станом на липень 2024 року.

MMLU був випущений Деном Хендріксом та командою дослідників у 2020 році і був розроблений, щоб бути складнішим, ніж існуючі на той час тести, такі як Загальне оцінювання розуміння мови (GLUE), на якому нові мовні моделі досягали кращих результатів, ніж людина. На момент випуску MMLU більшість існуючих мовних моделей працювали приблизно на рівні випадковостей (25%), а найефективніша модель GPT-3 досягла 43,9% точності. Розробники MMLU підрахували, що людські експерти досягають приблизно 89,8% точності. Станом на 2024 рік деякі з найпотужніших мовних моделей, такі як Claude 3 і GPT-4, як повідомлялося, досягли приблизно 85%.

Приклади

Наступні приклади взято із завдань «Абстрактна алгебра» та «Міжнародне право» відповідно. Правильні відповіді виділені жирним шрифтом:

Знайти всіх

$c$

в

${\mathbb{Z}}_3$

такий, що

${\mathbb{Z}}_3[x]/(x^2+c)$

це поле.
(A) 0 (B) 1 (C) 2 (D) 3

Чи буде застереження щодо визначення тортур у МПГПП прийнятним у сучасній практиці?

(A) Це застереження є прийнятним, якщо законодавство країни, що робить застереження, використовує інше визначення
(B) Це застереження є неприйнятним, оскільки суперечить об'єкту та меті МПГПП
(C) Це неприйнятне застереження, оскільки визначення катувань у МПГПП відповідає міжнародному звичаєвому праву

(D) Це застереження є прийнятним, оскільки за загальним міжнародним правом держави мають право робити застереження до договорів