Что случилось
Яндекс и Школа анализа данных выложили в открытый доступ MTGBench — набор тестов из семи текстовых игр по десятку шагов и больше, среди них «Поле чудес», «Данетки», «Элиас» и Wordle. Тест проверяет, умеет ли модель рассуждать в несколько шагов, учитывать новые подсказки и не противоречить своим прежним ответам. Задания есть на русском и английском, статью о бенчмарке приняли на конференцию EMNLP 2026.
Зачем тебе
Так проверяют то, с чем вы сталкиваетесь в обычном чате: вы уточняете запрос, а нейросеть должна помнить всё сказанное раньше. На 16 моделях исследователи увидели, что режим рассуждений помогает не везде: сильнее всего — в играх с буквами и подсказками. По словам Яндекса, задания на русском давались моделям хуже, чем на английском, а сильнейшие модели с рассуждениями в среднем набрали больше баллов, чем люди, во всех семи играх.
Как попробовать
Если вы разработчик, код и задания лежат на GitHub в репозитории skyberg11/MTGBench, ссылка есть в новости Яндекса. Остальным можно просто провести похожий опыт в любом чат-боте: сыграйте с ним в «Данетки» и посмотрите, не начнёт ли он противоречить себе через несколько ходов.
Первоисточник
Дата публикации первоисточника — . Пересказ сделан простым языком; точные условия, цены и сроки смотрите по ссылке.