ИИ-лаборатория Lossfunk представила EsoLang-Bench — бенчмарк из 80 задач на пяти эзотерических языках программирования: Brainfuck, Befunge-98, Whitespace, Unlambda и Shakespeare. Пять фронтирных моделей — GPT-5.2, O4-mini, Gemini 3 Pro, Qwen3-235B и Kimi K2 — набрали от 0 до 11% точности на задачах, которые в Python решит любой студент за минуты. Ни одна модель не решила ни одной задачи сложнее уровня Easy.
Эзотерические языки — это полноценные (Тьюринг-полные) языки программирования, созданные не для практического использования, а как эксперимент или интеллектуальный вызов. На них можно написать что угодно, но синтаксис максимально непривычный: Brainfuck оперирует всего восемью командами на ленте памяти, Befunge-98 — двумерная сетка, где курсор бегает в четырех направлениях, а в Whitespace код состоит только из пробелов, табов и переводов строк. Главное для бенчмарка — эти языки почти не представлены в обучающих данных: на GitHub у них в 1 000–100 000 раз меньше репозиториев, чем у Python. Если модель решает задачу на таком языке — она действительно рассуждает, а не вспоминает паттерны.
Результаты оказались жесткими. Модели, набирающие 85–95% на стандартных бенчмарках вроде HumanEval, здесь не преодолели барьер в 11%. Лучший результат без агентов — 11,2% у GPT-5.2 на Befunge-98 с итеративной обратной связью от интерпретатора. На Whitespace все модели показали ровный ноль — ни одна не смогла сгенерировать синтаксически валидный код. Характерный провал: GPT-5.2 не сложила 5 и 7 на Brainfuck, потому что парсинг десятичных чисел в этом языке требует приема, которого почти нет в открытых репозиториях.
Единственное, что заметно улучшило результат — прямая обратная связь от интерпретатора: модель генерирует код, получает ошибку, пробует снова. А вот few-shot примеры не дали статистически значимого прироста — в среднем +0,8 процентного пункта. Добавление отдельного LLM-критика и разбиение задачи на этапы (ReAct) тоже не помогли. Агентные системы Codex и Claude Code с полным доступом к терминалу показали лучшие результаты — 13,8% и 12,5% на Brainfuck, — но и они решали только простейшие задачи.
Авторы делают вывод: высокие результаты на стандартных бенчмарках все еще отражают запоминание, а не рассуждение. EsoLang-Bench — попытка измерить именно способность переносить вычислительные навыки на незнакомые домены, то есть то, что человек делает, когда осваивает новый язык по документации и экспериментам. Пока у моделей с этим плохо.
>>19310417 (OP) Что за долбоебизм, как нейронка, которую нужно обучать, должна что-то делать без обучения, на высосанной макакой из пальца хуйне без задач? Это же не не полноценный общий ии, а нейросеть. Очередной копиум макак.
>>19310417 (OP) >а в Whitespace код состоит только из пробелов, табов и переводов строк А ВЫ, ДВАЧЕРЫ, СМОГЛИ БЫ ПОНЯТЬ ПРОГРАММУ ИЗ ПРОБЕЛОВ ТАБУЛЯЦИЙ И ПЕРЕВОДОВ СТРОК?
>>19310529 >ИИ не справляется с любой нетривиальной задачей Жаль что в реальности таких задач НЕТ. Все задачи уже были когда-то и поставлены и решены сотней способов.
>>19310542 В реальности таких задач довольно много. Особенно если решать эту задачу надо при помощи специфических уникальных инструментов компании, про которые нейронка вообще не знает.
>>19310574 >если решать эту задачу надо при помощи специфических уникальных инструментов компании Для этого у специфических инструментов есть документация. А писать код по существующей документации - это вполне себе тривиальная задача.
>>19310615 Ну так нейродебилу наверняка выдали методичку по командам Брейнфака, но он ни асилил решить задачу с которой справится даже айти первокур с лёгкой умственной отсталостью...
>>19310633 Ему даже интерпретатор не сразу дали. В новости так прямо и написано. Если бы ему действительно дали специализированный инструмент с документацией типа такого https://github.com/redcrab2016/Brainfuck-Macro-Assembler , то там и бы и более древняя сеточка справилась
Лол, налетели защитнеги барена Сема Альтмана: «А почему нейронка должна решать задачи, которым её не обучали»? Лол, епта, Илон Маск рассказывает что ии это тысячи докторов наук внутри дата-центра, СЕО разгоняют насколько у них невероятно мощные модели, а по факту ИИ есть и бы маркетинговый термин, который никакого отношения к интеллекту не имеет. Если бы обезьяна выучила все существующие конструкторы на Земле и умела их собирать быстрее и точнее человека - стали бы не нужны строители и инженеры? Нет, хуй там. То есть решать принципиально новые задачи в принципе нейронки не способны, это просто способ получить лярды на господине и предлог чтобы пиздить приватную информацию, торговать ей и впаривать рекламу.
>>19310796 Обучить ее решать конкретно эти задачи можно и за 5 дней. Это не очень трудно. Суть таких бенчмарков в том, что модель пытаются заставить решать то, на чем ее не обучали раньше, чтобы проверить, есть ли способности к обобщению, выходящие за рамки популярных языков программирования. Сейчас их нет и не очень понятно, могут ли текущие архитектуры этого добиться.
>>19310796 Охуенно э, а можно мне так же на работе: — Решай эту задачу — Хорошо, вот решение — Оно устаревшее, версия сейчас новая — Хорошо, приходите через пять лет...
Эзотерические языки — это полноценные (Тьюринг-полные) языки программирования, созданные не для практического использования, а как эксперимент или интеллектуальный вызов. На них можно написать что угодно, но синтаксис максимально непривычный: Brainfuck оперирует всего восемью командами на ленте памяти, Befunge-98 — двумерная сетка, где курсор бегает в четырех направлениях, а в Whitespace код состоит только из пробелов, табов и переводов строк. Главное для бенчмарка — эти языки почти не представлены в обучающих данных: на GitHub у них в 1 000–100 000 раз меньше репозиториев, чем у Python. Если модель решает задачу на таком языке — она действительно рассуждает, а не вспоминает паттерны.
Результаты оказались жесткими. Модели, набирающие 85–95% на стандартных бенчмарках вроде HumanEval, здесь не преодолели барьер в 11%. Лучший результат без агентов — 11,2% у GPT-5.2 на Befunge-98 с итеративной обратной связью от интерпретатора. На Whitespace все модели показали ровный ноль — ни одна не смогла сгенерировать синтаксически валидный код. Характерный провал: GPT-5.2 не сложила 5 и 7 на Brainfuck, потому что парсинг десятичных чисел в этом языке требует приема, которого почти нет в открытых репозиториях.
Единственное, что заметно улучшило результат — прямая обратная связь от интерпретатора: модель генерирует код, получает ошибку, пробует снова. А вот few-shot примеры не дали статистически значимого прироста — в среднем +0,8 процентного пункта. Добавление отдельного LLM-критика и разбиение задачи на этапы (ReAct) тоже не помогли. Агентные системы Codex и Claude Code с полным доступом к терминалу показали лучшие результаты — 13,8% и 12,5% на Brainfuck, — но и они решали только простейшие задачи.
Авторы делают вывод: высокие результаты на стандартных бенчмарках все еще отражают запоминание, а не рассуждение. EsoLang-Bench — попытка измерить именно способность переносить вычислительные навыки на незнакомые домены, то есть то, что человек делает, когда осваивает новый язык по документации и экспериментам. Пока у моделей с этим плохо.