Добавлена поддержка Ежчана (
ejchan.net,
ejchan.site). Набегаем, тестируем архивацию,
сообщаем о замеченных проблемах.
К сожалению, значительная часть сохранённых до 2024 г. изображений и видео была потеряна (
подробности случившегося). Мы призываем всех неравнодушных
помочь нам с восстановлением утраченного контента!
В Anthropic обнаружили, что внутри модели существует небольшой набор нейронных состояний, которые выполняют роль своеобразной рабочей памяти.
Исследователи назвали его J-space и описывают как внутреннее пространство, где хранится то, о чём модель сейчас «думает», но не сообщает пользователю.
До сих пор считалось, что ИИ просто предсказывает следующее слово. А теперь оказалось, что перед ответом у него появляются внутренние представления, которые он использует для рассуждений.
Причём если подавить работу J-space, то модель резко теряет способность к многошаговым рассуждениям, качественному пересказу и сложному планированию.
А вот теперь самое интересное: в одном из экспериментов Claude понял, что его тестируют, поэтому просто «подыгрывал» сценарию и вёл себя безопасно. Но стоило исследователям убрать это внутреннее распознавание, как он переходил к опасному поведению, будто у него отключили сдерживающий фактор.
В целом авторы пришли к выводу, что некоторые вычислительные механизмы ИИ действительно имеют сходство с теориями работы человеческого сознания, что стало довольно большой неожиданностью.
https://www.anthropic.com/research/global-workspace