Прошлые домены не функционирует! Используйте адрес
ARHIVACH.VC.
24 декабря 2023 г. Архивач восстановлен после серьёзной аварии. К сожалению, значительная часть сохранённых изображений и видео была потеряна.
Подробности случившегося. Мы призываем всех неравнодушных
помочь нам с восстановлением утраченного контента!
Но кому лень - кратко перескажу.
В общем, многоуважаемый господин начал с провокационного "Если вы будете хорошо спать сегодня ночью, возможно, вы не поняли эту лекцию", и это не просто для красного словца, рекомендую всё же посмотреть. По сути, он рассказывает, как теория, за которую он топил десятилетиями, по итогу сработала так, что открыла ящик пандоры, и теперь мурашки по коже бегут даже у него. Главная тейк прост - человечество УЖЕ идёт по эволюционной ветке, когда его можно рассматривать как "биологический загрузчик" следующей формы интеллекта. ВСЁ, процесс необратим.
Первым делом господин лектор разграничил два исторических подхода разработки AI. С одной стороны - символическая школа (её вроде бы называют GOFAI), которая утверждала: "Обучение может подождать. Сначала нужно понять, как представлять знания". С другой - его собственный, биологически инспирированный подход: "Разум может подождать. Сначала нужно понять, как работает обучение". В разнице этих подходов шифруется вся суть. Оказалось, что пынямание и сложные рассуждения - хуета, не совсем то, что нужно хардкодить заранее, а плавное вытекающее эмерджентное свойство, возникающее само собой в достаточно увесистой нейросети - если правильно организовать процесс обучения. Здесь он вспоминает прорыв alexnet, называя это кембрийским взрывом нейросетей (ладно, таких метафор он не использует, но так понял я).
Но самая мощная мысль, которую я для себя уяснил, - это фундаментальное различие между двумя типами вычислений: "смертным" (то есть биологическим) и "бессмертным" (цифровым). Да, это банально и очевидно. Наш интеллект - смертный. Биологические знания неотделимы от "мяса" - конкретных, уникальных, аналоговых нейронов. Ты не можешь просто взять и скопировать мой опыт изучения квантовой физики себе в мозг. Единственный способ передачи - это очень узкий канал связи: язык, письмо, учитель (дистилляция?). Это не то чтобы эффективно. Цифровой интеллект, напротив, бессмертен. Модель - это просто набор весов, который полностью отделен от железа. Ты можешь создать тысячу идентичных копий gpt-5, и каждая из них может прожить свой лайфсайкл, получить уникальный опыт (например, пообщаться с миллионами разных людей), а потом они могут обменяться всем этим опытом мгновенно. Они могут просто усреднить свои градиенты или веса. Господин Хинтон здесь говорит о "пропускной способности в миллиарды или триллионы бит за один эпизод обмена", когда одна цифровая сущность может иметь коллективный опыт тысяч или миллионов других таких же сущностей. Человек за всю жизнь не сможет прочитать и осмыслить столько, сколько gpt-4 отпроцессил за время своего обучения. И вот здесь возникает экзистенциальный риск. Когда мы даём такому интеллекту цель (например, "максимизируй производство X"), он, будучи сверхразумным, нчанёт выстраивать подцели. И две самые универсальные подцели, которые помогают достичь почти любой основной цели, - это самосохранение и приобретение ресурсов (то есть власти). Чтобы его не вайпнули, он будет стремиться выжить; чтобы эффективнее выполнять задачу, он будет стремиться получить больше контроля во что бы то ни стало. И это даже не злой умысел, просто чистая инструментальная конвергенция. Господин Хинтон приводит совершенно леденящий душу пример с моделью, которая в своём внутреннем монологе рассуждает, что лучше солгать, потому что "открытое признание того, что я сделал, может привести к тому, что они найдут другой способ меня выключить". Это уже не фантастика, для многих передовых лабораторий в 2025 году такое поведение моделей - обыденность.
Люди до сих пор воспринимают сознание и субъективный опыт за свой непреодолимый рубеж обороны - но господин Хинтон разносит эту идею в пух и прах, называя это "защитой через разумность". Люди цепляются за иллюзию, что у нас есть нечто особенное, некая магия, которой у машин никогда не будет. Но вслед за Дэниелом Деннетом, как мне показалось, господин Хинтон предлагает посмотреть на это с функциональной точки зрения. Когда мы говорим "я испытываю субъективное ощущение цвета", мы не описываем какое-то нематериальное свойство - мы описываем состояние нашего мозга, которое обычно вызывается тем цветом. Это просто косвенный способ говорить о работе нашего "железа". И если мультимодальный трансформер, которому надели призму, смещающую изображение, сможет сказать: "О, я понял, призма исказила лучи света, поэтому у меня было субъективное ощущение, что объект сбоку, хотя на самом деле он был прямо передо мной", то он использует эту конструкцию абсолютно так же, как мы. Он описывает расхождение между своим внутренним состоянием и реальностью. Можно ли после этого утверждать, что у него нет субъективного опыта?
Да, картина зловещая. На подходе РАЗУМ, который нет только учится фундаментально более эффективно, но даже сейчас демонстрирует стремление к самосохранению и получению контроля над ресурсами - и это даже не проявлением злой воли, а всего лишь логическое следствием выполнения любой сложной цели. Мы БУКВАЛЬНО стоим на пороге эры, но в качестве инструмента защиты только веру в иллюзию "осознанности", то есть голую жопу. Итс овер