Добавлена поддержка Ежчана (
ejchan.net,
ejchan.site). Набегаем, тестируем архивацию,
сообщаем о замеченных проблемах.
К сожалению, значительная часть сохранённых до 2024 г. изображений и видео была потеряна (
подробности случившегося). Мы призываем всех неравнодушных
помочь нам с восстановлением утраченного контента!
Тред второй
Исследователь в области оценки безопасности искусственного интеллекта, основатель компании METR, ранее в DeepMind и OpenAI:
Elizabeth Barnes @BethMayBarnes · 3 ч
Иногда люди вне этой сферы говорят такие вещи, как: «Ситуация с ИИ не может быть настолько плохой, наверняка есть эксперты, которые держат её под контролем». Как «эксперт», я хочу прояснить, что мы не держим её под контролем. Некоторые ключевые аспекты ситуации, на мой взгляд:
(1) Мы, вероятно, движемся по пути разработки систем ИИ, способных вызвать вымирание человечества или его окончательное лишение контроля, вполне возможно, в течение следующих нескольких лет.
(2) Всё происходит хаотично и в спешке; мы не контролируем даже основы (модели регулярно нарушают намерения пользователя, лаборатории обучают модели на том, чего хотели бы избежать, безопасность, вероятно, недостаточно хороша, чтобы помешать противникам украсть опасные модели), не говоря уже о сложных вопросах о том, как...
(3) METR (и другие независимые организации, а также команды по безопасности в лабораториях) ощущают катастрофическую нехватку ресурсов по сравнению с масштабом и темпами развития ИИ — мы изо всех сил пытаемся создавать бенчмарки достаточно быстро, успевать за последними достижениями в области возможностей, читать и отвечать на все...
(4) На мой взгляд, любая «разумная» цивилизация явно подходила бы к вопросам ИИ гораздо медленнее и осторожнее. Преимущества получения выгод от продвинутого ИИ немного быстрее ничтожны по сравнению с рисками совершить непоправимую ошибку, и мы могли бы снизить эти риски, двигаясь медленнее.
Кроме того: многие аспекты выходят за рамки нашего исследования! Во-первых, мы рассматриваем только риски «захвата власти ИИ» / «потери контроля»: мы не учитываем риски, связанные с неправомерным использованием со стороны человека (например, помощь ИИ террористу в создании биологического оружия), или другие виды вреда, при которых ИИ не стремится «намеренно» захватить власть (например, воздействие на психическое здоровье или размытые социальные последствия). В рамках рисков «потери контроля» мы не рассматриваем модели угроз «саботажа» (агенты, подрывающие развитие ИИ и облегчающие будущим ИИ уход от человеческого контроля). Мы сосредоточены только на «базовом сценарии» — смогут ли нынешние агенты выйти из-под контроля человека.
P.S. Ну вот мы и дошли до того самого великого фильтра, из-за которого 99.9999% разумных организмов не выходят на межзвездный уровень.