большие языковые модели | Архивач — Архив тредов имиджборд

Сортировка:

за


Сохранен 25	Экстремальный эксперимент: Qwenputer (30 октября 2026) — Буквально сегодня, 30 октября 2026 года, независимый разработчик Дивьянш Агравал опубликовал на Hugging Face код проекта Qwenputer, построенный на базе открытой модели Alibaba Qwen3.5-4B. • Он совершил безумный архитектурный трюк: сконфигурировал часть весов нейросети таким образом, чтобы они имитировали физические схемы процессора RISC-V внутри прямого прохода модели. • Обычно для сложных математических расчетов (например, умножения огромных чисел) ИИ вызывает внешнюю среду Python. Qwenputer обрабатывает логические инструкции, выполняя роль виртуального процессора прямо внутри математического тела нейросети, исключая внешние зависимости. Это радикальный шаг к созданию автономного «компьютера внутри нейросети». Экстремальный эксперимент Qwenputer — это прорывной вирусный проект разработчика Дивьянша Агравала (Divyansh Agrawal), в ходе которого настоящий 32-битный процессор RISC-V и оперативная память были встроены напрямую в веса большой языковой модели Qwen 3.5 4B. Технология позволяет ИИ исполнять точный код на C и MicroPython внутри собственного прямого прохода (forward pass), не вызывая внешние песочницы, инструменты или интерпретаторы. ## Как это устроено технически? Проект ломает привычное представление о вызовах инструментов (Tool Calling). Вместо того чтобы просить внешнюю систему посчитать математику, модель считает ее внутри своей нейросети: • Процессор в весах трансформера: Автор добавил 11 дополнительных слоев перед 32 стандартными слоями модели Qwen3.5-4B. Эти слои не обучались — их точные веса и архитектура были рассчитаны специальным компилятором, чтобы симулировать логические вентили процессора архитектуры RV32IM. • Собственная RAM (оперативная память): Для хранения кода, регистров, счетчика команд и данных используются модифицированные слои внимания Gated DeltaNet (GDN), которые есть в архитектуре Qwen 3.5. Выставив коэффициент забывания и силу записи на значение 1, а также используя one-hot ключи, разработчик превратил эти рекуррентные слои в ячейки памяти со 100%-й точностью перезаписи и чтения. • Внутренняя файловая система: В веса также «зашито» хранилище данных объемом до 512 файлов. Они сохраняются между сессиями чата: состояние модели выгружается после одного диалога и загружается перед следующим, обеспечивая долговременную память. ## Результаты эксперимента По заявлениям автора, система успешно прошла официальные наборы тестов riscv-tests и совпадает с эмулятором QEMU. Она выполнила 18 миллионов инструкций подряд без единой ошибки. Главная проблема LLM — неумение точно считать большие числа (они угадывают токены, а не считают) — решена полностью: • В тестах NUPA на длинную арифметику точность Qwenputer достигла 100% (против 48,6% у базовой модели). • Результаты полностью идентичны LLM с подключенным внешним Python-интерпретатором, но достигаются нативно. • В сообществе LocalLLaMA энтузиасты на базе этого проекта уже запустили простейшую текстовую версию игры Doom прямо в весах модели. ## Главные компромиссы и минусы 1. Огромный вес: Модифицированный чекпоинт весит 18,8 ГБ (почти в два раза больше базовой Qwen 3.5 4B) из-за архитектурного оверхеда и нулевого заполнения слоев. 2. Низкая скорость: Вычисления происходят невероятно медленно по меркам компьютеров. Скорость составляет около 3200 CPU-токенов в секунду на GPU Nvidia L4. Поскольку одна процессорная инструкция требует генерации нескольких токенов трассировки, сложные расчеты занимают секунды, а не миллисекунды. 3. Необходимость в драйвере: Модель нельзя запустить обычным методом generate(), для работы нужна кастомная утилита RvChat, которая инициализирует прошивку процессора в памяти. Проект опубликован в открытом доступе на GitHub и Hugging Face. Это яркий концептуальный сдвиг, доказывающий, что современные открытые LLM-архитектуры могут содержать в себе полностью детерминированные вычислительные машины. https://vc.ru/ai/3224245-neyroset-qwen-s-protsessorom-risc-v большие языковые модели нейросети /news/ - Новости 2ch	2026-10-31 10:00:21
Сохранен 227	Ну что, был пидорнут из белого мира. Посоветуйте замену Claude code, но не для программирования. Я в — Ну что, был пидорнут из белого мира. Посоветуйте замену Claude code, но не для программирования. Я в нем документы всякие собирал для работы, типа договоров, ЛНА и так далее. Доки по мероприятиям писал: положения, списки участников, презентации, программы. Опус 5.5 даже на медиуме с нормальными скилами как боженька все исходники собирал, с законодательством РФ сверялся, в интернете наличие билетов, проф стандартов, etc чекал и артефакты в папочку складывал, мне их потом только подписать надо было. И даже за недельный лимит ни разу не вышел на про подписке. Сука, аж в груди щемит, что теперь придется все это руками делать. Посоветуйте альтернативы, за сопостовимую цену и чтобы по качеству хотя бы приблизительно близко было. Кодекс? Я про него ничего хорошего не слышал. У грока какая-то ебала есть, но он не умеет вроде бы по твоему компу париться и его ресурсы использовать, все в облаке делает. большие языковые модели искусственный интеллект нейросети /b/ - Бред 2ch	2026-10-31 01:10:59