Добавлена поддержка Ежчана (
ejchan.net,
ejchan.site). Набегаем, тестируем архивацию,
сообщаем о замеченных проблемах.
К сожалению, значительная часть сохранённых до 2024 г. изображений и видео была потеряна (
подробности случившегося). Мы призываем всех неравнодушных
помочь нам с восстановлением утраченного контента!
Extropic представила первый в мире термодинамический чип Z1 и дорожную карту к кластеру на миллиард pbit
https://extropic.ai/writing/from-one-to-one-billion
Компания строит так называемые thermodynamic computers - компьютеры, которые работают не с детерминированными операциями вроде классических процессоров и GPU, а с вероятностными вычислениями. Их ключевой элемент - Thermodynamic Sampling Unit (TSU): специализированный блок, который напрямую генерирует выборки из вероятностных распределений, на которых фактически основаны ИИ-модели. Базовый элемент архитектуры - pbit, вероятностный бит: вместо устойчивых 0 и 1 он использует тепловой шум обычных транзисторов, физически реализуя случайную величину, а не эмулируя её программно.
Главная идея в том, что современные нейросети исторически подогнаны под GPU, т.к. GPU хорошо делают матричные умножения. Но генерация изображений, текста и других данных в своей основе является задачей выборки из сложных распределений. Extropic утверждает, что если создать железо под эту задачу с нуля, можно получить радикальный выигрыш по энергоэффективности.
Прошлой осенью Extropic показала X0 - первый в мире кремниевый термодинамический чип, и построенный на его основе настольный компьютер XTR-0. Несколько десятков экземпляров XTR-0 разошлись по ранним пользователям, часть объединили в кластер для удалённых экспериментов. Сама компания называла это переходом "от нуля к единице". Нынешний релиз обозначен как переход "от одного к миллиарду", показывающий масштабирование архитектуры на несколько порядков.
Тейпаут чипа завершён. Заявленные характеристики:
- 8 ядер, 269 568 pbit на кристалле
- 215 904 параметра связи между pbit (по сути - обучаемые веса)
- разреженный граф: каждый pbit соединён с 16 соседями
- сэмплирование из равновесного состояния модели Изинга хроматическим алгоритмом Gibbs sampling, выполняемым прямо в кремнии, а не программно
- частота сэмплирования свыше 50 МГц
- энергопотребление менее 1 Вт
- площадь кристалла менее 12×12 мм
По утверждению компании, такая плотность достигается архитектурой TSU: вычисление и хранение состояния физически совмещены, что убирает энергозатраты на пересылку данных между процессором и памятью — узкое место классической фон-неймановской архитектуры.
Ожидаются три форм-фактора на Z1
- M.2 thermo compute stick: 2 чипа Z1, свыше 500 000 pbit - для edge-задач (AR-устройства, робототехника)
- PCIe accelerator card: 16 чипов Z1, свыше 4 000 000 pbit - для серверов и рабочих станций
- Thermo compute cluster: свыше 1 000 000 000 pbit, собирается из ускорительных карт - заявлен как первый в мире кластер на миллиард pbit (ориентировочно 230+ карт, если считать по заявленным 4+ млн pbit на карту)