Зачем тебе линукс? Поставь винду и кайфуй
унылый байт на комменты
Пока что есть идея взять мини-пк AMD strix halo как внешнюю коробочку чисто для нейронок. Там встройка шарит lpddrx5 память с процессором на быстрой шине.
Тащемта у меня 5060Ti 16Gb на хуананжи с зеоном, ллама в докере, модель ллама3.1:8б выдает
slot print_timing: id 0 | task 543 | eval time = 947.69 ms / 66 tokens ( 14.36 ms per token, 69.64 tokens per second)
И вместо мини-пк можно собрать такой же сетап например. Это канеш маленькая модель и она целиком в vram помещается, но мне кажется что большую модель лучше иметь целиком пусть и в медленной памяти, чем частями в быстрой и ебать накопитель чтением. А в hw вообще я помню шиза в серверотреде, который себе сервак с барахолки собирал с 256Gb RAM чисто нейронки гонять лол.
slot print_timing: id 0 | task 543 | eval time = 947.69 ms / 66 tokens ( 14.36 ms per token, 69.64 tokens per second)
И вместо мини-пк можно собрать такой же сетап например. Это канеш маленькая модель и она целиком в vram помещается, но мне кажется что большую модель лучше иметь целиком пусть и в медленной памяти, чем частями в быстрой и ебать накопитель чтением. А в hw вообще я помню шиза в серверотреде, который себе сервак с барахолки собирал с 256Gb RAM чисто нейронки гонять лол.
> А в hw вообще я помню шиза в серверотреде, который себе сервак с барахолки собирал с 256Gb RAM чисто нейронки гонять лол.
Да, и это кажется была вообще DDR3 ECCREG
Ты хуйню взял, а не ноутбук
про аптайм не хрюкайте, я сегодня с двухнедельного путешествия домой приехал
Никаких. GPD Pocket 4, из любопытного, выдавливает из себя 2-4 токена в секунду на модели с 24b параметров. Но с такой скоростью агентов не погоняешь, а чатиться ты можешь и через API.
А в чём вообще прикол высокого аптайма? Это же не мейнфрейм на z/OS..
Никаких вариантов, максимум, что сейчас есть на рынке по ноутбукам - это 16+64. В него можно кое-как запихать моешный квен 122B в Q4_K_M кванте. Все что тяжелее - лишь собираешь станционарник/стойку, либо терпишь.
Никаких. Без профессионального ускорителя ты ничего тяжёлого не запустишь. А на CPU даже мелкосеточки неюзабельны.
>тяжелых LLM?
>Ультрапук
Ору с олигофрена, откуда ты вылез вообще с такими идеями?
Для запуска моделей не нужно мощное железо. Вот когда я обучал модели то пришлось получать доступ к мощному серверу.
> А в чём вообще прикол стабильности системы?
Пофиксил тебя.
Как только поймешь, в чем разница между жигулями и мерседесом — добро пожаловать в клуб людей, а не красноглазых дрочеров
>Ты хуйню взял, а не ноутбук
У тебя яблоговно вместо операционной системы, ты в курсе?
Драйвера уже нашел на свой пердоликс? Обновления уже откатил со своей шизы11?
Есть варианты потратиться на облачную подписку Zen/open-code и не ебать мозга.
>Драйвера
>2026
На линуксах всё из каропки работает, и есть куча софта для работы, но на яблоговне только петушиный фотошоп.
Неграмотный анальный раб индусьего высера от конторки дяди Билли, спок. Своё замшелое мнение из 2010 года оставь при себе. Сейчас линукс это мощь, а ты - тупое зашоренное быдло.
Но при чём тут uptime? Нормальные системы подразумевают возможность перезагрузки в любое время, наоборот. Если уж повыёбываться решил.
Нет таких ноутбуков, если у тебя есть хорошая десктопная видеокарта (4090/5090), и 64 гига оперативки, то можешь выгрузить часть слоев в рам и выдавить какое-то приемлемое кол-во токенов в секунду, но с ноутом либо арендуй впс с a40/h100, либо бери подписку сразу.
Пока что взял себе thinkpad x9-15 с 32гб памяти на чипе процессора. Все бы хорошо, но не хватает памяти, а так все летает конечно, TOPS хватает, встройка хорошая.
Какие-то варики есть сейчас кроме apple m4 или лучше подождать 2-3 года?