Бред всё у меня и на 1660 супер нормально генеритса
на mi50 брака дохуя, удачи
Что имешь ввиду под браком? Что продаваны барыжат мусором нерабочим, или что у них есть беда с завода?
Локальные языковухи это в принципе баловство уровня чат бота из нулевых, которые не держат контекст и генерят ответы по пол часа, ну если конечно ты не соберешь монструозный пк для запуска мощных моделей, которые уже будут более близки к уровню яндекс Алисы.
Два чаю. Маньки ведутся на псиоп из Твиттера, хотя сами нихуя не пробовали запускать нихуя ни разу. Локальные 8B модели - это пиздец. Медленные, хуёвые, кривые. Да, даже после ебли с тюнингом. И да, ты верно говоришь, локальные >500B модели я хоть и не запускал, но уверен, что они тоже говёные, где-то на уровне Bard, лол.
Можно конечно это прихуярить для ОЧЕНЬ узких задач, если на куче мощных карт обучать и потом запускать на паре гигов объединённой памяти Мака, т.е. инвестировать 5-10К баксов, но всё равно это будет говном. И вряд ли в ближайшие лет пять-десять ситуация изменится, если вообще изменится. Мы сейчас на уровне дисковых телефонов. Так что если у вашей хуйни есть сенсибл дата или дата которая стоит что-то, то сочувствую.
>паре гигов
Паре терабайтов, конечно, фикс.
Чего? Локальные модели уже вполне достиглииуровне gpt4-mini, тот же gpt-oss 20B. На 2 таких картах, по моим прикидкам, можно поставить +-32к контекста, что уже лучше бесплатного chatgpt. А на более простых моделях можно еще увеличивать контекст. Ну и докупить третью карту никто не запрещает.
Оп база. За локалками будущее
>копиум фантазёра
>ПО МОИМ ПРИКИДКАМ
Ну ёпт, тебе вообще тогда карты не нужны никакие. Фантазируй, что там у тебя уже на уровне Opus 9.9 всё работает, на листочке пиши промпты в тетрадочке, а потом сам себе отвечай. И представляй, что это AGI.
Потому что ИРЛ, когда ты мамкину карточку с пенсией опустошишь и на Авито купишь пару карт после майнинга в малафье и наконец-то запустишь это реально, у тебя случится приступ ИРЛ. И потом приступ психический с тряской. Потому что ты поймёшь, что мамкина пенсия улетела на хуйню.
Пиздец какой. Если ты такая маня, что тебе приходится это объяснять и ты этого сам не понимаешь и ты на Дваче ищешь подпитки копиума, то тебе нахуй в это лезть не надо тем более. Вот когда у тебя вопросов вообще не будет, когда ты сам оттюнишь с десяток локалок до полурабочего состояния ценой тонны нервов и жопного пота, то тогда можно что-то делать, тогда можно задумываться о покупке каких-то карт(нет).
Кстати, в первую очередь, мне было бы очень интересно подружить модель с sql бд, а по очевидным причинам, для этого не локальные модели абсолютно непригодны.
Я блядь не могу запустить никакую локалку, у меня видеокарты нет вообще, за ненадобностью. Живу не на мамкину пенсию, если не понравится, просто продам в некоторый минус карты и забуду.
>но вот если брать 2 карты
Единицы моделей умеют шариться на несколько видеокарт. Большинство в лучшем случае может задействовать оперативку наряду с врам. Но тут ширина шины становится критичной.
Чел, ты явно вообще в теме рубишь на уровне бабульки какой-то совковой. Потому что если бы захотел что-то "попробовать", то ты бы не покупки карт там уже планировал с бюджетами и треда на Дваче создавал копиумные с фантазиями, как ты Джарвиса запускаешь и становишься сверхчеловеком, а запустил бы уже локалку на VPS и обосрался бы от уныния.
Но ты судя по всему вообще не понимаешь нихуя, только пару постов на Пикабу видал или тредов в X.
Если хочешь запускать ллм 64-128 Гб оперативки будет лучше чем видеокарта с 16. Даже если речь идёт о блеквелл с поддержкой fp4. Да на процессоре инференс будет медленный, но зато в оперативку влезет гораздо более жирная модель чем в ты сумеешь в vram видеокарты запихать. Более того даже если ты будешь запускать модели из ram видеокарту можно будет использовать для ускорения вычислений.
Продолжай изучение, пока ты ничего не понял. Если что то, советую теслу, только она будет в районе 20к стоить тебе. А так нищукам запрещен вход в лллм. Да и смысла в этом нет, если ты не прогер.
>по очевидным причинам, для этого не локальные модели абсолютно непригодны.
Неочевидно, потому что бд это только контекст для переваривания в мясорубке модели.
Если ты не занимаешься госухой и не организация, то ваще пахую всем твои выходы за контур бабушкиной квартиры.
Если тебе просто попердолить компьютер, то любая видеокарта пойдет, у меня хорошо работала квен на 30б параметров на 1080гтх, которой лет 10 наверное уже.
С другой стороны, если тебе прям использовать, а не играться, то все маленькие модели, которые хотя бы теоретически могут работать на домашнем железе нереально тупые.
Такие дела. Хочешь хорошую LLM - плати антропику или гуглу.
Что вы на эти gpu зациклились?
>tesla
Чипы apple (М-серия) с unified memory поинтереснее же будет и дешевле.
>tesla
Чипы apple (М-серия) с unified memory поинтереснее же будет и дешевле.
Это заблуждение. Расчеты на GPU всегда эффективнее. Миф о производительности М-серии для вычислений с ЛЛМ - маркетинг яблока, которое не смогло в собственную модель даже.
Бляяя... так скорее всего так и было. Васяна мамка устроила сисадмином в ЖЭК или типа того, а там надо пердолить всякую хуету. Ну он под чем-то стал с Gemini базарить, мол, как сделать так, что AI всю работу делала, а я сидел чиллил в тик-токе. Ну она ему и нахуярила какой-нибудь ПРОТОКОЛ-РНН в своём шизо-духе, как Gemini всегда делает. Типа тыр-пыр, ща на Авито закупаешь карты, там всё настроишь, она будет работу делать, потом короче становишься президентом мира и всё - покорять Вселенную.
Блять. Ахахахахахахааххаахахах.
Узкое горлышко это ширина шины, а не производительность.
>не смогло в собственную модель даже.
Зато на маках прекрасно запускаются чужие модели локально. И это самое доступное что сейчас есть для этого.
>Узкое горлышко это ширина шины, а не производительность.
Узкое место это ядра, перемалывающие матрицы в параллельных вычислениях.
>все маленькие модели, которые хотя бы теоретически могут работать на домашнем железе нереально тупые.
А если 3264 гига РАМ и на процессоре запускать? похуй на скорость
Хуйню несёшь. Ты вообще не в теме.
Я конечно понимаю у вас там культ и все такое. Но блять, стоит смотреть хоть иногда правде в глаза. В маках стоит самая обычная LPDDR5 память. Да и объемы за разумный прайс скажем откровенно далеко не выдающиеся. За какой нибудь мак студио с 96 гигами уже около ляма придется отдать. Ну и самое хуевое что про апгрейд можно забыть, потому что память распаяна на одной подложке с процессором. Короче мак это максимально тупое решение для нейросетей.
Лучше 128, но с 64 уже более менее становится интересно.
gtx 250
Если генерить картинки, то 24гб видеопамяти хватит, если языковые, то продавай бабушкину квартиру и покупай А100 т.к. даже дипсик требует 500 гб видеопамяти. Ты должен понимать какого качества все эти дистиляты на 12гб: невероятная тупость и долгий ответ около минуты. Они хороши как образ википедии, но не более.
>Хуйню несёшь. Ты вообще не в теме.
Давай бенчи сюда выкладывай, гомосексуалист.
Всё, можешь дальше не продолжать. И так было понятно, что ты долбоёб полный, но тут ты как бы вообще раскрылся. Ты ебанатик, M3 с 512GB лям стоит. Кто, нахуй, на рынке ещё предлагает настолько много памяти? А кто вообще, кроме Apple, предлагает объединённую? А, да, бля, это же разработка Apple, ни у кого больше нахуй вообще такого нет. Короче, диннахуй, ты додик, у которого вообще никакого железа нет и ты диванный додик-кукаретик-пиздабол. Ты тупой.
Чел, он ёбнутый, ну тупой он, ты ему ничего не объяснишь.
Бенчмарки выкладывай, маркетолог мамкин.
Ну дак за теслу ты отдашь в 5 раз больше. Но памяти 80 гб на крупную lm тебе всё равно не хватит. Так что одной картой ты не обойдёшься. А это значит тебе нужен nvlink и серверное железо. В общем там x15 умножай. В то же время на 512 Gb unified memory в маке позволяют запустить максимальную deepseek R1 (671B).
Да хули ты ему что-то объясняешь? Он идиот.
1. У него никогда не будет денег на Mac Studio.
2. У него никогда не будет денег даже на одну 3090.
3. Он нахуй никогда не запускал даже примитивных Gemma 4B.
4. Он просто даун, который какой-нибудь ХАБР читает.
Это конча, анон. Есть такой тип пиздабольных ёбышей. Они пиздеть любят, нихуя не разбираются в чём пиздят, зато хотят быть в "тренде". Но их тренд оканчивается этим самым Хабром или пабликом "Новости Двач". Он нихуя не понимает, что реально происходит в LLM-манямире и какое железо реально закупают. Он же реально думал, что в Mac Studio за лям 96 гигов памяти. Ебало имагнул селюка этого?
Собрал дома небольшой сервачок на четырёх 3090 (24 гига видео памяти каждая). Упихал туда oss-gpt:120b. Стало приемлемо.
До этого игрался на одной 3090 - Анон, там всё уныло, оно будет либо тупое как валенок, либо генерить потоки шизофазии. В лучшем случае можно использовать для скриптования или кодинга в микродозах, и то, с обязательной проверкой вручную потом. И обязательно понимать как это подтюнить, начиная от температуры заканчивая системным запросом (промптом, блядь, как же бесит это слово).
В общем, локальные нейронки это развлечение не для нищих, либо забей, либо ищи бабки.
Хуя ты порвался картинно. Любо дорого.
Ну, это действительно звучит разумно.
Цель у тебя какая?
Что ты собрался с ЛЛМ делать?
Если не тренить свою под дико узкую задачу, то локальные ЛЛМ - хуита.
Подключайся к провайдеру, плати за токены, не еби мозги.
>oss-gpt:120b
Какие задачи выполняет?
3090 тебе под тюнинг моделей сгодятся в будущем. Для запуска пару маков тебе пойдут.
>тюнинг
Обучение, фикс.
В первую очередь подружить ее с бд
все три говно, 3090 - начальный уровень
врёти
> Локальные 8B модели - это пиздец.
да
> 500B модели я хоть и не запускал, но уверен, что они тоже говёные
нет, локальная 1000б/555гб кими на уровне чатгопоты
> объединённой памяти Мака
параша с нулевым промпт процессингом, для норм работы нужна видюха, желательно зелёная
хуцпа всё правильно делаешь, продолжай
см.выше
или ниже:
this
для prompt processing нужна производительность, а она у мака нулевая
для token generation нужна ширина шины, она у мака на уровне говённых видюх, но выруливает засчёт намного большего объёма памяти, чем у видюхи
етот прав
ты же понимаешь, что LLM выдают вероятностный результат? и что вместо конкретных точных значений из бд ты внезапно можешь получить рандом?
лучше научись минимальному погромированию на педоне и пердоль свои базы без нейронок
Двач, есть желание потыкаться в локальные llm модели, посидел поизучал рынок днищих ускорителей и подобрал 3 варианта: донная p102-100 за 3к, простая и удобная tesla p100 за 10-12к, потенциальный йоба, но геморройный mi50 за 10к. Собственно, первый вариант обладает 10гб быстрой памяти, потенциально мощным чипом, но нещадно зарублен по шине. Пока модель полностью влезает в память, все будет хорошо, но вот если брать 2 карты (а одну нет смысла, ибо нормальным моделям и 16 то гигов хватает впритык)... 4 линии pci-e 1.1 это как будто звучит как приговор, производительность должна упасть сильно. P100 же не имеет вообще никаких проблем, кроме существавания mi50, который за те же бабки лучше буквально по всем параметрам, но может потерциально сломать мозг в попытке заставить это нормально работать, т.к. это старое амд. Подскажите, что из этих трех кусков говна таки лучше?