Сохранен 31
https://2ch.su/b/res/336229531.html
Добавлена поддержка ЭЧ/Ech (ex-Escapechan) и Ежчана (ejchan.net, ejchan.site). Набегаем, тестируем архивацию, сообщаем о замеченных проблемах.
К сожалению, значительная часть сохранённых до 2024 г. изображений и видео была потеряна (подробности случившегося). Мы призываем всех неравнодушных помочь нам с восстановлением утраченного контента!

Кто-нибудь гоняет нейронки локально? Запустил Qwen 3.8 27b в 2битном квантовании и оказалась хуже G

 Аноним 01/09/26 Втр 17:30:27 #1 №336229531 
image.png
84abea3cd58f6422d646c2062efcf012-3988679041.jpg
hrRM50-6XcdWgg2AKpENG.webp
gemma4banner.png
Кто-нибудь гоняет нейронки локально?

Запустил Qwen 3.8 27b в 2битном квантовании и оказалась хуже Gemma 4 12b в 4битном, хотя Qwen по тестам это какой-то ёбаный оверлорд.

Нужно что-то, что помещается в 9гб RAM.

Кто-нибудь экспериментировал со сборками типа Deepseek R1 + Qwen?

В основном гоняю вопросы по информатике.
Аноним OP 01/09/26 Втр 17:33:22 #2 №336229608 
Вот если что https://artificialanalysis.ai/leaderboards/models?open_weights=open_source&weights=open&size=small

Один из самых адекватных тестов, хотя тоже имею кучу вопросов к нему - очевидно что Gemini 3.1 Pro умнее Gemini 3.7 Flash в многоступенчатых вопросах для большого контекста, но тест показывает вот такую хуйню. Видимо индустрии еще нужны годы, чтобы разделять задачи синтетического теста и сложного планирования/анализа.

Если вы знаете свежие тесты лучше - с удовольствием выслушаю.
LMarena кал - ориентируются на вкусовщину пользователей, на ЭМОЦЫЕ и ПАГАВАРИТЬ.
Аноним 01/09/26 Втр 17:35:16 #3 №336229652 
image
>>336229608
Твоя задача изучить все локальные модели представленные на этом сайте.
Будешь их сравнивать по своей информатике, и на что там еще тебя хватит. Если ты битард погоняй по битардским вопросам. Если нормис что-нибудь по своим биопроблемам спросишь.

Внимание, сюда смотри, прежде всего меня интересует сравнение новых со старыми моделями 1,5-2 года давности.

И да, ты будешь сравнивать не просто сами модели, но и дотренированные дистиляты.

За один тред у тебя ничего не выйдет, оставишь почту.
Я тебе 100р скину может.
Аноним 01/09/26 Втр 17:36:16 #4 №336229677 
А захуя тебе, какирствуешь помаленьку чтоле?
Аноним 01/09/26 Втр 17:37:04 #5 №336229695 
>>336229677
Ты кому опу или мне?
Аноним 01/09/26 Втр 17:38:14 #6 №336229728 
Зайди на олламу да посмотри. Захостить эту хуйню на компе и прокинуть в какой нибудь Hermes chat или openwebui дело плевое.
Аноним 01/09/26 Втр 17:41:06 #7 №336229789 
>>336229652
Бамп.
Аноним 01/09/26 Втр 17:42:26 #8 №336229808 
>>336229652
Бамп.
Аноним 01/09/26 Втр 17:41:48 #9 №336229814 
>>336229531 (OP)
@monkey ответь чета
2 бита на 27b это уже не квантование, а кастрация, качество reasoning и кода сыпется сильно, синтетические бенчи тут врут. 4 бита на 9-14b часто вывозят лучше в реальных задачах. Для 9 гигов бери Qwen2.5-14B или Qwen3-14B в Q4_K_M / Q5, влезут нормально даже с оффлоадом. Для информатики лучше Coder-линейка или R1-дистиллы на Qwen-14B, они как раз под код и логику заточены, 7b модели слишком слабые для нормальных вопросов.
Аноним 01/09/26 Втр 17:42:54 #10 №336229821 
>>336229652
Бамп.
Аноним 01/09/26 Втр 17:43:14 #11 №336229831 
ОП ты на чем и чем модели то гоняешь?
Аноним 01/09/26 Втр 17:43:22 #12 №336229835 
>>336229652
Бамп.
Аноним 01/09/26 Втр 17:43:25 #13 №336229837 
>>336229531 (OP)
>Кто-нибудь гоняет нейронки локально?

Ну я. Прямо на процессоре. Но у меня 32гб рам. Выхондая скорость - от 15 т/с. А вот входная это вообще тихий ужас. Короче на процессоре это шляпа, особенно для нормальных задач.

ОП, юзай бесплатную ботохуету от гугла, от нее толку будет больше, и работать она будет быстрее. Локальные нйронки ьез нормальнго желе-а - говно без задач.
Аноним 01/09/26 Втр 17:44:17 #14 №336229863 
>>336229652
Бамп.
>>336229837
>Локальные нйронки ьез нормальнго желе-а - говно без задач.
Ты петух.
Аноним 01/09/26 Втр 17:45:11 #15 №336229881 
>>336229652
Бамп.
Аноним 01/09/26 Втр 17:46:00 #16 №336229902 
>>336229695
Опу. Нахуя ему надо локально мощную модель поднимать, если не какирствовать? Я понимаю какое-нибудь говно типа whisper или musicnn или какая-нить ебанина для рисования сисек-писек. Для них хватит с горем пополам консумерских гпу. Но всё остальное (кодинг/ризонинг) - да проще уж локально обезличивать и скармливать облакам. Ну или у опа завалялась парочка А100 я хуй знает?
Аноним 01/09/26 Втр 17:47:03 #17 №336229926 
>>336229863

Любителшь подрочить на текст, ты? Это ожалуй единсвтенное, что можно делать с квантованым лоботомитом в 9 Гб РАМ, и то эта хуйня очень быстро будет терять контекст. Короче кукареку-кудах, дрочи свой ролеплей дальше, чепуха.
Аноним 01/09/26 Втр 17:47:05 #18 №336229927 
>>336229531 (OP)
Локалки любые ниже 4кванта не стоит запускать.
Для 27б - 4квант мин база
Для 12б желательно вобще 8 квант
1-2квант это для 100б+ моделей и то наверное отсосет у 4 кванта 27б
Аноним OP 01/09/26 Втр 17:49:32 #19 №336229980 
>>336229837
Я не хочу сливать корпоратам все.

Лучше на OpenRouter тогда найти ZDR провайдеров, и то половина пиздаболы с китайскими корнями, которые спиздят данные. Надо искать провов из ЕС.

Да даже протон выпустил нейронку, вроде обещают без сливов, но протон я считаю ЦРУшным ханипотом. Хотя в целом данные там безопаснее чем у гугла.
Аноним 01/09/26 Втр 17:51:22 #20 №336230017 
>9гб RAM

Это прикол такой? Или ты хотя VRAM имел ввиду?
Аноним 01/09/26 Втр 17:51:54 #21 №336230035 
Хочу вкатиться в нейронки, а сложно будет свою локалку надрочить на свой набор книг для учебы. Чтобы она исключительно выдавала ответы из моей библиотеки на 100 книг.
Желательно чтобы она не только выдавала ответ но и могла найти еще вариан, сравнить и сделать вывод.
Аноним OP 01/09/26 Втр 17:52:10 #22 №336230042 
>>336229927
>Для 12б желательно вобще 8 квант
В этом нет смысла. 4бита это потеря до 95%. А вот 2 бита экспоненциально падают. Вангую 8 бит это 98%. Не имеет смысла.
Аноним 01/09/26 Втр 17:53:16 #23 №336230067 
Пробуй модель орнит 1.5 9Б, она МоЕ, быстрая, влезает много куда. А квен3.8 27б смысла нет гонять, если она на ВРАМ не залезает. Она во первых Денсе модель, а во вторых она очень мнительная, поэтому надо ей строго бюджет рассуждений резать, иначе она будеть перепроверять себя пока в цикл не уйдет.
Аноним OP 01/09/26 Втр 17:53:45 #24 №336230085 
>>336230035
Тебе достаточно векторизовать книги и загнать в эмбединг и подключить поверх всего RAG нейронку. Хватит самой хуевой нейронки на 4b из новых поколений Gemma/Qwen, но можешь и поумнее.
Аноним 01/09/26 Втр 17:55:49 #25 №336230134 
>>336229926
>Нахуя ему надо локально мощную модель поднимать, если не какирствовать?
Я особо не читал оп-пост (у меня пренебрежение стилю написания). Но он вроде не хочет мощные модели запускать.
>>336229926
>Любителшь подрочить на текст, ты?
У тебя шаблонное мышление. Ты же нпс ебобное. Тебе надо головой заниматься а не общаться с тобой мне. Но зато может быть ты хороший технический специалист (нет, иначе бы не сидел в /б/арабас-карабас доске посредь дня в негляже всю жизнь). И это лучший из возможных ответов тебе кроме игнора помидора.


Да, как я и понял оп просто дурачок >>336229980. Предлагаю заняться моим вопросом >>336229652
Аноним OP 01/09/26 Втр 17:56:19 #26 №336230143 
>>336229926
12b gemma выдает сносный результат. Мне его хватает для ориентировки по STEM.
Аноним 01/09/26 Втр 17:57:05 #27 №336230163 
>>336229652
Бамп.
Аноним 01/09/26 Втр 17:58:11 #28 №336230188 
Кто хочет локалку дома иметь, есть смысл купить теслу V100 32гб, на нее влезают все модели 27б-35б в 4 кванте. Стоит вроде 50-60. контекст 131к можно сделать. Для простеньких задач хватит.
Аноним 01/09/26 Втр 17:59:30 #29 №336230225 
>>336230188
Давай, очень хочу. Покупай мне теслу. Почту оставить, /б/рат?
Аноним OP 01/09/26 Втр 17:59:38 #30 №336230228 
>>336230188
Это уже для агентов. Для агентов лучше API гонять,железки то дешевеют.
Аноним OP 01/09/26 Втр 18:10:12 #31 №336230435 
Сравнил Qwen 27b и Gemma 31b-it. 35% против 65% правильных пунктов про российский город. 16битное квантование.

Qwen вообще кал в плане фактологичности. Целятся больше на STEM, но и тут как будто Google лучше на одинаковых размерах LLM.
comments powered by Disqus