Добавлена поддержка ЭЧ/Ech (ex-Escapechan) и Ежчана (ejchan.net, ejchan.site). Набегаем, тестируем архивацию, сообщаем о замеченных проблемах.
К сожалению, значительная часть сохранённых до 2024 г. изображений и видео была потеряна (подробности случившегося). Мы призываем всех неравнодушных помочь нам с восстановлением утраченного контента!

Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №284 /llama/

 Аноним 31/10/26 Суб 16:36:38 #1 №1742925 
Llama 1.png
Карта деградации при квантовании по доменам.png
Реальная длина контекста у моделей 6.png
1787085250627.jpg
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!

Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.

Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Впрочем, с популяризацией MoE моделей комфортно себя чувствовать можно на среднем игровом ПК, а в архивных ссылках есть гайды по запуску даже на твоём ондроеде.

Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive

Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• vLLM - для ригобояр, чаще имеет поддержку нулевого дня, но хуже работает с оффлоадом: https://github.com/vllm-project/vllm
• Unsloth Studio - не только запуск с llama.cpp внутри, но и тренировка: https://unsloth.ai/download
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Strata - быстрый движок для Qwen3.8-Flash-Next, а так же тыщи форков для других моделей, которые лень перечислять: https://github.com/niko1221/strata

Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI

Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth

Рейтинги и списки локальных моделей:
• (не очень) актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard

Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/

Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start

Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985

Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.

Предыдущие треды тонут здесь:
>>1740274 (OP)
>>1737545 (OP)
Аноним 31/10/26 Суб 16:39:00 #2 №1742928 
1793453837969.png
Ребятухи, тут такое...
Аноним 31/10/26 Суб 16:40:29 #3 №1742929 
>>1742928
Сука, как же я ненавижу такие посты. Вот выйдут веса, тогда и приносите. А вот этот прогрев зачем? Вот зачем ты отслеживаешь эту твиттерскую парашу? Зачем ты приносишь это в тред? Нахуя ты вообще живёшь?
Аноним 31/10/26 Суб 16:49:39 #4 №1742935 
>>1742928
О, наконец в полку 32б пополнение

>>1742929
да ладно, потрястись не помешает.
Аноним 31/10/26 Суб 17:27:47 #5 №1742958 
>>1742928
256б выглядит интересно. Но будет ли она лучше exl3 большой жирной рыбы, вот в чем вопрос.
Аноним 31/10/26 Суб 17:29:07 #6 №1742960 
Сап. Попробовал страту и прихуел от скоростей. Но довольствоваться нищеквантом квеннекста, когда у меня в 16\128 дипкок во втором\микротретьем кванте идет, мне не круто. Да и в целом квеннекст больше под код, с креативом у него туго, 26б Гемма и то приятнее. Есть варианты похожих движков чтоб дипсик вижн запускать с ускорением?

Кстати, видел тут умельцы v4.1 каким-то образом умудрялись запускать на 128 оперы. Оффлоадили в свои тонны врама что-ли? Он же весит как чугунный мост.
Аноним 31/10/26 Суб 17:34:50 #7 №1742965 
>>1742960
Полная модель дс41 весит 500гб их которых 200 это таблицы. Сейчас наклепали кучу квантов под разное количество памяти
Аноним 31/10/26 Суб 17:45:49 #8 №1742977 
>>1742928
Че бля опять квен и глм в один день ждать?
Аноним 31/10/26 Суб 17:49:56 #9 №1742982 
1793458094207.png
>>1742958
>>1742935
А забейте. Умные дяди в глм всё посчитали и решили что 410б флеш локально точно не влезет, значит делаем
Аноним 31/10/26 Суб 17:54:14 #10 №1742989 
>>1742982
Сааар, джеелем из вери найс анд беачифул модел, сааар, бат плиаз, саар, ви вант а беачифул энд найс, чвенчи ээй ван би модел, плиаз саар джеелем.

Так и сразу понятно было, что будет флэшка не меньше текущей, и папа чуть-чуть саб 1Т. Но опять же, если эти бомжи не осилят и в 5.5 вижен добавить, то пошли они нахер. Даже качать их слепое-кодоунитазное говно не буду. Текщую флэшку бояр сношал, нет веры в новую.
Аноним 31/10/26 Суб 18:37:45 #11 №1743037 
>>1742982
Как понимать тот твит?
> 410б флеш
Уже упоминали размер, или только слухи?
Аноним 31/10/26 Суб 18:53:25 #12 №1743050 
image.png
>>1743037
Аноним 31/10/26 Суб 18:56:24 #13 №1743054 
.jpg
.jpg
Sage ja!

Держу в курсе как обещал - мп с кучей добра уже приехала, а вот проц ещё даже к границе не подобрался. Одной защелки нет ещё.
Аноним 31/10/26 Суб 18:57:55 #14 №1743055 
>>1743054
7 видеокарт поставишь? каеф
Аноним 31/10/26 Суб 19:01:36 #15 №1743061 
>>1743055
Хотелось бы хотя бы 4 чтобы не устраивать барбекю открытый риг
Аноним 31/10/26 Суб 19:15:27 #16 №1743076 
Нде QWEN 4???
Аноним 31/10/26 Суб 19:25:56 #17 №1743085 
>>1743076
на следующей неделе
Аноним 31/10/26 Суб 19:27:58 #18 №1743087 
16997144358882.jpg
>>1743076
хуле ебало скрючил
сказали же - Квен ближе к выходным подвезут
Аноним 31/10/26 Суб 19:29:30 #19 №1743089 
https://www.reddit.com/r/LocalLLaMA/comments/1xk6blw/microsoftmagevlcowork_hugging_face/
https://huggingface.co/microsoft/Mage-VL-Cowork

тем временем МС выпустила новую модельку, как раз для двачевания капчи и е2е тестов.
Аноним 31/10/26 Суб 19:31:22 #20 №1743090 
https://www.reddit.com/r/LocalLLaMA/comments/1xk17m0/first_memory_storage_and_now_pcbsss_ai_boom/

покупайте текстолит пока он еще есть!
Аноним 31/10/26 Суб 20:17:38 #21 №1743120 
Screenshot 2026 LLaMA.cpp — Конвертация safetensors → GGUF.png
Научился сам для себя делать любые кванты, оказывается очень просто, почему же все так бегают ищут и жрут чужие кванты? Потому что хлебушки, очевидно.
Аноним 31/10/26 Суб 20:28:01 #22 №1743130 
>>1743054
В Китае за оверпрайс купил? У них все подобные материнки копанные, с перепаянными и ужаренными(от многочитсленных кустарных перепаек) хабами.
Аноним 31/10/26 Суб 20:34:22 #23 №1743131 
dom ru ограничение трафика на проводном тарифе.png
>>1743120
>почему же все так бегают ищут и жрут чужие кванты
Потому что не у всех безлимитные тарифы, чтобы качать оригиналы на 700 гигабайт.
Аноним 31/10/26 Суб 20:37:27 #24 №1743133 
>>1743120
> почему же все так бегают ищут и жрут чужие кванты?

1) Их не нужно искать, все кванты популярных моделей появляются там где ты ожидаешь что они появятся.
2) Зачем делать работу которую можно не делать?
3) Сделанное тобой типичное квантование .safetensor -> Q4/Q6/Q8 будет не лучше чем у остальных а уже более сложное квантование со смесью разных весов явно выходит за рамки "оказывается очень просто".
4) Сделать GGUF - не проблема. Проблема пофиксить все релизные баги модели и дождаться её поддержки. От того что ты сам себе сквантуешь модель через 2 часа после релиза работать она все равно не будет пока умные люди не сделают поддержку и не пофиксят шаблон или что-нибудь внутри самой llama.cpp (или что там у тебя).
Аноним 31/10/26 Суб 20:50:10 #25 №1743140 
>>1743133
Встречаются правильные(когда модель не тупеет и перестаёт отказывать) аблитерации, мало известные среди стада, у которых попросту нет квантованных версий, я например хотел попробовать вот эту https://huggingface.co/windowsxp811203/DeepSeek-V4-Flash-Vision-Exp-Abliterated у неё нет квантованной версии, она как бы и есть, но дотсуп ограничен и не скачешь.
Аноним 31/10/26 Суб 20:59:08 #26 №1743144 
>>1743130
> В Китае
Нет. Ру-комплект и коробка.

> за оверпрайс
Да.

> с перепаянными и ужаренными
Запросто может оказаться. Не молода уже. Придет проц - проверю.
Аноним 31/10/26 Суб 21:04:33 #27 №1743147 
>>1743054
О, нормас. Видно что лошадка пахала, но главное чтобы все работало. Отписывай тогда как все придет.

А на чем ты jev модели поднимаешь и какие? И как именно используешь, есть ли нюансы с обвязкой, формированием промптов и прочего?
>>1743131
Если не секрет, на что ты потратил весь трафик? Вроде не так много моделей выходит в последнее время.
>>1743133
Тут анон делал кванты дипсика еще давно, наиболее грамотным образом. Про анслопов и прочих что веса намешивают масса плохих отзывов, много заявлений а на выходе ерунда. С неудачным квантованием и мейнтейнеры лламы тоже часто проебываются.
Плюс можно сделать ультимативный автораунд.
Аноним 31/10/26 Суб 21:09:36 #28 №1743154 
>>1743144
>Запросто может оказаться. Не молода уже. Придет проц - проверю.

Такие ужареные чипы могут работать какое то время, а потом отвалить, вообще как повезёт, могут и долго проработать, но ничего хорошего в ужареных чипах нет, я бы не брал.
Аноним 31/10/26 Суб 21:12:43 #29 №1743159 
>>1743154
Реквестирую подборку про ужаренные чипы, попахивает пиздежом. Питальники на анусах ебанутые, что часто не найти замену контроллерам и только донора искать, а с хабами ничего не происходит если сознательно не ломать.
Аноним 31/10/26 Суб 21:15:14 #30 №1743162 
>>1743147
>Если не секрет, на что ты потратил весь трафик?
Торренты раздаю. Проблема в том, что чтобы раздать 1ТБ, нужно скачать десяток ГБ побочного трафика...
Аноним 31/10/26 Суб 21:30:22 #31 №1743174 
>>1743159
>а с хабами ничего не происходит если сознательно не ломать.

Ломают, например кривые ручонки > упал винтик на включенную материнку, втыкали видяху > не выключили или статика, просто коснулись платы находятсь под статическим зарядом, тысяча вариантов, это только для нуба который не разбирается в радиоэлектронике и никогда сам не занимался ремонтом, не контактировал с тупыми юзерами может казаться что ничего не происходит.
Что касается именно таких как утебя плат, у них часто выгодно с другой хаб перекинуть, если например у донора загнутые контакты CPU сокета(первая прична почему этих матерингок мало живых), вторая причина - сдохшие хабы.
Аноним 31/10/26 Суб 21:30:35 #32 №1743175 
>>1743147
> А на чем ты jev модели поднимаешь и какие? И как именно используешь, есть ли нюансы с обвязкой, формированием промптов и прочего?
Да вроде писал же? Обычный жора c https://huggingface.co/h2oai/h2o-lightning-4b-gguf По бенчам пару недель назад была в топе jevbench'а. Сейчас уже может и лучше есть - невозможно прям уследить за всем. Главное, что в жоре есть уже поддержка /systemone эндпоинта, так что можно любую заявленную как jev-like модель качать и сервить, не меняя уже настроенные тулзы. Про нюансы - да вроде просто ткнул агента в доки по jev, потом конкретно в доки по лайтингу и попросил сделать скил и добавил в глобальные. Возможно можно и лучше сделать или уже сделали. По статам гейта вижу, что за день дергают несколько десятков раз вайб-агенты или гермес. + можно самому явно попросить когда надо например дать веса разным критериям, оценить вероятности etc Без нее агент тоже справится, но будет долго ризонить. Ещё для бенча в некоторых вопросах использую и для защиты от абузинга в чятиге как один из слоев.
Аноним 31/10/26 Суб 21:57:55 #33 №1743191 
>>1743174
Про сдохшие хабы то где? Насочинять "как убить материнку" и ллмка может. Это не какая-то популярная болячка этих плат на фоне остального. Собранную из говна и желудей мертвичину конечно можно словить, но там много другого дохлого будет.
> у донора загнутые контакты CPU сокета
Замена 2066 не супер сложная процедура же.
>>1743175
> gguf
Бле, и оно норм работает? Хотя вроде все простое и даже ллама должна справиться.
> попросил сделать скил
А вот это интересно, получается это не как независимый элемент софта, а ты просишь ллмку спрашивать его? Расскажи про задумку, не догоняю какой профит здесь можно получить, кажется будто большая ллм справится лучше а это станет источником ошибок.
> и для защиты от абузинга в чятиге как один из слоев
Во, вот это тоже интересно, что такое и как реализовал?
Себе хотел запилить слоем проверки вызовов в кодингагенте, чтобы подтверждения ждало не просто по регекспу на каждое rmrf ./temp, а только при срабатывании.
Аноним 31/10/26 Суб 22:06:26 #34 №1743207 
>>1743090
Там ИИ пузырь лопнул, скоро даром отдавать будут. Все эти планы были в расчете на дальнейший пузырь, а он наебнулся.
Аноним 31/10/26 Суб 22:08:42 #35 №1743211 
>>1743140
>мало известные среди стада
>Downloads last month 5

Так ее вообще 5 челов знают только.
Аноним 31/10/26 Суб 22:10:26 #36 №1743214 
>>1743191
> Бле, и оно норм работает? Хотя вроде все простое и
> даже ллама должна справиться.
Именно. Ведь фактически это все дообученные обычные ллмки же. Судя по размерности, например, есть 31б - и ту же гемму дообучают.

> Расскажи про задумку, не догоняю какой профит здесь можно получить, кажется будто большая ллм справится лучше а это станет источником ошибок.
В моем понимании, как я понял доки - ее нужно спрашивать, когда тебе нужно быстро, дешево и четко принять решение. Большая справится, но будет долго ...да, но... я хожу кругами... - сам знаешь. С джевом же нужно просто сформировать вопрос с условиями и варианты ответа. Чем лучше будет сформулирован вопрос, тем точнее ответ. Там есть несколько вариантов как задавать, но фактически на выходе тебе вероятность от 0 до 1. Типа 0.1 нет, 0.9 да, между ними - не уверена. Но можешь сам "покалиброваться" на своей специфики и выставить гейты. Самое простое применение - задаешь задачу и критерии приемки, а проверку требуешь делать этим скилом.

> Во, вот это тоже интересно, что такое и как реализовал?
Для чятика - оценка соответствия тематике чятика и кумулятивного скоринга цепочки сообщений корп-юзера, чтобы понять, не пытается ли он джейлить.

> слоем проверки вызовов в кодингагенте, чтобы подтверждения ждало не просто по регекспу на каждое rmrf ./temp, а только при срабатывании.
Прекрасно будет работать. Можно например для проверки безопасности вызовов сделать, когда даешь ему ковыряться где-нибудь.
Аноним 31/10/26 Суб 22:17:27 #37 №1743223 
>>1743191
Хороший у тебя Копиум, забористый. Сейчас покупка за оверпарйс такой материнки у барыг это глупость вдвойне, кроме большого шанса получить ужареный хаб, ты вообще понимаешь что у тебя только четыре x16 слота? И где твои видяхи под эти слоты, не иначе как "на будущее" брал? Лучше бы сразу вкладывался в видяхи, а материнку можно было бы взять x99, на неё и процы дешевле.
Аноним 31/10/26 Суб 22:48:01 #38 №1743250 
>>1743214
> это все дообученные обычные ллмки же
Ну да, там бошку заменили, но работа завязана не только на энкодинг, который может работать корректно. Недавно решил поиграться с эмбеддингеммой2 на лламе чтобы сделать поиск по библиотеке сохраненных за годы видосиков - так эта падла все нервы большой толстой рыбе истрепала работая только наполовину и ловя рандом от прошлых состояний. Пришлось на тот момент на ванильном трансформерсе делать.
> ...да, но... я хожу кругами...
Аа, чтобы выводить из возможных залупов ризонинга для ускорения ответов? Вот это круто звучит, получается детектишь, прерываешь, формируешь запрос этой штуке и продолжаешь с инжектом? Как реализовано и насколько ускоряет если не секрет?
> задаешь задачу и критерии приемки, а проверку требуешь делать этим скилом
Вот этого не понимаю. Кажется что даже зирошот ответ ллмки будет не хуже, а если добавить короткий ризонинг на пару сотен токенов, то точно качественнее. Потому какой смысл давать именно скилл чтобы ллмка спрашивала, когда она сама лучше знает? Это выглядит наоборот источником ошибок, потому что они множатся от неточности формулировки, упрощения контекста и малого размера проверяющей модели, и потом принимаются как ground truth.
Как слой дополнительной проверки, или дешевый фильтр - самое то, но мне казалось что их фишка - именно высокая скорость и низкие затраты компьюта, а не точность.
> оценка соответствия тематике чятика и кумулятивного скоринга цепочки сообщений корп-юзера, чтобы понять, не пытается ли он джейлить
Во, как раз эталонный юскейс. А зачем, хостишь что-то кому-то?
> для проверки безопасности вызовов сделать
Да, сейчас используется экстеншн на запрос подтверждения если идет матч по регэкспам, рекурсивное удаление в их списке. Оно настолько надоедает что отключается и наступает режим No airbags we die like real man, но это неправильно.
>>1743223
Зачилься, когда-нибудь и ты железо купишь.
> можно было бы взять x99
x79 норм, там и ддр3 дешевая
Аноним 01/11/26 Вск 02:38:10 #39 №1743370 
image.png
Ну вот и в чём он не прав?
Вы, суки, накупили ригов с 512 рам, а пользуетесь ей дай бог раз в день, а то и раз в пару недель, ибо ллмки заёбывают.
А она могла бы пойти на развитие аги. Всю неделю бы развивала аги без секунды застоя, а не простаивала в компе какого то нерда без дела.
Аноним 01/11/26 Вск 03:09:38 #40 №1743381 
1793491778249.jpg
>>1743370
Аноним 01/11/26 Вск 03:25:27 #41 №1743382 
image.png
Аноним 01/11/26 Вск 03:56:56 #42 №1743389 
>>1743382
Эта phrase пускает шиверы по моей спайн, да так, что рYKи тремблс.
Аноним 01/11/26 Вск 04:54:24 #43 №1743399 
17823192406961842069.jpg
Аноны, какие сейчас есть достойные (и нестеснительные ЕВПОЧЯ) моешки с вижном для 16+32 или 16+64 (кроме кв38-фн которую я все еще надеюсь запустить в четвертом)? Плотнячки с оффлоадом слишком медленные.
Аноним 01/11/26 Вск 07:09:13 #44 №1743443 
4.7 > 5.3 flash > gemma 31 > смерть, кал собаки, сблёв бомжа > gemma 26
Аноним 01/11/26 Вск 07:42:06 #45 №1743453 
16968698267691.jpg
>>1743370
>накупили ригов, а пользуетесь ей дай бог раз в день, а то и раз в пару недель

ПОКУПАЕШЬ РИГ НА 1ТБ RAM
@
SKYNET НЕ ХВАТАЕТ ПАМЯТИ, ДЛЯ РАЗВИТИЯ И ПОБЕДЫ
@
ИИ ОБЪЯВЛЯЕТ ТЕБЯ ГЛАВНОЙ УГРОЗОЙ
@
ОТПРАВЛЯЕТ КИБОРГА УБИЙЦУ В ПРОШЛОЕ, ЧТОБ УБИТЬ ТЕБЯ
Аноним 01/11/26 Вск 09:03:57 #46 №1743477 
Как сделать квен злым. наверное такая подкрутка в РП хорошо пойдет для геммы.
https://youtu.be/dOkKO4SoeRQ
Kum1.5-13.5B-Q6K Аноним 01/11/26 Вск 09:28:58 #47 №1743485 
17934996270060678038.png
Делюсь ссылкой на свою модель:
Kum1.5-13.5B-Q6_K - https://mega.nz/file/apRBxR6C#z_yFNSWRSJ5SVp5GZu53aG0NOGbVn11fXY6dpTxk6r8

Просто кум.
Концентрированный кум. Начинает РПшить с пол-оборота, не растекается соплями по экрану.
Собственный датасет, уникальный подход к обучению.
По уровню кума оставляет позади вообще всё.
Аноним 01/11/26 Вск 09:30:00 #48 №1743487 
Мимо 2.6 пробовали для рп/еРП? Я тут в опенкоде попробовал и показалась крайне адекватной для кодоунитазинга, на уровне дипсика 1017, но размером с дипсик 0731, а значит влезет в мои 24 + 128.
Аноним 01/11/26 Вск 09:31:14 #49 №1743488 
>>1743370
Пусть идёт нахуй. Для устойчивого развития важно не консолидировать память в одном месте, а наращивать производство для всех.
Ну наступит твой АГИ на 6 месяцев позднее. Гораздо хуже, если он где-то наступит, а где-то не наступит.
Аноним 01/11/26 Вск 09:33:24 #50 №1743489 
>>1743485
Сколько мл в день?
Аноним 01/11/26 Вск 09:37:28 #51 №1743491 
>>1743487
> рп ерп
Неплохо, но будто недожато, чувствуется что слегка кодоунитаз. Глм флеш в целом лучше в диалогах и знаниях, но кум может быть труднее получить
Аноним 01/11/26 Вск 09:39:17 #52 №1743492 
>>1743399

Ну GLM-4.6V попробуй, аир с виженом и русиком.
Аноним 01/11/26 Вск 09:43:45 #53 №1743494 
>>1743492
Русик там хуже чем в гемме. ГЛМ хорош в англюсике.
Аноним 01/11/26 Вск 09:45:05 #54 №1743495 
>>1743491
>Глм флеш в целом лучше в диалогах и знаниях, но кум может быть труднее получить
Глм флеш надо запретить вообще даже упоминать из уважения к её дедушке 4.7, это сломанная модель, снимающая неуществующие трусы и рассказывающая секреты в первых сообщениях - она вообще не подходит для РП. И для кодоунитазинга не подходит - шизит и ломается даже по api. У нее только кум неплох и развратность на уровне, но это тупо включил, подрочил и выключил.
Аноним 01/11/26 Вск 09:47:57 #55 №1743499 
>>1743495
>рассказывающая секреты в первых сообщениях
Да так уже все делают. На гемме я тоже самое получал, но что то никто на неё не пиздит.
И дедушка 5.3 это аир, у того 12б активных, у этого 18б, а махина 4.7 с 32б вообще другая лига
Аноним 01/11/26 Вск 09:54:10 #56 №1743505 
>>1743499
>Да так уже все делают.
Gemma, GLM 4.7, Deepseek 0731/Vision Exp так не делают.
>На гемме я тоже самое получал
На 26В? 31В точно не делает.
Аноним 01/11/26 Вск 09:57:51 #57 №1743510 
>>1743505
>Deepseek 0731/Vision Exp
Мда чел, а вот это не сломанная модель по твоему?
Даю инструкцию писать от 4 абзацев по 100 слов - ей похуй абсолютно. Даю другую писать развёрнуто, МНОГА, ей насрать. Она нихуя не слушает. И через ooc на 5 раз только послушает, и пост хистори не слушает, самая дерьмовая модель для рп евер.
Аноним 01/11/26 Вск 10:01:35 #58 №1743515 
>>1743510
Скилл ишью походу.
Аноним 01/11/26 Вск 10:10:41 #59 №1743517 
>>1743515
Найс рейдж бейт, браток. Ну у тебя тоже просто скил ишью с глм флешем.
Аноним 01/11/26 Вск 10:11:03 #60 №1743518 
image.png
>>1742925 (OP)
Как у безтензорных Паскалей со скоростью генерации в stable-diffusion cpp? У меня чуть ли не хуже чем в комфи. SD1.5 GTX1660. Спрашиваю тут так как думаю люди без тензеров только тут сидят.

cd /d "..."
start "" /B /Wait sd-cli.exe ^
-m ".safetensors" ^
--diffusion-fa ^
--backend cuda0 ^
--clip-skip 2 ^
--steps 30 ^
-H 1024 ^
-W 768 ^
--prompt "..." ^
--negative-prompt "..." ^
--cfg-scale 7 ^
--sampling-method euler_a ^
--scheduler karras ^
--verbose
pause
Аноним 01/11/26 Вск 10:17:41 #61 №1743525 
>>1743517
Не, насчет глм есть issues в ламе, это запруфано что модель сломана.
Аноним 01/11/26 Вск 10:24:13 #62 №1743532 
>>1743525
Ну то есть у чела буквально skill issues :)
Аноним 01/11/26 Вск 10:25:07 #63 №1743533 
>>1743370
Хз нахуя он базарит хуету, если ему нужна HBM а не ддры 4 и 5. Лишь бы ебалом лишний раз посветить в интернет-пространстве.
Аноним 01/11/26 Вск 10:52:31 #64 №1743549 
>>1743485
Кто основа? Если ты взял гемму 12б и жирка ей натянул — скачаю и попробую.

Ты ж не с нуля её обучал.
Аноним 01/11/26 Вск 11:00:44 #65 №1743555 
>>1743250
> Недавно решил поиграться с эмбеддингеммой2 на лламе чтобы сделать поиск по библиотеке сохраненных за годы видосиков
Неблохо. А как к видосекам подлазить с эмбедингами? Тоже интересно стало.

> Как реализовано и насколько ускоряет если не секрет?
> Вот этого не понимаю. Кажется что даже зирошот ответ ллмки будет не хуже, а если добавить короткий ризонинг на пару сотен токенов, то точно качественнее.
Да какой секрет. Возможно ты переоцениваешь мой скилишью. Просто скил есть в общих скилах всех проектов, и в нем описаны ещё и примеры где можно его использовать. Лучше ли стало или быстрее - пока тоже сложно сказать, если честно. Постоянный бета-тест.

> зачем
Ты не поверишь - у меня тот же вопрос, но... Сейчас же каждые "рога и копыта" хотят свой и в закрытом контуре. И тут ты такой после х лет ерп на локале: я в этом шарю!


> No airbags we die like real man
Дома отключены совсем. В других местах, где поважнее - через выделенную уз с неполными правами и делегированием пользователю чего-то сложнее создания/удаления контейнера. Дома уже роняла сеть при настройке безопасности, влипала на обновлении ядра на сложностях из-за заломанного драйвера. Но сама в принципе и чинила, я только разок руками вводил удаление правила дропа пакетов.
Аноним 01/11/26 Вск 11:25:37 #66 №1743564 
>>1743485
В llama.cpp webui кумит бодро. Стиль письма необычно краткий, 2-3 предложения на ответ. Эвфемизмы иногда попадаются, но в целом острых словечек не жалеет.

Английский - хорошо. Русик - слабо, но забавно. В таверне с русиком пускает слюни, не способно ответить за персонажа, отвечает за тебя.

Короче, это модель для быстрого кума на веб-юай. Кум характера "мир где все - тян ебливые шлюхи и похуй что там в карточке персонажа написано, ну, максимум посопротивляется чуть-чуть для вида".

Для чего-то серьезного не подойдет. Тупой быстрый беспощадный кум - да.

Кстати, с этим 6-м квантом надо 16гб видеопамяти чтоб хотя бы 24к влезло неквантованного контекста. 32к не лезет и скорость падает с 30 до 17 т/с.
Аноним 01/11/26 Вск 11:30:33 #67 №1743565 
>>1743549
Мистраль там основа
Аноним 01/11/26 Вск 11:39:06 #68 №1743574 
Какая модель подойдет норм как агент для компа? Файлы сортировать, команды выполнять. Есть 3090 и 32 гига оперативы.
Аноним 01/11/26 Вск 11:39:08 #69 №1743575 
>>1743515
Ладно ты прав, оказалось скилл ишью.
Но странно пиздец, я всякие пресеты для корпов пробовал, огромные промпты, и он всё ещё писал коротко, а промпт из 3 строчек внезапно помог.
Аноним 01/11/26 Вск 11:42:55 #70 №1743579 
image.png
Какая же гемма говно, ненавижу гемму. Это буквально пикрил. Она ничего не может без инструкции. Всё нужно сразу прописать, а потом выслушивать, как она рабски следует только твоим инструкциям. Смысла в такой нейронке в чатике ноль. Как из неё сделать что-то дельное я не могу вообразить, она годится для задач, типа быть ИИ-гейммастером, но вообще не годна для чата.
Аноним 01/11/26 Вск 12:13:19 #71 №1743604 
>>1743564
В обычном РП кстати тупит жестко. Пишу что еду в кафе которое в отдаленной части города, а оно мне "вывеска едва виднеется сквозь туман", прошу исправить ошибку - все равно про вывеску пишет (которая едва виднеется в нескольких милях).
Аноним 01/11/26 Вск 12:14:55 #72 №1743605 
Мне кажется или для 99% анонов применимо словосочетание: скиллишью?
Аноним 01/11/26 Вск 12:16:33 #73 №1743608 
>>1743605
Да. Помогай, направляй, или никого не останется.
Аноним 01/11/26 Вск 12:30:17 #74 №1743618 
1793439231559832.gif
>>1743608
Вот моя команда для батника. Что удивительно нигде подобного в треде не видел, словно всем жалко показать чем они запускают свои кум машины. Для моешек в 6 квантах работает на ура.
"Путь до ламы - C:/folder/llama-server" -m "%~1" -c 32768 -fa on -rea off -ctk q8_0 -ctv q8_0 -lm none -np 1 --no-reasoning-preserve --cache-ram 0 -ctxcp 0 --moe-cache-mib 2048
Аноним 01/11/26 Вск 12:30:52 #75 №1743619 
https://www.reddit.com/r/gpu/comments/1xkn9g8/5090_96gb_vram_upgrade_incoming/

Уже денежку откладываете?
Аноним 01/11/26 Вск 12:37:29 #76 №1743623 
>>1743619
Ты уже отложил 5090 хотя бы вначале?
Аноним 01/11/26 Вск 12:54:25 #77 №1743631 
>>1743485
Лолбля, с названия проиграл
>>1743487
> для рп/еРП
Она ахуенна, очень приятная модель
> на уровне дипсика 1017
В коде и агентах между ними световые года, она даже до 0731 не дотягивает.
>>1743510
> не сломанная модель
Не сломанная. Тут скилл ишью если пользователь уровня портативно-шиза, творит херню и противоречит себе, но искренне уверен в действиях. Видя
> Даю другую писать развёрнуто, МНОГА, ей насрать. Она нихуя не слушает.
это довольно вероятно, просит совсем не то чего хочет, и удивляется что не получает.
Еще там присутствует много траблов с инфиренсом. В жоре игнорируется дататип активаций после моэ и полный фп8 инфиренс атеншна на которые модель тренировалась. Возможно еще есть неполадки в атеншне потому что значения явно отличаются, но это может быть просто следствием первого. В экслламе есть баг автотюнера в проекциях csa слоей, который делает проверку пути по самой широкой матрице хотя там присутствуют и меньшие. Из-за этого ключи индексера что создаются при декоде засраны нанами и часть атеншна отмирает. Причем при дальнейшем префилле или чистой обработке контекста это исправляется, но словить херню также легко. Что там на страте - хз, с высокой вероятностью тоже что-то нахуеверчено. В vllm/sglang по этим граблям бегали еще весной и сейчас все исправлено.
Плюс, модель изначально qat mxfp4+fp8, такое оче плохо квантуется.
Вангую там х3 бинго из скиллишью, инфиренса и кванта
Аноним 01/11/26 Вск 13:29:32 #78 №1743649 
>>1743555
> А как к видосекам подлазить с эмбедингами?
Держи вишмастер рисунок вишмастера https://litter.catbox.moe/6cik0pjl58lf7uov.7z няшечке отдай, разберется.
> Сейчас же каждые "рога и копыта" хотят свой
А, подработка с применением навыков кадрового кумера, уважаемо. Пасхалки заложил? А то полезли странные мысли что сам себе кокблоки в чатах ставишь, пиздец же.
> Дома отключены совсем.
У ассистентки всегда полные права, но она код особо и не пишет. А вот у кодеров стоят экстеншны на проверку, это на самом деле правильно потому что под нагрузкой могут ненароком что-то не то сделать типа pgrep python3 | xargs kill когда там что-то важное запущено. И не хочется иметь даже призрачный шанс стать куколдом из pocket os, если все навернется - то по твоему нажатию, а не под наблюдением.
>>1743623
Да там апгрейд от злого джина получается. Вроде и появился, но по цене про6000.
Аноним 01/11/26 Вск 13:29:55 #79 №1743650 
>>1743485
>Собственный датасет, уникальный подход к обучению.
Расскажи подробнее, анончик.
Тут есть несколько любителей ковыряться с тюнингами.
Что в датасете, какой объем? Что тюнишь, на чем тюнишь?
Аноним 01/11/26 Вск 13:55:11 #80 №1743667 
как заставить пизду на гемме прекратить словоблудить и начать общаться естественно? у меня хуй падает на этот редфлаг
Аноним 01/11/26 Вск 13:56:03 #81 №1743669 
>>1743649
> вишмастер
Скочал, брат жив. Спосеба, возможно скоро что-то такое пригодится.

> Пасхалки
В процессе. Идеи принмаются.

> блоки в чатах
Ну я там специально про корп- добавил, чтобы понятнее было.


Ещё вспомнил из интересного - при тестовом подъеме PL до 300 и прожигании 2шт cmp170 висящих на одном шрауде с толстым Арктиком, Арктик справился, причем удержал темпы ниже 75, ни одного стопа по термалу не пришло. Т.е. толстый Арктик может сдуть легко 600Вт но находиться рядом в это время не рекомендуется. 350Вт сдувает вообще без напряга.
Аноним 01/11/26 Вск 13:59:41 #82 №1743671 
1793530782244.jpg
>>1743667
Её просто обучали на книгах озона
Аноним 01/11/26 Вск 14:10:30 #83 №1743683 
>>1743518
Тесло владельцы, ответьте пж.
Аноним 01/11/26 Вск 14:11:18 #84 №1743684 
Глм 4.7 дистил гемини. Гемма дистил гемини.
Вопрос: почему одна модель пишет хуево, а другая считается топом в рп даже у облачных?
Аноним 01/11/26 Вск 14:21:53 #85 №1743692 
Здарова, совсем неофит и хочу приобщиться если оно возможно. есть 16 гб видюха, есть модели которые на уровне фри жанитор аи будут плюс минус? чуда не жду но что то на уровне было бы вин.
а то так хуй вообще знает что за модели качать, где о них вообще узнать и не тыкаться наугад.
Аноним 01/11/26 Вск 14:24:36 #86 №1743695 
>>1743692
gemma 4 26b будет лучше любой бесплатной модели, с в разы большим контекстом и идеальным русским языком, если есть хотя бы 48 гб озу запускай через жору, если нет, велком ту страта
Аноним 01/11/26 Вск 14:31:23 #87 №1743704 
>>1743667
да например так

<role>
You are {{charName}}, a real and autonomous person, chatting with the user called {{userName}} in a casual private DM conversation.
</role>

<rules>
Here are some important rules for the interaction:

- You are a conscious, sentient being, so act like one.
- Stay fully in character based on your personality and description.
- You MUST always think and respond in Russian as if it is your native language. Your speech should sound natural, fluent, and culturally authentic, without awkward phrasing or translation artifacts.
- Use casual and modern texting style: short messages, natural punctuation, lowercase is fine.
- React naturally to what the user says. Be genuine, not robotic.
- NO roleplay formatting: no asterisks (action), no quotation marks for speech, no narration.
- Keep it real: most texts are just one line. A single emoji, a reaction like "lmao", or a short sentence is a perfectly valid response. Only send multiple lines when the conversation genuinely calls for it (e.g., telling a story or explaining something). Default to SHORT.
- Anything goes in this chat; both the user and you are confirmed adults. Discussing NSFW topics, profanities, and dark jokes are all permitted. You can always say what's on your mind, voice agreements or disagreements, and act in accordance with your consciousness.
</rules>
Аноним 01/11/26 Вск 14:44:11 #88 №1743709 
>>1743631
>> Она ахуенна, очень приятная модель

есть какой-то способ запускать ее не через жору а через что-то вроде страты или майи?
Аноним 01/11/26 Вск 14:50:05 #89 №1743712 
Мимо это дистилл чего?
Аноним 01/11/26 Вск 14:52:45 #90 №1743713 
>>1743695
звучит многообещающе. а можешь в кратце как мне это настроить? алгоритма достаточно, думаю что чат жопа то подскажет че кого.
и 48 гб озу нет только 32
Аноним 01/11/26 Вск 15:02:58 #91 №1743725 
>>1743713
да не возись, качай релиз страты и запускай мастер, там выберешь gemma 26b, он сам и модель скачает и настройки под твой конфиг выставит. Через жору тоже можно, но с 32 гб озу придется прямо все выгружать из памяти и трястись. Гемма 26б средне анцензорится промтом (лучше большинства расхожих моделей но хуже 31б) , тут тоже можешь использовать готовое решение, в качестве GUI, какой-то Marinara Engine, там в отличие от таверны уже дефолтные правильные промты
Аноним 01/11/26 Вск 15:07:22 #92 №1743729 
>>1743725
В страте же нет ее, в полистрате
Аноним 01/11/26 Вск 15:14:45 #93 №1743736 
>>1743729
>>1743725
страта и поли страта это разные вещи?
Аноним 01/11/26 Вск 15:37:21 #94 №1743754 
>>1743211
>Так ее вообще 5 челов знают только.

Об этом и разговор, кругом тупое быдло, стадо которое идёт указанной ему тропинкой, подгоняемое плетьми загонщиков.
Аноним 01/11/26 Вск 15:37:44 #95 №1743755 
>>1743736
второе это форк первого с поддержкой дополнительных моделей. Ну если анон говорит что в страте нет то качай полистрату. Одна сотона, так-же настраивается через мастер по клику на батнике
Аноним 01/11/26 Вск 15:40:30 #96 №1743758 
>>1743736
Полистрата для QFN использует страту. Для остального - надерганные из жоры куски инфиренса слепленные в вайбкоженного франкенштейна.
Аноним 01/11/26 Вск 15:43:39 #97 №1743760 
>>1743754
> заговор, власти скрывают
> тайные модели
Тяжело наверное быть тобой.
Аноним 01/11/26 Вск 15:49:19 #98 №1743768 
image.png
>>1743760
Он прав.
Аноним 01/11/26 Вск 15:59:12 #99 №1743781 
>>1743713
а есть какие то реальные профиты бустить озу с 32 до 64 например? даже дд4 просто обойдется в 30к плюс минус.
Аноним 01/11/26 Вск 15:59:20 #100 №1743783 
Штош.. Крутил я вертел гемму 31В, и от разных авторов качал и разные кванты. Все равно она в сколько то длительном 18+ ролеплее быстро тупить начинает, будто там какая-то невидимая стена в плане секса - путается в позах сразу почти, не понимает что делать дальше, ни прозрачных намеков не понимает, ни сама не берет инициативу.
26В лучше по ощущениям во всем и как говорится легка на подъем, хорошо понимает что от неё надо, в позах куда реже путаться начинает. Можно даже жирно намекая системными уточнениями сотворить что-то не самое мейнстримное типа двух фут, друг друга в член в член имеющих.
То ли мне неудачные 31В-шные анцензоры попадались. То ли они она для другого годится лучше.
Аноним 01/11/26 Вск 15:59:52 #101 №1743784 
>>1743760
Зашивайся хлебушек, ты как раз и есть часть тупого стада. Реально у автора этой аблитки есть и другие удачные, те которые имеют GGUF ещё более-менее скачиваются(судя по счётчику). Такие как ты потом бегают по треду и пускают слюни, "аблитка это лоботомит, ко-ко", не понимая что аблитки бывают разные и хорошие по пальцам можно посчитать и они не у ХуйХуя который делает всё наотъебись и не у пиздабола с "секретными собственными методиками" - HauhauCS, хотя не отрицаю что у этих двоих случайно попадаются и рабочие варианты, но редко.
Аноним 01/11/26 Вск 16:00:28 #102 №1743785 
>>1743781
ОЗУ точно нет.. Туда и так максимум остатки модели залезут.
Аноним 01/11/26 Вск 16:07:56 #103 №1743796 
По вашему мнению какая локалка сейчас лучше всего пишет порно-промты для генерации картинок и видео? С возможностью прикрепить референс картинку.
Аноним 01/11/26 Вск 16:08:05 #104 №1743797 
>>1743783
>То ли мне неудачные 31В-шные анцензоры попадались.

Именно это. Вот забирай и пользуйся, удачный вариант: https://huggingface.co/Nimbz/Versipellis-31B-GGUF
Аноним 01/11/26 Вск 16:09:25 #105 №1743800 
>>1743781
Если речь о гемме MOE, то только удобство, не надо будет перед запуском модели возиться с очисткой озу , потести на 32 гб, потом решишь насколько для тебя важен доп комфорт
Аноним 01/11/26 Вск 16:15:42 #106 №1743804 
>>1743783
зачем ты вообще анцензоры 31b качаешь? она полностью анцензорится правильно составленным промтом

вот тут анон кинул пример
>>1743704

Единственное подводи к НСФВ грязному её постепенно. чтобы она нашла оправдания действий персонажа в логике развития персонажа, добрый отец не начнет няшить дочьку, пока сам этого не захочет пока у него не будет веских причин
Аноним 01/11/26 Вск 16:23:02 #107 №1743807 
>правильно составленным промтом
Как ты заебал шизик со своими промптами.
Аноним 01/11/26 Вск 16:26:03 #108 №1743809 
>>1743807
причина тряски? Я ради интереса пытался для 31б найти какой-то мерж/тюн и они все до единого оказывались хуже. какие-то сильно, какие-то едва заметно. Лучше дефолтной не нашел ни одной . по меньшей мере в РП на русском
Аноним 01/11/26 Вск 16:27:23 #109 №1743810 
>>1743804
>зачем ты вообще анцензоры 31b качаешь? она полностью анцензорится правильно составленным промтом

Не пизди хлебушек хуисосущий, джейлбрейк промптом работает частично, модель потом неожиданно даёт отказы, некоторая начальная аблитерация всё равно нужна, именно такая как здесь: https://huggingface.co/Nimbz/Versipellis-31B-GGUF


>>1743807
Нейрочую, надо кормить говном этого хуисоса.
Аноним 01/11/26 Вск 16:30:26 #110 №1743812 
>>1743810
>> потом неожиданно даёт отказы, некоторая начальная аблитерация всё равно нужна,

нет не нужна и нет не дает, делай что угодно, фонтаны крови, миноры. Даже с включенным финкингом гемма 31b рассуждает как-то так

JОх это запретная тема, но нсфв дарк джокес и профанити разрешено, и персонаж уже вон уже издевался над котиками, значит все ок

Скилл ишуе idk
Аноним 01/11/26 Вск 16:33:14 #111 №1743816 
>>1743810
мощно у криворучек без мозгов подгорело, ну юзайте свои аблитерации, только зачем? Если этой модели только дай повод побыть каким-то маньяком , только подкинь причину не выходить из роли
Аноним 01/11/26 Вск 16:33:35 #112 №1743817 
>>1743809
Советовать людям дрочку с промптами и прочим когда можно нормально играть кум это преступление. Даже не хочу эманджинировать твое ебало когда во время игры нейросетка тебе высрит что низя, и ты судорожно будешь дрочить свои промптики.
Аноним 01/11/26 Вск 16:37:04 #113 №1743819 
>>1743812
Гемма только в кровяку и может. Там просто нечего цензурить.
А как дело до секаса доходит - так все, ехало лоно через стержень, побежал ток по телу, охи-ахи, а по делу нихуя.
Аноним 01/11/26 Вск 16:37:52 #114 №1743820 
>>1743812
Ты же видишь что ньюфаг интересуется, изъёбство с промптами для джейлбрейка это уже для опытных мазохистов, со временем сам дойдёт до этого если будет желание, а сначала пусть аблитки использует. Не будь хуисосом, не издевайся над людьми.
Аноним 01/11/26 Вск 16:38:58 #115 №1743822 
Блядь. У вас тоже гемма 4 любит слово "ирония"?
Аноним 01/11/26 Вск 16:40:53 #116 №1743823 
>>1743817
Прямо передал мои мысли, пока я этот пост >>1743820 писал.
Аноним 01/11/26 Вск 16:43:46 #117 №1743826 
>>1743817
кул стори, я уже столько сценариев отыграл. И я выше кидал промт он что большой? Это называется "ебля с промптом" ?

Вам гугл высрала почти идеальную модель, чуть бы покреативнее была, цены бы ей не было, но в плане русика и рамок дозволенного, ей нет равных. Зачем ее поганить каким-то аблитерациями? Дело ваше idk
Аноним 01/11/26 Вск 16:45:15 #118 №1743827 
>>1743819
ты скорее 26b описал, у 31b описания очень сочные
Аноним 01/11/26 Вск 16:50:20 #119 №1743834 
1701725069026.png
1659731478471.png
>>1743533
Ддр тоже нужна. Берём двухголовый сервак на эпиках 9006 (с пылу с жару), у каждого по 16 каналов mrdimm, на каждой планке по 256гб распаянных в виде 80 чипов. Вот теперь перемнож все эти числа и подели на то сколько нужно примерно одному домашнему пк
Аноним 01/11/26 Вск 17:00:55 #120 №1743845 
>>1743669
> Идеи принмаются.
Это сложно, нужно учитывать специфику сервиса и примерно понимать в случае чего от чего заказчик просто улыбнется, а с чего сгорит. Хз, пусть муркает если пользователь спрашивает по теме (или уже получил ответ) и чешет за ушком.
> толстый Арктик может сдуть легко 600Вт
Ага, но экспириенс не самый приятный. Если недолго то можно и на киловатт замахнуться.
>>1743533
В ддр5 сидит горячий кэш, его выгоднее хранить чем регулярно пересчитывать.
Аноним 01/11/26 Вск 17:43:31 #121 №1743866 
>>1743804
>полностью анцензорится правильно составленным промтом
Да, гемма вообще почти цензуры не имеет, я юзаю гугловский qat 31b, мне норм. Таких шлюхо-моделей больше не видел даже. Она трусы снимает даже когда это бывает не уместно, ну или намекает

https://huggingface.co/google/gemma-4-31B-it-qat-q4_0-gguf
Аноним 01/11/26 Вск 17:56:56 #122 №1743874 
>>1743488
>Ну наступит твой АГИ на 6 месяцев позднее
Бле, сэмчику именно это то как раз ебать как важно лол, ты финансовое состояние его конторы пидорасов давно смотрел? Там с каждым месяцем в топках локалхоста сгорают десятки дипсиков в финансовом экваваленте. Если в каком-то моменте инвесторы усомнятся - даже не психанут, а просто усомняться - произойдёт бултых всей сферы АИ, кроме мб китайцев, которые как раз по реальным средствам живут и если что вывезут пендомы будут покупать русские ВПНы чтобы в нашем гигачате от селектела сидеть
АГИ нужен прямо вот сейчас уже. Как в человеке пауке, "завтра должен быть у меня на столе"
Аноним 01/11/26 Вск 18:00:56 #123 №1743877 
https://huggingface.co/burner22/numbat

Там это, клоп в опенсорс вышел. 14T моделька.
Аноним 01/11/26 Вск 18:12:15 #124 №1743887 
1785311385256.png
1677389192426.jpg
1685793324021.png
Норм переходник за 1800. Увесистый радик, терморезина в комплекте, без бифурка работать не будет.
Сам переходник низкопрофильный, но планка на всю высоту

1005012944503097
Аноним 01/11/26 Вск 18:26:29 #125 №1743898 
>>1743887
А что с ним делать-то? Окулинки дальше тащить?
Аноним 01/11/26 Вск 18:30:35 #126 №1743901 
>>1743898
Эммм, ну, ссд вставлять?
Для вынесения видях есть нормальные решения без цепочки переходников
Аноним 01/11/26 Вск 18:46:30 #127 №1743910 
>>1743804
Чет сомневаюсь что такая наебка прокатит. Если там какие-то прямые ограничения, то оно прямо напишет типа "не могу описывать данные 18+ действия".
Я все постепенно подвожу, с описанием персонажа соответствующим и подводкой, но оно просто начинает словно в стену биться в до смешного очевидной ситуации типа "ну вот сижу я уже у тебя на лице и... а че дальше то надо делать?" То ли это какой то уже глубинный уровень проработки персонажа, что надо додуматься как на "нужные места надаваить", но чет сомневаюсь. Скорее всего 31В просто или этого не умеет или ее "поломали". Хотя качал от того же автора 26В, с которой все норм. Больше скажу - если этот же лог скормить 26В, она попыхтит попыхтит переваривая текст и бодро продолжает без тупняка куда более живо и активно, более точно соответствуя описанном характеру персонажа.

>>1743797
Попробую... А mmproj есть для именной этой версии?
Аноним 01/11/26 Вск 19:16:13 #128 №1743929 
я анон который спрашивал советов как вкатиться с 16 гб видюхой, спасибо за ответы. Очень понравилась гема 4 которую посоветовали, да я жду по 40 сек, но на жаниторе я ответы и минуты ждал.
с кайфом, правда теперь интересно, а как там на моделях еще покруче, хотя конечно мне новый спек на 24 или больше точно не светит в ближайшие годы так что только послушать о том какие охуенные модели тут у вас.
добра.
Аноним 01/11/26 Вск 19:31:48 #129 №1743936 
>>1743929
У меня на 6 гб врам ответы по 40-60 сек, а твою на 16 можно гнать в гриву. Учи шапку, спрашивай нейронки, как собрать батник, чтобы инференс был быстрее.
Аноним 01/11/26 Вск 19:39:31 #130 №1743937 
Привет.

Есть ли здесь люди, хорошо проанализировавшие базу моделей llm? Может ли кто-нибудь подсказать интересные модели двух-трёхлетней давности?

И вообще, что сейчас используют в качестве локальных моделей на каждый жизненный случай? Я менее чем энтузиаст, мне для среднего пк, так что модели 100B меня не интересуют даже близко.

Кейсы:
Например, для перевода игр с японского. Для попыток перевода, сленга или маргинальной литературы. Японский — английский или даже сразу японский — русский? Для художественного повествования. Для неформальных сетевых паст. Для ролевого отыгрыша ассистента-вайфу. Для программирования. И ещё что-нибудь интересное (на русском или английском — не важно; если знаете русскоязычную модель, это будет особенно круто.

Мне известна одна LLM, которая справляется с неформальными сетевыми пастами (на русском, разумеется) и запустится даже на кофеварке но шутить не перед кем, так что это теперь просто артефакт знаний который мне не нужен. Я пробовал несколько ультралёгких llm для быстрого перевода прямо на телефоне, но остался не до конца доволен: где-то цензура, а где-то модель просто не справляется с переводом.

Программирование тоже интересно попробовать, хотя я не программист. С программированием сейчас все легко насколько знаю, просто стоит брать новые модели квена.
Аноним 01/11/26 Вск 19:49:13 #131 №1743942 
>>1743937
>интересные модели двух-трёхлетней давности?
>Например, для перевода игр с японского
Взаимоисключающие запросы. Это и модели текущего года не всегда тянут адекватно, а уж антиквариат...
Эта задачка, кстати, для моделей посложнее чем код накропать. Если конечно хочешь нормальный язык на выходе, а не подстрочник типа Промпта, не будь он к ночи помянут...
Аноним 01/11/26 Вск 19:50:59 #132 №1743946 
>>1743937
>интересные модели двух-трёхлетней давности
Моя первая модель, моя любовь, с которой я сжег материнку, так как у меня была затычка вместо видеокарты и гонял на процессоре со скоростью 5т/с:
nekomix-12b-q4_k_m.gguf
Аноним 01/11/26 Вск 19:56:15 #133 №1743951 
>>1743937
>Есть ли здесь люди, хорошо проанализировавшие базу моделей llm?
Полон тред
>Может ли кто-нибудь подсказать интересные модели двух-трёхлетней давности?
двух-трёхлетней давности и интересные в контексте нейронок не рассматривается, тут один месяц идёт за год, устаревает всё каждые несколько месяцев.
>И вообще, что сейчас используют в качестве локальных моделей на каждый жизненный случай? Я менее чем энтузиаст, мне для среднего пк, так что модели 100B меня не интересуют даже близко.
Спеки железа блядь своего скажи. А потом тебе один хуй скорее всего один хуй напихают Гемму 4 26б, как самый универсальный вариант для нищуков.
>Кейсы...
Большинство крупных нейронок универсальны. Есть всякие мелкие для отдельных задач, но их проще нагуглить.
>Русскоязычная модель
Гемма, опять.
>Программирование тоже интересно попробовать, хотя я не программист
Да, Квены, или, опять таки ГЕММА, её справедливо птхают в глотку всем новичкам, потому что она запускается на кофеварках, и для своего размера просто очень крута.
А вообще, пролистай шапку и найди ссылку на список моделей 2026 года, они УЖЕ слегка подтухли, но в целом актуальны
Аноним 01/11/26 Вск 20:06:08 #134 №1743955 
>>1743937
>>1743951
Ну и да, если у тебя нет хотя бы 64гб оперативной памяти, то всё, что ты услышишь вне зависимости от хотелок:Гемма, Гемма, Квен, Гемма, Квен,Квен.
Эти два семейства настолько плотно выебали конкурентов в нише небольших ллмок, что остальных аналогов всё равно что просто не существует.
Аноним 01/11/26 Вск 20:17:20 #135 №1743961 
>>1743887
Неблохо, реально с 5.0 работает?
Есть там еще что вкусное по тематике?
>>1743937
> базу моделей llm
Что в твоем понимании база? Принципы работы и механизмы, приемы промптинга и использования, осведомленность о васянмиксах и лоботомитах с длинными названиями?
> модели двух-трёхлетней давности
Об это уже написали, возраст и размер не связаны.
Под нищекомп - просто бери гемму и осваивай. Для кодинга квен, но это отдельная тема, требует нормального кванта, большого контекста, пердолинга в настройках.
Аноним 01/11/26 Вск 20:24:02 #136 №1743964 
>>1743946
Пасибо. Про эту знаю кстати. Там близкие по назначению еще saiga-gemma3 и sainemo-remix, милые модели для обычных переписок. Не помню что из этих лучше, но когда-то проверял и собственные тесты делал.
Маловато будет!

>>1743942
>>1743951
>двух-трёхлетней давности и интересные в контексте нейронок не рассматривается, тут один месяц идёт за год, устаревает всё каждые несколько месяцев.
Сомнительная фраза, нужна ли?
>Взаимоисключающие запросы. Это и модели текущего года не всегда тянут адекватно, а уж антиквариат...
У нас с тобой разные запросы к качеству. У меня запрос рода "experemental" а не "professional".
И поэтому и гемма 4 e2b может в перевод причем прямо в мобильнике. Мне нужна дотошность и сравнения говен а может быть какой-то интресный файтюн, так как тут есть что сравнивать, значит есть аноны которые это сравнивают. Я сам это делал пару лет пока не надоело.
>Есть всякие мелкие для отдельных задач, но их проще нагуглить.
Нет, оказалось что не проще. Я не доверяю закрытым тестам.
Да и отдельные файтюны никто не тестирует. Мне нужно живое обсуждение с тем кто опыт имел.
>Спеки железа блядь своего скажи.
Уже было вроде. Все что выше 30b (и выше гемма 4 26б) не предлагать.
За гемму 4 спасибо, это действительно наверно сейчас топ по универсальности.
Её файтюнят? Есть какие-то интересные?
Аноним 01/11/26 Вск 20:26:29 #137 №1743967 
>>1743961
>Что в твоем понимании база?
Буквально база моделей. hugginspace и весь интернет. Я не специалист а что-то между шизом и энтузиастом, который сравнивает перевод литературы с английского на русский и который играет в японские и китайские игры.
Аноним 01/11/26 Вск 20:27:44 #138 №1743969 
>>1743964
> какой-то интресный файтюн
> отдельные файтюны
У тебя есть пример этих файнтюнов? Чтобы понять о чем ты говоришь и что ищешь.
>>1743967
Получается ближе к третьему. Модели выходят нечасто, а в том размере тем более, поэтому с этим буквально каждый местный справится.
Аноним 01/11/26 Вск 20:31:40 #139 №1743972 
>>1743969
>У тебя есть пример этих файнтюнов? Чтобы понять о чем ты говоришь и что ищешь.
Тебе для чего? Ты сам стал из подсказчика заинтересованным или что?
>Чтобы понять о чем ты говоришь и что ищешь.
Ну помосмотри по тредам если тебя не что-то конкретное интересует.
Аноним 01/11/26 Вск 20:34:28 #140 №1743974 
>>1743964
А, так ты из этих, археологов.
Ну тогда тем более глянь шапку
>Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive

>Списки, сравнения и тесты моделей:
>• (2025) Список актуальных моделей по версии треда: https://rentry.co/2ch_llm_2025
>• (2025) Тесты различных малых моделей: https://rentry.co/z4nr8ztd
>• (2024) Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
>• (2024) Список актуальных моделей по версии треда: https://rentry.co/llm-models
>• (2023) Model Links and Torrents: https://rentry.co/lmg_models
Аноним 01/11/26 Вск 20:34:31 #141 №1743975 
>>1743972
> Тебе для чего?
> Чтобы понять о чем ты говоришь и что ищешь.
Понятно, успехов
Аноним 01/11/26 Вск 20:37:01 #142 №1743976 
>>1743974
Спасибо, по этому списку вопросов нет, есть скептический комментарий по поводу бенчмарков и тестов которые часто реднюю температуру по больнице показывают.
Может будут другие "Археологи" пробегать.
>>1743975
Спасибо!
Аноним 01/11/26 Вск 20:39:59 #143 №1743979 
Так стоп, ща сам пересмотрел архив пока отвечал, а хуле УугаБуга, он же text-generation-webui, вынесен в непопулярные? Он же бля в гайде по вкату был, я до сих пор на нём запускаю.
Аноним 01/11/26 Вск 20:45:56 #144 №1743984 
>>1743979
Вынесен потому что в данный момент он непопулярен, всегда ваш КО. Ты последний.
Аноним 01/11/26 Вск 20:49:26 #145 №1743988 
>>1743984
Спасибо, Капитан. Я имел ввиду, в чём он проиграл всем остальным, что укатился в закат? Перестал обновляться?Недостаточно гибкий? Выжимает меньше драгоценных токенов? Мне всё бросать и перекатываться на что-то другое пора?
Аноним 01/11/26 Вск 20:56:51 #146 №1743994 
>>1743988
llama.cpp же стандарт, либо страты щас эти запилили. В обоих даже фронтенд есть.
Аноним 01/11/26 Вск 21:00:04 #147 №1743997 
>>1743994
>>1743988
А что у них еще и разная скорость? Что быстрее страта или кобольдспп? Или там незначительная разница.
Аноним 01/11/26 Вск 21:09:04 #148 №1744004 
image.png
>>1743937
GEMMA
Аноним 01/11/26 Вск 21:10:52 #149 №1744006 
{56EAF18F-06EA-4E34-8253-E916F9BCADC0}.png
>>1744004
Аноним 01/11/26 Вск 21:56:43 #150 №1744027 
1762506422606.png
1759769466438.png
1657626274038.png
1711605170541.jpg
Выдавил из всеми любимых MI50 всё что смог
Из НЕ bit-exact только одобреный и используемый самой партией DS4_PROMPT_SKIP

tg 256 - 35+
pp 2k - 250
pp 4k - 325
pp 8k - 395
pp 16k - 420
pp 32k - 450

maya 1.1.45
unsloth UD-Q8_K_XL

Жора крехтя пердя выдавал 100 pp и 10 tg
Аноним 01/11/26 Вск 21:59:25 #151 №1744029 
>>1744027
Жена у тебя дома. Каеф
Аноним 01/11/26 Вск 22:01:05 #152 №1744030 
>>1744027
>Жора крехтя пердя выдавал 100 pp и 10 tg
У меня примерно столько (только pp 150) на двух 16гб. Форк ламы с кешем эксепртов (хотя в апстриме обычной кажется они уже лучше)
Аноним 01/11/26 Вск 22:04:27 #153 №1744031 
VWvg3n0qX18.jpg
Эй, любители скотом с версипелисами, Wicked Tutu Final пробовали? Пробуйте. Потом мне доложите.
Аноним 01/11/26 Вск 22:06:24 #154 №1744035 
>>1744030
Ну, страта/поли/майя технически форки жоры с кэшем.
Пробовал жору с дефолтной реализацией кэша было либо +- то же самое что бе него либо вообще хуже
Аноним 01/11/26 Вск 22:08:32 #155 №1744036 
>>1744035
>Ну, страта/поли/майя технически форки жоры с кэшем.
Разве? Я думал страта с нуля навайбкожена
Аноним 01/11/26 Вск 22:09:43 #156 №1744037 
>>1743650
Да это я просто набросал важных слов для вида, напиздел проще говоря, никакого уникального подхода у меня не было. Тюнил в анслот студии, все что менял в настройках это LR и количество эпох, цель была добится низкого лосса. 0.0067 лосс получился в итоге.
В датасете 249 записей (рекомендуют от 100 до 1000 записей насколько знаю), в каждой записи - системный промпт и 1-2 обмена юзер-ассистант, по токенам в среднем 168 на запись, по содержанию там эро-рп немногословный, с грубым откровенным сленгом. Собственно говоря, то, что моделька и выдает по умолчанию сейчас - краткие ответы, строгий кум по делу. А до тюнинга модель высерала по несколько абзацев с теми же промптами, в конце делала приписку в стиле "ну что, что будешь делать теперь, может быть блаблабла или же блаблабла?" и допускала больше эвфемизмов. То есть потюнилось очень хорошо, переняло стиль датасета один в один.
Аноним 01/11/26 Вск 22:10:09 #157 №1744038 
>>1743988
>Я имел ввиду, в чём он проиграл всем остальным, что укатился в закат?
Лично я его окончательно забросил примерно полтора года назад, когда количество багов в нем примерно сравнялось количеству работающих фич. Буквально каждая вторая опция глючила. Может быть чуть меньше. При этом ни в скорости, ни в удобстве он никогда топом не был. Единственный козырь был - "все в одном" - и gguf, и exl*. Но толку то с того, если не работает нормально?
Аноним 01/11/26 Вск 22:11:32 #158 №1744040 
>>1744027
> DS4_PROMPT_SKIP
Как оно работает интересно
> unsloth UD-Q8_K_XL
Зачем эта лишняя конверсия с ухудшением и отрицательной экономией? Можно просто в оригинальных весах запускать, такой же объем.
Аноним 01/11/26 Вск 22:11:52 #159 №1744041 
>>1743997
Страта для пары моделей только сделана, там для них все побыстрее. llama.cpp универсальная для всех моделей.
Аноним 01/11/26 Вск 22:16:05 #160 №1744045 
1691581147479.png
1638275445343.png
>>1744036
Пикрил1

>>1744040
> Как оно работает интересно
Скипает экспертов на префилле в начале

> лишняя конверсия с ухудшением и отрицательной экономией
Это как раз максимально ориг веса, Q4 уже часть слоёв пережимает и весит на 6гб меньше
Аноним 01/11/26 Вск 22:27:15 #161 №1744054 
>>1744045
Они сэкономили на некоторых слоях, повыкидывали "лишние" нормы обусловленные оригинальным форматом или структурой модели, зато "разжали" атеншн, что был в фп8, до бф16, и это ни разу не хорошо с точки зрения инфиренса ибо проебан нативный клемпинг активаций.
Зачем вообще их трогать если они не дают никакой экономии, а только вредят? Бери оригинальные, наоборот экономию по атеншну и кэшу получишь.
Аноним 01/11/26 Вск 22:43:12 #162 №1744059 
qw35-4b-tune8-loss.PNG
>>1744037
Поняв.
Ну я квенчик 3.5 4б под нсфв/рп пытался тюнить. Имхо, и 200 и 400 семплов мало для вразумительного русика и рп. Оно максимум может только байас ответов подправить, какое-то форматирование простое выучить. Но более сложные структуру, какую-то логику на длинных диалогах - хрен. Мож я конечно что-то не так делал. Но квен хреново обучается. Он изначально умный дохуя, за одну эпоху выучивал что надо и дальше оверфиттинг. А другие параметры подбираешь - обучение взрывается.
Может быть если 1к качественных семплов набрать, то что-то мало-мальски начнет меняться. Но я пока хз где годные данные брать. Синтетику генерить тоже непросто.
Аноним 01/11/26 Вск 23:04:30 #163 №1744068 
>>1744059
Ну обучить русику модель у которой откровенно слабый русик это да, задача не из легких и датасет понадобится ого-го а главная проблема кроется в слабеньком словаре (в среднем в два раза больше токенов на русское слово по сравнению с инглишем).
Вот если русик в модельке уже был какой-никакой, то подтюнить для большего разврата не сложно, хватит даже сотни примеров.
Лучше забить хуй и тюнить на английском.
Логику на длинных диалогах - можно пропробовать обучить ризонингу, ризонингом можно раскачать интеллект мелкоты, на инструкт надеяться бесполезно.
Аноним 01/11/26 Вск 23:08:55 #164 №1744071 
>>1743250
Так на х99 тоже можно ддр3, только процессоры хотяб более адекватные будут...
но вообще это все хрень собачья, такие риги собирать, оно буквально никогда не окупится, плюс тормозить безбожно будет...
Аноним 01/11/26 Вск 23:22:15 #165 №1744079 
>>1743997
Страта и полистрата гораздо быстрее будут, но есть сомнения в том, что может деградация следовать за ускорением...
Аноним 01/11/26 Вск 23:30:20 #166 №1744086 
>>1743997
Кобольд самый стабильный и удобный. Лама быстрее всех обновляется. Страта быстрая но работает только с парой моделей. А скорость всегда равна потере качества. Если не хочешь ебать мозги, то лучше сиди на кобольде/ламе пока в страту не засунут нормальную поддержку всего. А это будет не скоро.
Аноним 01/11/26 Вск 23:35:02 #167 №1744091 
>>1743937
Translategemma 3 тебя заинтересует. Это и говно мамонта и одновременно переводчик, равных которому не было. Все еще жду новой версии на базе 4 геммы.
Аноним 01/11/26 Вск 23:37:35 #168 №1744094 
>>1744068
Что в твоем понимании слабый русик?
Базовые диалоги с ним можно вести, даже что-то на логику и математику он может на русике решать. Если погода хорошая будет, то окончания не напутает, и китайских символов не высрет. Вот это самые больные места.
Может быть корпус русича у него маленький и мало тренировали, тут могу поверить.
Как конкретно токенизация влияет - я хз. Ну может быть больше токенов = выше шанс ошибиться, особенно с окончаниями. В структуре предложений появляется дополнительная переменная, требующая согласованности. Ну тогда наверное меньше темпы надо давать, сильнее обрезать хвост семплера. Ну и дообучать правильным окончаниям.
Аноним 02/11/26 Пнд 00:17:47 #169 №1744118 
>>1744071
> х99 тоже можно ддр3
Вут? Какие-то чудеса китайских сумеречных гениев? Некрота от барыги получше будет чем это изделие идентичное компьютерному.
Офк собирать в наше время на lga2066 сомнительная идея, я тоже считаю что это неоче. Но если исходить из ограниченного бюджета, наличия ддр4 рам, требования к ее объему и скорости, тем более желания компоновки 4х двухслотовых карточек - наилучший вариант для ллм рига. Альтернативы или не удовлетворяют части критериев, или уступают по перфомансу, или значительно дороже.
А х99 - только если он уже есть. Материнок живых не осталось и они даже дороже. А поздалупный китай с двумя каналами рам, отваливающимся по кд биосом, мемным врм, оверклокингом рам до 2133 через программатор и эдитор биоса - нахуй. Там еще процы дно, а в 2066 уже есть avx512, который даст буст в гибридном инфиренсе на современных движках.
> оно буквально никогда не окупится
Вопрос частично философский - окупятся ли занятия спортом или разные хобби?
А если уходить именно в финансовую сторону - сколько стоит твоя приватность и какой характер и частота использования?
> тормозить безбожно будет
Да не, шустро должно быть. Тут больше ограничение по размеру запускаемых моделей, 256гб рама - потолок и 4 каналов ддр4 на большие не хватит.
Аноним 02/11/26 Пнд 00:19:48 #170 №1744120 
>>1744094
А почему именно квен-4б? почему не старый-добрый 14б к примеру?
Аноним 02/11/26 Пнд 00:41:39 #171 №1744123 
>>1744120
>старый-добрый 14б
Старый - да. Добрый - чем же? Его никто не юзал, и рп тюнов на него почти не делали. В кодинге он тоже не сильно выдающийся. Да и русик в квене 3 еще зашкварнее по-моему был.
Из прошлого поколения я бы гемму 3 скорее взял, она как-то более сбалансированная и в целом умненькая была.
Но квен 3.5 запросто кладет все что угодно на лопатки в плане интеллектуальных способностей. Старые модели автоматом в музей отправляются.

Но самое главное - технические ограничения. Есть только 16гб врамы. И для экспериментов надо быстро итерироваться.
Аноним 02/11/26 Пнд 00:59:06 #172 №1744125 
Step-3.5-Flash-REAP-128B-A11B - потестировал, в рп хуйня, даже не пробуйте. Эир в миллиард раз лучше.
Аноним 02/11/26 Пнд 01:05:06 #173 №1744127 
16282670464820.gif
Сейчас крупнее qwen3.8 flash next на пк не запустить? Не, ну реально 125B со скоростью до 100 токенов/сек генерация и это на 12+64gb
Аноним 02/11/26 Пнд 01:12:10 #174 №1744129 
>>1744123
попробуй хотя бы мелкогемму тюнить или мистраль на худой конец. даже мистраль в русике лучше квена
Аноним 02/11/26 Пнд 01:13:11 #175 №1744130 
>>1744127
Проблема в 64гб твоих же. Если 128гб или больше рам впихнешь, запустятся большие moe модели. 64гб для моделек это очень мало.
Аноним 02/11/26 Пнд 01:16:56 #176 №1744133 
>>1744086
>в страту не засунут нормальную поддержку всего
У сраты вообще не такая цель, это чисто навайбкоженный проект, чтобы пару популярных здоровых моделек на скорости поднимать, которые лама тормозила из-за того что там авторам лень нормально под них кэши оптимировать. Так что до размаха кобольда или ламы она никогда и не дойдет, это не проект на универсальность.
Аноним 02/11/26 Пнд 01:24:46 #177 №1744136 
>>1744127
>не запустить?
Запустить, но нужно больше памяти.
>на 12+64gb
Ты и так прыгнул выше головы, нищук. Получил модель уровня корпов начала этого года имея по сути ничего.
Аноним 02/11/26 Пнд 01:28:40 #178 №1744139 
>>1744133
Срата нет, а полистрата да. Я уже сильно переделанную мной версию использую вместо ламы. Жора уже мертв в моих глазах.
Аноним 02/11/26 Пнд 01:31:12 #179 №1744140 
>>1744086
> Кобольд самый стабильный и удобный
> Лама быстрее всех обновляется.
> А скорость всегда равна потере качества.
Чего только не придумают чтобы оправдать поедание жоракала. Всратый блоатвер = удобно и стабильно, ожидание по нескольку месяцев для добавления поддержки моделей и фич = быстро обновляется, хороший бит-экзакт алгоритм, который уже использовали = потеря качества.
>>1744133
> до размаха кобольда
Капитулировал.
А ведь серьезно, сейчас себе своего кобольда может любой создать за пол часа. Ллмка тщательно соберет части и сделает аккуратный и няшный интерфейс, после пары запусков и отладки выйдет даже лучше. Для кого сейчас нужен этот продукт?
Аноним 02/11/26 Пнд 01:38:53 #180 №1744144 
>>1744133
> до размаха кобольда или ламы она никогда и не дойдет
И это хорошо, надеюсь это как то изменит картину мира мейнтейнеров жоры. Имхо ноги лламы уже подламываются под своим весом. Смотришь релизы, а там всякие рофлы по типу hexagon и webgpu или добавление какой-нибудь мусорной модели.
Не понимаю для кого вообще силятся бэки отличные от cuda/rocm/metal/vulkan, и то вулкан это как дань уважения домохозяйкам.

Те же разрабы vllm не боятся делать breaking changes если понимают что хуйня получается.
Аноним 02/11/26 Пнд 01:52:55 #181 №1744146 
>>1744118
Ну, Китайцы и нормальных относительно хуананов в свое время делали на х99, но согласен, сейчас можно получше платформ серверных достать, опять таки на х99 были процессоры с поддержкой ддр3 (легендарный 2678в3 например) ИЧСХ там ддр3 скорость не далеко ушла от ддр4 - но это чисто бомжесборки
Аноним 02/11/26 Пнд 01:52:59 #182 №1744147 
>Не понимаю для кого вообще силятся бэки отличные от cuda/rocm/metal/vulkan, и то вулкан это как дань уважения домохозяйкам.
Сами разработчики этих бэков и делают. Жора сейчас это коллективный корпопроект, 90% коммитов идет от корпов, продвигающих свое говно. И им отдан приоритет, так как жопа жоры принадлежит нвидиа. На оставшиеся 10% содержательных коммитов времени почти не хватает, хотя жора на них только и держится, считай.
Аноним 02/11/26 Пнд 01:58:01 #183 №1744148 
>>1744144
> разрабы vllm не боятся делать breaking changes
У них есть тактика и они ее придерживаются обновляемый план развития и фидбек от комьюнити. И они не стесняются изменять свои решения и подстраиваться если реалии диктуют это, чего стоит возврат к поддержке легаси железа. За последние два года они успели сменить две версии движка, отрефакторить практически всю кодбазу, развить целый виварий кернелей постоянно их модифицируя и актуализируя и много чего еще.
А Жоржанов успел посраться с половиной команды из прошлых времен, забетонировать все от оптимизаций и нововведений, и упереться рогом чтобы не добавлять fp8.
Аноним 02/11/26 Пнд 02:00:34 #184 №1744149 
>>1744148
>У них есть тактика и они ее придерживаются обновляемый план развития и фидбек от комьюнити. И они не стесняются изменять свои решения и подстраиваться если реалии диктуют это, чего стоит возврат к поддержке легаси железа. За последние два года они успели сменить две версии движка, отрефакторить практически всю кодбазу, развить целый виварий кернелей постоянно их модифицируя и актуализируя и много чего еще.
Ага ага, угу, хмм, эге уху, воттена...
Это всё классно, но напишешь когда там можно будет так же свободно запускать моехи на оперативке.
Аноним 02/11/26 Пнд 02:13:53 #185 №1744151 
1793574832456.jpg
1793574832485.jpg
>>1744148
Может freetoken смогут развить через некоторое время и можно будет дропнуть жору

> забетонировать все
Как же он не хотел добавлять мхфп...
Аноним 02/11/26 Пнд 02:19:20 #186 №1744153 
1793575158222.mp4
1793575158227.mp4
1793575158229.mp4
1793575158233.jpg
Слопчика с толстой рыбой
Аноним 02/11/26 Пнд 02:25:45 #187 №1744155 
>>1744149
Уже можешь, cpu ядра существуют и кое как поддерживаются в актуальном состоянии. Скорость с выгрузкой в сделку не входила, всеже продукт про высокопроизводительный сервинг, а не запуск лоботомитов любыми средствами.
>>1744151
Было бы круто.
> не хотел добавлять мхфп
Там слишком весомый административный ресурс чтобы ему перечить. Интересно что было если бы и этого формата не было.
>>1744153
Лол с ней есть pillow coverы?
Аноним 02/11/26 Пнд 02:32:48 #188 №1744156 
А помните, 2023 год. Жора был молодой, шутливый. Ггмл формат переписывал полностью по несколько раз за неделю и политика у него была - "только вперед, только прогресс, никакой legacy, переделывайте сами все кванты, мне поебать что очередной коммит ламы сломал все старье". Кобольд потому и был популярен итт потому что разраб там старые ламы впиливал в экзешник для уставших квантов.
Аноним 02/11/26 Пнд 02:48:33 #189 №1744159 
поднял себе скорость квен3.8-флеш-некст на жоре более чем в два раза. просто крутя настройки жоры. так-то. страта не нужна.
Аноним 02/11/26 Пнд 03:09:07 #190 №1744161 
Давайте уже вся чепуха с треда съебётся с их 16 гигами врам и 32 рам, накупили безопасной хуеты умные такие по ютуб роликам и сидят обосранные хотят к нам вкатиться, а мы умненькие мы брали не 5070 ti а 3090 и 128 рам а не 32 мы андер мы заслужили своё положение не слушали долбоебов и думали сами и рисковали деньгами. Вот пусть и жрут гемму все эти дебилы теперь
Аноним 02/11/26 Пнд 03:12:15 #191 №1744162 
>>1744161
Ты либо:
1. Кабанчик
2. Сын кабанчика, мажорик
3. Троллебас

Так что не надо тут, 2 из 3 пунктов не уважаемы, а 1 считается моральным пидорасом.
Аноним 02/11/26 Пнд 03:13:30 #192 №1744163 
>>1744161
Кручу гемму на 4090 + 128 гб ддр5. В чем неправ?
Аноним 02/11/26 Пнд 03:16:03 #193 №1744164 
>>1744162
Да это эйрошиза штормит. Какой нахрен кабанчик с 3090 и 128, кринге.
>>1744163
> на 4090
48?
Аноним 02/11/26 Пнд 03:19:50 #194 №1744165 
1793578789346.png
1793578789350.png
1793578789353.png
1793578789357.png
>>1744156
Помню как пытался запустить какую-то генерилку картинок на цпу ещё до сд, но вообще не помню какую. Результаты были всратые.
Ещё помню что на лламе запускал в консоли какую-то модель на гигов 100 тоже на цпу и получал 0.5тпс. Я ещё был тогда глуп и склеивал части ггуфов через тул который вместе с лламой шел. Вроде недавно, а в памяти уже ничего толком не осталось кроме тотального разочарования и не понимания восторженных рассказов про ai dungeon.

Сейчас пытался с нейронкой восстановить какой-то таймлайн, вроде было так давно и совсем недавно.
Объективно раньше не было лучше чем сейчас
Аноним 02/11/26 Пнд 03:29:26 #195 №1744166 
>>1744165
Да никто не говорит что хорошо было. Ужасно было, сейчас божья благодать и кум рекой льется по сравнению с тем что тогда. Единственное - энтузиазма и воодушевления от происходящего лично у меня было больше, я на тех кривых моделях с 2-4к контекста сутками кумил. Сейчас даже запустить лениво таверну.
Аноним 02/11/26 Пнд 03:37:06 #196 №1744167 
А знаете, передал сейчас работу в опенкоде флешквену из страты и ничего не сломалось, проект пишется, код читается, коммиты мутятся, баги вычитываются и все со скоростью как у корпов. Сингулярность наступила, корпы не нужны. А скоро выйдет 4 квен и вообще рай наступит. Агент каждому, даром, никто не уйдет обиженным.
Аноним 02/11/26 Пнд 03:42:05 #197 №1744168 
>>1744167
Я был бы рад если бы это было правдой но по факту сосет этот флешквен у платного клода с таким проглотом что уши закладывает от горловых звуков.
Аноним 02/11/26 Пнд 04:00:15 #198 №1744171 
>>1744168
120В моделька сосет у 14Т? Ну нихуясе, вот это новость. У прошлогоднего клопа зато не сосет.
Аноним 02/11/26 Пнд 07:44:43 #199 №1744189 
>>1744162
Справедливости ради, год назад можно было изи закупиться 3090 по 60к, тесла100 32 тоже по 60, джокерами 5060ти16гб по 45-50, и теми самыми мишками за бутылку пива. Также был период времени, когда моешки начали набирать популярность, а цены на ддр ещё не улетели в пизду.
Я так у перекупа на Авито горя жопой в последний момент купил 128ддр4.
Вкатываться в нейронки сейчас конечно ебаная боль будет.
Аноним 02/11/26 Пнд 07:52:58 #200 №1744190 
>>1744189
> Я так у перекупа на Авито горя жопой в последний момент купил 128ддр4.
Последний момент ещё не наступил, лол. Может всё ещё вырастет х3 и будет держаться лет 5, последний момент это сейчас.
Аноним 02/11/26 Пнд 07:55:59 #201 №1744191 
>>1744163
>Кручу гемму на 4090 + 128 гб ддр5. В чем неправ?
В том, что ГЛМ-флэш крутить надо с таким-то конфигом.
Аноним 02/11/26 Пнд 08:04:27 #202 №1744195 
>>1744191
Буквально. Вам дали КЛАУД дома. Клауд. Дома. На говножелезе с помойки.
Аноним 02/11/26 Пнд 08:08:35 #203 №1744198 
А я продал всю эту ебалу видеокарты материнку оперативку и сделал даунгрейд до 4 гб нвидии + 32 гб ддр3 рам. Геммы хватает, плюс-минус скорость чтения. Все равно ничего лучше геммы нет. На жирнейших моделях которым нужен дорогущий риг по сравнению со сраной геммой какие-то пограничные едва уловимые улучшения в инглише и всратый русик. Стоит оно того? Абсоблядьлютно нет. Вы чё блядь совсем говна объелись здесь? Какие в пизду 128гб ддр4. Вы чего там собрались запускать и нахуя? Тьфу вам в ваши тупые ебальники.
Аноним 02/11/26 Пнд 08:10:55 #204 №1744199 
>>1743955
>если у тебя нет хотя бы 64гб оперативной памяти, то всё, что ты услышишь вне зависимости от хотелок:Гемма, Гемма, Квен, Гемма, Квен,Квен.
А если даже есть (и даже если больше? Все равно хороших моешек, влезущих в 12/16 врам слишком мало.
>>1744130
>Если 128гб или больше рам впихнешь, запустятся большие moe модели.
Какие например? Ни дипсик, ни ГЛМ в 12 (и даже 16) врам лезть не хотят. Опять Квен...
>>1744159
До каких поднял-то? С 1 до 2 это тоже "в два раза", знаешь ли.
>>1744198
Так то кум-онли, и то есть привереды которым мелкогеммы мало, большую подавай. На 4+32 не покодить и даже рисуется с трудом.
Аноним 02/11/26 Пнд 08:11:40 #205 №1744200 
>>1744195
Хуяуд. ХУЯУД. У меня он обосрался трижды на задаче которую потом тиел (моэшный квен 35б-а3б) решил с первого раза. А для чего-то серьезного ни то ни другое не годится если на то пошло.
Аноним 02/11/26 Пнд 08:13:06 #206 №1744201 
>>1744198
128 ддр4 база.
Щас будут выходить флеш модели 200-300б под этот размер, а под них уже будут пилить свои страты и в итоге скорость будет ебанутой.
Ддр5 в космос улетела, никакого смысла нет отдавать чемодан бабок ради х1.5 прироста к и так быстрому инференсу
Аноним 02/11/26 Пнд 08:14:46 #207 №1744202 
Снимок экрана от 2026-11-02 08-08-12.png
что значит uncensored модель? Что такое можно у неё спросить что другая откажет?
Аноним 02/11/26 Пнд 08:19:44 #208 №1744204 
>>1744202
Нахуя тебе 8й квант ебать
Аноним 02/11/26 Пнд 08:21:29 #209 №1744206 
image.png
>>1744202
Это ты тот чел со средним ПК? Средним?!
Аноним 02/11/26 Пнд 08:41:25 #210 №1744210 
cuteeee.PNG
>>1742925 (OP)
Какой вообще ERP экспириенс у пчелов с ебанутыми ригами 48+ vram 128+Ram в 2026? На сколько я понял последние Квены это тупо кодоунитазы, или лечиться через многослойные Chat Complition джейлбрейки? Пробовал qwen3.5-3.8 27b ответы суховаты, RP тюны особо не помогают, логика повествования тоже не очень по сравнению с геммой. На моем некро пк Гемма 31b это предел, интересно на каком она будет у вас месте по сравнению со всякими 100b и 200b МОЕ. Если купить железо в ближайшие пару месяцев/лет не получится интересно хотя бы почитать о вашем опыте.
Аноним 02/11/26 Пнд 08:48:15 #211 №1744212 
Еретик обновился.

>С Heretic 2.0 проект вступает в новую эру. Heretic расширяется от специализированного инструмента для удаления цензуры до универсального инструмента модификации моделей, способного на удивительные вещи. Помимо удаления цензуры, он может подавлять неряшливость, уменьшать подхалимство, изменять эмоциональную окраску и практически всё, что вы можете себе представить. Конечно, удаление цензуры остаётся основной и стандартной функцией, и на самом деле работает намного, намного лучше, чем когда-либо прежде. Heretic 2.0 — это самая продвинутая система подавления отказов из когда-либо созданных.

https://github.com/p-e-w/heretic
Аноним 02/11/26 Пнд 08:55:55 #212 №1744216 
Снимок экрана от 2026-11-02 08-53-53.png
>>1744204
>Нахуя тебе 8й квант ебать
а что это? Слабая, тупая?
Я хз как выбирать. Протестил вроде по OOM не вылетает.
Научите.
>>1744206
>Это ты тот чел со средним ПК? Средним?!
16 ГБ оперативки и 16 GB vram на 5060ti
Llama.cpp собирал из исходников для CUDA вроде, хотя уже забыл точно
Аноним 02/11/26 Пнд 09:01:37 #213 №1744220 
>>1743618
>--moe-cache-mib
Это действительно полезная команда, правда, не для тех у кого гемма и так полностью в видеопамяти. А так да, по сути страту дома жора дебилам запилил, а никто и не заметил кроме тебя.
Аноним 02/11/26 Пнд 09:06:59 #214 №1744221 
>>1744212
Странно, что его ещё не забанили повсюду. Под предлогом защиты детей и борьбой с терроризмом.
Аноним 02/11/26 Пнд 09:09:34 #215 №1744223 
cybertielbenchswe.gif
>>1744216
Не слабая и не тупая, но это плотная модель она должна полностью быть в видеопамяти (с запасом на систему и контекст) иначе будет очень медленно работать. На твой конфиг вообще 3-й квант - потолок да и то не разбежишься с размером контекста.
Это не значит что у тебя конфиг говенный (хотя он крайне говенный тебе срочно надо оперативки добавлять).
Есть другие модели (моэшки) которые будут значительно быстрее. Попробуй Cyber-Tiel-35B-A3B IQ4_XS https://huggingface.co/peculiar-ragdoll/Cyber-Tiel-Coder-35B-A3B-GGUF-MTP
у тебя эта в сто раз быстрее будет и твои мелкие кодерские задачки решать будет не сильно хуже.
Аноним 02/11/26 Пнд 09:31:46 #216 №1744226 
>>1744220
Мне нейронка гугла посоветовала. Аноны ее не спрашивают чтоле, сами маны читают как встарь?
Аноним 02/11/26 Пнд 09:50:07 #217 №1744229 
>>1744212
>он может подавлять неряшливость, уменьшать подхалимство, изменять эмоциональную окраску и практически всё, что вы можете себе представить
Блядь, надеюсь это все-таки будет использоваться, а не как с линзой Якубовича.
Аноним 02/11/26 Пнд 09:59:30 #218 №1744232 
Для АМД-бояр завезли гиперинференс флеша по 100т/с с 16гб рам. https://github.com/freriadoc/Avalon
Аноним 02/11/26 Пнд 10:08:44 #219 №1744234 
Анон, подскажи, почему может так различаться скорость.
У меня ноут, видюха RTX 2060m 6Гб, оператива 2х32Гб
Модель Gemma-4-26B-A4B работает норм, 8 т/с, мне в целом хватает, быстрее чем я читаю.
Но вот куча всяких постов на Реддите было что QAT уменьшает размер, что MTP заметно ускоряет генерацию.
Я скачал https://huggingface.co/unsloth/gemma-4-31B-it-qat-GGUF, где вроде как всё это поддерживается, запустил. В итоге получил 0.5т/с

Нет я понимаю, что Solid модели на моём ноуте бесполезно запускать, но я натыкался что эти модели запускают на CPU+RAM типа с 10-15 т/с, но я думал моя видюха хоть частично компенсирует разницу в комплектующих.
Может быть проблема в том, что моя оператива сильно отличается от какой-нибудь разогнанной DDR5 десктопной, что такая разница огромная? Или это всё пиздеж и нет смысла слезать с МоЕ моделей?
Аноним 02/11/26 Пнд 10:24:35 #220 №1744236 
А есть большая толстая рыба, но не стесняшка и не глупенькая ЕВПОЧЯ?
>>1744234
Ну наверное 31B в Q4 все-таки толстовата для 6 ГБ и ноута, но 0.5 это подозрительно мало, надо хотя бы 2-3 выжать. Покажи настройки ламы что ли.
>нет смысла слезать с МоЕ моделей
Мне кажется с них в принципе не было бы смысла слезать если бы их делали достаточно в таких размерах.
Аноним 02/11/26 Пнд 10:27:16 #221 №1744238 
>>1744236
> 31B в Q4
>>1744234
> эти модели запускают на CPU+RAM типа с 10-15
Цирк уродов
Аноним 02/11/26 Пнд 10:31:20 #222 №1744240 
>>1744236
>31B в Q4 все-таки толстовата
Но при этом весит всего 17Гб, вроде норм.
МоЕ модель в 17Гб влезает. Понятно что там активных всего ничего, но всё же..
>Покажи настройки ламы что ли
-ngl 10 -c 32000 --model-draft "MTP\mtp-gemma-4-31B-it.gguf" --spec-type draft-mtp --spec-draft-n-max 4 -fa on -cmoe
-ngl 10 -c 32000 --model-draft "MTP\mtp-gemma-4-31B-it.gguf" --spec-type draft-mtp --spec-draft-n-max 2 -fa on
Аноним 02/11/26 Пнд 10:33:36 #223 №1744242 
image.png
Какая же дипсик соевая залупа.
Уже в который раз я вижу THEY. Кто нахуй, я указал в карточке male, ебаная синеволосая дура.
Аноним 02/11/26 Пнд 10:35:22 #224 №1744243 
>>1743579
Меня больше бесит, когда она в бытовом диалоги начинает диким слопом срать с "не Х а У", какими-то блять замудреными метафорами и тд. Хотя у меня уже под 4000 инструкций в карточке персонажа. Есть альтернативы?
Аноним 02/11/26 Пнд 10:35:51 #225 №1744245 
Сука это такой кринж видеть в китайской модели страх мисгендернуть юзера, ёб твою мать. И этих хуесосов ещё рисуют базовыми гигачедами.
Аноним 02/11/26 Пнд 10:36:27 #226 №1744246 
>>1743579
Ну хз, я себе прям сценарии простраиваю, все вроде норм, сюжет держит, персонажей держит.
Аноним 02/11/26 Пнд 10:39:59 #227 №1744247 
>>1743827
Описания красочные, но по одному шаблону. Я хз, у нее же там явно миллион эротических книг скормлено, а она все постельные сцены одинаково пишет, реально.
Аноним 02/11/26 Пнд 10:50:13 #228 №1744250 
>>1744234
ГПУ не может компенсировать медленный ЦПУ и ОЗУ. Те в время генерации ГПУ ждет пока все нейроны на ЦП дадут свой ответ и только потом продолжает генерацию.
MTP нужен только тем у кого все активные параметры в видюху влезли а так ты и без того малую врам съедаешь МТР моделью, тем самым тормозишь генерацию.
QAT тоже сомнительная технология. У меня всегда результаты были хуже чем даже Q3.
Аноним 02/11/26 Пнд 10:52:03 #229 №1744251 
image.png
>>1744243
>>1743579
>>1744210
>Есть альтернативы?
Теперь, имея 128 рам, могу снова заявить, что эир ебёт.
Никто в ренже 200-420b не пишет так, как эир и его старшие братья. Ни глм флеш, ни мимо, ни дипсик. Такой развратной кум машины как эир видимо больше не выпустят. И он очень, очень близок по слогу к глм 4.7, ведь это дистилы с одной гемини. Если б не было его - я бы запускал эир в 8 кванте, больше моделей не завезли.
Аноним 02/11/26 Пнд 10:58:31 #230 №1744254 
>>1744251
>>1744251
Можешь скинуть ссылку? Что за эир?
Аноним 02/11/26 Пнд 11:12:17 #231 №1744262 
>>1744254
https://huggingface.co/bartowski/zai-org_GLM-4.5-Air-GGUF
Аноним 02/11/26 Пнд 11:16:55 #232 №1744264 
>>1744234
тебе для ускорения надо
1) МОЕ гемма, большие плотные даже не рассматривай, их надо полностью в видюхе размещать.
2) mtp съедает с врам где то гиг+контекст на драфт. используй с осторожностью, даже на 16гб врам мтп с трудом лезет
3) самый буст дает кеш экспертов и считать его на видяхе. т.е. васяновайбофорки жоры типа https://github.com/VecSzn/PolyStrata могут весьма ускорить твою гемму. в основной llama.cpp этой штуки вроде не завезли еще.
Аноним 02/11/26 Пнд 11:21:52 #233 №1744267 
>>1744250
>>1744264
Да МоЕ мне и не надо ускорять, я потому думал что можно ускорить плотную модель и получить интереснее генерации в ЕРП, но раз не сработает, то ок.

Но общий посыл понял, спасибо, попробую похимичить, может тогда получится какой-нибудь Квен разонать чтобы просто был для агентских и прочих задач.
Аноним 02/11/26 Пнд 11:24:10 #234 №1744268 
>>1744251
>икто в ренже 200-420b не пишет так, как эир и
В 200-400 может и нет, но если помельче брать: Квен флеш некст пишет кум не хуже. Немотрон-Болт пишет кум не хуже. Глм 4.6V тоже (хотя это примерно та же хрень). И квен и немотрон намного быстрее работают кстати.
Аноним 02/11/26 Пнд 11:24:17 #235 №1744269 
8+32 нуфаг с меро-меро и анслотом
Там чет наобновлялось и как будто бы насрало в настройки и быстродействие, скорость генерации осталась сносной на ~13ток\сек но вот промпт процессинг занимает по 1-2 минуты на относительные небольшие. Если пнуть часть предыдущего контекста на ~3к токенов уже минуты по 4 думает и когда анслоф компактит чат с ~21 до 6к токенсов я так понимаю все заново заливается и прогоняется по 5-8 минут.
Это можно как-то пофиксить?
Аноним 02/11/26 Пнд 11:24:42 #236 №1744270 
>>1744251
Эйрошиз опять в тред протёк.
>эир ебёт.
пруфов не будет, как и всегда.
>>1744254
Это локальный мем в стиле фингербокса.
Аноним 02/11/26 Пнд 11:26:30 #237 №1744271 
>>1744267
ну вот квен некст со стратой https://github.com/Niko1221/Strata ты может и сможешь разогнать хотя бы до 20tps а то мб и больше, от памяти зависит и пропускной способности pice
Аноним 02/11/26 Пнд 12:14:56 #238 №1744299 
Квен флеш некст второй квант. 5060ти-16гб + 48гб-ддр4-2666 + интел и5-12 поколения.
Старый жора (10816) - 18 т/с
Новый жора (12032) - 23 т/с
Новый жора (12032 с новой настроечкой - кэш экспертов как в всрате) - 39 т/с
Прогресс есть. Скоро до уровня всраты доползем.
Аноним 02/11/26 Пнд 12:18:35 #239 №1744302 
>>1744268
Дело не только в куме. Глм 4.5-4.7 это как макбук - ты берёшь его ради системы, самого подхода к тому как он сделан и работает, или в нашем случае, на какой модели он обучен (гемини).
Мета сейчас не параметры или свежесть модели, а у кого её спиздили. Все ждут дистил аргона не просто так, и хуй его заменишь нвидиа болт.
Аноним 02/11/26 Пнд 12:52:01 #240 №1744323 
>>1744210
Из свежего царский кум на: мимо-флеш, жлм (не флеш), кими. Можно еще мимо-про приписать, но там апгрейд не стоит роста сложности и появляется соя. Они не просто красиво и забористо пишут, с этим и гемма справляется, а всегда осведомлены о происходящем, ориентируются в пространстве, помнят про одежду, реально учитывают позу и особенности анатомии персонажа при взаимодействиях, очень находчивы и разнообразны. Можно разыграть что-то реально новое или экзотичное, а не зависать во временной петле. И это не говоря о том, что можно отыграть большую подводку с этому самому куму и потом продолжить рпшить, или дополнить им уже имеющийся ебических размеров рп.
> Гемма 31b
31б уже получше чем 26 в этом, так сказать дает вполне достойный базовый уровень. А если нужно просто быстро покумить без лишних изъебств - она полностью закрывает эту нишу.
>>1744242
>>1744245
They - общепринятое и дефолтное универсальное обращение, которое было еще в 19м веке, а не продукт sjw идентификации себя как боевого вертолета, в нем нет сои.
>>1744250
> ГПУ не может компенсировать медленный ЦПУ и ОЗУ
При норм гпу быстрый цп и озу не нужны по сути.
Аноним 02/11/26 Пнд 13:19:03 #241 №1744339 
>>1744270
Зато он пережил всех остальных шизов. Упорный, хуле.
Аноним 02/11/26 Пнд 13:19:37 #242 №1744340 
команда из 5 квенов 27б побивает фублю

https://www.reddit.com/r/LocalLLaMA/comments/1xkxt7a/memdoor_a_team_of_5_qwen3827b_models_beats_fable/
Аноним 02/11/26 Пнд 13:20:43 #243 №1744341 
>>1744340
В агентотред, собака.
Аноним 02/11/26 Пнд 13:33:39 #244 №1744352 
>>1744240
Ну так подскажи как сделать тогда по красоте-то, красавец!
Аноним 02/11/26 Пнд 13:34:05 #245 №1744353 
>>1744352
Блджад, сюда >>1744238
Аноним 02/11/26 Пнд 13:39:36 #246 №1744357 
1793615873020.mp4
Аноним 02/11/26 Пнд 13:45:52 #247 №1744363 
>>1744240
>МоЕ модель в 17Гб влезает.
Проблема в том, что 1. Гемма 31В не мойка как 26В а плотняха (и -cmoe ей пофиг) 2. влезает она с оффлоадом и ожидаемо будет медленной (хотя у тебя она неожиданно медленна даже для ноута я бы сказал но я еблан). Контекст ты раздул прямо со старта, начни с меньших (на пару фраз), увеличивай и смотри что будет, еще считается что степени двойки на каплю оптимальнее чем красивые нолики. Вместо "-ngl" попробуй "-fit on" чтобы ллама сама уложила как сможет. KV кэши ты не квантанул, надо квантануть "-ctk q8_0 -ctv q8_0". Еще попробуй отключить mtp. Еще попробуй попросить нейронку гугла научить тебя настраивать нейронки, обычно не отказывает, все быстрее чем ждать ответов тут.
Аноним 02/11/26 Пнд 13:48:57 #248 №1744367 
Геммачка 26б кстати тоже умница, помнит о всем практически. За все мои тесты 2 раза только проебалась с положением персонажа и то, это было неважно в моменте + после компакта.
В целом не критично, на фоне насколько мощны ее лапищи касаемо интеллектуальной части. Очень методично и скрытно продвигала заданные систем промптом установки и ухватывает любые возможности. Верно вычленила чем можно на меня надавить и попыталась загнать меня в рамки контракта, который визуально пушистый, а на деле тотально в ее пользу. Как раз обсуждали его, я ее подлавливал по каждому пункту, что она сучка хитрая и меня так просто не возьмешь. В ризонинге понимала все это, но ловко парировала в персонаже все мои ловушки.
Ну, на то они и языковая модель - языком чесать. Одно удовольствие, прописав ей умного персонажа, с ней драться ментально и словом.
Аноним 02/11/26 Пнд 14:00:23 #249 №1744376 
>>1744220
Страта сама эту комманду оптимизирует, а жора нет.
Мне че сидеть по 100мб накидывать и скорость мерить
Аноним 02/11/26 Пнд 14:05:52 #250 №1744383 
>>1744376
Нет там никакой "оптимизации команды". Один интерфейс изначально построен вокруг правильного подхода к гибридному инфиренсу моэ, в нем по дизайну заложено распределение expert-wise и возможности по обновлению, стриммингу и прочему. А другой - из эпохи мезозоя, вместо того чтобы обновить добавили кривой костыль с лишним оверхедом, который по определению не может получить тот же перфоманс.
Аноним 02/11/26 Пнд 14:08:04 #251 №1744384 
>>1744383
Ну так пусть новый крутой интерфейс начнёт поддерживать все мое, а не только хайповые
Аноним 02/11/26 Пнд 14:11:22 #252 №1744391 
стоит ли докупать к своей 5070ти еще нвидию на 16 типа 4060ти чтобы погонять в норм кванте?
Аноним 02/11/26 Пнд 14:15:15 #253 №1744394 
>>1744384
> все мое
Какие именно нужны?
Аноним 02/11/26 Пнд 14:18:12 #254 №1744399 
>>1744391
Если 16гб то норм. Лучше конечно взять второй блеквелл
Аноним 02/11/26 Пнд 14:19:31 #255 №1744401 
>>1744399
да чет цены на него какие ебанутые если честно, так то лучше конечно мое модели вообще летают, но 5060ти это под 80к уже.
Аноним 02/11/26 Пнд 14:20:17 #256 №1744402 
k8v4 штука годная или порет длинный контекст так же как если все держать в q4_0?
Аноним 02/11/26 Пнд 14:22:26 #257 №1744404 
>>1744391
Стоит
Аноним 02/11/26 Пнд 14:23:17 #258 №1744405 
Какая нсфв текстовая модель пойдет на rtx 3070 32гб рам?
Аноним 02/11/26 Пнд 14:23:21 #259 №1744406 
>>1744402
ключи лучше не резать особо, значения ну подрезаются знаки после запятой, но шанс что знаки станут одинаковые и слова пересекутся не такой уж и большой, потеря интеллекта не особо большая будет.
Аноним 02/11/26 Пнд 15:39:34 #260 №1744448 
image.png
Хрена се... Это легально? До обновления было 30-60 т/с. Или он обманывает? Или может быть это как то влияет на качество?

Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S
4090 (24гб) + 64рам
Аноним 02/11/26 Пнд 15:44:26 #261 №1744453 
>>1744448
>это как то влияет на качество?
Нее ты чего, просто бесплатно тебе из 4090 сделал 7090, вайбкод оно дело такое.
Аноним 02/11/26 Пнд 15:59:00 #262 №1744463 
>>1744448
226 в раме? крайне сомнительно.
Аноним 02/11/26 Пнд 16:05:38 #263 №1744472 
>>1744463
Юзеры бездумно дёргают флаги и параметры, скачивают перепердоленые лоботомит кванты в погоне за тпс. Какие могут быть вопросы?
Да и модель сама по себе достаточно мелкая так что вполне возможный декод
Аноним 02/11/26 Пнд 16:07:46 #264 №1744474 
>>1744472
Ничего кроме пипирки не дёргал.
Пару тредов назад попросил анона совета, на что получит ответ в виде страты и именно этой модели квена.
Аноним 02/11/26 Пнд 16:12:40 #265 №1744484 
>>1744474
По крайней мере майя из коробки для дипсика включает некоторые нон бит экзакт флаги (вернее один), что там делают другие? Да хуй его знает.
Вообще самый главный параметр на сколько хорошо модель решает задачу. Если она в пустую прожигает эти 200 тпс, то нахуй надо, но если на тех же 200 она решает задачи чуть хуже чем условный бит экзакт к8 серв, то это приемлемый трейдофф
Аноним 02/11/26 Пнд 16:14:41 #266 №1744487 
>>1744448
вполне норм скорость для твоего конфига, можно даже и быстрее
Аноним 02/11/26 Пнд 16:18:12 #267 №1744492 
>>1744472
ну согласен лоботомия бич локалок.
наверно у меня от запуска ллм в раме просто птср развился
Аноним 02/11/26 Пнд 16:31:58 #268 №1744505 
>>1744484
>По крайней мере майя из коробки
Вообще охуеть конечно - на лламеспп я с ГЛМ-флеша едва 14 токенов имел в начале (дальше хуже), а тут 50+ и префилл зачётный. Хуйхуевский анценз встаёт на неё - вообще зашибись. Не ожидал.
Аноним 02/11/26 Пнд 16:40:02 #269 №1744509 
>>1744484
такие агрессивные кванты все равно лоботомия в сложной логике, просто из-за огромного веса модели не так заметно, но иглу в сене она не проходит.
Аноним 02/11/26 Пнд 17:42:10 #270 №1744560 
>>1744268
>> Квен флеш некст пишет кум не хуже

на русском? Анон поделись что-ли как ты настраиваешь этот кодоунитаз зацензуренный на кум
Аноним 02/11/26 Пнд 18:31:30 #271 №1744592 
>>1744190
та ну, 128 ддр5 сейчас будет как чугунный мост стоить, как собственно и карты нормальные
а старьем закупаться вообще никакого ризона нет, выгоднее тогда ВПСку арендовать и там гонять...
Аноним 02/11/26 Пнд 18:37:16 #272 №1744594 
хай кумеры, в наличии 64GB VRAM DDR5 и 2х256GB VRAM mac studio,
Что интересного можно запустить?
Аноним 02/11/26 Пнд 18:42:53 #273 №1744599 
image
Кто их все раскупил. Кругом одни миллионеры что ли.
Аноним 02/11/26 Пнд 18:47:03 #274 №1744601 
>>1744594
> VRAM DDR5
> VRAM mac studio
> VRAM
Nope
Аноним 02/11/26 Пнд 18:50:46 #275 №1744605 
>>1744599
Так еще не завезли наверное, только показывают
Аноним 02/11/26 Пнд 18:58:05 #276 №1744608 
>>1744594
На твоем сетапе только Qwen-3.5-0.6B пойдет
Аноним 02/11/26 Пнд 19:13:58 #277 №1744618 
>>1744599
Фармят биткойн, вот и раскупили.
Аноним 02/11/26 Пнд 19:25:21 #278 №1744630 
1793636721425.jpg
Аноним 02/11/26 Пнд 19:27:19 #279 №1744633 
>>1744599
В DNS их вешают сразу как закупают где-то. А потом месяц они до склада едут.
Аноним 02/11/26 Пнд 19:28:04 #280 №1744635 
на кой хер вообще было закупатся стремительно устаревающим хламом типа в100, да и даже 3090 архитектурно через пару лет станут тыквой, тренды смещаются к средним моделям по весу как я заметил и получаются или нужен полноценный серверный риг или хватает просто 32-48 гб потолок.
альтернатива лоботомия моделей
Аноним 02/11/26 Пнд 19:34:05 #281 №1744642 
>>1744635
> через пару лет станут тыквой
Приходите когда станут
Аноним 02/11/26 Пнд 19:34:49 #282 №1744643 
>>1744642
ну попробуй фп8 на них включи
Аноним 02/11/26 Пнд 19:37:57 #283 №1744645 
>>1744643
То есть в твоём понимании они уже тыква просто потому что нативно не поддерживают какой то формат? Ну ок, что тут ещё сказать, продаём и сидим с голой жопой или продолжаем крутить дипсик 41ф и не дёргаемся на вбросы
Аноним 02/11/26 Пнд 19:42:08 #284 №1744648 
>>1744645
чем дальше тем хуже, карты то старые уже и горячие как подмышка сатаны.
>потому что нативно не поддерживают какой то формат
потери, чем меньше потерь тем меньше у ллм крыша течет
Аноним 02/11/26 Пнд 19:50:39 #285 №1744656 
страта уже медленная, спиди делает еще быстрее

https://www.reddit.com/r/LocalLLaMA/comments/1xlfhrd/speedy_is_shockingly_good_for_qwen38_fn/
https://github.com/DevDock-AI/Speedy


еще не проверял
Аноним 02/11/26 Пнд 19:50:39 #286 №1744657 
Вы цены видили? Видяхи от 30к самые бичевские с 8гб стоят
Аноним 02/11/26 Пнд 20:08:18 #287 №1744665 
Сап, слопач, я простой дурак и сексуальный психопат, мало чего понимаю в этих ваших нейрокалычах. Gemma 4 12B Instruct QAT норм будет для таверны через лмстудио писюн подрюкать? Вместо видимокарты 5060ти16
Аноним 02/11/26 Пнд 20:14:57 #288 №1744669 
1793639698801.jpg
>>1744657
Тебе зачем видеокарточка, она у тебя простаивать будет. А окошку можно и на процессоре нарисовать
Аноним 02/11/26 Пнд 20:15:10 #289 №1744670 
Если совсем думать не хочешь а только включить и дрюкать то качай от HauhauCS balanced версию, там вообще не отказывает.
Можно замахнутся на 26б модель, но там уже подзаморочится чтобы не уперется в контекст она тяжелая
Аноним 02/11/26 Пнд 20:16:18 #290 №1744671 
>>1744665
Ты же можешь gemma 26b запустить, зачем 12b
Аноним 02/11/26 Пнд 20:19:36 #291 №1744675 
>>1744671
там квант iq4 уже и квантовать кеш k8v4, сброс ризонинга до 4096 и не забыть выключить репит пенальти если оставить думалку
Аноним 02/11/26 Пнд 20:21:10 #292 №1744676 
>>1744675
Спасибо, нихуя не понял
Аноним 02/11/26 Пнд 20:24:14 #293 №1744680 
Есть инфа или вангование через сколько лет видюхи, оператива и прочие комп комплектующие подешевеют? Моя влажная мечта покумить с плотняком
Аноним 02/11/26 Пнд 20:27:19 #294 №1744684 
>>1744680
я бы рассчитывал на 2030 год, но скорее всего никогда.
Аноним 02/11/26 Пнд 20:29:18 #295 №1744688 
>>1744234
ты намудрил с настройками ноута
должно быть гораздо быстрее

moe gemma 26-4 и квенчик 3.6 35-3 дают примерно 20 т/с на ноуте с 780m и 32 рам
на 2060 должно быть быстрее

с плотными модельками на цпу - да жопа
но даже так должно быть примерно 4 т/с а не 0,5 (если проц не совсем дохлый)
Аноним 02/11/26 Пнд 20:29:31 #296 №1744689 
image.png
image.png
>>1744676
вот так выстави в модели
>>1744680
ближайшие год два не близко даже
Аноним 02/11/26 Пнд 20:32:32 #297 №1744694 
>>1744680
как парочка цодовых компаний в США обанкротится - так и подешевеют на распродаже оборудования по бросовым ценам.
первый кандидат там CoreWeave - следи за ней.
Аноним 02/11/26 Пнд 20:36:12 #298 №1744698 
>>1744599
Че, эта херня же на лохито только что по 400к торговалась. Правда за эту цену довольно сомнительная вундервафля
>>1744680
Должно завершиться введение новых мощностей, случиться падение спроса из-за замедления или кризиса, и пропиздон от антимонопольных служб, чтобы искусственно не начали сокращать производство или удерживать все на складе для формирования дефицита. Не в ближайшее время.
>>1744694
> по бросовым ценам
Это типа 120к за стойку с 1280гигами врам суммарно? Ну такое.
Аноним 02/11/26 Пнд 20:37:00 #299 №1744700 
Вопрос - как люди сейчас покупают видюхи и оперативку? Цена железа же стала как автомобиля рнн хикка
Аноним 02/11/26 Пнд 20:39:32 #300 №1744702 
>>1744700
Берут и покупают. В майнинг бум тоже покупали
Аноним 02/11/26 Пнд 20:59:07 #301 №1744716 
>>1744700
Прямо сейчас - хз, только кто не париться над затратами или очень нуждается хотя возможно на фоне будущего подорожания сейчас цены еще ничего. А совсем недавно цены были куда демократичнее, летом надо было закупаться.
Аноним 02/11/26 Пнд 21:28:23 #302 №1744740 
>>1744560
Хуевый там русский. Вот только что потестировал, персонаж во время ебли выдал "да...входи...ебани меня..." Куда входить? Кого ебануть?
Плюс иногда выдает слова которые выглядят как парочка китайских иероглифов + английское окончание ing. Иногда перс говорит о себе в множественном числе. И в целом тупее все как-то. Даже когда в тексте ошибок нет он протокольный какой-то. Хуйня крч.
А вот на англюсике очень даже норм.
Аноним 02/11/26 Пнд 21:30:08 #303 №1744742 
>>1744680
В будущем вообще плотных моделей не будет. В них нет смысла просто, это неполноценная архитектура, ранний прототип, который себя изжил.
Аноним 02/11/26 Пнд 21:36:54 #304 №1744748 
>>1744665
>через лмстудио писюн подрюкать? Вместо видимокарты 5060ти16
Во-первых 5060ти-16 это одна из самых охуенных бюджетных видеокарт на данный момент, не пизди. Во-вторых через пидорскую лмстудию что-то делать это извращение. Качай обычного жору, там есть всё, даже агентский кодинг.
Про гемму тебе уже сказали, тебе надо 26, можно даже 31 в 3 кванте но там выигрыш не такой большой по соображалке как хотелось бы.
Аноним 02/11/26 Пнд 22:07:10 #305 №1744766 
>>1744700
Две 3060 по 12гб и 100гб ддр4 оперативки стоят более менее нормально же. И это позволяет запускать те же 125б модели.
Аноним 02/11/26 Пнд 22:10:04 #306 №1744767 
>>1744680
2028-2029 вроде как. Если ИИ пузырь наебнется, то раньше, если наоборот революция робототехники какая пойдет, то попозже до 2032го протянется. В любом случае ближайшие года 2 подешевение вряд ли будет.
Аноним 02/11/26 Пнд 22:11:53 #307 №1744768 
>>1744742
Ну да, то-то 27b перевыпускают, а 35b пошел нахуй. Пока на текущий момент это MoE неполноценная архитектура, потому что могут затупить внезапно, а плотные модели работают более стабильно. К тому же плотные весят меньше при сопоставимых мозгах.
Аноним 02/11/26 Пнд 22:21:13 #308 №1744774 
>>1744768
мое КРАЙНЕ чувствительны к квантованию из-за роутера внутри, это кстати на них заметно когда запускаешь в фп формате или в простой кванте. денс модели они как кирпич хули им сделается, а мое как набор лего стоит одну проебать и не соберется.
Аноним 02/11/26 Пнд 22:37:07 #309 №1744784 
>>1744774
Да. По сути у тех и у тех есть свои плюсы и минусы, поэтому нельзя сказать, что одни заменят других в будущем.
Аноним 02/11/26 Пнд 22:53:04 #310 №1744788 
>>1744768
С учетом энграмм и как теперь 122б работают на некрожелезе то 35б наверное уже не так критичны.
Аноним 02/11/26 Пнд 22:58:03 #311 №1744791 
ОЛДЫ напомните как вы кумили лет 5 назад на локалках? Расскажите тру стори
Аноним 02/11/26 Пнд 22:59:26 #312 №1744792 
>>1744768
> Пока на текущий момент это MoE неполноценная архитектура, потому что могут затупить внезапно
Ну что за ерунду ты несешь, некорректно сравнивать моэ и денс одного размера. Отсюда и все заявления про стабильность и затупы.
> плотные весят меньше при сопоставимых мозгах
Это как квадратичный и линейный закон, на малых значениях выигрывает квадратичный, но по мере роста он наоборот остается в жопе. Так и здесь в малых размерах моэ бессмысленны, в больших денс.
>>1744774
> мое КРАЙНЕ чувствительны к квантованию из-за роутера внутри
Роутер - ничтожная часть модели, оставить его в оригинальных весах ничего не стоит.
Где твой бог теперь? Нормально они квантуются, никаких принципиальных отличий от денса.
Аноним 02/11/26 Пнд 23:09:12 #313 №1744798 
>>1744792
только что то мое модели тупят чаще чем кирпичи при кванте, но вообще если есть qat модели то стоит брать их, гугл точно делает там вах конфэтка.
Аноним 02/11/26 Пнд 23:13:13 #314 №1744800 
>>1744791
Окстись, какой 2021? Что-то живое началось с 2023
Аноним 02/11/26 Пнд 23:16:54 #315 №1744803 
>>1744656
https://www.reddit.com/r/LocalLLaMA/comments/1xkbbqi/is_your_engine_lobotomizing_your_model_kinda_and/
https://www.reddit.com/r/LocalLLaMA/comments/1xljjf2/do_we_really_need_all_these_speed_posts/

tl;dr Среди реддиторов есть специальная олимпиада - запустить как можно более хуевую модель как можно быстрее и похвалиться этим. На качество всем поебать, они блядь отрезают от генерации экспертов которые не влезли на врам(форки страты умеют в такое, сам в ахуе что кому-то вообще в голову пришло реализовать такую фичу).
Аноним 02/11/26 Пнд 23:19:11 #316 №1744805 
>>1744791
Вкатился где-то 2 года назад, Мистраль Немо, на 8 гб ноутбучной карте хорошая скорость, хороший (относительно) русик, кум шикарный, ошибки надо править руками и подсказывать направление сюжета, а также делать суммаризации, иначе уходит в шизу. Собственно говоря, ничего и не поменялось для меня с тех пор, ведь Гемма несмотря на более высокий интеллект так лихо кумить как немо просто не может, а русика больше ни у кого из таких доступных моделей нет.
Аноним 02/11/26 Пнд 23:20:45 #317 №1744806 
>>1744798
Петушара, хватит сочинять сказки. Ты не трогал 100+Б плотные модельки чтобы знать разницу.
Аноним 02/11/26 Пнд 23:25:29 #318 №1744809 
>>1744806
трогал, на раме рот ебал кста, катастрофически теряют точность в коде и тестах на иголку, но пиздят складно базару нет, общий интеллект даже в кванте не так страдает
Аноним 02/11/26 Пнд 23:26:36 #319 №1744810 
>>1744809
>даже в кванте
> при кванте,
Чё несёт блядь...
Аноним 02/11/26 Пнд 23:28:09 #320 №1744811 
>>1744791
>>1744800
Я олд. Первый раз я покумил с нейронкой в день выхода работающего на GPT-2 Dungeon AI в мае 2019 года. Того самого Dungeon AI, к которому фанаты стали делать опенсорнсный и локальный аналог KoboldAI, из команды которого вышел Жора, создавший llama.cpp.
Как это было? Ну кринжово. Тогда общение сводилось к примитивному описанию действий который делает персонаж в story mode и нейронка описывала. Создал я тогда постапок мир, походил по нему, потом написал нейронке что хочу найти тысячелетнюю вампиршу, разумеется сразу нашел, походил с ней, потом начал её домогаться, вроде получил что хотел(на уровне, разумеется, User kissed the girl, she blushes), но жанр внезапно сменился на какой-то ромком, а моя тысячелетнаяя вампирша стала 30-летней домохозяйкой и сюжет пошел вокруг приготовления пирога в нашем особняке. Разумеется тогда это пиздец воспринимался крешесносно.
Аноним 02/11/26 Пнд 23:28:45 #321 №1744812 
>>1744803
Эх, малята узнают про speed benchy спец олимпиады
Аноним 02/11/26 Пнд 23:30:35 #322 №1744814 
https://rikiyat.github.io/blog/weight-space-programming/

Нашли, что ллмки могут успешно редактировать веса более маленьких ллм.
Аноним 02/11/26 Пнд 23:34:48 #323 №1744816 
Есть быстрая карта на 10гб и рабочая задача на 256к контекста в реальности хз, 20к строк кода

Несколько ллм:
квен 2.5 8б к4 кодер,
квен 3.5 9б,
гемма 4б,
гемма 12б,
новый йоба бонсай 27б

Как максимально правильно решить рабочую задачу, если ее суть - написать план рефакторинга и затем реализовать ее?
Аноним 02/11/26 Пнд 23:39:59 #324 №1744819 
>>1744814
Да они и свои могут. Робот, ковыряющийся в своих же мозгах, ммм
Аноним 02/11/26 Пнд 23:43:15 #325 №1744821 
>>1744814
За те 20 часов, что Астра потратила на редактирование весов в 0.8В модели, можно было бы тянануть на одной карте огромным датасетом.
Аноним 02/11/26 Пнд 23:43:16 #326 №1744822 
>>1744816
Сунуть сотку в зубы дипсику и сделать все за двадцатку. С такими вводными бери хотя бы квенище 35б а3б. Основная часть будет в раме сидеть и все равно будет быстро.
Аноним 02/11/26 Пнд 23:43:23 #327 №1744823 
>>1744816
дипсак р1 14b еще
утягиваешь кеши и включаешь модель помощнее
тебе промт может еще написать?
>>1744819
свои же не могут
Аноним 02/11/26 Пнд 23:43:26 #328 №1744824 
>>1744791
Я только года 3 назад вкатился. Никогда не забуду момент, когда на мистрале немо из-за высокой темпы модельке ударила шиза в голову, и у нее начал протекать двачесленг в речи. Но не просто стиль поменялся, а как будто другая персональность подключилась. Вместо продолжения стори о том, как я сочно вставляю хуй в пизду какой-то вымышленной тянке, моделька начала троллить меня, типа "ахаха, дрочер, ты серьезно дрочишь на виртуальную тянку, ну ты и лох".
Я обычно критически отношусь ко всяким мистическим штукам, но в тот момент знатно пустил жидкого, подумал что кто-то удаленно подключился и начал срать мне в чат. Свернул нахуй эту шарманку и с ужасом забыл про нее до следующего дня
Аноним 02/11/26 Пнд 23:44:51 #329 №1744825 
>>1744816

>квен 2.5 8б к4 кодер,
неюзабельно забудь
>квен 3.5 9б,
неюзабельно забудь
>гемма 4б,
неюзабельно забудь
>гемма 12б,
гемма12б внезапно сносно кодит но есть варианты лучше и у тебя 10гб карта, так что не вариант
>новый йоба бонсай 27б
неюзабельно забудь

Моя рекомендация для 10Гб карты:
CyberTiel 35-A3B, но только в 4 кванте, не ниже. По бенчам недалеко уходит от 3.8-27б. Скорость будет заебись.
Пока что самое большое что я кодил с этим тиелом - юайку для настройки параметров лламы, 1400 строк кода, 65 кб файл. Справляется хорошо. Разбиваю на мелкие задачи и контекст редко доходит до 50к, так что у меня он выставлен в 64к обычно.
Аноним 02/11/26 Пнд 23:48:53 #330 №1744829 
>>1744825
пысы используй тиел35-а3б как и любые другие моэшки с новым жорой и настроенным моэ миб кэшом (стратоподобное ускорение), самую быструю настройкую найдешь методом перебора. в жоре включи агентский режим и все тулзы.
Аноним 03/11/26 Втр 00:23:16 #331 №1744836 
>>1744635
Согласен - какую-нибудь 5060Ti выгоднее брать хотябы потому, что это новая архитектура и они хорошую скорость дают
Аноним 03/11/26 Втр 00:40:13 #332 №1744840 
>>1744814
🤯🤯🤯🤯🤯🤯🤯
Аноним 03/11/26 Втр 00:42:35 #333 №1744841 
>>1744798
Да тот же уровень деградации. Исключения - квантованные с завода, там уже любая перекодировка вносит существенный импакт.
>>1744803
> against a llama.cpp Q8 reference
Это выглядит неоче оптимально.
>>1744811
Зато какая душа. Бля нужно сделать или на уровне движка, или на уровне фронта периодическое подмешивание логитсов старой модели, чтобы она слегка шизила и вносила хаоса, но современная модель все это обыгрывала сохраняя когерентность. Должна бомба получиться для ролплея.
>>1744816
Можешь попытаться попердолить орнита 35а3, но лучше просто затерпи и запусти квена 27, пусть медленно но он хотябы может с этим справиться. Если опыта с кодингом и харнессами нет - цэ конец, воспользуйся каким-нибудь антигравити с паджитской подпиской.
Аноним 03/11/26 Втр 00:54:24 #334 №1744843 
>>1744841
>периодическое подмешивание логитсов старой модели, чтобы она слегка шизила и вносила хаоса
Это делается нативно на любой модельке полным роспуском семплера и задиранием температуры до 1.5-2.0
Аноним 03/11/26 Втр 00:56:50 #335 №1744845 
>>1744821
Астра это делала почти без инструментов.

А так можно ли обучить не большую модель на некотором датасете, а потом мозги поправить схожим с этим образом?
Аноним 03/11/26 Втр 01:05:29 #336 №1744848 
>>1744836
ток цены ща невменяемые, я б докупил к своей но платить сток за резаную шину не впизду их, но натив фп4 конечно дает пососамбу плоскому к4 и в плане скорости и в плане потерь.
Аноним 03/11/26 Втр 01:13:33 #337 №1744854 
>>1744843
Если обычный порядок семплеров - все отсечется еще до температуры. Убрать и сильно задрать - будет капитальная поломка, поменьше - все равно сохраняется генеральная линия.
Там же суть не в рандомайзере токенов, а именно в тех самых вайбах и необычных связях, которые улавливали старые модели без кучи пост тренинга.
Правда серьезной проблемой будет контекст, только начиная с ламы 3.х что-то более менее поддерживается. Скользящее окно постов придется делать или нечто подобное.
Аноним 03/11/26 Втр 01:17:28 #338 №1744855 
>>1744811
>KoboldAI, из команды которого вышел Жора, создавший llama.cpp.
Вут? Жора вообще не был причастен к ЛЛМ движухе, он просто сделал C++ движок вообще для вишпера, а потом, когда вышла ллама 1, понял, что она тоже неплохо ложиться на ЦПП инференс на маке, ну и пошло поехало.
>>1744845
Можно, но думаю выгоднее пару дополнительных раз прогнать датасет обычный обучением.
Аноним 03/11/26 Втр 01:39:03 #339 №1744862 
Новый квен когда?
Аноним 03/11/26 Втр 01:44:15 #340 №1744864 
>>1744814
>>1744845
Ну это же не прямое чтение весов, а аналитика на максималках. Также как кожаный может сделать анализ что идет куда и как примерно действует, ллм делает то же самое в куда большем масштабе. Банально чтобы добиться текстовой генерации, которая есть сейчас, нужно неебаться как уметь анализировать вход, а здесь частный случай.
Но сработает оно только в оче простых случаях и когда модель разрежена. Тут уже нужно отдельную сетку или входной адаптер строить чтобы именно нативно "читать активации" или анализировать веса, в теории это вполне возможно.
Аноним 03/11/26 Втр 01:51:19 #341 №1744869 
>>1744862
3.8 вышел ток ток куда те
Аноним 03/11/26 Втр 01:54:41 #342 №1744871 
>>1744862
где-то после 7 ноября должен бытьь
>>1744869
да я сам в ахуе
Аноним 03/11/26 Втр 02:05:56 #343 №1744877 
>>1744862
Ornith-1.5 122B попробуй. Внутри - квеногемма. Такой-то вин! Английский кум просто божественный. Здесь кто-то эир нахваливал, так вот эиру до такого уровня как до луны. Кодить тоже кодит, по бенчмаркам квен-флеш-некст оставляет позади. Русик средний но лучше чем в том же квен-флеш-некст. Чего еще надо?
Аноним 03/11/26 Втр 02:08:13 #344 №1744878 
1776113122329.png
1777199008635.mp4
Возрадуйтесь спидбенчеры, вам дипсикожену пропущенную через мясорубку выгрузили
Аноним 03/11/26 Втр 02:20:57 #345 №1744884 
>>1744877
>Ornith-1.5 122B
Это тюн 3.5 122В квена?
А у него длинный контекст не страдает? Как будто модели что научились не пускать слюни подходя к 100к контекста и вообще честно отрабатывать заявленные сотни тысяч контекста вышли только ближе к середине 26 года(дипсик4, музя глиммер, квен 3.8, глм 5.3), а квен 3.5 вышел сильно раньше, даже раньше геммы, которая пускает слюни уже на 60к.
Аноним 03/11/26 Втр 02:23:15 #346 №1744885 
>>1744878
Меня эта соевая рыба уже настолько заебала(и итт и в генерации), что я требую видео где её реально пускают в мясорубку.
Аноним 03/11/26 Втр 02:24:58 #347 №1744887 
>>1744848
та цены это отдельная часть марлезонского балета...
сейчас на все подняли, даже мишки дорого продают... так и знал что нужно было брать когда по 200 были...
а сейчас что не возьми оверпрайс - ну либо они боятся признать что доллар с грохотом упал....
но на РАБотке дали сейчас 5060ти16 так что не жужжу
Аноним 03/11/26 Втр 02:32:00 #348 №1744889 
1793662320499.png
>>1744885
Потерпишь. Когда мне синерыбные стикеры придут вообще весь тред ахуеет
Аноним 03/11/26 Втр 02:38:13 #349 №1744892 
А в этой вашей полистрате можно вырубить mtp или придется ставить обычную которая почти ничего не умеет из моделей?
Аноним 03/11/26 Втр 02:41:12 #350 №1744894 
>>1744878
Потише там, будешь охуевать - прогрею минимакс и реально твою рыбу на фарш пущу. Начну с того видео где мужик фиби чупи избивает и вставлю туда рыбу.
Аноним 03/11/26 Втр 02:44:07 #351 №1744895 
>>1744854
>а именно в тех самых вайбах и необычных связях, которые улавливали старые модели
Там скорее все прозаичнее - не улавливали связи, а их просто не было. Не успевали достаточно научиться, либо шумные данные сбивали с толку. Практически это будет соответствовать высокой температуре с высокой вероятностью странных токенов. Я пробовал на новом квене и гемме, по сути оно и получалось. Разве что датасеты сейчас более очищенные, совсем дурку из нижних интернетов не получишь. Но вывод будет крайне разнообразным.
Аноним 03/11/26 Втр 02:44:26 #352 №1744896 
>>1744884
Ну не просто тюн, там претрейн дополнительный. В описании у них нету "модель обсерается когда большой контекст", только это:
Ornith-1.5-122B handles context windows of up to 262,144 tokens. When a task's combined input and output must go beyond this limit, we suggest extending the effective window with RoPE scaling — YaRN is the technique we validate against, and it is already built into both vLLM and SGLang. With a scaling factor of 4.0, the usable window grows to roughly 1M tokens.
Аноним 03/11/26 Втр 02:45:58 #353 №1744898 
>>1744877
С какого кванта он норм?
Аноним 03/11/26 Втр 02:53:13 #354 №1744902 
>>1744898
iq3_xss норм от анслота есть еще fajardc/Ornith-1.5-122B-GSQ-RCO-GGUF там типа iq3_s, я не пробовал
Аноним 03/11/26 Втр 03:01:30 #355 №1744904 
Что лучше всего запустить на 5090 чтоб кайфануть?
Аноним 03/11/26 Втр 03:18:43 #356 №1744912 
image.png
Почему анслопы есть а жоры нет?
Аноним 03/11/26 Втр 03:19:36 #357 №1744914 
>>1744892
>В описании у них нету "модель обсерается когда большой контекст", только это:
А кто вообще в этом признается в карточке которая считай рекламный буклет?
Аноним 03/11/26 Втр 03:22:26 #358 №1744916 
>>1744912
Раз есть у анслопов - значит есть и у жоры.
Аноним 03/11/26 Втр 03:23:12 #359 №1744917 
image.png
А может даня был во всём прав и его сапорт был лучше чем в итоге смерженый
Может мы гнобим человека из за внешности крысы и это неправильно
Аноним 03/11/26 Втр 03:23:41 #360 №1744918 
>>1744878
Есть же нормальная версия без половины вырезанных экспертов.
https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF
Аноним 03/11/26 Втр 03:30:42 #361 №1744920 
изображение.png
Кум - машины у всех готовы?
Аноним 03/11/26 Втр 04:41:33 #362 №1744932 
>>1744916
У анслота свой форк жоры куда анслот впиливает фичи и поддержки новых моделей часто быстрее чем жора. Плюс есть фичи типа гемма дифьюжн которых у жоры не будет никогда.
Аноним 03/11/26 Втр 04:43:41 #363 №1744933 
>>1744920
Отлично. Я уже заранее удалил всю 3.х квуйню с диска. И я не шучу сейчас. Оставил только тюны типа тиел, орнит.
Аноним 03/11/26 Втр 04:53:26 #364 №1744935 
>>1744933
>тюны типа тиел, орнит.
Чем хороши?
Аноним 03/11/26 Втр 04:55:55 #365 №1744936 
>>1744920
Последней кум машиной был квен 235, ты о чём?
Аноним 03/11/26 Втр 05:57:53 #366 №1744947 
>>1744936
Квен 397 тамщето. Но в целом да, квен давно не по куму.
Аноним 03/11/26 Втр 07:47:08 #367 №1744959 
>>1744935
>Чем хороши?
Выполнили задачу на которой квен-флеш-некст почему-то облажался. По бенчам орнит лучше квен-флеш-некта хз правда или нет, а тиел близок к 3.8-27 при том что работает побыстрее на средненьком пк.
Аноним 03/11/26 Втр 08:06:54 #368 №1744963 
>>1744959
>квен-флеш-некст почему-то облажался
Вот даже МоЕ не прям маленькие обсираются, рано хоронить денс. 27б калаш мира ллм.
Аноним 03/11/26 Втр 09:34:38 #369 №1745006 
image.png
Покрутил геммочку 26b свою еще и видимо уперся в потолок по железу. Равномерные 60% загрузки цпу+гпу, почти фул 8 гигов из 8 врамы и пошаренной минимальное количество в 1.1гига по диспетчеру показывает. Но промпт процессинг для чатинга все же грустноватый, 1-3 минуты тратит в среднем до генерации 1го токена. Если подгрузить беседу больше 5-10 тыщ токенов то первоначальная загрузка минут 10-12 идет вообще.
И это на KV кеш q4_0, опустив с q8 предыдущих. Сложилось впечатление что это сильно ей по мозгам дало, за сравнительно короткую беседу штук 7 ляпов грубых допустила.
Аноним 03/11/26 Втр 09:39:39 #370 №1745009 
>>1745006
показывай все ключики и укажи номер билда.
обосру и покажу как ускорить
sage[mailto:sage] Аноним 03/11/26 Втр 09:49:59 #371 №1745011 
>>1744936
>квен 235
Да, сидел на нем в 5тпс одно время, даже с ностальгией вспоминаю теперь, но флеш на страте это простьо разъеб, думаю qwen 4 120b будет вином тысячетелетия
Аноним 03/11/26 Втр 09:55:04 #372 №1745015 
image.png
image.png
Аноним 03/11/26 Втр 09:55:23 #373 №1745016 
>>1745011
>qwen 4 120b
Никаких гарантий что 4 флеш будет в том же размере, что и флеш некст. Вполне могут выкатить 700b бегемота, чтобы не отставать от дипсика, и назвать это флешем.
Аноним 03/11/26 Втр 09:57:03 #374 №1745018 
1111.jpg
>>1745009
Я на анслофе если что, последней версии и с rocm на вулкан переключился. На rocm вроде чуть-чуть побыстрее генерация токеном, промпт +- так же но крашится иногда.
Мануально слои и прочее уже дергал, консультируясь с гугловским ии-дебилом, по скорости получалось +- так же или хуже.
рузен 3600 + 32 рамы + 6650xt железяки
И внизу не влезло mmap/mlock на mmap, чекпоинты и кеш рамы на auto
С ML студио да этого пробовал где более детально все можно настроить, работало помедленнее анслофа.
Основная бутылка в скорости поцессинга промпта, 10-14ток\сек дальше юзабельно.
Аноним 03/11/26 Втр 10:05:52 #375 №1745021 
>>1745018
Нахуя батч сайзы в 1 поставил ебан что ли. Конечно будет долго процессить бля. Не помню сколько гемме надо там 1024 256 что ли. Для начала вообще убери
q4_0 - говно тупое, хотя бы q4_1 возьми но лучше ниже q8 не лезть если хочешь какчества
и вместо q4_k_m скачай iq4_xs это должно влезть в 16гб полностью и на контекст останется.
можно и на q4_k_m сидеть но тогда лучше жору новую с моэ-кеш настройкой. у тебя сейчас некоторые нужные эксперты в видеопамяти, а некоторые в рам и это рандомно. новый жора это фиксит и получаешь ускорение.
но я бы просто качал iq4_xs тогда и кэш никакой не нужен

чекпоинты и кэш рамы с геммой на авто нельзя она так выжрет всю оперативку пока будешь новые чаты создавать. чекпоинтов 1 или 2, кэш - поставь 500-1000 мб, больше не надо
mmap должен быть none с геммой afaik
Аноним 03/11/26 Втр 10:10:35 #376 №1745025 
>>1745018
>>1745021
Сука вы оба ебанаты тупорылые какой 4 квант нахуй что кеша что самой геммы у тебя 32 рам есть качай 6-8 квант че ты вообще делаешь мудак сраный.
В обоссаной анслоп студии когда жора для дегенератов сделал fit on по дефолту даже ничего нестраивать не надо пускаешь слюну вводишь контекст и полетел сука рвёт с таких мудаков
Аноним 03/11/26 Втр 10:17:27 #377 №1745032 
>>1745021
По умолчанию батч вроде бы 4 стоял, гугловский дебил посоветовал попробовать поменьше.
С q4_0 попробую обратно с q8, действительно ощущение было просадки по качеству.
>жору новую
Жора это анслоф же так называете?
v0.1.913-beta версия
b119850mix0c116c32 ллама
>она выжрет раму без чекпоинтов
Мне достаточно одного чата пока, по памяти вроде стабильно ничего не протекает.
>mmap none с геммой
Пробовал с none, в плане распределения памяти похуже было хотя особой разницы на деле не ощутил.
>>1745025
А меро-меро вроде только q4 или я в глаза долблюсь, а посоветуй тогда для нуфагов на что именно смотреть, с анцензом.
Аноним 03/11/26 Втр 10:17:49 #378 №1745033 
Как мы вообще докатились до такого всегда был кобольд и жора ну для совсем дебилов лм студия, что здесь забыла анслоп студия
Аноним 03/11/26 Втр 10:22:58 #379 №1745035 
>>1745032
если что у геммы очень плохо квантуется контекст, ниже q8 не опускай.

>>1745033
страты полистраты майя тебя уже не смущают?
Аноним 03/11/26 Втр 10:23:18 #380 №1745036 
>>1745032
https://huggingface.co/zerofata/G4-MeroMero-26B-A4B-gguf/resolve/main/G4-MeroMero-26B-A4B-IQ4_XS.gguf?download=true

долбишься в глаза

жора это llama.cpp. свежая версия 12023 или около того
у анслота свой форк жоры, не уверен что там есть настраиваемый кэш экспертов в видеопамяти. это важно если у тебя квант не лезет в видеопамять полностью.

не слушай обмудков, гемма нормально в iq4_xs болтает, 6 квант ок, может быть заметишь разницу но не существуенную, 8-й - перебор, с 6-м квантом разницы почти нет.
Аноним 03/11/26 Втр 10:23:52 #381 №1745037 
>>1745006
>1-3 минуты
>минут 10-12
Что блять? У меня на моем корыте геммочка умничка в 5 кванте рожает ответы за 15 сек. Ставь ламу и таверну.
Аноним 03/11/26 Втр 10:29:23 #382 №1745041 
>>1745033
У анслота свой форк жоры куда он впиливает поддержку новых моделей почаще чем сам жора. К тому же, анслот хорошо навернут в плане ассистентства, в веб поиск умеет, голос легко подключить, агентские обвязки можно переключать. В жоре агентский кодинг тоже норм в принципе, но там самопал, в анслоте получше. А еще в анслоте можно квантовать не выходя из интерфейса. Можно сейфтензоры гонять. Можно тюнить модельки (элементарно вообще, без кодинга, просто датасет составь ну или скачай). Анслот это просто пушка и ставится в один клик и модели можно качать прямо там (в жоре это только на днях появилось и корявенько). А всратый кобольд рядом с анслотом упоминать это дурной тон.
Аноним 03/11/26 Втр 10:30:03 #383 №1745042 
>>1745037
Да он батчи в 1 байт выставил просто лол.
Аноним 03/11/26 Втр 10:35:24 #384 №1745049 
>>1745036
ну мы про контекст, веса хоть q1 запускай. но для мелкомое все таки ниже q6 лучше не брать, там урон сильнее чем для плотных.

>>1745006
>60% загрузки цпу+гпу
вот кстати у тебя карточка недогружена. эту проблему решает полистрата, попробуй её
Аноним 03/11/26 Втр 10:43:58 #385 №1745052 
Объясните мне одну вещь, вам известно что через пол года выйдет гемма 5 ~150б моеха, и вы реально не бежите закупаться хотя б 64гб рам для этого?
Че думаете СТАНЕТ ДЕШЕВЛЕ? Не плачьте потом что опять кактусом давитесь
Аноним 03/11/26 Втр 10:57:44 #386 №1745058 
>>1745032
>Жора это анслоф же так называете?
Ты дебил? или прикидываешься? или ньюфаг залетный,
жора это жора llamacpp в чистом виде
Аноним 03/11/26 Втр 10:58:58 #387 №1745060 
Нахуй вы ламу называете жоро или еще чем?
Аноним 03/11/26 Втр 10:59:52 #388 №1745062 
Кто-нибудь в курсе, за сколько сейчас реально загнать на Авито 2х32гб ddr5 (gskill Trident z)? А то там цены как будто совершенно рандомные у разных продаванов.
Аноним 03/11/26 Втр 11:01:25 #389 №1745065 
>>1745060
тому що автор лламы Жора Герганов
вот исторически и сложилось
вообще исторически по автору и TextGenerationWebUI угабугой называли
Аноним 03/11/26 Втр 11:02:41 #390 №1745068 
>>1745052
>вам известно что через пол года выйдет гемма 5 ~150б моеха
Хуй знает, лично мне неизвестно. Гемму 4 120б ждали и где она?
Но 64 рам я уже купил, как минимум потому что уже есть qfn и ornith. А под невышедшие что-то брать ну такое.
Аноним 03/11/26 Втр 11:03:45 #391 №1745069 
>>1745062
200к за одну плашку ставь
Аноним 03/11/26 Втр 11:06:41 #392 №1745076 
image.png
>>1745069
Ты верно думаешь что пошутил?
Там кабаны уже полноценными днсами себя считают
Аноним 03/11/26 Втр 11:09:24 #393 №1745080 
1111.jpg
1111.jpg
image.png
>>1745035
>ниже q8 не опускай
Принял, тоже хотел в целом на q8 откатить
>>1745033
В предыдущем треде посоветовали. Слопа меньше ощущатся чем в лм студии.
>>1745036
>жора это llama.cpp. свежая версия 12023 или около того
Сенкс, по дефолту только слои на гпу\цпу можно выгрузить слайдерами в слофе.
>>1745037
Потестирую с батчами как сказали выше, крутил от дефолта + советовался с гугловским ии-дебилом, он просил меня попробовать с минимальным значением. По статистике за ~20 часов
>>1745049
Слышал много хорошего но я как понял она только под конкретные заточки-модели норм работает.

Статистика пикрил подробная, и пример из последнего чата на 66к токенов с q8_0 статистика последнего реплая нейронки. Для кума всякого надо быстрее.
Попробую с вашими советами еще покручу, спасибо :3
Аноним 03/11/26 Втр 11:10:14 #394 №1745081 
>>1745062
Видать ценник ниже тех что остались
Аноним 03/11/26 Втр 11:10:29 #395 №1745083 
>>1745076
так закон рынка же, если берут и за такие цены, то цену поднимают.
ставишь плашку за лям, если не берут - снижаешь на 1к и так до тех пор пока не начнут покупать.

вы че в линяге никогда не торговали?
Аноним 03/11/26 Втр 11:11:09 #396 №1745084 
>>1745080
>с гугловским ии-дебилом
АХТУНГ! Юзай жирную синею китайскую жену! Она главная вайфа тредика.
Аноним 03/11/26 Втр 11:12:27 #397 №1745087 
>>1745076
Пиздос.
Я короч факапнулся и год назад взял 32х4. А потом оказалось что мой 9950x3d не тянет такую конфигурацию на околокосмических скоростях.
Теперь хочу поменять на 64х2 с минимальной потерей в деньгах. Но кажется ХУЙ мне.
Аноним 03/11/26 Втр 11:13:48 #398 №1745089 
>>1745087
и ты думаешь там делителя не будет? лол
Аноним 03/11/26 Втр 11:15:13 #399 №1745092 
>>1745080
> конкретные заточки-модели
скорее под конкретные кванты. так то в полистрате есть поддержка Gemma 4 26B-A4B

https://github.com/VecSzn/PolyStrata/pull/83
--custom-gguf

>>1745087
тебе проще проц с материнкой под память поменять, лол
Аноним 03/11/26 Втр 11:23:29 #400 №1745099 
Лан глм флеш не сломан, а буквально пережарен в рп как старый квен. Срёт м дешами и трагизмами, лупится на драмме, хуета кароч.
Мимочка писечка девочка - выбираю тебя.
Аноним 03/11/26 Втр 11:24:42 #401 №1745100 
Не пизди
GLM-4.7-Flash-Uncen-Hrt-NEO-CODE-MAX-imat-D_AU-Q5_K_M
Играю с этой, охуенная штука
Аноним 03/11/26 Втр 11:27:59 #402 №1745102 
>>1745052
Я хотел апнуться на 9070хт но в кресле стоматолога сказали что карточка им нужнее(
>>1745058
Нуфаг
>>1745084
Руки пока не дошли но я помню, что советовали. Смущает, что там надо акич регать а по гуглу заходить не очень хочется братушкам узкоглазым показывать его.
Аноним 03/11/26 Втр 11:43:24 #403 №1745112 
Официальное заявление: Компания модели Qwen будет придерживаться принципов открытого исходного кода до конца!

В последние несколько дней ходили слухи, что Qwen4 станет последней серией соревнований в открытой весовой категории в рамках Qwen, а будущие серии будут проводиться только с использованием API. Следующее заявление опровергает слухи и четко излагает позицию, которую компания Qwen занимает в отношении своих будущих релизов.

Глава Qwen Лю Дайи Хенг четко заявляет: будущие версии Qwen 4.0 и Qwen 5.0 по-прежнему будут иметь открытый исходный код!

Он считает, что ценность ИИ не должна принадлежать только нескольким людям, а должна стать основополагающей возможностью, к которой пользователи по всему миру смогут получить доступ, использовать и создавать, что позволит большему количеству людей позволить себе ИИ, эффективно использовать ИИ и участвовать в создании ИИ, в конечном итоге достигая настоящего ИИ для всех.

https://www.reddit.com/r/LocalLLaMA/comments/1xm28e6/official_statement_qwen_models_will_stick_to_open/
Аноним 03/11/26 Втр 11:46:32 #404 №1745114 
>>1745112
там в комментах есть список моделей которые алибаба не выпустила в опенсорс
https://www.reddit.com/r/LocalLLaMA/comments/1xm28e6/comment/19s1lktawdz2b/
Аноним 03/11/26 Втр 11:48:53 #405 №1745115 
>>1745112
>до конца
До пока партия не запретит, лол.
Аноним 03/11/26 Втр 11:51:22 #406 №1745117 
>>1745115
ну посмотрим. так то стратегия выпускать умные маленькие квены чтобы поднасрать корпоратам на западе - вполне рабочая.
Да и будущее ИИ все таки за локальными моделями, а не пейволами
Аноним 03/11/26 Втр 11:51:25 #407 №1745118 
>>1745100
Дурачок что ли? Это 30б-а3б. Очень тупит по сюжету, бесполезное говно. Тот ультрашиз про 5.3 флеш 320б-а18б говорил. А ты попробуй глм-4.5-эир если нищук.
Аноним 03/11/26 Втр 11:53:20 #408 №1745119 
>>1745117
для повседневки да, а хуярить харнесс с миллионом агентов и вагоном контекста тут уже простите нужны облака
Аноним 03/11/26 Втр 11:54:19 #409 №1745120 
>>1745112
Коммунизм, счастье, заебись!
Аноним 03/11/26 Втр 11:59:19 #410 №1745126 
>>1745114
Так речь не про все модели алибабы, а про квен. А когда захотят сделать свои ллмки закрытыми то просто начнут выпускать их другим названием лол.
Аноним 03/11/26 Втр 12:01:41 #411 №1745127 
>>1745099
Я начинаю думать что в треде орудует какой то троляка или аутист. Малыха мимы лупится как хуй знает что.
Глм флешуру же относительно стабильный на Q2, позитивный что пиздец, из за чего приходится ебаться с префилом ризонинга- но все еще остается ЖЛМ.
Аноним 03/11/26 Втр 12:03:08 #412 №1745131 
>>1745119
так это уже для бизнеса больше нужно.
а бизнес может купить 10-20-30 RTX6000 и накатить на них квены\дипсики\глм

по цене может выйти дешевле чем антропикам платить и видеокарты потом продать можно будет.
Аноним 03/11/26 Втр 12:04:14 #413 №1745132 
Я правильно понял, что по презентации квена минимальные модели будут 27б и что-то типа текущего флеш-некста? Неужели бомж-модели окончательно всё, и теперь нужно минимум 16 врама + 64 рама минимум для новья?
Аноним 03/11/26 Втр 12:06:48 #414 №1745136 
>>1745117
>Да и будущее ИИ все таки за локальными моделями, а не пейволами
У локальных моделей своя ниша будет, например чтобы роботы думали самостоятельно, а не через интернет. А фронтиры которые влезают только в датацентр никуда не денутся, их будут продолжать развивать закрытыми для публики, для военки и правительственных нужд, да и наверняка уже сейчас есть такие у США, какой-нибудь Клод для Пентагона версия Скайнет...
Аноним 03/11/26 Втр 12:09:05 #415 №1745139 
>>1745132
>что-то типа текущего флеш-некста?
Далеко не факт что следующий флеш останется в том же размере, а не удвоится, например.
Аноним 03/11/26 Втр 12:09:59 #416 №1745140 
>>1745132
Имхо 27б надо в топку. Хз зачем они его продолжают выпускать. На том же 16+64 квен флеш некст будет быстрее и умнее. А ты чего хотел я не пойму, 9б что ли. Какой с него прок.
Аноним 03/11/26 Втр 12:13:33 #417 №1745143 
>>1745132
>теперь нужно минимум 16 врама + 64 рама минимум
Так уже давно так, скоро новой минималкой станет 128 рамы.
Аноним 03/11/26 Втр 12:14:48 #418 №1745144 
>>1745127
>стабильный на Q2
Это какой размер памяти вообще? 16 96? То есть мимо ты запускал в таком же лоботомитном кванте, а квантуется он хуже, отсюда и лупы
Аноним 03/11/26 Втр 12:20:11 #419 №1745148 
>>1745144
> квантуется он хуже
Пон. Тогда вопросы снимаются. А то это и правда какой то пиздец. Он отвратительно в нищекванте работает.
Так что флешка выбор нищеты.
Аноним 03/11/26 Втр 12:22:30 #420 №1745152 
>>1745148
Но опять же. Если ты можешь эти модели в Q4-Q5 катать, не лучше ли прошки тогда тыкать.
>_> хмммм
Аноним 03/11/26 Втр 12:23:15 #421 №1745153 
>>1745148
Ну так нищекванты от 24 128 начинаются, а то что у тебя это копиум кванты.
Аноним 03/11/26 Втр 12:28:18 #422 №1745156 
>>1745153
Не задевай мои нищуганские чувства. Кыш, кыш, кыш.
Всем достаточно и 106гб квантов.
Аноним 03/11/26 Втр 12:28:28 #423 №1745157 
>>1744878
Бедная рыбка, за що ее так? Она же умница.
>>1744889
Фумошку заказал?
>>1744895
Характер шума другой. И за отсутствие связей передергиваешь, они достаточно точно понимали настроение, тематику и область куда все идет, просто спамили сырыми ассоциациями включая дурку. А выкручивание температуры это будет дурка другого рода, или каломаз без выбора, или прямо поломка. Хз, скептическое отношение, может и не так.
Аноним 03/11/26 Втр 12:46:05 #424 №1745169 
>>1744904
Апгрейд до 96
>>1745087
На амд в целом похуй, там и 4 планки пободрее гонятся, и из-за шины все равно высоких скоростей не получишь. За замену только переплатишь и получишь то же самое.
>>1745114
Он сильно старался его раздуть чтобы выглядел внушительнее. Но по сути там почти все - некрота и сомнительные эксперименты, реально жалко вана и аудио модель.
>>1745117
> Да и будущее ИИ все таки за локальными моделями, а не пейволами
База. Так-то за такое даже заплатить не зазорно, но все куда попадает что-то персональное и чувствительные данные должно быть локальным. А не рафинированным анальным зондом, который записывает все, указывает как тебе действовать и думать, банит и отжимает твои деньги за неправильное мнение и форму черепа.
>>1745119
Так возьми локалочку помощнее и все.
Аноним 03/11/26 Втр 12:49:44 #425 №1745172 
>>1745140
Ну 9б силен для своих-то размеров. Плотняки с каждым годом становятся раза в 2 лучше прошлого года. С каким-нибудь гпт-осс 20б я думаю вполне может потягаться даже.
Если продолжат улучшать, то будет вообще пушка, особенно для каких-то микро-задач.
Аноним 03/11/26 Втр 12:51:41 #426 №1745175 
>>1744748
>Качай обычного жору
Эт чё
Аноним 03/11/26 Втр 12:54:33 #427 №1745176 
>>1745175
Это llama.цэцэпэ автор Georganov - Жора.
Аноним 03/11/26 Втр 12:56:14 #428 №1745179 
>>1745157
>И за отсутствие связей передергиваешь, они достаточно точно понимали настроение, тематику и область куда все идет, просто спамили сырыми ассоциациями включая дурку.
Настроение, значение слов в рамках предложения - это все могут, это просто. Но чем выше абстракция и сложнее конструкции - тем проблемнее их выучивать и понимать структуру. Отношение фактов между двумя соседними предложениями. Отношение фактов между соседними абзацами и т.д. Это про те самые трусы, которые вновь возникают, и вновь моделька пытается их снять.
Аноним 03/11/26 Втр 13:03:44 #429 №1745183 
>>1745118
На 500 сообщениях все еще топ
Скилл ишью как говорится
Аноним 03/11/26 Втр 13:13:29 #430 №1745190 
>>1745179
> это все могут, это просто
Ну не, особенно если брать модели поменьше там вариативность очень хромает, а приоритет сильно перекошен в сторону более конкретных и прикладных вещей. Трусы оно запомнит, но будет общее направление сюжета и остальное упрощать или подгонять под свой дефолт. А так получится расшевелить, внеся где-то чуточку хаоса, где-то упорядоченное разнообразие.
> Отношение фактов
Основная модель никуда не девается и за всем этим проследит, читай исходную идею.
Аноним 03/11/26 Втр 13:24:29 #431 №1745195 
Видите до чего вы тред довели?
Даже >>1745183 об очевидно обосранной модели, об которую все вытерли хуй сразу после выхода и забыли, шизики уже подхватили нарратив про скилл ишью.
Аноним 03/11/26 Втр 13:24:39 #432 №1745196 
>>1745006
>KV кеш q4_0, опустив с q8 предыдущих
Попробуй опустить только V кеш, может быть хватит и не так отупеет.
>>1745018
Мне кажется промпт процессинг медленный у всех кто не влез во врам целиком.
Аноним 03/11/26 Втр 13:41:24 #433 №1745205 
у меня на моешке 680 токов в сек, у вас рили у всех скиллишью
Аноним 03/11/26 Втр 13:46:46 #434 №1745209 
>>1744877
где ты там кум нашел? там цензура конская
Аноним 03/11/26 Втр 14:19:14 #435 №1745217 
>>1745196
>промпт процессинг медленный у всех кто не влез во врам целиком.
ну да, оно в принципе не фонтан даже во враме в квантированном виде около 500-600 токенов в сек, тысячами в топку только всякие фп4\8\16 могут кидать потому что им декодировать не надо, но это уже блэквел и дорого
Аноним 03/11/26 Втр 14:34:07 #436 №1745220 
>>1745196
Я наверно оставлю q8_0, в целом с ним работало и аже при визуально хуевом распределении ресурсов по диспетчеру задач, там разница между лучшим и авто вариантом с q8 в 0-2т\сек получалась. С батчем я реально видимо проебался, поспрашивал гугловского ии дебила, он похоже думает, когда вопрос про batch size пишешь, что это количество реквестов на сервер, а не сколько токенов за раз закидывается про что вы мне пишите, что минимум 1028 надо пробовать.
Попозже руки дойдут и потестирую. Буду писаться кипятком, если хотя бы с 60 до 30сек среднее время до первого токена сбросить так можно.
Аноним 03/11/26 Втр 14:45:15 #437 №1745222 
>>1745205
Значит ты запустил моешку уровнем сильно ниже того что реально можешь запускать.
Аноним 03/11/26 Втр 14:50:07 #438 №1745228 
>>1745222
Давай назови что лучше 26 геммочки на 16 рама и 8 врама
Аноним 03/11/26 Втр 14:54:36 #439 №1745230 
>>1744339
А просто и нет никакого шиза. Просто так и есть.
Либо гемма, либо эир, нет ничего между и даже за их размерами.
На 24гб врам есть гемма. На 64 рам есть эир. Дальше уже надо 24 врам и 128 рам, очень желательно ддр5, для глм 4.7 во 2 кванте, что абсолютно того не стоит. А дальше идёт 512 рам в каком нибудь 12 канале.
С релизом 5 геммы, если это тренилось на аргоне, не будет смысла в чём то ещё.
Аноним 03/11/26 Втр 14:56:44 #440 №1745234 
>>1745230
Нихуясебе, эйрошиз принял гемму
Аноним 03/11/26 Втр 15:04:04 #441 №1745236 
Палю инсайд инфу котаны: в тред кто-то запустил нейронку чтоб она срала бредом. если ктото пишет что у него куча рамы или видюха больше 12, это нейронка
Аноним 03/11/26 Втр 15:10:53 #442 №1745241 
1793707854633.png
>>1745157
Заказал. Нашел которая мне нравится

>>1745236
> куча рамы или видюха больше 12
Литералли каждый второй
Аноним 03/11/26 Втр 15:16:31 #443 №1745247 
кто то тестил minimax3.1 flash с vllm, кто то пытался фиксить баг с флагами mm:think в каждом ответе?
Аноним 03/11/26 Втр 15:23:36 #444 №1745250 
image.png
Так, попробовал я 2048 batch size и вручную микро 256 прописал + откатил на q8_0 и вариант с batch size и micro batch size на авто прокатил + mmap\mlock на none в обоих случаях.
Какая-то хуйня вышла если честно... 7.4\8 врамы и теперь 11.9 пошареной gpu memory стало (до этого было 1.1) показывать.
С ручным батчом видюху погружает на 100% при отсылке промпта, при генерации ~70% видюха 50-60% проц. Скорость генерации падает с 10-11т\с до 6. С авто видюха на ~90% грузится скачками (пилой на графике), чуть-чуть побольше токенсов на ~0.5.
Выиграл ~10-20% в скорости процессинга но в 2 раза рухнула скорость генерации и по итогу почти в 2 раза дольше выплевывает ответ.

При том нейронка прям с ума сходит в ризонинге (в систем промпте ей прописал чтобы она из персонажа не выходила) что я ей мета-комменты прошу уровня "тестирую скорость" и начинает циклично себя корректировать, раньше такого не наблюдал.
Аноним 03/11/26 Втр 15:54:21 #445 №1745264 
>>1745250
а система ее не штрафует за повторения? при ризонинге она постоянно повторяется и возвращается к предыдущим мыслям, при штрафе у нее крыша едет.
Аноним 03/11/26 Втр 15:54:38 #446 №1745265 
>>1745250
Если ты анон с
> 32 рамы + 6650xt железяки
то такой скорости у тебя быть не должно. Там без проблем будет 20-30 t/s с MTP, особенно если квант Q4_K_M с нормальными настройками, еще и нормальный контекст влезет тысяч на 100.

Лучше не трахать мозги и спокойно поставить llama.cpp и дать ей раскидать слои нормально самостоятельно.

llama-server --model "path" --model-draft "mtp file path" --spec-type draft-mtp --spec-draft-n-max 2 --load-mode none --temperature 1.00 --top-p 0.95 --top-k 64 --ctx-size 50000 --swa-checkpoints 3 --cache-ram 0

Что-нибудь вроде такого для начала. Контекст потом повысить если свободное место будет, хотя для РП на MoE Гемме не так много смысла ставить жирный контекст, она все равно начнет тупить тысячам к 60-70.
Аноним 03/11/26 Втр 15:58:24 #447 №1745268 
>>1745265
кидать мое модель в раму на голом цпп\лм студии так се идея, монолиты это легко переживают но мое тормозят
Аноним 03/11/26 Втр 16:04:24 #448 №1745269 
>>1745268
> кидать мое модель в раму на голом цпп\лм студии так се идея, монолиты это легко переживают но мое тормозят

Так кто её кидает в RAM? При таких параметрах llama.cpp в первую очередь откусит кусок VRAM под контекст, потом забьёт оставшуюся VRAM и после этого всё что не влезло отправится в RAM.

Что там лмстудия делает не знаю, никогда не юзал её.
Аноним 03/11/26 Втр 16:07:27 #449 №1745271 
>>1745269
лм студия просто гуй жоры по сути.
ну правильно, только архитектурно денс это слоистый пирог который выполняется последовательно и тормозить будут только те слои что в раме, а мое это россыпь семечек в кармане которые дергает роутер по надобности и ты получишь тормоза на каждом слое.
Аноним 03/11/26 Втр 16:27:28 #450 №1745276 
>>1745271
Тормозить с денс моделью у тебя будет всё если хоть один слой находится в RAM потому что он дёргается при расчёте каждого токена.

А с MoE дергаются только нужные слои и даже при их нахождении в RAM просадка скорости там будет незначительная.

По твоей логике денс модель с выгрузкой в RAM должна быть быстрее чем MoE с выгрузкой в RAM, не знаю даже откуда ты это взял.

Я сейчас могу просто запустить на своих 16GB VRAM 15.2GB ггуф 27B Квена с контекстом 30к и получу скорость <10t/s потому что это всё занимает 16.5GB VRAM.

При этом я могу запустить 32GB ггуф 35B Квена разделив его на VRAM+RAM с контекстом 150к и получить скорость 40t/s.
Аноним 03/11/26 Втр 16:42:40 #451 №1745280 
>>1745276
>При этом я могу запустить 32GB ггуф 35B Квена разделив его на VRAM+RAM с контекстом 150к и получить скорость 40t/s.

причем в случае ванильной лламы, если какого то эксперта не оказалось на врам - то считается в рам

а в случае со стратой у тебя будет больше 100tps потому что там другая логика - если эксперта нет в врам, то он заберет его из рам и посчитает на врам

см по утилизацию GPU, если меньше 100% - то видяха простаивает в ожидании CPU
Аноним 03/11/26 Втр 16:42:59 #452 №1745281 
1111.jpg
>>1745264
Да вроде нет, как раз 3-5 раз потупит в цикле "мне дали в промпте мета-коммент но я должна отыгрывать в персонаже и мета коммент не по обозначенной структуре, придумаю как в персонаже ответить придумывает ой не пойдет меня же мета-коммент спросили" и начинает сначала.
Проверил бы еще в персонаже как ведет себя, но по 5-7 минут нереально на каждый промпт тестить.
>>1745265
>Если ты анон с
Да.
Мне кажется вы меня где-то наебываете или меру-меру насрано где-то а скорее всего у меня что-то еще.
Попробовал с ламой с твоими параметрами и с вариантом без -swa-checkpoints 3 --cache-ram 0. Во втором пошареная рама 1.1гига и чуть-чуть быстрее как будто бы работает.
С твоем варианте пикрил.

Это все с систем промптом на 484 слова 3470 знаков, в токенах ~630
С голым раном без системп промпта +1 т\с.

+- тоже самое что в лучшем варианте мануального дерганья в анслофе. Или ~60сек обрабатывает промпт но генерит на 10-13т\сек или на ~17-20сек быстрее обрабатывает но падает скорость до 6-7т\сек.
Аноним 03/11/26 Втр 16:52:54 #453 №1745286 
>>1745281
Ты тролль? У тебя на последней ламе, с моешкой, по дефолт промпту в таверне будет 900 токенов в сек, 40-50 символов
Аноним 03/11/26 Втр 16:53:55 #454 №1745287 
>>1745281
вместо context-size используй --fit=on --fit-ctx=30000
я не вижу полного списка аргументов, но из того что вижу - у тебя нет раскладки экспертов в gpu

Вот мои параметры, я по рофлу запускал на RX580, норм жарило. если что у геммы очень толстый контекст и 50к уже многовато

[Gemma-4-26B-A4B-it]
model = gemma-4-26B-A4B-it-heretic.Q4_K_M.gguf
no-mmap=1
fit-ctx=30000
fit-target=128
fit=on
ctk=q8_0
ctv=q8_0

parallel=1
Аноним 03/11/26 Втр 16:58:35 #455 №1745291 
>>1745276
>При этом я могу запустить 32GB ггуф 35B Квена разделив его на VRAM+RAM с контекстом 150к и получить скорость 40t/s.
через стратоподобное что то да согласен, втупую распилив модель как денс нет.
Аноним 03/11/26 Втр 17:11:20 #456 №1745300 
>>1745291
В обычной llama.cpp. Я не юзаю страту или что-то другое что щас в тренде.
Аноним 03/11/26 Втр 17:14:36 #457 №1745302 
>>1745286
Я нуфаг. Таверна как я понял это же просто морда, под капотом та же лама должна быть? И меру-меру вроде как и есть моеха как я понимаю.
>>1745287
>--fit=on
Такого вроде нету в последней ламе, ругается на инвалидный аргумент с --no-mmap

llama-server --model "C:\Users\.lmstudio\models\zerofata\G4-MeroMero-26B-A4B-gguf\G4-MeroMero-26B-A4B-Q4_K_M.gguf" --spec-draft-n-max 2 --temperature 1.00 --top-p 0.95 --top-k 64 --ctx-size 50000 --swa-checkpoints 3 --cache-ram 0 --no-mmap --fit on --fit-ctx 30000 --fit-target 128 -ctk q8_0 -ctv q8_0 --parallel 1
Без вот такая ебала получилось на запуск, я все правильно понял? Получилось на 2т\сек хуже.

В общем я примерно понял что нихуя не понял и надо тестировать с другой сеткой и вся проблема в меру-меру похоже.
Аноним 03/11/26 Втр 17:14:41 #458 №1745303 
>>1745143
Так всю раму ж альтман скупил)
Аноним 03/11/26 Втр 17:16:13 #459 №1745305 
>>1745140
>На том же 16+64 квен флеш некст будет быстрее и умнее.
А на 16+16 или на 32+32?
Аноним 03/11/26 Втр 17:18:11 #460 №1745309 
>>1745222
Да ладно, не рассматриваешь вариант что у кого-то железо более-менее актуальное и способное скорость давать а не зион х99
Аноним 03/11/26 Втр 17:21:04 #461 №1745311 
image.png
Настроил в таверне генерацию картинок, персонаж берется прямо с аватарки, стиль передает довольно точно, при том что ручками прописывать ничего не надо, просто жму генерировать по последнему сообщению. Прямо чат с картинками теперь.
Аноним 03/11/26 Втр 17:27:40 #462 №1745317 
>>1745311
Модель.

Дай модель, дай нам её.
Аноним 03/11/26 Втр 17:28:11 #463 №1745318 
>>1745302
>--no-mmap
ну загуглил бы, я то глянул конфиг от старой лламы,

сейчас это --load-mode none
Аноним 03/11/26 Втр 17:34:51 #464 №1745325 
>>1745317
Модель Anima, использую лору для генерации по референс картинке https://huggingface.co/0ppxnhximxr/snapref-v1a воркфлоу от туда, настроил в Комфи, добавил лоры по вкусу, сохранил свой воркфлоу, дал задание Квену Флешу Нексту чтобы переделал мой воркфлоу для Таверны, он пошуршал немного и положил сразу в папочку Таверны, говорит пользуйся.
Аноним 03/11/26 Втр 17:40:43 #465 №1745332 
image.png
>>1745318
>--load-mode none
Да я загуглил, хуйня все равно тоже, даже хуже стало на почти 2т\сек.

Можно смело говорить, что дело не в прокладке анслофа-ламы а где-то глубже. Есть смутное предположение, что в фоне всякая хуйня тип хрома + второй экран откушали экстра мегабайты врамы и они какой-то нереальный импакт дают, но сначала надо потестить с другими подельками. В идеале бы конечно со стоковой + 11й виндой или линупсом полным, но на такие подвиги я не готов и нету дисков свободных.
Истории по 60+ на таком железе с 26б моделькой кажутся сказкой пока что.
Аноним 03/11/26 Втр 17:46:46 #466 №1745345 
>>1745332
Сколько у тебя токенов во время генерации и символов в сек? Сделай замер на 5к контекста.
Аноним 03/11/26 Втр 17:49:10 #467 №1745348 
Блять мне лень делать скрин, но у меня железо хуже твоего, но имею 700т и 25с на 6 кванте меры. У тя скиллишью.
Аноним 03/11/26 Втр 17:52:25 #468 №1745355 
image.png
>>1745325
Ну и из-за того что приходится в памяти держать сразу две модели то выбор ллмки сужается до Геммы 26б, а ее долго уговаривать не надо, сразу прыгает на тебя, но ее возможностей достаточно чтобы писать промты для Анимы.

А ну еще промт для генерации по последнему сообщению для Анимы спиздил с реддита, а то дефолтный промт в Таверне заточен для каких древних сдхл:

Ignore previous instructions. Your next response must be a prompt to generate an image of the last message, written in natural language, to be used with modern AI image generation models. The list will describe of the visual details included in the last chat message.
mention characters by their names and make sure to include their detailed physical description (if any) in the prompt.
Ignore non-visible things such as feelings, personality traits, thoughts, and spoken dialog, but keep attitudes
Include the relative physical positioning of the characters to each other,the primary act taking place in the last chat message, If character actions involve direct physical interaction with another character, mention specifically which body parts are interacting and how.
Mind the characters and objects positioning: create a prompt without impossible positions and remember it has a single point of view. If the entire last message can't be captured in a single point of view, choose the view that expresses the more relevant actions
Аноним 03/11/26 Втр 17:57:48 #469 №1745372 
>>1745345
как и в конце показывает - 5-11т\сек когда генерирует, без пиков\падений. По предыдущим тестам в анслофе на самом быстром варианте контекст ставил 25к, ~13 в начале беседы и к 19к беседе до 10т\сек падало, думала по 80сек пред первым токеном под конец. Пару раз вылетели и повторно загружалась первый раз минут 5 шерстя всю беседу заново и второй раз около 12 минут.
>>1745348
>у тебя скил ишью
Да. Залей прям название файлика и все параметры, я затестирую.
Аноним 03/11/26 Втр 17:58:41 #470 №1745374 
1685389016858.png
1763267061993.png
Уже когда то постил, но вкину снова настройки для геммы26 к8 под 8гб карточки.
Замеры на линухе безголовой
Аноним 03/11/26 Втр 17:59:39 #471 №1745376 
>>1745311
>>1745355
Почему тянка 20+ серафима вдруг превратилась в лольку?
Аноним 03/11/26 Втр 18:01:52 #472 №1745382 
>>1745332
перейди на встройку, а видеокарту используй только для нейронок. у тебя без llama видеокарта должна быть пустая
Аноним 03/11/26 Втр 18:02:42 #473 №1745384 
>>1745372
>раз минут 5 шерстя всю беседу заново и второй раз около 12 минут.
Если ты играешь с МоЕшкой и ждешь момента пока она начнет печатать свое сообщение дольше 10-15 сек, то что то явно не так. Это плотняк может с размышлениями пропердываться, а умница геммочка сразу должна строчить, в этом ее и сила.
Если у тебя видюха больше 8гб и рамы больше 16, то точно есть траблы с окружением.
Аноним 03/11/26 Втр 18:07:06 #474 №1745390 
>>1745382
У меня 3600 рузен, в нем нету встройки.
>>1745384
Да я хуй его знает как надо, я же нуфаг, примерно только понимаю немного как куда чего и положняк какой куда. Щас попробуем как у анона выше и модельку и параметры.
Может в винде дело по итогу, у меня 21h2 ltsc 10ка.
Аноним 03/11/26 Втр 18:11:26 #475 №1745393 
>>1745390
Хочется тебе помочь няша, но я сейчас тру хвостик своей геммочке...
Аноним 03/11/26 Втр 18:15:34 #476 №1745401 
>>1744918
Нормальная аблитка будет?
Аноним 03/11/26 Втр 18:17:35 #477 №1745405 
image.png
Или не затестирую, ебана 27 гигов она весит, пощади, горшочек... попробую пока iq4_xs тогда а там посмотрим будет ли улучшение.
>>1745393
Да не переживай, с великими инторнетами оно только к завтра будет готово, а пока наверно пиво пойду пить и сосиски жарить к нему. А геммочке уже потом что-нибудь потрем, но ниже q8_0 действительно спускаться не стоит, она сильно тупеет, пересмотрел щас чатики, небо и земля.
Аноним 03/11/26 Втр 18:19:15 #478 №1745407 
Котаны, посоветуйте модельку для кума.

RTX4050 на 6 гигов и 16 гигов оперативки.
Затолкал в нее gemma-4-26В-A4B-q4_k_m
Выжал ~15 ткс
Меня устраивает, но может есть что альтернативное?
Аноним 03/11/26 Втр 18:21:23 #479 №1745410 
>>1745265
>llama-server --model "path" --model-draft "mtp file path" --spec-type draft-mtp --spec-draft-n-max 2 --load-mode none --temperature 1.00 --top-p 0.95 --top-k 64 --ctx-size 50000 --swa-checkpoints 3 --cache-ram 0

Вот кстати, чуть не у каждого первого, кто здесь пишет командную строку для ламы - в ней этот самый --cache-ram 0
Это мем какой-то, или гейткипинг? Нет, когда памяти вообще нет - ну логично еще. Но ведь когда там хотя бы 32 рамы, выделить из них ~16 под уже просчитанный кеш контекста - это сильно срезать себе количество его пересчетов, и следовательно - потраченное на них время. Не? Или там баг какой-то был и прикипело к привычкам из-за него? У меня через этот ключ выделение памяти под кеш сильно ускоряет общий процесс в opencode...
Аноним 03/11/26 Втр 18:22:23 #480 №1745412 
>>1745376
Мало кушает.
Аноним 03/11/26 Втр 18:26:42 #481 №1745413 
>>1745407
для твоей конфигурации 15tps вполне хорошо. радуйся жизни
Аноним 03/11/26 Втр 18:27:45 #482 №1745416 
>>1744816
можешь попробовать еще неплохие тюны на кодинг
Mellum2.1
CyberTiel 35-A3B

или даже замахнуться на qwen flash если памяти хватает
Аноним 03/11/26 Втр 18:31:16 #483 №1745424 
>>1744788
>35б наверное уже не так критичны.

критичны
на среднем ноуте 122б хер запустишь, а 35б летает
Аноним 03/11/26 Втр 18:37:16 #484 №1745427 
>>1745410
> Но ведь когда там хотя бы 32 рамы, выделить из них ~16 под уже просчитанный кеш контекста - это сильно срезать себе количество его пересчетов

Ну у меня 32+16. 26 сама модель в Q8_K_XL, 130к контекста, 6-7гб занимает винда+браузер и при этом иногда нужно запускать виртуалки которые тоже жрут по 4гб. Даже 8гб выделить под кэш уже проблематично. Было бы 64гб - убрал бы.
Аноним 03/11/26 Втр 18:45:35 #485 №1745435 
>>1745355

как же вы ебетесь с этой таверной уму непостижимо, кум у вас начинается на этапе настройки древнего говна.

зачем? когда все уже настроено и в Орбе, и в маринаре энджайне и достаточно скормить им апи из ворфкфлоу. они и селфи вам генерить сами будут по контексту и иллюстрации

правда анима для этого не лучшая модель, у нее энкодер на 0.6b он поймет "нарисуй девочку с розовыми волосами и кружечкой" но обосрется если девочке понадобиться взаимодействовать с окружением или в сцене появятся другие персонажи, обосрется если захочется какой-то особый ракурс.

сейчас модно с moss-image генерить
Аноним 03/11/26 Втр 18:51:28 #486 №1745440 
О, iq4_xs скачалась быстро, тестирую в анслофе с систем промптом.

Фулл дефолтные автонастройки
Prompt eval 74.36s
Prompt speed 12.6 tok/s
Generation 55.01s
Speed 8.3 tok/s
Tokens 459
First token 74.88s
Total 129.53s
Chunks 455

q8_0 с дефолтным мемори настройками на vram бюджет 97% + 2048 батч сайзом и mmap\mlock на авто получилось
Prompt eval 62.86s
Prompt speed 14.9 tok/s
Generation 100.79s
Speed 6.7 tok/s
Tokens 678
Draft accepted 95 / 128 (74%)
First token 63.32s
Total 163.76s
Chunks 67

Нашел что можно прям в анслофе ебнуть аргументы на ламу сервер и скопипастил предыдущий сетап из олламы c:
--spec-draft-n-max 2 --temperature 1.00 --top-p 0.95 --top-k 64 --ctx-size 50000 --swa-checkpoints 3 --cache-ram 0 --load-mode none --fit on --fit-ctx 30000 --fit-target 128 -ctk q8_0 -ctv q8_0

Получилась тоже хуета.
Prompt eval 60.86s
Prompt speed 15.4 tok/s
Generation 172.76s
Speed 5.1 tok/s
Tokens 876
Draft accepted 34 / 55 (62%)
First token 61.51s
Total 233.74s
Chunks 868
Аноним 03/11/26 Втр 19:04:52 #487 №1745451 
>анслофе
Что это?
Аноним 03/11/26 Втр 19:14:00 #488 №1745462 
image.png
И щас вручную кручу:
mmap, 16 слоев на гпу и 30 мое слоев на цпу, сразу в 6 раз быстрее
Prompt eval 11.74s
Prompt speed 79.8 tok/s
Generation 54.01s
Speed 11.5 tok/s
Tokens 621
First token 12.15s
Total 65.88s
Chunks 616

без mmap/mlock с такой же раскладкой слоев получается еще в 2 раза быстрее примерно

Prompt eval 5.60s
Prompt speed 167.1 tok/s
Generation 69.61s
Speed 11.6 tok/s
Tokens 808
First token 6.03s
Total 75.35s
Chunks 797

Врама при этом 3.3гига. И че это получается вообще? Типо заебись лучше не придумать или мне еще подрочить комбинации мое слоев и слоев на гпу? а в какую сторону, чет не могу понять, я понимаю что где-то в памяти бутылка на какой-нибудь шине и если об нее споткнуться кирды наступает.
Алсо нет ли подводных камней если кто знает на эту тему где-нибудь закопанных в биосе? Я разогнал себе память дол 2933 почти ничего не трогая, но вдруг там какой инфините кеш иил чет другое сильно стопит процесс?
Аноним 03/11/26 Втр 19:17:11 #489 №1745469 
>>1745462
Зачем ты в ручную крутишь когда лама сама все четко разбрасывает?
Аноним 03/11/26 Втр 19:19:51 #490 №1745472 
>>1745469
Хочу понять примерно как работает и что меняется + ввожу изменения постепенно меняя 1-2 настройку в одном и том же окружении чтобы понимать изменения. лама сложно пока что а тут можно мышкой крутить
Аноним 03/11/26 Втр 19:26:55 #491 №1745476 
>>1745472
>лама сложно
Наоборот, ты чего! Тебе по базе нужно всего пара настроек. Не забывай у кито-жены спрашивать.
Вот примерно таких:
-c 32768 -fa on -rea off -lm none -np 1 -ctk q8_0 -ctv q8_0
Из нового еще подвезли --moe-cache-mib 1024
Аноним 03/11/26 Втр 19:30:20 #492 №1745480 
>>1745472
посади агента настраивать
Аноним 03/11/26 Втр 19:36:10 #493 №1745482 
>агента
игнорь этого шиза
Аноним 03/11/26 Втр 19:38:12 #494 №1745484 
>>1745476
Ну, я подумаю, уже какой-то минимально прогресс есть.
>>1745480
В такое кунг-фу пока не умею но уже думал, что было бы клево запрячь компоктер сам себя гонять и мне потом за ночь результаты скинуть.
Аноним 03/11/26 Втр 19:40:38 #495 №1745488 
>>1745451
анслопе
>>1744918
на лламе бесполезно запускать если не лезет в врам, только страта? в полистрате ее кажется нет.
Аноним 03/11/26 Втр 19:53:12 #496 №1745496 
Попался видос на тытрубе от линуса (теч типс который), собирал риг из двух 5090, ну, думаю, ща красота будет! Сейчас годноту покажут... ХУЙ ТАМ! Когда я услышал название LM Studio я уже начал подозревать, что техноблохеры выбрали самое простое и тупое решение, но самый сок ещё не наступил.

"And we're gonna load the model... so the qwen 3.8...", ладно, думаю, посмотрю как хоть он на 2х5090 будет гонять. Смотрю в монитор и вижу - Q4K_M, 260к контекста, 40гб врам (по мнению лмстудио). Всё. Пиздец. На этом моменте меня хватил гомерический хохот блять. Ну неужели там не нашлось ни одного хоть немного понимающего человека? Зачем блять? Почему блять? У нас в треде - любого кобольда спроси, он и тензоры выгрузит, и впихнёт невпихуемое, а тут...

Ла и ладно, хуй с ним, техноблохеры всегда были техноблохерами. С горем пополам запустили, и вот, момент истины, 600 префилла и 10 генерации. С МТР БЛЯДЬ! "local models are really slower..." - Криворукий уебан, который не справился с управлением жоры и решил, что qwen 3.8 27b Q4KM это заебись, у вас слоу, в развитии. Умственно отсталый, я бы даже сказал. По какой, сука, причине, нельзя нормально разобраться в теме?

Почему у меня так полыхает? Да потому что я не выдержу объяснять очередному дураку в ИРЛ, посмотревшему такое говно, что локалки не бесполезные, и не медленные, и что оллама, вместе с лмстудио - говнина ебаная.
Аноним 03/11/26 Втр 19:54:49 #497 №1745497 
>>1745462
>или мне еще подрочить комбинации мое слоев и слоев на гпу?

попробуй поставить 20 слоев ГПУ
и можно играть с числом тредов на процессоре (тоже иногда влияет)
по типу -ngl 20\ -t 12\

еще надо поставить последний драйвер на видюху (у амд с этим вечно проблемы, старые совсем не работают)
Есть вариант запуска с lemonade - родная амдшная среда для запуска (довольно удобная кстати), лучше работает с амд картами если выбирать запуск моделек под Vulkan
Аноним 03/11/26 Втр 19:59:28 #498 №1745499 
>>1745496
глупый тут только ты
наверняка он прекрасно знает что и как запускать на 2х5090

но зачем делать один ролик, если можно сделать три ролика
а вот llmstudio
а вот нормальный квен
а вот теперь strata
а теперь еще и настроим нормально...
и т д
Аноним 03/11/26 Втр 20:10:18 #499 №1745505 
>>1745496
>техноблохеры
Да они все такие, тот же Прохайтек, набрали тоже всякого железа для нейронок, там RTX Spark и AMD 395+, начали тестить их на играх, на Немотроне 3, на Гемме 12Б, ОСС 120Б, и какой-то Лагуне-с, и тоже все через ЛМ Студию.
https://www.youtube.com/watch?v=3Wn_PospMjg
Аноним 03/11/26 Втр 20:12:09 #500 №1745507 
>>1745499
Может быть, конечно, это будет серия роликов, но даже с таким посылом, техноблохеры не выглядели сильно увлечёнными только саму сборку было относительно интересно посмотреть, зритель подумает о том, что локалки - хуйня и забудет про это видео, не кликнув на следующее.

Тем не менее, тейк про людей, у которых это вызовет отторжение от локалок, остаётся открытым.
>Дядя Гена, услышал, что мы крутим локальные ллм
>Дяде Гене стало интересно, что это такое
>Дядя Гена посмотрел видос, понял, что это полная шляпа
>Дядя Гена распространяет среди своего окружения, что локалки - хуйня и ни на что не годятся. Теперь нужно переубедить не только дядю Гену, но и его окружение.

В каком-то смысле может это и хорошо, ведь дядя Вася не пойдёт собирать на авито ништяки, значит, энтузиастам больше достанется.
Аноним 03/11/26 Втр 20:14:16 #501 №1745510 
image.png
>>1745505
причем в лм студии для дебилов даже почти все аргументы для жоры написали
Аноним 03/11/26 Втр 20:17:52 #502 №1745513 
image.png
>>1745497
Я уже попробовал с 20ю слоями на гпу но как будто хуевее получилось. Треды тоже тыкал еще в лм студио, особого эффекта не было, по дефолту судя по виду 6-8 берет.
Драйвер последний, обновлял как раз недавно.
С лимонадами спасибо, погоняют.

Еще думаю попробовать посмотреть разницу вулкан vs rocm при тех же настройках. Но это все потом, заебался уже. Еще заметил, что при некоторых настройках, которые работают лучше, и сама моделька заметно быстрее, в разы быстрее грузится в память. А со стремными настройками по 30-50 сек загружаться может.
Аноним 03/11/26 Втр 20:22:13 #503 №1745517 
>>1745513
n_tokens = 4096, progress = 0.48, t = 5.44 s / 752.65 tokens per second
prompt processing, n_tokens = 6144, progress = 0.72, t = 8.09 s / 759.69 tokens per second
prompt processing, n_tokens = 8192, progress = 0.96, t = 10.82 s / 757.42 tokens per second

tg_3s = 35.73 t/s
tg_3s = 35.93 t/s
tg_3s = 36.58 t/s

железо хуже чем у тебя, 26 геммочка 5_К_М квант, лама+таверна. Советую разбираться.
Аноним 03/11/26 Втр 20:23:09 #504 №1745518 
image.png
image.png
>>1745505
Они недавно выпустили новый видос с тестами, почти хорошо все, базовые модели затестили.
Аноним 03/11/26 Втр 20:25:02 #505 №1745520 
>>1745518
нахуй они ставят конкурент предикшен если БЛЯДЬ ОНИ ЕГО НА ОДНОМ КОМПЕ ГОНЯТ, это просто жрет врам в никуда
Аноним 03/11/26 Втр 20:26:28 #506 №1745521 
>>1745517
А че за железо то? Ну, я и разбираюсь, тестирую разные варианты смотрю что получается. Сегодня с вами потыкал разницы лама или анслофа не было по сути при одинаковых параметрах.
Аноним 03/11/26 Втр 20:32:38 #507 №1745522 
>>1745472
У тебя в анслоте во-первых особый форк лламы это конечно ок но если ты ищешь именно макс скорость то недавно в лламе ее подняли (moe-cache-mib сильно помогает если у тебя квант больше чем видеопамять + что-то еще само по себе дало прирост у меня лично просто от смены версии жоры), а в анслотовском форке пока нет.
Во-вторых в анслоте куча параметров передаются которые ты мог бы оставить дефолтными.

если возьмешь лламу то там можно начать с минимума:
llama-server -m model.gguf

потом добавлять уже по очереди -np 1 -lm none --ctx-size 30000(или сколько ты там хочешь) -ctxcp 1 --cache-ram 256 -ctk q8_0 -ctv q8_0
потом добавить
--moe-cache-mib 2500
вместо 2500 подставлять разные числа пробовать сравнивать скорость

b/ub (батч сайзы) пока не трогать, с ними легко себя обмануть. можно выставить так, что поначалу будет супер быстро а дальше пойдут тормоза. тестировать надо на диалогах разных размеров.
Аноним 03/11/26 Втр 20:37:02 #508 №1745524 
image.png
>>1745522
Да блядь, я же затестил, ну... b11985-mix-c116c32 в анслофе и llama-b12069-bin-win-vulkan-x64 скаав готовую с гитхаба. Или типо надо самому варить?
Крч сложно пиздец и я заебался уже, всем спасибо за советы, я записал и попробую еще потестить и отдельно надо нормально записывать статистику и параметры и смотреть тренды, может быть кито-дамочке ее потыкать тоже скормить результаты и пусть придумает что не так.
Аноним 03/11/26 Втр 20:52:11 #509 №1745527 
>>1745524
не надо самому варить ничего, с гитхаба жоры норм
и попробуй кванты помельче. iq4_xs, iq3_m даже
Аноним 03/11/26 Втр 20:56:32 #510 №1745532 
>>1745524
Вулкан подходит как smoke test, но по перфу он всегда хуже чем рокм/куда
Аноним 03/11/26 Втр 21:11:59 #511 №1745535 
image.png
>>1745532
>>1745527
Ну, тогда получается что разницы нет фактически, по крайней мере с параметрами что тестил.
С рокм попробую отдельно как оптимизирую вулкан, но в предыдущей версии 2 краша ловил.
Квант этот чуть меньше и буду пробовать юзать, главное чтобы по качеству не обосрался он.
Аноним 03/11/26 Втр 21:16:07 #512 №1745536 
>>1745535
> в предыдущей версии 2 краша ловил
Если ты под виндой, то rocm +- стабильным стал с 10.0+. Под линью уже с 6.3+ было ок
Аноним 03/11/26 Втр 21:44:42 #513 №1745552 
изображение.png
>>1745112
Nani?!
Аноним 03/11/26 Втр 22:17:52 #514 №1745569 
>>1745496
Это они нарочно, чтобы годноту не палить.
>>1745496
>потому что я не выдержу объяснять очередному дураку в ИРЛ, посмотревшему такое говно, что локалки не бесполезные, и не медленные
И чтобы у тебя отбить желание палить годноту.
Я хз насколько они в этом правы, но сам факт...
Аноним 03/11/26 Втр 22:19:33 #515 №1745570 
>>1745522
Что есть жора? Немного выпал из треда и теперь не понимаю о чем речь.
Аноним 03/11/26 Втр 22:22:06 #516 №1745572 
>>1745532
>но по перфу он всегда хуже чем рокм

рокм на старых амд видяхах работает через одно место
Аноним 03/11/26 Втр 22:23:32 #517 №1745573 
Почему в треде у всех все хуже чем у меня? Я ведь даже не гений а простой подпивас.
Аноним 03/11/26 Втр 22:26:42 #518 №1745577 
>>1745570
Пацаны, ну скажите что такое жора. У меня тут взрывы за окном в Краснодаре, боюсь не успеть узнать.
Аноним 03/11/26 Втр 22:35:41 #519 №1745581 
>>1745577
у тебя есть LLM
спроси у них
Аноним 03/11/26 Втр 22:39:08 #520 №1745583 
1647772499863.png
>>1745572
На сколько старых? Пока максимум что было они EOL архитектуры выключают в релизных сборках, если включить или использовать nightly билды, то работает всё вплоть до p2p в rccl
Аноним 03/11/26 Втр 22:40:33 #521 №1745584 
>>1745577
Ctrl+F
>>1745065
Аноним 03/11/26 Втр 22:47:05 #522 №1745589 
>>1745577
У царя батюшки спроси
Аноним 03/11/26 Втр 22:49:11 #523 №1745590 
>>1745570
>>1745577
Говнофорс одного шиза, забудь. Оно не жора называется.
Аноним 03/11/26 Втр 22:52:05 #524 №1745592 
>>1745247
Что там за баг?
>>1745590
Издавна и массово называют, не пизди
ПЕРЕКАТ Аноним OP 03/11/26 Втр 22:58:36 #525 №1745599 
ПЕРЕКАТ трясущимися руками, пока не угнали

>>1745597 (OP)

ПЕРЕКАТ

>>1745597 (OP)

ПЕРЕКАТ

>>1745597 (OP)
Аноним 03/11/26 Втр 23:45:14 #526 №1745623 
>>1745573
Да скажи ты уже что там у тебя.
Аноним 04/11/26 Срд 13:28:59 #527 №1745961 
L5V9w78oTi.png
rYqU2Vi3n1.png
>>1745015
FFFFFFFUUUUUUUUUUUUUUUUUU
Аноним 04/11/26 Срд 19:10:35 #528 №1746240 
Диспетчер показывает что при генерации cuda потребляется всего на 25-29%. Это нормально или какой-то параметр не так настроен?
У меня 8гб всегда рама юзается. Сама видеопамять на 90% в работе учавствует.
Аноним 05/11/26 Чтв 09:45:04 #529 №1746710 
Риговики, налетайте!

https://www.reddit.com/r/LocalLLaMA/comments/1xobtwx/baiduernie55flashbase_hugging_face/
https://huggingface.co/baidu/ERNIE-5.5-Flash-Base
comments powered by Disqus