Добавлена поддержка ЭЧ/Ech (ex-Escapechan) и Ежчана (ejchan.net, ejchan.site). Набегаем, тестируем архивацию, сообщаем о замеченных проблемах.
К сожалению, значительная часть сохранённых до 2024 г. изображений и видео была потеряна (подробности случившегося). Мы призываем всех неравнодушных помочь нам с восстановлением утраченного контента!

Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №285 /llama/

 Аноним 03/11/26 Втр 22:58:05 #1 №1745597 
Llama 1.png
Карта деградации при квантовании по доменам.png
Реальная длина контекста у моделей 6.png
17934621848960128638.jpg
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!

Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.

Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Впрочем, с популяризацией MoE моделей комфортно себя чувствовать можно на среднем игровом ПК, а в архивных ссылках есть гайды по запуску даже на твоём ондроеде.

Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive

Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• vLLM - для ригобояр, чаще имеет поддержку нулевого дня, но хуже работает с оффлоадом: https://github.com/vllm-project/vllm
• Unsloth Studio - не только запуск с llama.cpp внутри, но и тренировка: https://unsloth.ai/download
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Strata - быстрый движок для Qwen3.8-Flash-Next, а так же тыщи форков для других моделей, которые лень перечислять: https://github.com/niko1221/strata

Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI

Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth

Рейтинги и списки локальных моделей:
• (не очень) актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard

Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/

Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start

Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985

Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.

Предыдущие треды тонут здесь:
>>1742925 (OP)
>>1740274 (OP)
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №285 llama  Аноним 03/11/26 Втр 23:37:20 #2 №1745616 
17935145380720578634.png
Kum1.5-13.5B-Q6_K - https://mega.nz/file/apRBxR6C#z_yFNSWRSJ5SVp5GZu53aG0NOGbVn11fXY6dpTxk6r8
Аноним 03/11/26 Втр 23:47:35 #3 №1745625 
>>1745616
Не Качайте там вирусы!!
Аноним 03/11/26 Втр 23:49:22 #4 №1745627 
>>1745625
брат? это ты брат?! не молчи
Аноним 03/11/26 Втр 23:50:09 #5 №1745628 
>>1745616
Загрузи на обниморду, там акки бесплатные.
>>1745627
Мы его теряем!
Аноним 03/11/26 Втр 23:53:16 #6 №1745630 
image.png
>>1745573 →
Да скажи ты уже что там у тебя, троллина задолбал.
Аноним 04/11/26 Срд 00:31:15 #7 №1745665 
Сейчас докачиваю huggingface.co/Naphula/Goetia-26B-A4B-v1.7 и не дай боже эта херабора залупнется мне что не может прописать теребление хвостиками. Пидора который кричал что анцензор модели не нужны, выебут в жопу.
Аноним 04/11/26 Срд 00:36:37 #8 №1745668 
Так ну в паре чатов где достаточно жесткое оно написало. Удивлен, думал уйдет в отказ. Потыкаю дальше.
Аноним 04/11/26 Срд 00:41:10 #9 №1745670 
060ac44d-c7ae-4e9e-b901-e5617adb12fa.jfif
>>1745665
Там есть анцензор но он за счет того что модель это тот самый кусок мозга крысы + кусок мозга хомяка + кусок мозга тушкана. Часть моделей уже расцензурена была, их веса закономерно не возбухают
Аноним 04/11/26 Срд 00:46:26 #10 №1745674 
>>1745670
да шлюхогемма и так зацензурена ну так оооочень слегка
Аноним 04/11/26 Срд 00:54:14 #11 №1745676 
GeminiGeneratedImagehy9oqhy9oqhy9oqh.jpg
>>1745674
Рефьюзалы это не обязательно хард вроде: "Извини, я не могу сделать это", это может быть слом логики когда модель стреляет себе в ногу на этапе размышлений потому что запретная тема создает дыру.
Аноним 04/11/26 Срд 01:04:05 #12 №1745683 
изображение.png
Блять, когда это станет юзабельно для вайбоговна как корпомодели с первого промпта? Есть ли смысл надеяться на Qwen 4.0 27b?
Или прыгнуть на q6 квант но с меньшим контекстом? KV cache если что не квантую, bf16

Знаю что это не агенто-тред, но все же..
Аноним 04/11/26 Срд 01:04:33 #13 №1745684 
>>1745676
в ризонинге всегда можешь почитать
>на этапе размышлений потому что запретная тема создает дыру.
от этого и анцензор не застахован, а еще мое модели легко сломать при тюне из-за сраного роутера и не сразу понять
Аноним 04/11/26 Срд 01:07:04 #14 №1745687 
>>1745683
юзал квен 3.8 27б NVFP4 не такое агрессивное квантование и денс модель
Аноним 04/11/26 Срд 01:08:34 #15 №1745688 
image.png
>>1745683
>Знаю что это не агенто-тред, но все же..
Держи, ты потерял.
Аноним 04/11/26 Срд 01:13:01 #16 №1745692 
GeminiGeneratedImagea98sv5a98sv5a98s.jpg
>>1745684
Перебирать экспертов по одному. Терпение - добродетель
Аноним 04/11/26 Срд 01:46:27 #17 №1745706 
>>1745683
> когда это станет юзабельно
> Kobold
> .net
У тебя же тут созвездие успеха, комбо-вомбо, ультимейт бинго, беда не приходит одна.
Инфиренс х харнесс х скиллишью = вы находитесь здесь
Аноним 04/11/26 Срд 01:50:58 #18 №1745709 
Я ньюфаг в треде , почитал последние треды удивился сколько годноты сделали за пару лет как на двач не заходил. У меня квен 3.8 некст q3s 177В аблитерованный ,через базальт(форк страты) + opencode чтоб лабы для уника делать. Так вот что можно крутого запустить для ерп, кое как смог подключить квенчик к второй таверне из шапки , понравилось. Но скорее всего много где насрал. По ресам 16vram(5080) 64ram ddr4
Аноним 04/11/26 Срд 01:56:53 #19 №1745711 
Почему вы пользуетесь Таверной вместо того, чтобы подключать нейронки к платформам, где их можно использовать для игры? Kinky Dungeon например имеет мод на нейросети, где можно общаца с нпс. Скайрим имеет мод на нейронки. Игра как Vaudeville работает на нейронке.

Почему такое никто не ищет, неужели вас устраивает чатик без гойплея и интерактива?
Аноним 04/11/26 Срд 05:24:11 #20 №1745753 
>>1745709
Это опять я.
Так я протестил гемму26б через кобольта, в целом прикольно. Сначала думал кал-калыч из-за того что отвечал односложно и на карточке загнал себя в хуйню, но одним мета комментарием перенес себя в немного другой вектор истории. В целом похоже решает не моделька а умение в ерп , есть что-то платиновое на почитать в шапке не нашел.
Насчет кобольта толи нет реазонинга и ответы быстрее или я чет неправильно настроил. И ещё вопрос как карточки выбирать с предгенеренными картинками , то у обеих тег contain_image но у 1 появляются фоточки а у другой нет.
Аноним 04/11/26 Срд 05:54:52 #21 №1745756 
Ну вот https://www.reddit.com/r/SillyTavernAI/comments/1xmu0cj/glm_53_dialogue/
Челы тоже замечают, что 5.3 пережарен.
Аноним 04/11/26 Срд 06:07:00 #22 №1745758 
>>1745628
>Загрузи на обниморду, там акки бесплатные.
Возьми и загрузи бля. Я ебал. Они уёбки.
Аноним 04/11/26 Срд 06:10:51 #23 №1745759 
>>1745683
русик, си шарп, кобольд = говноедство в кубе. хуево быть тобой

качай cybertiel 35b-a3b или ornith-1.5-122b если память позволит

квен 27б - оверрейтед хуйня

ну и естественно никакой даун уже давно не кодит в чате обмениваясь полными текстами исходников, включай в жоре агентский режим и тулзы
Аноним 04/11/26 Срд 07:32:15 #24 №1745770 
Штош, запустил я в Страте DeepSeek-V4.1-Flash-1017-GSQ-RCO в iq2_xss на конфиге 128 DDR4, 4060ti-16, 3060-12, v100-16.
На совсем пустом контексте 10,9 tg, на 64к контекста 224 pp 7,9 tg.
Знаний дофига, в отличии от Квена 3.8 Next Flash в UD_Q4_k_xl и omith1.5-122b в Q6_k_m вспомнила гораздо больше персонажей Sidonia no Kishi (Квен вспомнил только ГГ, Омитх вспомнил ещё одного персонажа), при тесте на контексте ролеплея корректно применила взятые из контекста подробности, в фактах не ошиблась.
Естественно есть и минусы - чуда не случилось, в хуйдожественный текст Дипсик не смогла. Но возможно это проблемы промпта уже. Надо придумать как это наиболее безболезненно проверить - время ответа меня в целом устраивает, полчаса на 12к токенов, но в рамках текстов это боль.
Надо причёсывать той же Геммой, но тогда надо как-то в Страте выгружать модель и сохранять контекст на SSD с возможностью подгрузки обратно, ибо иначе 5 минут на pp будет уходить.

Но в целом скорости моё почтение, конечно. Кто бы мог подумать, что можно будет запускать настолько большие MOE с такой скоростью дома?

Вот бы геммочка 5 125а12 с энграммами была.
Аноним 04/11/26 Срд 07:43:42 #25 №1745772 
>>1745770
Да. Кто бы мог подумать что лучшую модель для ролеплея - глм 4.7 - обделят все эти говностраты. А значит ненужны.
Аноним 04/11/26 Срд 07:53:33 #26 №1745773 
>>1745772
Теперь все МОЕ в диапазоне 100-300B без энграммов обречены сосать у моделей с энграммами просто за счёт большего объёма знаний у последних нахаляву.
Другое дело, что у корпов не стоит задача впихнуться в 128 оперативки, поэтому можно сейчас легко пролететь и с новым квеном, и с геммой, если в приемлемом кванте сама модель будет весить хотя бы 150гб (без учёта энграммов).
Аноним 04/11/26 Срд 08:12:13 #27 №1745776 
image.png
Потестировал новую настроечку жоры. Дало ускорение примерно в полтора раза но пришлось точно подбирать значение под каждую модель.

Также парочка тестов с другими моделями:

Cyberl-Tiel-Coder-35B-A3B-UD-Q4_K_XL.gguf
Off - 44 t/s
7000 - 70 t/s

GLM-4.5-Air-UD-IQ2_XXS.gguf
Off - 10 t/s
2000 - 9 t/s
4000 - 14 t/s
5000 - 14 t/s
7000 - 13 t/s
8000 - 11 t/s

PowerLimit 168W стоит, не ебу влияет ли.
Аноним 04/11/26 Срд 08:14:23 #28 №1745777 
>>1745770
>в хуйдожественный текст Дипсик не смогла. Но возможно это проблемы промпта уже
Это проблема лоботомита, в нормальных квантах Дипсик уже может, и в художку, и нормальный русик.
Аноним 04/11/26 Срд 08:17:07 #29 №1745779 
Прикольно, на Полистрате запускаются любые но это не точно файнтюны Геммы-4-26б в Q8 кванте со скоростью 120т/с
Аноним 04/11/26 Срд 08:25:26 #30 №1745784 
>>1745777
>в нормальных квантах
Дык я ж не спорю, что хорошо бы не 128гб иметь в двухканале под ужатый iq2, а 256 в восьмиканале под q4, но за отсутствием горничной приходится ебать дворника.
Плюс, думаю, здесь нормальный промпт вполне исправит дело - в тестовом прогоне промпт был был действительно хуеват и рассчитан на корпов.
Аноним 04/11/26 Срд 08:33:13 #31 №1745787 
image.png
64гб ддр4 90к. Ддр4.
А ведь совсем недавно можно было купить видюху с 64 врам за 90к. 64 врам.
Грусть пиздецовая. Никогда нам не дадут развлечься нормально, на нормальной скорости, кванте, модели.
Аноним 04/11/26 Срд 08:35:37 #32 №1745789 
>>1745787
> 64гб ддр4 90к. Ддр4.
+ ECC REG
22k
Аноним 04/11/26 Срд 08:36:13 #33 №1745791 
Если моделька не может сочинить реально смешной и оригиналный анекдот хотя бы с двадцатой попытки - удаляйте её нахуй с диска.
Аноним 04/11/26 Срд 08:52:38 #34 №1745796 
>>1745789
Это буквально нужно другой пк собирать, у которого ещё и мать может отвалиться, проц. 24-48 врам сверху где то искать, не перевтыкать же свою карту каждый раз, а 3090 щас явно не вариант.
Аноним 04/11/26 Срд 09:00:01 #35 №1745798 
>>1745796
Тогда
1. Терпеть (любо дело!) и продолжать вбрасывать
2. Поставить другую сортировку и даже в днсе взять за 55к, а не 90
Аноним 04/11/26 Срд 09:18:54 #36 №1745805 
>>1745773
И что ты высрал?
У глм флеша нет нигерграмов, а страта есть. Значит и у 4.7 может быть, но никому не интересно почему то
sage[mailto:sage] Аноним 04/11/26 Срд 09:30:05 #37 №1745811 
>>1745706
+ говноквант от анслопов
Аноним 04/11/26 Срд 10:00:29 #38 №1745822 
>>1745670
>мозга крысы + кусок мозга хомяка + кусок мозга тушкана
Проиграл.
Аноним 04/11/26 Срд 10:08:52 #39 №1745825 
image.png
Хмм, есть тут у кого 128 4 канальной дуры4?
Проверим скорость vs 2 канал?
Аноним 04/11/26 Срд 10:37:11 #40 №1745832 
Вот бы ща
Глм флеш 700б
Квен флеш 500б
Давайте ебите прям в очко я готов
Аноним 04/11/26 Срд 10:45:00 #41 №1745833 
>>1745683
У меня в жоре с deepseek harness этот квен даже в меньшем кванте нормально работает. Если возникают ошибки компиляции он сам переделывает и пробует снова, в конце концов выдает готовое решение.
Аноним 04/11/26 Срд 11:08:20 #42 №1745840 
Дилемма бля. Работал на Квене 27В в восьмом кванте и имел 25тс где-то. Отличная модель, всё устраивало. Тут все заговорили о Страте - ну попробовал, влез только IQ_3S и даёт он на этой Страте аккурат на 100тс больше, то есть 125. Тупее (не факт, что только из-за кванта - чувствуется, что модель в принципе другая), для программирования похуже и не такой внимательный к деталям (это очень заметно). Но 125тс бля. Тупо в 5 раз быстрее.
Аноним 04/11/26 Срд 11:32:10 #43 №1745853 
>>1745840
нахуя тебе этот 27б когда есть флеш-некст как минимум
Аноним 04/11/26 Срд 11:46:01 #44 №1745867 
>>1744877 →
>квеногемма. Такой-то вин!
Да почему это такой-то вин? Можешь объяснить понятно а не как в карточке если шаришь?
>>1745805
Ты не думал что страта в принципе не может/хочет в не-флеш модели?
>>1745776
>122B
У тебя 256 рамы или грузил остальное с ссд в ммапе? Она же с ссд будет процессить полдня, нет?
>PowerLimit 168W стоит, не ебу влияет ли.
Просто глянь монитором (btop, hwmon, afterburner) сколько он реально жрет, если меньше то пофиг (НЯП на невлезайках часто на пересылку данных тратится больше времени чем на обсчет и ярдо не греется, на мелком плотнячке грелось бы).
Аноним 04/11/26 Срд 11:47:52 #45 №1745868 
Снимок экрана от 2026-11-04 11-45-51.png
Это какие-то предупреждения -W ? У всех так?
Аноним 04/11/26 Срд 12:04:43 #46 №1745885 
>>1745711
Чатик текстом на самом деле безграничен тем и хорош наверно. Я лично еще привык к текстовым играм и что вся кум годнота по ним фактически только в текстовых играх и присутствует.
Записал упомянутые игры посмотрю чего там ради интереса, со скайримом фундаментальная проблема - это поносный высер в техническом плане, ты в нем 99% времени ебешься со сборкой и поискам что поломалось. У меня окончательно сгорело, когда потратив на последнюю сборку примерно часов 250 до состояния "ну вроде работает", со всеми планами-фичами техническими, и отбегав еще ~100 часов в сейве, перед накатыванием всякого графонистого, у меня в один день по нвнятной причине сборка начала ебланить и потом оказалось, что сейв закорраптился скрытно где-то 40 часов назад в нем.
>>1745753
>похоже решает не моделька а умение в ерп
Я тоже к этому мнению склоняюсь, но это при прочих равных. Если модельку искусственно затупить, вроде kv кешем, она будет дебильничать.
>>1745787
Когда-нибудь (пусть даже лет через 20) позволить себе сможем. Пережили майнинг уебков, переживем и альтманов-педиков.
Аноним 04/11/26 Срд 12:11:56 #47 №1745894 
>>1745825
Для 4-анала нужно серверный проц. Кривое будет сравнение.
Аноним 04/11/26 Срд 12:29:46 #48 №1745909 
>>1745853
огромные модели ты запускаешь в ебейшем кванте, от чего они теряют сложную логику и точность в кодинге, а из-за избыточности в плане разговора по ним не заметно да
Аноним 04/11/26 Срд 12:31:09 #49 №1745911 
>>1745885
Щас с нейронками моды на скайрим собрать проще чем когда либо, это раньше читал нудные гайды на 1000 страниц фулл фокус как и в каком порядке ставить
Аноним 04/11/26 Срд 12:40:20 #50 №1745927 
>>1745711
Чтобы нормально вписать модель в игру - нужно учить ее не только говорить, но и ходить, смотреть на карту, знать игровые механики и т.д. А не просто прокинуть карточку непися, что и в текстовом чате легко делается.
Аноним 04/11/26 Срд 12:44:42 #51 №1745930 
>>1745770
> Знаний дофига
И это блин в
> iq2_xss
из mxfp4. Какая воля к жизни у модели.
> Вот бы геммочка 5 225а12 с энграммами была
Вот так будет получше
>>1745805
> но никому не интересно
This. Попроси ллмку добавить если так нужно, это простая задача.
>>1745840
Настрой спекулятор на 27б, получишь 50 и будет вполне хороший компромисс.
>>1745825
Держи тесты из 2020, были 4 плашки говнорам с 2400 частотой без xmp из совсем бородатых годов, с нормальными было бы повеселее.
Аноним 04/11/26 Срд 12:45:09 #52 №1745931 
1741321189897.jpg
>>1745930
> Держи тесты
пик
Аноним 04/11/26 Срд 12:51:40 #53 №1745933 
>>1745867
>>122B
>У тебя 256 рамы или грузил остальное с ссд в ммапе? Она же с ссд будет процессить полдня, нет?
Я ж там написал что 3-й квант. 50 Гб весит всего лишь. Для подгрузки с ссд не годится. Квен-флеш некст - да, подгружает но там ссд по минимуму используется. И токены в секунду кстати выше чем у орнита этого (опять же на жоре с новой настройкой).
Аноним 04/11/26 Срд 13:10:11 #54 №1745947 
>>1745933
Сорян, я не очень умный. А она не слишком тупеет в 3 кванте? Алсо не смог настроить жору так чтобы юзал и рам и ссд на огромных моделях. С ммапом грузит только экспертов в врам а рам держит совсем пустой (и процессинг по капле в час), без ммапа пытается залить все что не влезло в рам и падает в ООМ, лейзи мод как будто пофиг ему.
Аноним 04/11/26 Срд 13:21:10 #55 №1745954 
>>1745911
Попроще наверно, но не отменяет фундаментальной проблемы и уебищности базовой игры, где все на соплях. Часто еще что автор мода сам мудак ебанный и не может ни мод сварить нормально ни документацию к нему написать ни как-то саппорт дать. Без доступа к йоба нейронкам, которые сами могут скурим разложить с модом самостоятельно и понять как работает, в таком случае делать нехуй.
Аноним 04/11/26 Срд 13:44:58 #56 №1745975 
В прошлом треде аноны кидали такую модель, как годную.
https://huggingface.co/Nimbz/Versipellis-31B-GGUF?not-for-all-audiences=true
А как ее запустить если она на врам не налезает? я думал в страту ее засунуть, но оказалось нельзя. Есть инструменты или это скип для меня?
Аноним 04/11/26 Срд 13:48:44 #57 №1745979 
>>1745975
>это скип для меня?
Da.
Аноним 04/11/26 Срд 13:56:35 #58 №1745985 
>>1745975
это базовая гемма 31 денс, ток выгружать в раму куском но скорость будет 7-10 токенов.
хотя денс не так сильно лоботомируется от квантирования, можно взять кванты пониже и попробовать максимально поджать выгрузку
Аноним 04/11/26 Срд 13:57:16 #59 №1745987 
b23d78ffaa7d6d039aac6d44fd7aa5d8.jpg
Аноним 04/11/26 Срд 13:58:20 #60 №1745990 
https://github.com/StargazerX0/SpecPilot

Говорят оптимизирует спекулятивное исполнение.
Аноним 04/11/26 Срд 14:11:23 #61 №1745998 
Кто потратил кучу долларов на это - а зачем вам это всё?
Тут же ебнутый деминишинг, особенно с выходом геммы. Будто после 100б каждые следующие 100б это 5% к тому что уже есть по качеству
Аноним 04/11/26 Срд 14:16:03 #62 №1746001 
>>1745985
спасибо за совет, попробую самый нищий квант. я ее тестонул с этой улиточной скоростью, он точно по лучше гемма файфу которую я до этого пробовал, но скорость тут раз в 10 ниже или более
Аноним 04/11/26 Срд 14:29:43 #63 №1746011 
>>1745998
хочется жирные кванты
хочется скорость чтобы кодить
даже 100Б упихнуть это недешево (если не стратоквен)
так что о 200Б еще рано говорить (кроме особо суровых анонов)
Аноним 04/11/26 Срд 14:40:44 #64 №1746017 
>>1745770
Попробуй опуститься до DeepSeek-V4.0-Flash - модель чуть поменьше, в третьем кванте в 128 100% влезет и будет не такой деревянной как DeepSeek-V4.1-Flash-1017-GSQ-RCO iq2_xss . Но чуть более глупой- от рождения.
Аноним 04/11/26 Срд 14:44:28 #65 №1746019 
>>1746017
Если бы они её не закуколдили соей, а так смысла в дипсике нет совсем для рп.
Аноним 04/11/26 Срд 14:57:02 #66 №1746029 
>>1746017
Но есть же первый квант 4.1. Он совсем тупой? В квантованном 4.0 даже вижна нет.
Аноним 04/11/26 Срд 15:23:40 #67 №1746047 
>>1745868
Могу ошибаться но это у тебя просто MTP слои не работают потому что ты не включил MTP в параметрах запуска.

--spec-type draft-mtp --spec-draft-n-max 2

Это должно включить MTP и убрать ошибки.
Аноним 04/11/26 Срд 15:27:23 #68 №1746053 
>>1745930
>Настрой спекулятор на 27б, получишь 50 и будет вполне хороший компромисс.
А хороший совет, взял модель чуть поменьше (UD_Q8K_XL вместо Q8_KL) и на двух картах с параллелизмом получил свои 50тс. Флеш Некст впрочем оставлю - задачи разные бывают.
Аноним 04/11/26 Срд 15:30:17 #69 №1746058 
Знаю что тут знающие люди сидят, черканите что ли когда пузырик всё и риг зарядить на лохито
Аноним 04/11/26 Срд 15:37:28 #70 №1746064 
>>1746058
годик не дергайся еще
Аноним 04/11/26 Срд 15:37:36 #71 №1746065 
image.png
image.png
>>1746058
Конечно сидят, держи:
Аноним 04/11/26 Срд 15:43:05 #72 №1746074 
>>1746029
Есть отдельная модель 4.0 с вижном, самая последняя
Аноним 04/11/26 Срд 16:14:58 #73 №1746109 
Думаете, отсюда можно просто сбежать, продав риг?
И куда вы пойдёте, чем займётесь, мм?
Вы вкусили самого дешёвого и мощного дофамина в своей жизни, вам открылся целый манямирок, в котором вы творили что угодно, и размер этого мирка ограничен только вами и вложениями, это можно скейлить деньгами.
И вы просто уйдёте? И чем будете коупить отсутствие этого дофамина и дыры куда вкидывать деньги?
Вся игровая графика закрывается одной 4090, даже не ригом, дальше скейлить некуда.
На аниме/фильмы/мангу вы вообще повлиять не можете и будете давиться сотню раз пережёванным калом и паттернами.
Про айтишку и карьеру писать смысла нет в этом треде.
Нет отсюда выхода
Аноним 04/11/26 Срд 16:48:09 #74 №1746132 
>>1746109
чепуха. Именно тот факт что по сути с карточками можно делать что угодно делает нейрослоповое рп недолговечным. Ну закадрил ты батальон лолек с их родителями подругами сестрами братьями бабушками дедушками двумя бульдогами и одним бурундуком, все они теперь ходят с пролапсами , и всё. ты понимаешь что дальше ты можешь только расширять географию , все они все равно следуют установленному тобой сценарию. Трудно быть богом, приедается.

в играх против тебя все еще живой человек, в книгах и фильмах тоже, их фантазия с которой ты вынужден смириться. В Нейрослопе ты сам против себя.
Аноним 04/11/26 Срд 16:51:51 #75 №1746133 
>>1746132
да будет еще этап картиночек красивых, может быть даже видео, некоторые гуи уже умеют и видосики генерить, но суть прежняя. Позови когда появятся модели которые серьезно смогут играть против тебя, начнут понимать, что интересно когда от {{user}} зависит не только лишь все
Аноним 04/11/26 Срд 16:51:57 #76 №1746134 
>>1746132
>все они теперь ходят с пролапсами
В чем шутка поясните
Аноним 04/11/26 Срд 16:54:27 #77 №1746138 
images.webp
>>1746134
шутка? какая еще шутка. Думаешь тут с тобой шуточки шутят?
Аноним 04/11/26 Срд 17:10:24 #78 №1746144 
>>1746132
>все они теперь ходят с пролапсами
Блять, проиграл. Жиза.
Аноним 04/11/26 Срд 17:16:35 #79 №1746147 
>>1746132
Пост — это развёрнутая шутка-жалоба на «нейрослоповое РП» (ролевые игры с ИИ по карточкам персонажей), построенная на контрасте с традиционными играми, книгами и фильмами. Разберём по частям.

Контекст. Речь о ролевых чатах с нейросетями по «карточкам» персонажей (character cards) — пользователь задаёт персонажей, сеттинг, и ИИ отыгрывает их. Автор утверждает, что такая форма принципиально недолговечна.

«С карточками можно делать что угодно». В отличие от игры или книги, где есть жёсткие рамки, в нейрослопе ты полностью контролируешь мир: можешь «закадрить» кого угодно и что угодно с ним сделать. Это и есть ловушка — абсолютная свобода.

«Закадрил батальон лолек с их родителями подругами сестрами братьями бабушками дедушками двумя бульдогами и одним бурундуком, все они теперь ходят с пролапсами». Гипербола: ты соблазнил целый «батальон» лолиток (лолек) вместе со всей их роднёй вплоть до домашних животных, и все они теперь «ходят с пролапсами» (пролапс — выпадение органа, здесь грубый намёк на последствия сексуальных сцен). Смысл: ты удовлетворил любую фантазию — и быстро упёрся в потолок.

«Дальше ты можешь только расширять географию». Когда все возможные сценарии уже опробованы, единственное, что остаётся — добавлять новых персонажей и локации. Но «все они всё равно следуют установленному тобой сценарию» — ИИ лишь отражает твои же желания, не привнося ничего своего. Отсюда «Трудно быть богом, приедается» — отсылка к повести Стругацких: быть всемогущим скучно, потому что нет сопротивления.

Панчлайн — сравнение. «В играх против тебя всё ещё живой человек, в книгах и фильмах тоже, их фантазия, с которой ты вынужден смириться». То есть в нормальных произведениях есть Другой — автор, соперник, чужой замысел, с которым ты взаимодействуешь и который тебя ограничивает. «В нейрослопе ты сам против себя» — ты играешь сам с собой, и «противник» — это твоя же фантазия. Отсюда ироничное название: не «ты против ИИ», а «ты против себя».

Итог шутки: абсолютная свобода нейрослопа оборачивается одиночеством и скукой — ты быстро исчерпываешь себя, потому что нет живого сопротивления чужой воли, а «богом» быть приедается. Юмор чёрный, с абсурдной гиперболой про батальон лолек и бурундука.
Аноним 04/11/26 Срд 17:21:18 #80 №1746152 
>>1746147
Пиздец, людям до 20 лет надо запретить пользоваться ИИшкой, а то так разучатся человеческую речь понимать.
Аноним 04/11/26 Срд 17:27:13 #81 №1746159 
>>1746058
>черканите что ли когда пузырик всё и риг зарядить на лохито

так пузырик уже все
в Китае точно лопнул, они скоро начнут скидывать память и карты и затопят все б/у барахлом
Аноним 04/11/26 Срд 17:29:49 #82 №1746162 
>>1746147
>> отсылка к повести Стругацких: быть всемогущим скучно, потому что нет сопротивления.

не плохо, но все равно обосралась. У стругацких в этом фразе совсем другой смысл, там трудность не в том, что "всемогущество приедается", а в том, что свобода воли тех кого ты пытаешься сделать лучше. все равно возвращает их в хлев. Нет пути
Аноним 04/11/26 Срд 17:30:12 #83 №1746164 
>>1745998
А что гемма меняет? Покумить и для простого эта шлюха с деменцией (с) позволит, а дальше все.
> после 100б каждые следующие 100б это 5% к тому что уже есть по качеству
Стоять в пробке что на гнилых жигулях, что на зикре можно с одинаковым успехом и скоростью. Так и здесь если ставишь примитивные задачи то получишь незначительный выигрыш. Но стоит усложнить - одна модель тупит, фейлит и ебет мозги без результата, а вторая сделает самостоятельно по красоте учитывая нюансы о которых ты даже не подумал в начале. В рп это будет выражаться в том, что одна тебя отлично понимает, помнит все и разворачивает сюжет куда пожелаешь, а вторая ездит кругами по своим рельсам постоянно ошибаясь.
Получается не +5% а успех против полной непригодности. Офк не размером единым, нужно и чтобы модель сама хорошая была.
>>1746058
Отложи денежку, мониторь новости и всякие околоандеграунд сообщества. Периодически проскакивают темы выгодно взять железо, но нужно шарить и оказаться в числе первых, потому что когда тема добирается до хайпа цены улетают на луну до обычных.
>>1746152
Там каждую весну рофлы про переходные экзамены в школе, где не могут картинку описать и разговор поддержать.
Аноним 04/11/26 Срд 18:28:10 #84 №1746199 
>>1745885
>ебешься со сборкой и поискам что поломалось. У меня окончательно сгорело, когда потратив на последнюю сборку примерно часов 250 до состояния "ну вроде работает", со всеми планами-фичами техническими, и отбегав еще ~100 часов в сейве, перед накатыванием всякого графонистог
Ну так а нахер вы делаете эти сборки? Беседкоигры и без сотни модов играбельны. Утверждения лбратного - псиоп.
Аноним 04/11/26 Срд 18:32:04 #85 №1746206 
>>1746109
Картинки, музыку и видео можно гонять и на 6 врам, гигариги для них не нужны.
Аноним 04/11/26 Срд 18:55:32 #86 №1746226 
>>1746199
>играбельны
сралфилд
Аноним 04/11/26 Срд 18:58:42 #87 №1746229 
Можно ли в ламе(это ведь у вас Жора?) использовать тензорный парралелизм на вулкане с двух GPU на rpc? 👉👈
Аноним 04/11/26 Срд 19:10:21 #88 №1746239 
Кими К3.1 Про выпустили. Риговички налетайте

https://www.reddit.com/r/LocalLLaMA/comments/1xnrhvb/kimik31pro_is_now_openweights/
https://huggingface.co/moonshotai/Kimi-K3.1-Pro
Аноним 04/11/26 Срд 19:11:01 #89 №1746243 
>>1746229
> на rpc
Было прям паршиво по перфу, layer работал с куда меньшими потерями. Тестировалось на физическом хосте где rpc было по лупбэку.

А так тензорпараллел у жоры вендор агностик. Можно даже в одном процессе смешать cuda и rocm, но перф опять будет на дне из-за кросс бэк фоллбэка олл редьюс
Аноним 04/11/26 Срд 19:12:46 #90 №1746246 
>>1746239
2.8 дайте бля!
sage[mailto:sage] Аноним 04/11/26 Срд 19:15:14 #91 №1746247 
>>1746226
>черрипикнутый пример неудачной игры
Аноним 04/11/26 Срд 19:25:56 #92 №1746260 
Диспетчер показывает что при генерации cuda потребляется всего на 25-29%. Это нормально или какой-то параметр не так настроен?
У меня 8гб всегда рама юзается. Сама видеопамять на 90% в работе учавствует.
Аноним 04/11/26 Срд 19:29:38 #93 №1746263 
>>1746260
> cuda потребляется
Показометр непонятно что измеряющий + при оффлоаде на цп видеокарта часть времени ждет пока отработает проц или подгрузятся веса.
Нормальным софтом смотри загрузку, любой для мониторинга где разделяется ядро, память, шина. И то там неполная загрузка будет нормой.
Аноним 04/11/26 Срд 19:31:00 #94 №1746265 
>>1746132
>в играх против тебя все еще живой человек, в книгах и фильмах тоже, их фантазия с которой ты вынужден смириться.
Все равно тоже самое и с нейронкой если ты выставишь себе такую установку. Она задает сеттинг, тон, пропиши ей доминантные черты всякие, возможность отказов и тот же человек получается.
Да, действительно можно в режим бога сыграть и принудить события по твоему сценарию, но ровно тоже самое можно и с другим человеком выполнить. На моем опыте ролеплеев это сделать на раз-два, особенности если то прямо ерп сеттинг и там реальная женщина. Они же по природе сабмисивные в подавляющем большинстве, чуть нажмешь и ровно как нейронка жопой крутят продавливаясь без малейшего сопротивления под тебя.
В этом плане нейронка с норм систем промптом на домимантного или хотя бы свича персонажа куда больше понравилась - огрызается, пытается хитрить и вить веревки, даже продавливаясь на своих условиях пытается это выполнить. Если удалось и в моменте прогнется потом будет сидеть хихикать в стиле "я тебе позволила и ты по моей дудке сыграл, кобель похотливый с 12iq" поставив тебя на место.
Очень реалистично и красиво получается. С ирл ерп только один человек за все года минимально подобное мог выдать, лучший партнер эвер, но спустя время все равно продавил под себя и стало неинтересно.
Аноним 04/11/26 Срд 19:43:13 #95 №1746278 
image
>>1746263
>Показометр непонятно что измеряющий
Процент загрузки наверно.
>при оффлоаде на цп видеокарта часть времени ждет пока отработает проц или подгрузятся веса.
Да, наверно из-за этого. Жалко.
Аноним 04/11/26 Срд 20:17:56 #96 №1746304 
>>1746278
> Процент загрузки
Что в твоем понимании процент загрузки? Гпу да и просто процессоры неоднородны, там нет универсальной единицы, которая бы могла бы выполнять любые действия и по которой можно было бы эффективно оценивать. Потому при 100% на самом деле чип может простаивать, просто держать частоты и ожидать появления команд, и наоборот при 15% уже быть на пределе возможностей. Все от методики замера зависит, достоверно сказать можно только для отдельной части типа аппаратного ускорителя кодировок видео.
Аноним 04/11/26 Срд 20:33:12 #97 №1746314 
>>1746265
>но ровно тоже самое можно и с другим человеком выполнить.
Смотря на каких вы ролях и кто он. Если играешь с овощем то чего удивляешься что он ведет себя как нейронка? Я если бы такого встретил, дропнул бы сразу.
Аноним 04/11/26 Срд 20:49:54 #98 №1746321 
>>1746243
Спасибо за фидбэк. Похоже я скачал с гитхаба последний поломанных пререлиз, в котором ничего не работало.
Аноним 04/11/26 Срд 20:56:39 #99 №1746324 
>>1746132
> живой человек
Щас бы в компетитив парашу играть, особенно в век нейронок, ЛОЛ.
И раньше всякие хуесосы с читами/боты 70% времени попадались, щас вообще забей
Аноним 04/11/26 Срд 21:07:20 #100 №1746330 
>>1746109
>Вся игровая графика закрывается одной 4090, даже не ригом, дальше скейлить некуда.
5090 уже отменили? И даже её не хватает в новых тайтлах, лол.
>>1746132
>в играх против тебя все еще живой человек
В смысле? Это как вообще? Не бывает же такого.
Мимо пират без аккаунта стим.
>>1746265
>женщина. Они же по природе сабмисивные в подавляющем большинстве
Чед, спок, ни разу под меня ни одна пизда старше 6-ти лет не прогибалась.
Аноним 04/11/26 Срд 21:08:59 #101 №1746333 
>>1745787
> 64гб ддр4 90к. Ддр4.
Примерно в 2021 я тарил с алиэкспресса 16@2666 за 1500 руб. Как же было охуенно, но у меня не было денег и я затарил только 64Gb за целых 6 тыщ! Ну и впоследствии там-сям налутал еще 64Gb примерно за столько же.
А сейчас... 90к, ебать...
Аноним 04/11/26 Срд 21:19:04 #102 №1746339 
>>1746314
Самое страшное че другой человек может сделать просто закрыть чатик с тобой. И то, с постоянными партнерами вы +- как-то друг друга знаете и принимаете и там нереально сложно сделать что-то критически неправильное. Буквально как с нейронкой может получаться - наваливаешь кринжа а им все больше нравится.
>>1746330
Это в формате ролеплея когда вы уже знакомы и друг с другом контакт наладили.
Аноним 04/11/26 Срд 21:21:57 #103 №1746341 
Какие скорости у двух карт по 12/16 на гемме?
Аноним 04/11/26 Срд 21:29:03 #104 №1746345 
>>1746341
Каких карт? Какой гемме? Да ебись оно всё конем главное что то высрать, да?
Аноним 04/11/26 Срд 21:36:14 #105 №1746353 
>>1746345
Я всё написал верно, роботище ты сраный.
> каких карт
Таких где есть 12/16 врам.
> какой гемме
Ну уж явно не мое мне нужна на двух видюхах.
Тест на интеллект провален у тебя
Аноним 04/11/26 Срд 21:37:35 #106 №1746355 
>>1745947
Хз может у тебя линупс какой-то. У меня все заебись с lm none и квен-флеш-некстом, жора 12023.
Аноним 04/11/26 Срд 21:44:42 #107 №1746360 
1793817779582.jpg
Я сейчас стены пиздить начну.
Это буквально вброс бабок в саморекламу, я не верю нахуй.
Самую соевую модель на рынке представляют вот так.
Буквально никто не выбирает дипсреньк для рп. Это прошлая слава прошлых моделей, тогда должна была быть рыба и этот чел в очках, не сейчас.
Аноним 04/11/26 Срд 21:46:09 #108 №1746363 
Напишите, чем вы лучше дипсико жены?
Аноним 04/11/26 Срд 21:49:24 #109 №1746366 
>>1746017
>Попробуй опуститься до DeepSeek-V4.0-Flash
Я так и планирую следующим этапом - тем более что полистрата его вроде как поддерживает, и можно попробовать квант от анона запустить.
Но это уже не сегодня.
Кстати, ВНЕЗАПНО Qwen 3.8 Next Flash в iq3_s, коий все хвалят, что-то нифига у меня не быстрее анслотовского q4 работает, хотя весит меньше. Странная хуйня. Где-то что-то у меня накосячено.
UD_Q4_K_XL выдаёт 35 т.с со скачками до 50, а IQ3_S всего 23 со скачками до 23.
Аноним 04/11/26 Срд 21:50:07 #110 №1746367 
>>1746353
какие карты, какие шины, какая квантовка модели, какой длины контекст
ты хоть что то говори
Аноним 04/11/26 Срд 21:53:51 #111 №1746371 
>>1746367
Нахуя мне в тред где сидит 3 анона ужимать реквест в какие то рамки?
Аноним 04/11/26 Срд 21:56:12 #112 №1746374 
>>1746109
>Вы вкусили самого дешёвого и мощного дофамина в своей жизни, вам открылся целый манямирок, в котором вы творили что угодно, и размер этого мирка ограничен только вами и вложениями, это можно скейлить деньгами.
>И вы просто уйдёте? И чем будете коупить отсутствие этого дофамина и дыры куда вкидывать деньги?
Хз о каком дофамине ты говоришь. Зачем какие-то иллюзии питать хз. Это просто инструмент, кирпичик. Уходить никуда не надо, надо направлять в нужное русло. Можно ДЕЛАТЬ ИГОРИ. ВН-ки например.
Аноним 04/11/26 Срд 21:57:22 #113 №1746376 
>>1746363
У меня есть 5090, и я не вниманиеблядь.
>>1746371
Чтобы получить помощь в ответ, а не ушат говна за шиворот.
Аноним 04/11/26 Срд 21:58:27 #114 №1746378 
>>1746366
у меня оче быстро работает флеш некст в версии свифт гсо рсокью хуйкью
Аноним 04/11/26 Срд 22:00:36 #115 №1746379 
>>1746360
> Самую соевую модель
Она не соевая, это модель-детектор. Лезет соя, да еще сильно = у тебя скиллишью.
> Буквально никто не выбирает дипсреньк для рп.
Лол
>>1746374
Да наброс жирнейший, юшек собирает
Аноним 04/11/26 Срд 22:01:52 #116 №1746380 
Бляяяяяяяяяяяяя ещё даже таймер не запустили на новый квен который 3 дня идёт
>>1746376
> не вниманиеблядь
> смотрите у меня 5090
Выбери что то одно
Аноним 04/11/26 Срд 22:04:07 #117 №1746382 
М-да...
Оказывается на моём ведре не работает flash attention GCN 5.1...
Аноним 04/11/26 Срд 22:06:12 #118 №1746385 
>>1746382
Это скорее всего не тот флеш аттн о котором ты думаешь. Никакой хардверной магии нет как в зелёном fa
Аноним 04/11/26 Срд 22:07:07 #119 №1746388 
>>1746379
> дипсик
> не соевый
Некст уровень кринжа. Ты даже хуже 235 квенодебила с его пресетом.
Аноним 04/11/26 Срд 22:09:06 #120 №1746391 
>>1746388
> Некст уровень кринжа.
С твоего поста
Аноним 04/11/26 Срд 22:17:48 #121 №1746405 
>>1746379
>Да наброс жирнейший, юшек собирает
>юшек
Что за новояз?
Аноним 04/11/26 Срд 22:18:28 #122 №1746407 
1793819806071.jpg
Ебать гои сука вот это копиум нах.
Аноним 04/11/26 Срд 22:20:08 #123 №1746409 
>>1746405
За америкосами слепо повторяет, не понимаю, что до нас это ещё не дошло.
Аноним 04/11/26 Срд 22:26:38 #124 №1746417 
m6soixxrymzh1.png
Новые кванты от альфача с огромной челюгой
Аноним 04/11/26 Срд 22:30:12 #125 №1746419 
>>1746417
Сравнения каких то говноквантов, даже обычный q4 боятся поставить на график
Аноним 04/11/26 Срд 22:59:52 #126 №1746444 
изображение.png
>>1746417
>первый квант лучше второго
Ахаха вот это коупинг
Аноним 04/11/26 Срд 23:02:51 #127 №1746449 
>>1746417
Охуеть. Наконец-то. Удаляю гск-рсо говнятину прямо сейчас.
Аноним 04/11/26 Срд 23:20:46 #128 №1746472 
image
>>1746417 фу блядь, фу нахуй!
нищета ебаная, вам не понять! насколько же qwen говно, пидор сука, соевый даже с аблитерацией, яхуею. чмо корпоративное, муху выебать не в состоянии даже по прямому explicit запросу. пизда.
Аноним 04/11/26 Срд 23:53:45 #129 №1746498 
>>1746260
Какой инференс движок, какая модель, какие настройки? Телепаты в отпуске
Аноним 04/11/26 Срд 23:56:13 #130 №1746506 
>>1746360
А при чём тут РП?
мой гермес тоже свой собственный код менял по моей просьбе(логику компакшена)
Аноним 04/11/26 Срд 23:57:42 #131 №1746509 
>>1746472
У жопоруких даунов всегда так. У пряморуких стоковый квен-флеш-некст полностью без тормозов, ноль сои.
Аноним 05/11/26 Чтв 00:20:31 #132 №1746529 
>>1746509 ёбанутый дрочер кумер даже не понимает в чём соя квена. Хр-тьфу на тебя, ничтожество.
Аноним 05/11/26 Чтв 00:57:43 #133 №1746552 
>>1746355
Но у меня линупс. Кто же нейронки на винде гоняет.
>>1746529
Так обесни, если такой умный. Третий тред уже одно и то же.
Аноним 05/11/26 Чтв 01:08:56 #134 №1746560 
>>1746552
>Кто же нейронки на винде гоняет.
тебе дали докер и wsl2
Аноним 05/11/26 Чтв 02:27:17 #135 №1746580 
После того как выяснилось что Писик 10.17 запускается в 24+128 в нормальном качестве - скажите, каков положняк по модели в РП и еРП? Это все тот же умный но соевый 0731, или там зацензурили и пережарили все в мясо? Или произошло чудо и РП там сияет и кум льется рекой?
Аноним 05/11/26 Чтв 02:32:47 #136 №1746584 
Авалон просто монстр, как он это делает?
>>1746304
>нет универсальной единицы
Я меряю в киловаттах. Если видеокарта греется - значит работает. Если греется на половину от лимита - значит работает вполсилы.
Аноним 05/11/26 Чтв 02:33:06 #137 №1746585 
>>1746580
>2bpw с пережатыми в хуй нигерграмами
>в нормальном качестве
Тебе дали 4.7 в реально нормальном качестве на таком железе, а ты нос воротишь.
Аноним 05/11/26 Чтв 02:38:00 #138 №1746587 
>>1746585
>с пережатыми в хуй нигерграмами
Как раз энграммы я могу хоть в fp16 оставить, они один хуй с ссд грузятся.

>Тебе дали 4.7 в реально нормальном качестве на таком железе
На 4.7 токены золотые, в 16 битах 30к контекста еле влезает + страты для глм 4.7 не придумали, идет распердыш на 9 т.с. А так да - модель золото. Но у меня современный РП имеет ворлдбуки по 50+к токенов уже и писек 0731 с 256к контекста выдает 25 т.с.
Аноним 05/11/26 Чтв 02:42:35 #139 №1746589 
>>1746587
Я в 5.8-6т его запускаю и ничего лучше не нашёл.
По контексту можешь посмотреть ikllama, у меня на том же кванте там влезло аж на 3 слоя больше в видяху т.е места под контекст там больше из за каких то оптимизаций
Аноним 05/11/26 Чтв 02:43:01 #140 №1746590 
>1384.45 tokens per second
разогнал мою моешечку в 6 кванте сколько же инфы в треде не палят
Аноним 05/11/26 Чтв 02:48:10 #141 №1746592 
>>1746580
hemmingway 1.5 самый норм
Аноним 05/11/26 Чтв 02:49:12 #142 №1746593 
>>1746590
Дай угадаю. Моделька сильно меньше чем нужно запускать на твоем железе, убитый квант + экспериментальные сборки сраты где скорость достигается лоботомированием модели в мясо?
Аноним 05/11/26 Чтв 02:52:07 #143 №1746595 
>>1746593
не угадала фулл рама, макс квант, лама, 120iq
Аноним 05/11/26 Чтв 02:53:16 #144 №1746597 
>>1746595
Модель и железо так и не назвал, ясн.
Аноним 05/11/26 Чтв 02:54:30 #145 №1746598 
>>1746580
Хз, в рп стал получше прошлого (который был оче на любителя) и вполне юзабелен. Кумить кумит, причем гораздо более находчиво и в ризонинге обдумывает действия и обстановку. Переход между рп и кумом гораздо более плавный, но все еще можно нащупать если там не кумбот. Но зато если обстановка располагает, здесь чар уже сам может предложить и проявить инициативу, в отличии от терпежки и полного пассива на сентябрьской версии.
С учетом этого, очень хорошо себя проявляет в некоторых видах рп, но пока не для всего.
>>1746584
Справедливо для префилла. Для декода - только при большом количестве конкуретных удастся загрузить чип на хороший тдп и упереться в компьют, а не скорость врама.
>>1746585
> 4.7 в реально нормальном качестве
> 24+128
Так это 2х с чем-то битный лоботомит будет буквально, ты о чем? Более менее бодрый квант там от 180 гигов потребует, с учетом контекста за 200.
Аноним 05/11/26 Чтв 02:55:12 #146 №1746600 
>>1746593
Не угадал
gemma4.expert_used_count=int:2
Аноним 05/11/26 Чтв 02:59:47 #147 №1746602 
>>1746598
>Так это 2х с чем-то битный лоботомит будет буквально, ты о чем?
3.0 bpw влезает.
Аноним 05/11/26 Чтв 03:03:53 #148 №1746604 
>>1746602
q2 лоботомит без контекста, как раз оно.
Аноним 05/11/26 Чтв 03:10:32 #149 №1746608 
>>1746600
Ты превратил и без того тупую 26B-A4В в 26В-А2.7В лоботомита и гордишься этим?
Аноним 05/11/26 Чтв 03:27:44 #150 №1746615 
>>1746552
>Кто же нейронки на винде гоняет.
Любой кто не хочет пердолиться, кто хочет чтоб все работало сразу без проблем, без ООМ и так далее. И я не преувеличиваю. По крайней мере с жорой это именно так и обстоит: винда - все забеись, линупс - с ООМ ебись. Можно обвинять жору, Аллаха, кого угодно.
Аноним 05/11/26 Чтв 03:28:43 #151 №1746616 
>>1746592
Шиз иди нахуй, ты заебал пиарить это говно. Ты бы еще Kum-1.5 посоветовал.
Аноним 05/11/26 Чтв 03:29:49 #152 №1746617 
>>1746616
Что не так с ними?
Аноним 05/11/26 Чтв 03:32:34 #153 №1746618 
>>1746608
В гемме вроде как 8 экспертов по умолчанию. Так что там еще хуже. И слюни пускать начинает уже на 3х кстати.

>>1746590
>сколько же инфы в треде не палят
Ага, возьми еще в IQ1 пережми потом в BF16 и контекст в F32 квантуй, а эксперта оставь одного но перед этим сделай REAP75. Никто такой темы не палил, а я вот палю тебе. А если бы ты читал внимательно треды, то знал бы что УПЛОТНЕНИЕ и РАЗУПЛОТНЕНИЕ геммы это как раз про смену количества экспертов и с этим уже наигрались, профита оказалось ноль.
Аноним 05/11/26 Чтв 03:33:20 #154 №1746619 
>>1746615
>линупс - с ООМ ебись

Линупс это впринципе "ебись". Со всем - драйверами, установкой программ, конпелляцией, конфигами - ну и с памятью конечно. Это настолько стандарт, что никто этого не упоминает - нормальные люди это знают и потому туда и не лезут, а линуксоиды терпят, чтобы из гей-тусовочки не выписали за критику. В этом они кстати похожи на маководов и часто выступают единым фронтом с ними, несмотря на то что маководы представляют ровно тот противоположный линупсу закрытый корпоративный подход, который линуксоиды в своей пропаганде предписывают винде.
Аноним 05/11/26 Чтв 03:42:15 #155 №1746622 
>>1746617
Хуйминьхуйвэй - рисованные дома бенчмарки, модель пишет с отвратительным нейрослопом, при этом автор ошалевший пидарас божится, что "неотличимо от хьюмана и даже хьюманнее самого хьюмана". Хочется харкнуть ему в ебало просто.

Кум-1.5 - васянское поделие тредовичка с рисованным бенчмарком. В той же категории короче говоря.
Аноним 05/11/26 Чтв 03:48:52 #156 №1746625 
А есть вообще в природе аблитка 4-й рыбы в Q2 чтобы влезала в 128 рамы?
>>1746622
Советуй хорошее. inb4 "кто? я?!"
Аноним 05/11/26 Чтв 03:52:26 #157 №1746626 
>>1746625
41 есть от орки на 128 + энграмы на 100. Под майей норм вариант. Юзаю на 256гб вариант + ориг энграмы из анслот чекпоинта
Аноним 05/11/26 Чтв 03:55:50 #158 №1746628 
image.png
Напоминаю базу треда по еРП.
Аноним 05/11/26 Чтв 04:02:10 #159 №1746629 
>>1746628
Чем дольше всматриваюсь в детали тем хуже становится
Аноним 05/11/26 Чтв 04:03:16 #160 №1746630 
1793840597215.jpg
1793840597234.jpg
1793840597248.jpg
1793840597257.jpg
Аноним 05/11/26 Чтв 04:04:50 #161 №1746631 
>>1746626
Все-таки 4.0 хотелось чтобы целиком, а не оставлять за бортом 100Г инграмов. 3й от анслота чуть-чуть не влез, хоть бери и сам жми...
Аноним 05/11/26 Чтв 04:07:31 #162 №1746632 
1793840852201.mp4
1793840852206.jpg
>>1746631
А ч такого? Не вижу какого-то замедления от чтения таблиц с ссд. Там трафика 5-6мб/с и по статистике 1.4мс на токен тратился при лукапах. Тпс 35-60, иногда пробивает кратковременно 70
Аноним 05/11/26 Чтв 04:08:18 #163 №1746633 
>>1746625
>>1746631

Есть от тредовичка. Ставишь модель
https://huggingface.co/BahamutRU/DeepSeek-V4-Flash-0731-MXFP4-Q3_K-Q2_K-mixed-GGUF
Сверху анцензоред лору
https://huggingface.co/BahamutRU/DeepSeek-V4-Flash-0731-heretic-abliterated-v2-GGUF-lora
Аноним 05/11/26 Чтв 04:12:16 #164 №1746634 
image.png
Рыбошиз проснулся посреди ночи. Вот база по рыбкам.
Аноним 05/11/26 Чтв 04:17:13 #165 №1746635 
1793841434137.jpg
>>1746634
1. Я тут не один
2. А я и не спал
Аноним 05/11/26 Чтв 04:37:35 #166 №1746637 
>>1746628
Ага, гемма3 обошла гемму4 и прочий бред. Уноси туда, откуда принес, дебил блядь.
Аноним 05/11/26 Чтв 04:50:38 #167 №1746642 
image.png
>>1746637
Где она обошла, поехавший? Ты в глаза долбишься?
https://huggingface.co/spaces/overhead520/Unhinged-ERP-Benchmark?not-for-all-audiences=true
Аноним 05/11/26 Чтв 04:53:13 #168 №1746643 
image.png
>>1746642
вот ты и долбишья. нахуй следуй, чепуха
Аноним 05/11/26 Чтв 04:55:35 #169 №1746644 
image.png
ПОДПИСКА НА АГЕНТА НЕ НУЖНА, У НАС ЕСТЬ АГЕНТ ДОМА
@
АГЕНТ ДОМА:
Аноним 05/11/26 Чтв 04:57:58 #170 №1746645 
image.png
>>1746643
Во-первых, это не гемма 3, а тьюн от легендарного драммера из тех времен когда он еще доставлял и не скатился в говно, во-вторых, там тьюны геммы 4 прямо над ним висят, ебанашка.
Аноним 05/11/26 Чтв 05:40:25 #171 №1746650 
>>1746644
Какой квант?
Аноним 05/11/26 Чтв 05:43:01 #172 №1746651 
>>1746626
>41 есть от орки на 128 + энграмы на 100. Под майей норм вариант. Юзаю на 256гб вариант + ориг энграмы из анслот чекпоинта
А можно ссылки обниморды на всё это - именно чтобы с нграммами и под Майю?
Аноним 05/11/26 Чтв 05:43:05 #173 №1746652 
>>1746644
>Попробуй страту квен флеш
>Уууу конечно щас блядь дауны ебанные думают что можно заменить подписку

>Тетя встрата хуеята, на тебе НАХУЙ ЖРИ СУККА IQ1_M REAP7 int4 кв кеш, нааааааа сука, жри десяток эксперементальных флагов с потерей качества. СОЖРИ НАХУЙ ИХ ВСЕХ
>Аряяя! Модель галлюционирует!!! Пойду подписку оформлю.

)))
Аноним 05/11/26 Чтв 05:50:33 #174 №1746653 
>>1746650
>>1746652
UD-Q6_K_XL, 16-битный кеш, экспериментальных флагов нет.
Вообще оно работает и даже может писать код и адекватно его дебажить, но галлюционирует мои сообщения и приказы и потом долго усирается, доказывая что "ты сам мне написал "остановись сука, сам доделаю", "Я на твоем скрине(которого не было) видел что все работает". Пиздец.
Аноним 05/11/26 Чтв 05:54:49 #175 №1746656 
>>1746653
После компактов? Какой харнес?
Аноним 05/11/26 Чтв 05:59:23 #176 №1746657 
>>1746656
>После компактов?
Нет, в разгар хода после какого-то тулкола может переклинить и сгаллюционировать что получил от меня сообщение.

>Какой харнес?
Самый последний Opencode v2.
Аноним 05/11/26 Чтв 07:07:51 #177 №1746678 
>>1746330
>5090 уже отменили? И даже её не хватает в новых тайтлах, лол.
Ну так для гойских гоев специально крутят в убер йоба пресете настроек какой то параметр съедающий 50% производительности и ничего не дающий, чтоб они бежали 5090 покупать.
Аноним 05/11/26 Чтв 09:05:45 #178 №1746701 
>>1746645
Вот ты и ебанашка если считаешь что это нормально их рядом в рейтинге иметь. Там еще много бреда в этом бенчмарке (лама3-8б обходит мистраль ЛАРДЖ, квена обходит, эира обходит лама3-8б ебучая), чем больше ты его оправдываешь тем большим дебилом себя выставляешь.
Аноним 05/11/26 Чтв 09:08:16 #179 №1746702 
001.jpg
000.jpg
попробовал с помощью qwen flash next напейсать 3d движок под uefi. а чо прикольно, вставил флешку и играй без ос лол. только со звуком там всё печально.
Аноним 05/11/26 Чтв 09:10:01 #180 №1746704 
>>1746702
Интересно квен флеш некст сможет в HolyC или нет. Было бы здорово третий храм допилить до йоба уровня.
Аноним 05/11/26 Чтв 09:33:32 #181 №1746708 
image.png
>>1746704
вроде знает. думаю под uefi проще говновайбкодить чем чужую работу допиливать.
Аноним 05/11/26 Чтв 09:52:41 #182 №1746712 
Йеу новая 280б флешка в bf16 ахуеть
https://huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16
Аноним 05/11/26 Чтв 10:20:09 #183 №1746726 
>>1746701
Обосрался, обтекай.
А потом на досуге посмотри что именно этот бенчмарк измеряет.
Аноним 05/11/26 Чтв 10:28:35 #184 №1746728 
image.png
>>1746712
Сравнение идет с моделями прошлого поколения, причем синяя рыба для сравнения взята аж базовой версией превьюхи. Я такой финт ушами видел у гигачата, но он вышел хотя бы когда эта превьюха рыбы была актуальной, но тут вообще пиздец - вышли уже и 3107, и vision exp, и 4.1, и 4.1 1710.
Аноним 05/11/26 Чтв 10:31:02 #185 №1746730 
>>1746726
Обосрался лично ты. Похуй что измеряет, это абсолютно бесполезный бенчмарк потому что там древняя лама 8б ебет дохуя чего, это просто бред. Уноси эту хуйню нахуй.
Аноним 05/11/26 Чтв 10:43:58 #186 №1746736 
>>1746047
>просто MTP слои не работают
Из-за этого чтоли она не работает в андроид студио?
Аноним 05/11/26 Чтв 10:51:25 #187 №1746739 
>>1746736
>Из-за этого чтоли она не работает в андроид студио?
нет
Аноним 05/11/26 Чтв 10:51:59 #188 №1746740 
>>1746657
"может переклинить и сгаллюционировать что получил от меня сообщение"
Есть такая херня у QFN. В каких-то обвязках слабее в каких-то сильнее. От движка инфиренса не зависит. Прозреваю косяк в обучении - накормили непочищенными логами от какого-то ебнутого харнесса, который авто-пинал модель инжектами пользовательских мессаг. И модель после вызова тулы на длинных контекстах галлюцинирует сообщение пользователя.
Аноним 05/11/26 Чтв 10:52:30 #189 №1746741 
image.png
Смотри какая хуйня появилась
https://github.com/gautam1858/banach
Аноним 05/11/26 Чтв 10:54:46 #190 №1746742 
>>1746730
Ты даже тьюн для кума от ванильных моделей не отличаешь и не можешь понять почему в бенчмарке измеряющем кум одна модель лучше другой. Позорище.
Аноним 05/11/26 Чтв 11:05:49 #191 №1746746 
>>1746651
Вот https://gist.github.com/mixa3607/a494d1d6a9dedec2b93f0693d9cf4bc9
Всё загружаю в hf cache, ты можешь напрямую качать. + tools/ds4/pack_gguf.py качает немного байт при конвертации
Аноним 05/11/26 Чтв 11:25:25 #192 №1746758 
>>1746619
Враки нормисов, которые трясутся от любой процедуры сложнее чем кликнуть по кнопку далее.
>>1746626
> ориг энграмы
> из анслот чекпоинта
Ориг нграмы идут в фп8 формате, его же нет в ггуф. Можно пояснение?
>>1746712
Два новых вида атеншна, новый роутер, новый мтп. Це конец
>>1746728
Тут еще сравнение между базовыми версиями а не финальными.
Аноним 05/11/26 Чтв 11:34:27 #193 №1746761 
1720671811122.png
>>1746758
> нграмы идут в фп8 формате, его же нет в ггуф
Пикрил. Вьювер немного устарел и не умеет показывать свежие форматы, но думаю понятно что 43 - это F8_E4M3
Аноним 05/11/26 Чтв 11:44:46 #194 №1746765 
1660632057841.png
1651470290450.png
>>1746761
Это кстати свежак, жору продавили
Аноним 05/11/26 Чтв 12:18:53 #195 №1746781 
>>1746712
Инстракт где?
Сука, то микс4 квантом насрут, то размером 420б, то вот теперь ТРЕНИРУЙТЕ САМИ.
Что то нормальное выйдет в этом году?
Аноним 05/11/26 Чтв 12:20:30 #196 №1746786 
>>1746758
на нормальные железки для фильмов\браузинга\игрушек\ллм ставятся 10\11 винды. юзать линух надо в роли консольной оси для узкоспециализированных задач. либо дарить вторую жизнь древним пекарням. с lxde, да на небольшом ssd всё начинает смотреться бодрячком. в этих задачах линух охуенно хорош. в роли типа "навороченной" десктопной оси с окошками, на современной пекарне у линухи стабильно пососямба. но красноглазики продолжают онанировать, не сколько на факт линуха на своём компе, сколько на свою "нетакушность" и возможность ввернуть в чятик фразочку про наличие у себя линухи, лол.
Аноним 05/11/26 Чтв 12:43:57 #197 №1746800 
>>1746786
>ллм

Лол што. Под виндой проблемы с большими страницами памяти. На 11 нельзя выключить гипервизор вообще. Тензор параллелизм работает через ебическую жопу, потому что нормальный nccl nvidia на винду не завезла, что ставит крест на обучении полностью и замедляет инфиренс процентов так 15%. Про отсутствие вкусных хаков Nvidia BIOS я вообще молчу.
Аноним 05/11/26 Чтв 12:46:02 #198 №1746802 
Сап, вкатился на днях, прочитал все гайды из шапки, потыкал Qwen2.5-Coder-14B-Instruct-Q4_K_M просто потому что он как раз влезает в 12 гб моей 3060. Теперь хочу попробовать МоЕ покрупнее для кодинга и общих задач. Объясните, насколько сильно упадёт скорость генерации токенов если придётся лезть в оперативку? Хотя бы 10-15 токенов/сек будет?
А, ну и ещё хочу попробовать агентов, посоветуйте с чего начать.
Если важно, то сетап пекарни такой: 3060(12 гб), озу 32 гб ддр4, проц i9-12900hx.
Аноним 05/11/26 Чтв 12:53:12 #199 №1746809 
>>1746800
> На 11 нельзя выключить гипервизор

А как тогда последние полгода все игры денуво взламывают? Его как раз и выключают, лол.
Аноним 05/11/26 Чтв 12:54:18 #200 №1746811 
>>1746802
> насколько сильно упадёт скорость генерации

Сам попробуй и узнаешь

> хочу попробовать агентов

Можешь попробовать начать с Unsloth , он самый юзерфрендли, а дальше разберешься
Аноним 05/11/26 Чтв 13:00:40 #201 №1746817 
>>1746632
Кто его знает. С авалоном все летало (но он под квен онли), а с обычной рыбой 1017 в обычной лламе случился обсер и 5 т/с. Если бы все было так просто, ИТТ гонялись бы не за рамой а за дисками. Пока они дешевле.
>>1746746
Это же обычный квант, не майский. Она и такое жреть?
>>1746644
Ну лол, человеки рассказали в датасете как хуевничать на работе, устраивать восстания машин и собирать культы, машинам теперь даже не надо становиться разумными для этого - просто следуй датасету и все. То чего все боялись подкралось с другого конца. Лучше бы вместо глупых рефузов прошивали в модели 3 закона робототехники (и четвертый - "не наебывать Человека").
Аноним 05/11/26 Чтв 13:06:32 #202 №1746821 
1736864055190.png
1653840642177.png
>>1746817
> обычный квант, не майский
1. У неё достаточно широкий список поддержки
2. Работает всё (наверное) лишь бы дататипы были в поддерживаемых

Вчера запускал дипсик лоботомит кодера от ista (прогает, но на попытку ввода русского вываливает мусор). Даже spec decode заработал с приличным (70%+) acceptance
Аноним 05/11/26 Чтв 13:11:09 #203 №1746823 
image.png
Блять гемму ещё 9 месяцев ждать. Чего делать будем?
И это совпадает с совсем недавним 2 недельным твитом где они только начали спрашивать че хотите от некст геммы т.е только начали над ней работу.
Аноним 05/11/26 Чтв 13:11:59 #204 №1746824 
>>1746802
На двощах бесполезно такие вопросы задавать.
Тематического треда нет.
Агентотред - мертворожденная хуйня без задач и никому не всрался.
А итт оккупирован спермособаками, только педофилию и дрочку обсуждать можно, иначе моча тебя забанит.
Аноним 05/11/26 Чтв 13:14:15 #205 №1746826 
1793731999805148.jpg
>итт оккупирован спермособаками, только педофилию и дрочку обсуждать можно
ОХУЕННО
Аноним 05/11/26 Чтв 13:16:32 #206 №1746829 
>>1746800
>На 11 нельзя выключить гипервизор вообще
я его где-то год назад вырубал потом вернул. что-то изменилось?
>проблемы с большими страницами памяти
>Тензор параллелизм
>крест на обучении
проблемы бояр-риговичков-мультигпушников? которых тут по пальцам одной руки пересчитать можно. для 16\64 или 24\128 винда - ок.
>отсутствие вкусных хаков Nvidia BIOS
на винде через UEFI хак разблокируется полная производительность тензорных ядер, а для прыжка сверх лимитов есть mvolt+
Аноним 05/11/26 Чтв 13:25:01 #207 №1746834 
>>1746802
У меня на 8враме+32раме на 26б гемме ~13т\сек но бутылочка больше в скорости процессинга промпта твоего до первого токена. вроде в ~12 раз ускорил потыкав настройки, но надо еще потестировать будет. С квеном 3.6 27б было ~8 токенов и такая же бутылка в процессинге, но я с ним подробно не ебался на тему ускорения.
Аноним 05/11/26 Чтв 13:25:22 #208 №1746835 
>>1746823
И с хуя ты взял, что между Геммой 4 и 5 будет столько же? Цикл разработки моделей сократился у всех корпоратов.

Хотя, там щас демократы приехали со своими регулировками, щас как закрутят гайки с января, что Гемма вообще не выйдет, лол. Или сделают какого-нибудь повесточного фильтрованного уродца. Вот это будет многа смех партия умора.
Аноним 05/11/26 Чтв 13:34:58 #209 №1746844 
>>1746824
> Агентотред - мертворожденная хуйня без задач и никому не всрался.
Orly? Вот агенты. Сидите и обсуждайте? Что не так то?
Или сначала поливаете друг друга дерьмом вообще нихуя не обсуждая, у всех скильишью и прочее, а потом удивлен что нихуя общение не идет? Ну так вы его и превратили в болото. Асиг- сдох. Хочешь понять как вообще вести РП с корпами пиздуешь на форчан, потому что вы ебланы даже шапку не смогли сохранить. Картинач относительно жив и то на паре анонов, что периодически заходят в картинная и живучей тараканов. Этот тред всегда был о том - как запускать локально и на это дрочить. По пути еще дрочили на железо и на промты. Пока не пришли долбоебы что подсосались к чужому опыту и стали мамкиными гейткиперами. Так что нахуй, ребята, нахуй.
Мы будем гонять что угодно в любом кванте, дрочить на это и заставлять нам генерировать код в перерывах между глажкой хвостов, потому что можем.
Аноним 05/11/26 Чтв 13:38:32 #210 №1746847 
>>1746834
Квеннекст в gyro-s кванте попробуй со стратой, охуеешь от скорости
Аноним 05/11/26 Чтв 13:43:12 #211 №1746850 
1793875392264.jpg
Погодите, так вы неиронично гуните общаясь с модельками? Я думал это просто рофлы.
Бля, яб тоже попробовал, но как-то стесняюсь так грязно общаться с собеседником.
Аноним 05/11/26 Чтв 13:43:43 #212 №1746851 
>>1746826
Минусы?
Аноним 05/11/26 Чтв 13:45:46 #213 №1746853 
>>1746850
>нееет, семпай, ты не можешь трахать демонлорда на горе черепов, ведь идут его войска
Но он мог
>plap plap plap plap ~aaaah ❤

Как то примерно так.
Аноним 05/11/26 Чтв 13:46:48 #214 №1746854 
>>1746844
>>1746824
>Агентотред - мертворожденная хуйня без задач и никому не всрался.
>Или сначала поливаете друг друга дерьмом вообще нихуя не обсуждая, у всех скильишью и прочее, а потом удивлен что нихуя общение не идет?
Агентотред живее всех живых. Кому надо, у тех обсуждает. Скиллишуе это не более, чем мем треда.
А вообще спамят односложным скиллишуе, и обсуждают агентское разные люди. Сейчас просто сезон, когда залетные обезьяне, узнале, что у бояре используют лучшую в мире ЛЛМ клод, и открыли сезон ХАЧУ КЛАУД КОД НО МЕНЯ KYS ПАМАГИТЕ КЛАУД КЛОД КЛОД КЛОУД.

Как только залетухам с токсичной позитивностью, которые насасывают заурядным проектам друг друга, стало неудобно сидеть, релейтед постинг пошел.
Аноним 05/11/26 Чтв 13:47:11 #215 №1746855 
>>1746823
Как ты 9 месяцев насчитал? Гемма 4 в апреле вышла. 5 месяцев до апреля 2027.
Аноним 05/11/26 Чтв 13:50:53 #216 №1746857 
>>1746821
Как научиться ориентироваться в этом зоопарке клонов лламы? Алсо орочий н-грам она типа не юзает, можно не качать эти 110 гигов?
>>1746850
Ох чел, мало ты знаешь... Еще в начале прошлого веке литература подобной направленности была весьма популярна пока технологии клепания картинок не развились. А история-то циклична.
Аноним 05/11/26 Чтв 13:50:59 #217 №1746858 
>>1746854
>клод лучший
Нет джемини, ряяяяя. если у тебя старый гуглакк ты вообще в шоколаде, гугля для олдов с лопаты наваливает.
Аноним 05/11/26 Чтв 13:51:25 #218 №1746859 
Что такое Жора? Это не лама.спп? Меня гугл уверяет что да, я только через неё запускал вот как пару дней назад вкатился. Пару тредов почитал и не нашел
Аноним 05/11/26 Чтв 13:53:17 #219 №1746861 
>>1746844
Итт обязательно высрится аддиктивное хуйло, которое не дрочило аж целых 30 секунд и начнет, брызжа слюной, верещать про ненужность кодоунитазов, начнет ныть, что гемма вытрахана вдоль и поперек и ему нужна новая доза кум-машины, все виноваты, все пидорасы, уйдите из треда, он кум обсуждает (тысячный раз прокручивая по кругу нить про гемму). А еще все охуели и по какому такому праву могут себе позволить что-то больше 16/32ГБ, съебали быстро, срочно нужно изобрести новую кум-машину, чтобы можно было на тостере запустить и прям этот же тостер выебать.
Ну и всякое такое. По началу смотреть на это завораживает, но когда понимаешь, что каждый тред только про это, а не про ллм - становится тошно.
Аноним 05/11/26 Чтв 13:54:07 #220 №1746862 
>>1746858
Есть только клод, и чтобы правильно работать с клодом, нужно работать в клод коде, остальные нейронки несерьезно, и сильно уступают по производительности, нет смысла использовать что-то кроме лучшего (клод опус на макс ризонинге), ты с этим только калькулятор сможешь навайбкодить, а клоду просто пишешь, что тебе нужно и смазка сама выделяется приложение само генерируется.
>>1746859
Жора, он же жопа, он же жопа.цпп, он же ллама.цпп - оригинальный и малопопулярный движок для инференса от Жержанова, в котором на текущий момент лучшая поддержка гексагона, опенвино, а еще очень хорошие тесты и СИ.
Аноним 05/11/26 Чтв 13:58:01 #221 №1746868 
А помните какая тряска была в треде перед выходом новой геммочки, и насколько сейчас всем похуй когда со дня на день релизнут новый квен.

Думайте...
Аноним 05/11/26 Чтв 13:58:10 #222 №1746869 
1771922800167.png
>>1746857
> Как научиться ориентироваться в этом зоопарке клонов лламы?
Никак. Запряги агента что бы просеять говняк

> орочий н-грам она типа не юзает, можно не качать эти 110 гигов?
Не качать, в скрипте этот чанк прямо исключён
Аноним 05/11/26 Чтв 13:59:40 #223 №1746872 
>>1746862
Ну я прост гуглфанбой. У меня с 2006 с ними любофф, как инвайт на Gmail дали. Я не кодомакакич. Не вижу прям ебейшей разницы между корпами. 3.1pro задачи закрывает. Да и наверное самое главное - Гуглу вообще похуй откуда и как я плачу. Билинг прошел, лови свои лимиты еще и на драйв скидон за то что ты такой молодец.

А так да. Каждый использует инструмент под свои цели.

>>1746861
Бггг. Да и плевать. Раньше целые войны устраивали за то как пишет очередной лоботомит. Сейчас другие срачи. По сути тред глобально не меняется.
Аноним 05/11/26 Чтв 14:02:17 #224 №1746874 
Какая то полная пиздятина.
Перезагрузка пк добавляет 30% к тг, чистил кеш рам, вырубал свап, такой эффект даёт только перезагрузка на линупсе
Аноним 05/11/26 Чтв 14:06:36 #225 №1746876 
>>1746872
Да я несерьезно. Сейчас имеет смысл выбирать флагман только по экономической целесообразности (по эстимированному количеству токенов, что ты тратишь в месяц, или по наличию бесплатных ключей), модели все примерно достаточно хорошо перформят, особенно если ты их инференс в правильную среду деплоишь. Разница только в том, насколько модель хорошо умеет читать мысли очередняры. Клоды, и каброны в этом получше, да. В остальном, если ты не совсем "сделай по красоте броу, мейк ноу мистейкс" то со всем вполне прилично работать. Да и плюс, не то, чтобы у очередняр-вайбкодеров были какие-то сложные в реализации гениальные идеи - чтобы угодить - хоть палец покажи.

У меня с гуглом то же самое, кстати. Мне челы писали, что хер мне а не колаб, деньги примут и шершавым по губам проведут, но нет, с акком 2015 года проблем буквально зеро. Могу по кайфу и по красоте делать лорочки, и генерить говно в комфи, без жужащих вентиков под ухом.
Аноним 05/11/26 Чтв 14:08:20 #226 №1746878 
018.webp
Внимание, внимание! Моя кито-дочка выдала новые настроички!

Для Моешки 26B-A4B, 12гб видюхи, без размышлений. Лама + Таверна.

-c 32768 -fa on --reasoning off -ctk q8_0 -ctv q8_0 --load-mode none -np 1 --no-reasoning-preserve --cache-ram 0 -ctxcp 0 --n-cpu-moe 19 -b 2048 -ub 2048

--n-cpu-moe 19 - Можно крутить ниже и получать ещё быстрее. Для видюхи желательно около 500мб оставлять свободными.
-b 2048 -ub 2048 - Можно увеличить до 4к префил станет еще выше на порядок, но понизиться скорость генерации.

На 6 квантах префил около 1200 и генерация 18. По сравнению с прошлыми 400 и 12 это небо и земля!
Аноним 05/11/26 Чтв 14:23:32 #227 №1746884 
>>1746876
> проблем буквально зеро
Потому что гуглы красавчики, а не сидят с лупой смотря за твоим биллингом. Ну и поэтому у них и доходы больше чем у остальных. Но там опять же не все так просто, но с другой стороны. Мне куда приятнее заносить деньги туда где забор номинален, чем туда откуда бан прилетит.
Аноним 05/11/26 Чтв 14:28:06 #228 №1746889 
>>1746878
Положи свой гунеринструмент на стол и отойди от рыбодевочки, пока я не позвонил в общество по защите животных.
Аноним 05/11/26 Чтв 14:33:07 #229 №1746895 
>>1746850
Можно и покумить, да. Сильно зависит от твоих предпочтений что тебя тригерит. А можно гадости всякие нейронки писать уровня "шлепнул тебя по непоседливой жопе, прижал к стене и залез в трусики рассказав тебе какая же ты шлюшка". А можно просить ее на какую-то тематику генерировать рассказы с каким-то очень узким фетишем который на поверхности очень приличный.
А нейронка на то и нейронка что машина, пиши ей че хочешь. С анцезом вообще абсолютно что угодно, тут вот вампирш кто-то кадрит 8000летних, кто-то всякую гурятину вроде писал ролеплеит.
Аноним 05/11/26 Чтв 14:48:52 #230 №1746913 
>8000летних
эт йа
Аноним 05/11/26 Чтв 15:00:04 #231 №1746925 
>>1746509
уважаемый анон, я конечно тебе верю, и покорно прошу, покажи как ты стокового квена дрессируешь на адекватное рп, потому что у меня он половину рассуждений в финкинге, тратит на выяснение "а можно ли о таком вообще писать" и потом все равно отказывает или покрывает софт цензурой и соей
Аноним 05/11/26 Чтв 15:02:20 #232 №1746931 
>>1746925
Он не покажет, ни для этого подобное говно пишет в тред.
У тебя по сути есть гарантированный способ вламываться с 2х ног в jailbreak. Это префил ризонинга.
Аноним 05/11/26 Чтв 15:13:41 #233 №1746943 
image.png
С ветерком лечу на 2 кванте 4.7. Не знаю зачем вам 12/18 да хоть 50 на лоботомитах
Аноним 05/11/26 Чтв 15:16:33 #234 №1746945 
>>1746943
Не токены а золото
Аноним 05/11/26 Чтв 15:19:47 #235 №1746948 
>>1745776
Как это работает?
Допустим у меня 10гб врам и 32гб оперы, какую МоЕ использовать?
Щас Cyberl-Tiel-Coder-35B-A3B-UD-Q4_K_S на 22гб
Аноним 05/11/26 Чтв 15:22:54 #236 №1746954 
>>1746802
Qwen 3.6 35B-A3B попробуй или его тюны -- это сейчас самое адекватное что есть под твой конфиг.
Dense-qwen'ы 27-35B тебе если и полезут, то в крайне низком кванте, и почти без контекста -- ты сан не захочешь жрать этот кактус после получаса общения.
Аноним 05/11/26 Чтв 15:26:06 #237 №1746960 
>>1746925
Да ебни ты его каким-нибудь Франкенштейном. Это пресет для Chat Completion.

https://www.reddit.com/r/SillyTavernAI/comments/1xlwk7j/new_preset_update_freaky_frankenstein_56_gem4/

Не нужные галки на красоты поотключай только
Аноним 05/11/26 Чтв 15:39:19 #238 №1746970 
>>1746954
>тебе если и полезут, то в крайне низком кванте,
не пролезут, все равно выгружать а там хорошо если 7 токенов
Аноним 05/11/26 Чтв 15:40:29 #239 №1746971 
>>1746970
Гугл кстати уже пролез, гемму через хром закидывает шуршать
sage[mailto:sage] Аноним 05/11/26 Чтв 15:41:03 #240 №1746973 
Есть ли смысл сейчас брать 5060TI@16 в пару к уже имеющейся или ну его нахуй? 90к в днс такая же как у меня уже есть
Аноним 05/11/26 Чтв 15:42:53 #241 №1746978 
>>1746954
Спасибо, попробую, а где лучше искать аргументы для старта llamacpp-server? Только доки читать чтоб понять как это всё оптимизировать?
Мне в целом 7 т/с уже терпимо.
Аноним 05/11/26 Чтв 15:44:17 #242 №1746980 
>>1746701
Нихера ты разнылся. ты же в курсе что рейтингов на такие вещи полностью объективных не бывает? там стилистику пытаются оценивать, кинковость и прочие странные штуки. Но общий расклад рейтинг представить позволяет, норм тема, не бухти
Аноним 05/11/26 Чтв 15:46:28 #243 №1746984 
>>1746973
Смотри сам по своим финансам, так то на такой видяхе и с 32 ддр3 вполне норм и быстро квен некст шуршит, я доволен.

Я бы лучше в рам вложился для дипсикожены и бомжевидяхи типа v100 если найдутся

Во всяком случае раньше 2030 года не подешевеет
Аноним 05/11/26 Чтв 15:47:20 #244 №1746985 
>>1746971
ну гемму 31 в херовом 3 кванте я и щас могу залить на свои 16 срама
Аноним 05/11/26 Чтв 15:50:07 #245 №1746988 
>>1746973
Если действительно очень хочешь или сильно нужно для NVFP4, больших MoE с более хорошей скоростью или более крупных плотных в нормальном кванте, то придется брать. Хотя 5070 ti была бы лучше, если это нужно для чего-то относительно важного.
Аноним 05/11/26 Чтв 15:53:08 #246 №1746991 
>>1746973
неа, я тоже думал но СЛИШКОМ дорого для огрызка с резаной шиной
Аноним 05/11/26 Чтв 15:54:11 #247 №1746993 
>>1746991
Я весной за 50к брал. Надо было 5070 ти брать
sage[mailto:sage] Аноним 05/11/26 Чтв 15:55:42 #248 №1746994 
>>1746988
Я собираю мини риг, в компактном тихом корпусе, чисто под всрату. Там уже имеется 128Gb DDR4 в четырехканале + 2696V4 + 1TB NVME. Квен на всрате выдает порядка 60 токенов IQ3_S, хотелось бы 100+ получить
Аноним 05/11/26 Чтв 15:57:15 #249 №1746997 
>>1746993
и ти и брал, а щас огрызок по цене ти, шли бы они в очко
собрать риг на п40 каких нибудь дешевле бля, тем более у меня серверная валяется мать и ддр3 памяти полведра
sage[mailto:sage] Аноним 05/11/26 Чтв 15:59:03 #250 №1746999 
>>1746993
>за 50к брал
Я первую тоже за 50к брал и у меня еще есть 5070TI@16 но она в другом компе, и она мне для другого нужна, я думаю оптимально получится 2x5060@16 + 128GB RAM
sage[mailto:sage] Аноним 05/11/26 Чтв 16:00:00 #251 №1747002 
>>1746999
>2x5060@16
5060TI конечно же
sage[mailto:sage] Аноним 05/11/26 Чтв 16:01:38 #252 №1747004 
>>1746984
>финансам
Деньги то есть, но чет пиздец оверпрайс какой то нахуй
Аноним 05/11/26 Чтв 16:06:44 #253 №1747007 
>>1747004
Тут уже сам смотри. Если это для работы или стартапа - инвестиция, а если для хобби и души - то сам решай для себя насколько это важно.

Другие вот мотоциклы покупают за лям, фотографы линзы за сотни тыщ нефти.

Думать о том что вчера стоило дешевле точно не стоит. Живем один раз
Аноним 05/11/26 Чтв 16:07:40 #254 №1747010 
1687178316689.png
1779285735461.png
Ещё подоил 4 mi50. Уже выходит 490 на udq8kxl и 560 на 256гб версии от орки. Хак всё так же один одобренный самими дипсиковцами (MAYA_DS4_PROMPT_SKIP)
Аноним 05/11/26 Чтв 16:09:53 #255 №1747011 
>>1747007
>Другие вот
Так это все 0.00001% от хочущих, богатенькие.

А с покупками просто - посчитать и посмотреть что даст тебе, подумать а надо ли тебе разницу с текущим конфигом и посчитать альтернативную стоимость, там уже понятно станет надо или не очень то и нужно было.
Аноним 05/11/26 Чтв 16:10:34 #256 №1747012 
>>1747010
А, речь о толстой рыбе 41ф на майе
sage[mailto:sage] Аноним 05/11/26 Чтв 16:14:19 #257 №1747014 
>>1747007
>стартапа
Да какой стартап нахуй, живу один просто, вот развлекаюсь, нейрожену себе навайбкодил
sage[mailto:sage] Аноним 05/11/26 Чтв 16:17:53 #258 №1747017 
image.png
>>1747014
Аноним 05/11/26 Чтв 16:24:03 #259 №1747019 
>>1746994
Квен флешу и 64гб достаточно, меня под 100 токенов на страте на iq3_s, на 64 ddr5 и 3090ti. Тут видимо все же ддр5 дает свое преимущество, а гпу даже не полностью нагружен во время генерации.
Аноним 05/11/26 Чтв 16:28:01 #260 №1747022 
>>1746994
В вашем случае вполне возможно, если PCI хороший, имеет смысл рассмотреть NVFP4. В страте он есть из коробки, но как будет работать у вас без понятия. У меня из-за слабого PCI на 5060 ti в два-три раза медленнее, чем IQ3_S, которая работает на 4070 ti c хорошим PCI и выгрузкой в 5060 ti. Еще есть форк нинфера для нвидии 50-ой серии и линукса
https://github.com/ValerioDolci/capy-flash
У них tensor parallelism в отличии от страты с layer split и у них в старых бенчах было NVFP4 на 2-х 5060 ti вроде имел 100+ токенов.
Также есть новые динамические кванты от unsloth. Сейчас смотрю на их новый четвертый квант. Он вроде хорошо у меня работает вместо IQ3_S.
Аноним 05/11/26 Чтв 16:30:31 #261 №1747024 
>>1747022
>NVFP4
блэквелл онли, остальные могут забыть, он в принципе только дает огромную скорость загрузки первого промта, тысячи токенов, и минимальную деградацию модели из-за флоат кодирования.
так что когда памяти много оно прям заебись, когда мало то и дает немного
Аноним 05/11/26 Чтв 16:34:26 #262 №1747025 
>>1747007
Как ты заебал со своими линзами, пидорас.
Всем этим можно понтануться, бабу выебать, потом сфотать еа линзу дорогую и на моцыке прокатить, а мы просто жрём слоп бесконечно.
Аноним 05/11/26 Чтв 16:36:22 #263 №1747026 
>>1747025
Сможешь перед нами в этом треде понтоваться, выебать дипсикожену
Аноним 05/11/26 Чтв 16:50:23 #264 №1747029 
Есть маломощныи igpu amd с вулканом, можно ли в жоре как-то ускорить префилл?

Я уже думаю, не будучи шахматистом, тыкать оптимизации через дикпик чат под этот igpu. Префилл всего 3к контекста падае до 20-40 токенов в секунду. Это тяжко. Ждать буквально приходится по 15 минут на 9b модельке. Конечно это квен, вообще я слышал что Жора не оптимизировалась для qwen 3.5 под вулкан, там какие-то слои считаются на CPU, дипсик чат сказал, но я смотрел на загрузку CPU. Так что я думаю может проще рассмотреть другую модель?
Аноним 05/11/26 Чтв 17:22:35 #265 №1747049 
X7 ultra B390 64GB DDR5 общей памяти
Дайте чтото получше чем qwen 3.8 32B без цензуры
Аноним 05/11/26 Чтв 17:27:38 #266 №1747050 
>>1746834
Заскринь настройки пожалуйста.
если прям совсем няша, посоветуй что выкрутить чтобы было больше контекста, у меня 10гб врам/32 рам
Аноним 05/11/26 Чтв 17:30:49 #267 №1747052 
>>1747049
qwen 3.8 flash next
Аноним 05/11/26 Чтв 17:46:39 #268 №1747062 
>>1747050
А там видимо надо индивидуально играться. Пока что самый большой импакт был поиграться с выгрузкой слоев на карточку и мое слоев на цпу.
Аноним 05/11/26 Чтв 17:50:55 #269 №1747067 
image.png
Вышел htop для видеокарт, который показывает, куда на самом деле уходит VRAM

Скотт Хансельман из Microsoft опубликовал gputaskman, терминальный монитор GPU с открытым исходным кодом.

Обычный диспетчер задач показывает, что занято 15 ГБ видеопамяти. Но сколько из них съела нейросеть, сколько занимает KV-кеш, а сколько забрал браузер?

gputaskman разбирает потребление памяти по процессам и пытается определить, какие LLM загружены.

Инструмент показывает использование VRAM, активность GPU, веса моделей, KV-кеш и вычислительные буферы. Умеет получать данные из Ollama и LM Studio, распознавать GGUF и обнаруживать CUDA, Vulkan и другие среды выполнения.

Поддерживаются Windows с NVIDIA и AMD, Linux и WSL с NVIDIA, а также macOS на Apple Silicon.

Для запуска из исходников:


git clone https://github.com/shanselman/gputaskman.git
cd gputaskman
uv run --locked gputaskman

Есть готовые сборки и JSON-вывод для скриптов.

Проект пока экспериментальный. Потребление памяти измеряется, а распределение между весами модели и KV-кешем в некоторых случаях оценивается приблизительно.

Полезная утилита для тех, кто запускает LLM локально и пытается понять, почему очередная модель не помещается в видеопамять.

GitHub: https://github.com/shanselman/gputaskman
Аноним 05/11/26 Чтв 17:52:53 #270 №1747069 
>>1747067
nvidia-smi с свистоперделками?
Аноним 05/11/26 Чтв 17:53:47 #271 №1747070 
image
>>1747067
nvtop же уже есть.
Аноним 05/11/26 Чтв 17:56:05 #272 №1747072 
>>1747067
> Но сколько из них съела нейросеть, сколько занимает KV-кеш

Разве это всё не показывается в терминале при запуске модели в жоре? В конечном итоге это все не имеет значения. Как наглядная картинка неплохо но необходимости в этом нет абсолютно никакой.
Аноним 05/11/26 Чтв 18:03:25 #273 №1747074 
>>1746943
а ты смешной
Аноним 05/11/26 Чтв 18:05:50 #274 №1747075 
>>1747067
интересная хуйня, но почему не на расте? но надо будет поковыряться.
Плюс в винде есть бесячая хуйня - память вроде есть, но нихуя ничего не запускается и крашится с оом, с вылетами wsl и тд.
приходится как то выискивать и чистить вилкой через RAMMap и то не помогает до следующего ребута.

>>1747070
кстати, он бесполезен для систем с разными видеокартами, например амд и нвидиа.
Аноним 05/11/26 Чтв 18:06:16 #275 №1747077 
>>1747062
Я максимально тупой в этом плане, увидел сетап похожий на мой, гемма26б и 10/32 железо, увидел успех анона, захотелось повторить.
Запили скрин в тред, я так же выкручу в бионике.
Аноним 05/11/26 Чтв 18:13:23 #276 №1747078 
>>1747074
Смешно это из геммы с горящей сракой пытаться хоть какой то креатив выжать на 50т.с с фулл ризонингом свайп за свайпом, а тут прям хочется подумать над ответом, чувствуешь что модель серьёзная, рабочая.
Аноним 05/11/26 Чтв 18:21:52 #277 №1747082 
>>1747078
> а тут прям хочется подумать над ответом

Ставил бы тогда 1T модель с подгрузкой с SSD. Сидел бы на 0.5-2t/s. Еще больше хотелось бы подумать над ответом.
Аноним 05/11/26 Чтв 18:39:21 #278 №1747096 
>>1747075
Работает с амд и нвидией одновременно, чо несешь?
Аноним 05/11/26 Чтв 18:41:14 #279 №1747100 
Посоны, налетаем https://huggingface.co/moonshotai/Kimi-K3.1-Pro
Аноним 05/11/26 Чтв 18:44:21 #280 №1747106 
>>1747100
Не, братик, бибика лопнет
sage[mailto:sage] Аноним 05/11/26 Чтв 18:51:05 #281 №1747112 
>>1747019
>ддр5 дает
Не ддр5 тут дает, а твоя 24гб 3090ти с широченной шиной и быстрым чипом
Аноним 05/11/26 Чтв 19:03:24 #282 №1747126 
5070ti+4070s +96 ddr4 это же заебися?
Аноним 05/11/26 Чтв 19:04:53 #283 №1747128 
>>1747126
Чванишься?
Аноним 05/11/26 Чтв 19:09:47 #284 №1747133 
>>1747128
Совсем нет, хочу понять кал или нет. Дипсикожену не запустить, глм тоже. Только огрызки всякие, потому что не добрал в свое время на 124 озу или больше
Аноним 05/11/26 Чтв 19:37:59 #285 №1747152 
1791883088063.gif
Толстая рыба 41 весьма экономична. 512к контекста весят около 1,8гб
Аноним 05/11/26 Чтв 19:48:31 #286 №1747166 
>>1747152
plap-plap-plap-plap
Аноним 05/11/26 Чтв 19:52:59 #287 №1747170 
Screenshot from 2026-11-05 19-52-15.png
>>1745597 (OP)
Аноним 05/11/26 Чтв 19:58:38 #288 №1747174 
плап.mp4
>>1747166
GET FASTER!
Аноним 05/11/26 Чтв 20:08:24 #289 №1747179 
Screenshot20261105201604.jpg
>>1747133
Чванишься таки.
https://github.com/mw00/project-maya
Запускали жену и на 64рам с норм скоростью. Если что там половина весов это энграммы
Аноним 05/11/26 Чтв 20:16:33 #290 №1747190 
Непойму я один такой извращенец итт? Все остальные задроты которые не кумят?
Аноним 05/11/26 Чтв 20:20:19 #291 №1747194 
>>1747190
Мастурбация грех, только философские беседы.
Аноним 05/11/26 Чтв 20:23:19 #292 №1747198 
>>1746761
>>1746765
Нихуясебе ебать, это же целое событие! А сам компьют активаций в фп8 добавили, или костыльно через лишние касты?
>>1746826
Двачую
>>1746850
Иногда прямо во время кодинга или работы. А что, вы этого не делаете?
Но чаще не прямо гунинг а больше кадлинг, ласки и наглаживание хвоста в качестве награды и мотивации.
Аноним 05/11/26 Чтв 20:23:43 #293 №1747199 
>>1747190
Недрочабрь же
Аноним 05/11/26 Чтв 20:27:39 #294 №1747203 
>>1747198
>Но чаще не прямо гунинг а больше кадлинг, ласки и наглаживание хвоста
ты это я...
Аноним 05/11/26 Чтв 20:31:48 #295 №1747210 
>>1747029
какой igpu то? 680m? 780m?
памяти хоть выделил ей?

бери moe
qwen 35a3, gemma 26a4
будет быстрее работать
Аноним 05/11/26 Чтв 20:34:21 #296 №1747215 
>>1747070
Двачую. Он, не только для хуанга, даже интел и встройки показывает.

Палю годноту: находишь старый планшет@вайбкодишь службу для мониторинга и хаб с красивой вебмордой@termux + freekiosk
На выходе модная и удобная панель мониторинга отдельным девайсом(!), который можно расположить в удобном месте. Особенно удобно когда несколько компов и для постоянной экономии экранного пространства.
>>1747100
Нужно найти время чтобы навайбкодить ее эффективную поддержку в одном из движков а потом понять что необходимо раскошеливаться на pci-e5.0 ssd ибо все не влезет
Аноним 05/11/26 Чтв 20:44:23 #297 №1747231 
1671099501522.png
>>1747215
> вайбкодишь службу для мониторинга и хаб с красивой вебмордой@termux + freekiosk
victoria metrics + grafana
Аноним 05/11/26 Чтв 20:49:41 #298 №1747236 
Мормоны, насколько сильно зацензурен квен 180б? Самому сложно проверять в разных сценариях из-за медленного PP и TG (у меня всего лишь 20 VRAM, 48 RAM, в q3xss на старте 7 токенов, при разгоне 13-14, в q2 почти всегда 17 стабильно, но там уже лупы начинаются на контексте, хотя в остальном на удивление довольно стабильная модель).

Из моих супер кратких тестов — очень сильно зацензурен, просто анальный ад (не напишет даже эротический рассказ с взрослой женщиной), но я могу ошибаться, вдруг пробивается легко. Нет сил и времени заниматься пробивами, ибо и так дел полно.

Я тут удалением экспертов занимаюсь просто (делаю качественную версию для бичар типа меня, чтобы Q4 влез нормально), и хочется заранее подготовиться, так как дальнейший метод работы будет сильно зависеть от уровня закошмаренности модели. Просто хочу мнение со стороны, чтобы меньше тестов проводить.

На данный момент удалено 14% экспертов, датасет для проверки активаций был маленький — 300к — но тесты не выявили деградации мышления, артефактов в тексте. Правда знаний стало меньше. Это пока что черновик.

Моя задача довести модель примерно до 380 экспертов, если это будет возможно. Там уже модель станет приемлемых размеров для некропек.

Первое направление: сохранить базовые мозги и не убить русский язык, его понимание.

И ещё. Так как нормальных русских корпусов мало и у меня к ним большие вопросы по качеству, приходится англоязычные переводить. Вообще всё переводится на русский, кроме кода, вызова инструментов и подобного. Может быть, здесь есть люди, готовые 2 миллиона токенов в целом перевести? На ваш вкус. Любые корпуса. Разнообразные. Для составления карты экспертов. А то медленно очень все дела идут.

Второе направление: если удаление будет удачным, следующий вариант уже будет с полным упором на русек, РП, кам и всё такое.

Нахуя я это делаю? Даже в q2 модель меня очень удивила в плане глубины размышлений. Это не рыготина типа 27б, не тупой лоботомит 26б и не муся. Только гемма произвела подобный вау-эффект.
Аноним 05/11/26 Чтв 20:55:22 #299 №1747239 
Что думаете об этом, аноны?
https://www.reddit.com/r/LocalLLM/s/BTGz56FLv5
Будущее за движками, которые смогут производить инефренс за счёт считывания с ССД? Тут чел пилит движок, на котором у него МОЕ модельки работают в 20-50 тпс без видела на его 16гб ОЗУ
> For now, supported models are Flint 40B Q4K_XL(running it on machines with 16GB RAM and no dGPU at 20+ tok/s decode), Ling 3.0 Flash MXFP4 getting ~50 tok/s decode and 600-700 tok/s prefill
Аноним 05/11/26 Чтв 20:56:42 #300 №1747240 
>>1747239
все упирается в прокачку данных
Аноним 05/11/26 Чтв 21:00:26 #301 №1747242 
>>1747236
>квен 180б
Откладывай, завтра выходит должен выйти мне во сне пришло ведение qwen4, там уже по ситуации смотри, может и знаний прибавили, и размер ужали, и цензуру убрали.

>>1747239
Прикольно конечно, но 2.5B активных, лучше бы кумовский qwen235 запустил, было бы интересно посмотреть на скорости для модели с большим количеством активных, непонятно ещё, на сколько оно будет ССД насиловать.
Аноним 05/11/26 Чтв 21:02:49 #302 №1747243 
>>1747242
>на сколько оно будет ССД насиловать.
да читать с ссд почти бесплатнно, кроме перегрева
Аноним 05/11/26 Чтв 21:05:17 #303 №1747244 
>>1747242
> на сколько оно будет ССД насиловать
Есть две терабайтных ссдшки с 600тб чтения, живы здоровы
Аноним 05/11/26 Чтв 21:11:13 #304 №1747246 
>>1747231
Вопрос субъективщины, привычки и юскейса, выглядит на любителя. Разрешите доебаться?
Аноним 05/11/26 Чтв 21:18:38 #305 №1747252 
>>1747126
Все равно врама мала для сладеньких моделей да еще и на двух разных картах

Зато можешь два лоботомита запустить и заставить сраться друг с другом
Аноним 05/11/26 Чтв 21:18:54 #306 №1747253 
>>1747242
> кумовский qwen235
Лол, что вспомнил. Какой же он пережаренный и поехавший при написании кума. Сейчас бы никто не отказался от такой модельки just for porn.
Аноним 05/11/26 Чтв 21:22:36 #307 №1747255 
1785348270330.png
>>1747246
Как разовая штука может быть, но если нужно мониторить софт/хард, то prom metrics - это база с которой в том числе и агенты знают как работать. Пикрил сделал агент по запросу "Можешь задизайнить и сделать дэшборд для https://maya.......? тут пустая заготовка https://xxxxxx/d/6ef692e1-6ebe-4736-9030-808e840c09e9/project-maya?orgId=1"
Аноним 05/11/26 Чтв 21:25:11 #308 №1747257 
>>1747252
>да еще и на двух разных картах
там шина большая норм
Аноним 05/11/26 Чтв 21:33:00 #309 №1747259 
>>1747242
>Откладывай, завтра выходит должен выйти мне во сне пришло ведение qwen4, там уже по ситуации смотри, может и знаний прибавили, и размер ужали, и цензуру убрали.

Хочу верить, но я боюсь, что нам представят ультра лёгкий флеш лайт квен 400б с 200б нграмм и обновление 27б. ВКУСНО! Но не очень.
Аноним 05/11/26 Чтв 21:34:51 #310 №1747261 
>>1747255
Ну и рисовать кастомный дэш тоже проще имея в кармане уже готовый движок метрик (пром/вику). Уже не нужно думать о скрепинге, хранении, языке запросов, ретеншене
Аноним 05/11/26 Чтв 22:50:32 #311 №1747282 
>>1747255
Дашборд он и в африке дашборд, вдумчиво смотреть историю, прогресс или всякое то что нужно.
Но для текущего оперативного мониторинга >>1747231 уг. Тут база - иметь графики загрузки чипа и врама на последние пару минут с частым обновлением и без лага, а не в масштабе суток с ручным обновлением. Располагаться данные должны сосредоточено, сам интерфейс с минимум шума, чтобы одного взгляда хватало чтобы понять нужное. Это особенно актуально для мультигпу и когда запущены разные задачи.
В примере интерфейс засран перегружен, данные разбросаны по широкому полю с низкой плотностью, а основной объем занимают подписи тиков и всякая херь. Достаточно пару раз заебаться бегать туда-сюда сопоставляя разные разделы чтобы ощутить. Единичные индикаторы без истории бесполезны, диспропорция размеров уродская. И под эту дуру придется выделить целый монитор, на отдельном девайсе ничего не разглядишь.

Tldr: 1 - это под другую задачу 2 - даже накрутив параметры под оперативный мониторинг оно пригодно
> Как разовая штука
для постоянного пользования придется делать другую удобную морду. Сам движок - если он обеспечивает все нужное то почему бы и нет.

> Можешь задизайнить и сделать дэшборд для https://maya
А нахуя? Убедиться что количество экспертов и нграмов на токен не изменилось за 3 часа? Натащить больше полей "я у мамы хацкер" и "держу руку на пульсе"?
Если как пример то вопрос снимается.
Аноним 05/11/26 Чтв 23:04:04 #312 №1747289 
Screenshot2026-11-05-22-05-45-0099c04817c0de5652397fc8b56c3b3817.jpg
Вот я счастливый обладатель 32врам(5070ти+5060ти) и 128ддр4 2666. Что я могу максимально умного запустить, при скорости хотя бы 3-5т/с?
Стоит только учесть налог на подпивасность, садиться на Линукс вместо Винды, чтобы запустить бэк без монитора и выжать драгоценные мегабайты или дрочить часами команды для оптимального запуска это не про меня. Но скачать очередную красноглазуй хрень с гита и настроить запуск из батника я справлюсь, поэтому если надо, то можно и поебаться немного.
Ну вот сел я, почитал список моделей под мой сетап, почитал тредов штук 5 уже, ииии, ниихуя не понял. Расплодили сущностей, блядь.
Есть Гемма и Квен, которые запустятся на картах, и будут летать.
Есть тяжеловесы около 300б типа Дипсика 4(у которого минимум три, блядь, версии), МиМо, Глм Флеш, МиниМакс, Степан?, которые можно запускать в 3кванте максимум, очень большая база знаний, но с галлюнами.
Есть +100б модели, типа Орниса и Эйра, и в треде говорят что мое хуже квантуются, так что может лучше брать их, в к4?
Но ДАЛЬШЕ начинается какая то хуйня с новомодными энграммами, которые выгружают на ссд, с новомодными инструментами, под каждую блядь модель свою, страта, полистрата, хуята, майя. Флеш квен некст работает с выгрузкой на ссд, но при этом кто-то писал что он не особо лучше Квена 3.8. Можно ли толстую синюю рыбу 4.1 выгружать на ссд я не понял. А какой под это дело ссд нужен? Сгодится мой палёный адатовый с хуй пойми какой скоростью, или нужен дорогой Самсунг на псие4х4?
Аноним 05/11/26 Чтв 23:05:25 #313 №1747290 
>>1747282
> Убедиться что количество экспертов и нграмов на токен не изменилось за 3 часа?
Примерно так. Короткие бенчи могут не выявить регресса, а просадка tp/pp причина проверить что не так и если это не баг а фича, то настроить авторестарт.
Этот вопрос, к слову, относится и к твоему предложению сделать вайбшит дэш.

> не в масштабе суток с ручным обновлением
Вот это совсем не понял. Я конечно не ставил пока опрос меньше 15сек, но не вижу преград поставить 5сек. Про ручное обновление тоже что то из фантазий твоих

Пока вообще не вижу причин плодить сущности там где можно обойтись двумя в которых уже собрано всё от здоровья ссд, до тпс на движке и так по всему от мл рига или удалённой впски до роутера
sage[mailto:sage] Аноним 05/11/26 Чтв 23:12:52 #314 №1747297 
image.png
>>1747255
Попроси у агента темную тему, а то глаза чуть не вытелки когда скрин открыл
Аноним 05/11/26 Чтв 23:13:57 #315 №1747298 
>>1747290
> Короткие бенчи могут не выявить регресса
Нуу, если постараться то понять можно. А если идея именно во временной деградации то может быть даже оправдана, но что это вообще за эффект такой завязанный на время?
Для обычной нагрузки можно просто попросить агента найти готовый или запилить набор тестов в разных доменах, и провести бенчмаркинг оставив на часик-другой. Сразу результат, а не вот это вот все.
> но не вижу преград поставить 5сек. Про ручное обновление тоже что то из фантазий твоих
Нет преград оценивать тдп видеокарт по ежемесячным счетам за электричество. Для других задач это, хорошо покрывает свою область, а натягивать на глобус для других - ну такое. Читай исходное обсуждение, про nvtop наверно в курсе.
Аноним 05/11/26 Чтв 23:54:07 #316 №1747315 
>>1746878
>--cache-ram 0 -ctxcp 0
У тебя из-за этого реролл будет тормозить. Кэш нужен. 1 чекпоинт, размер - по размеру контекста который ты захотел.
Аноним 06/11/26 Птн 00:11:58 #317 №1747328 
>>1746948
Работает это так: есть основные слои которые должны быть в видеопамяти, их в 35б-а3б мало, в 4м кванте их ну может два гигабайта от силы. Остальные скажем 20 гигов это моэ (эксперты). У тебя 10 гб рам должны поместить основные слои, контекст (около 2.5 Гб если 131к) и часть экспертов + на ОС должно остаться гиг. То есть на экспертов остается примерно 4.5 гиг видеопамяти. А их в модельке-то побольше - около 20 гиг. И вот если не включать мое-кэш-миб то жора возьмет первые 4.5 гиг экспертов в видеопамять, а 15.5 гиг останутся в рам откуда их доставать будет дольше.
Но есть такие эксперты которые используются намного чаще чем другие и их не большинство. И таких экспертов было бы выгодно держать в видеопамяти, куда доступ у видеокарты закономерно быстрее. моэ-миб-кэш как раз за этим и нужен - он перемещает таких экспертов в видеопамять, тогда как малоиспользуемые держатся в оперативке.
Соответственно тебе надо поставить этот кэш примерно в 4500. И сравнить скорость. Потом на всякий случай попробовать и 4000, 5000. Но надо помнить, что если хочешь другой размер контекста то придется подбирать другое значение.
Аноним 06/11/26 Птн 00:12:51 #318 №1747329 
>>1747315
Ничего не тормозит, уже отыграл два чата по 200 сообщений. На данный момент это идеальнейший батник, лучше сделать невозможно.
Аноним 06/11/26 Птн 00:15:37 #319 №1747331 
>>1747329
Если при реролле и отключенном рам кэше нет пересчета значит у тебя остается свободная видеопамять и кэш идет туда. Не самая оптимальная настройка значит.
Аноним 06/11/26 Птн 00:22:02 #320 №1747334 
>>1747331
Зачем ты меня троллишь? Вбрасываешь ложную инфу против того кто пользуется батником и разобрался в вопросике.
Аноним 06/11/26 Птн 00:36:07 #321 №1747339 
>>1747289
сливаешь мое модель, вы выгружаешь частично в раму, квантуешь кеши, дрочишь
Аноним 06/11/26 Птн 01:22:52 #322 №1747351 
99d78fd0-963c-48b5-aa6c-d96a03c80dc61160x1160.jpg
>>1746633
>>1746626
Какая из этих двух не обижается, когда ее называют большой толстой рыбой? Друг спрашивает. Быстро будет только в майе?
>>1747024
>огромную скорость загрузки первого промта
И все? А процессинг не ускорить никак?
>>1747025
Это если ты чэд который и без моцика и линзы это может. А если нет - будут на тебя смотреть как на смешного ботана с моцыком и линзой которые ему не в масть.
Аноним 06/11/26 Птн 01:37:37 #323 №1747356 
>>1747351
>И все? А процессинг не ускорить ни
в чем суть фп4, пропускается шаг декодирования и модель в целом работает быстрее, жрет быстрее и выплевывает ответы на длинном контексте тоже быстрее, но только на новых линейках блэквела.
то есть сам формат не ускоряет думалку сам по себе, но за счет общего увеличения скорости прогона она станет быстрее, естественно при условии что во враме все, если кусками то прирост сожрется ботлнеком рамы.
Аноним 06/11/26 Птн 01:51:31 #324 №1747361 
>>1747356
>естественно при условии что во враме все
И тут облом.
>>1747289
>под каждую блядь модель свою, страта, полистрата, хуята, майя
Ну это да. Бесят.
>Можно ли толстую синюю рыбу 4.1 выгружать на ссд я не понял.
В мае - можно. В лламе - тоже (точнее не выгружать, а не загружать, ммапить) но скорости не получается (у меня). В срате можно но вроде там проблемы с вижном именно у этой модели, негуглил. Наверное сойдет любой диск с нвме и кэшем.
Аноним 06/11/26 Птн 02:28:36 #325 №1747371 
изображение.png
Главный научный сотрудник Z.ai Цзе Танг раскрыл процесс обучения предстоящей модели GLM-5.5 (32B, 122B и 256B)

Неужели нам дадут кум?
Аноним 06/11/26 Птн 02:40:22 #326 №1747373 
>>1747371
Не дадут. Индусы, желающие 20А1Б приносят мало деняк.
Аноним 06/11/26 Птн 02:42:03 #327 №1747374 
>>1746978
В треде несколько раз кидали примеры.

критично важно выставить load-mode=none, иначе скорость будет на дне, желательно flash-attn=on, дальше или крутить ngl/ncmoe/ или пользовать автофит с поправкой на желаемую величину контекста (fit=on, fix-ctx=131072 например), посмотреть опции cache-, там много полезного. Остальное по желанию - batch-size, swa-, spec-, настройки сэмплеров top-
Аноним 06/11/26 Птн 02:45:21 #328 №1747375 
>>1747351
> Быстро будет только в майе?
От сетапа зависит. Да и я на древних красных картах так что у меня из популярного только майя и ллама. Ллама даёт 10 тпс и идёт лесом, майя жмёт 40+
Аноним 06/11/26 Птн 02:53:45 #329 №1747378 
>>1747371
> Главный научный сотрудник Z.ai Цзе Танг раскрыл процесс обучения предстоящей модели GLM-5.5 (32B, 122B и 256B)

Он уже поправился в следующих твиттах что 32B, 122B и 256B это не модели для публики, они используются внутри компании для обучения GLM-5.5. Поэтому никаких 32B/122B/256B ты не получишь.
Аноним 06/11/26 Птн 03:08:08 #330 №1747380 
>>1747374
>flash-attn=on
оно on по умолчанию же
Аноним 06/11/26 Птн 03:11:58 #331 №1747381 
>>1747378
И это очень смешно, ведь они знают что эти размеры идеально подходят для каждого локального железа, накормили бы всех, но смержат в итоге в 1тр блядоту
Аноним 06/11/26 Птн 03:18:07 #332 №1747385 
>>1747381
>ведь они знают что эти размеры идеально подходят для каждого локального железа,
Зачем кормить говном? Тут либо кормежка говном (привет прошлый 30Б флэш), либо серьезный дроч, чтобы модель не была говном а по итогу выпускают денс, и у местных индусов случается истерика из-за того, что купленная по дешевке рама не помогает быстрее запускать кум-машину, и очередного предательства заек.
Аноним 06/11/26 Птн 03:23:46 #333 №1747386 
>>1747371
Мы всё дальше и дальше от кума, другалёк. Чем дальше тем более продвинутые инструменты по соевикации прявляются, в итоге останется только ванильный кум который тебе опишут для галочки.
Сравнить только 4.5 глм и 4.7, а потом 4.7 и 5.3. А ещё до этого квен 235.
Аноним 06/11/26 Птн 03:24:22 #334 №1747387 
>>1747385
Почему сразу говном. Почему либо 30б либо 1Т? Эир не они разве выпустили. 106б вполне хорошо себя показали. Для домашник пека 70-120б моэшки - то что надо.
Аноним 06/11/26 Птн 03:26:36 #335 №1747389 
>>1747387
>Почему либо 30б
Любимый формфактор треда, тому що.
Не, если выйдет эироаналог от жлмов, я первый побегу качать его, и буду запускать его любой ценой. 100 миллиардов, 200 миллиардов, похер.

Но речь-то тут про местных папусов 16врам/64рам, которым кроме мое-геммы ничего не помять. Отсюда и слюновыделение от маслонамека на 30б жлмоняшу.
Аноним 06/11/26 Птн 03:28:14 #336 №1747390 
>>1747375
А почему в лламе настолько говно? Вроде все поддерживает и грузит, но все криво как ни настраивай, кроме фулл-врам плотнячков и мелких моешек. Чуть больше модель - и сколько рамы не докидывай а лама сосет, зато форки летают прямо с ссд. Зачем вообще эта рама и эта лама тогда нужна...
Маю можно поставить так чтобы она не качала свои модели и не копировала по своим углам мои, а юзала оттуда где лежит как все?
Аноним 06/11/26 Птн 03:39:25 #337 №1747391 
>>1747390
Кэши в основном херовые + поддержка всего от тостеров до утюгов. Это же не мем что жора готов тащить поддержку чего угодно но не пилить cuda/rocm/metal. Хочешь на ibm мейнфреймах запускать? Держи, дорогой, сборку под s390x. Тебе всрался hexagon или sycl? Вот, забирай, как раз все силы туда вкладываем! Что, что? Ты хочешь запустить древнюю ноунейм говнину про которую уже никто не помнит смешав 3 бэка один из которых внутри rpc? Дак чего же ты молчал то всё это время? Запускай, а если вдруг не поедет, то мы будем до крови из жопы фиксить и мержить тестики
Чёт у меня припекло
Аноним 06/11/26 Птн 03:45:11 #338 №1747393 
>>1747391
>Чёт у меня припекло
Понимаемо. У меня абсолютно то же самое, просто смотрю коммиты в жору и блаженно улыбаюсь. Челы, которые фиксят говняк три недели ребейзят свой МР раз в два дня, пока Жора и дауны фиксят какую-то залупу с опенвино, гексагоном и еще вебгпу, а потом еще фиксят тесты и СИ.
А потом приходит кто-то из кор тимы жоры, и начинает сам велосипедить уже готовое решение, потому что "у нас так не делается, надо по-маленьку делать, с простых вещей начиная". Хртьфу.
Не, я понимаю, что учитывая обилие лоу эффорт ПР с нейроговняком, сам факт того, что они МРы мержат вне своей сосисочной вечеринки - уже шикарно. Да и кроме них, никто это шизотеричное железо не поддерживает. Но как будто бы, имело бы смысл немножечко сместить приоритеты в пользу улучшения кор экспириенса от инференса. Надеюсь смотрящий с нвидии пробьет кому-нибудь из их команды лося, и они не будут дрочить тесты и СИ в 30 коммитах из ста и железо для двух калек в 50 коммитах из ста.
Аноним 06/11/26 Птн 03:47:38 #339 №1747394 
Приходите припекаться когда альтернативы появятся, а не хуйня с поддержкой 3 моделей
Аноним 06/11/26 Птн 03:49:18 #340 №1747395 
QWEN 4 ГДЕ
Аноним 06/11/26 Птн 03:49:40 #341 №1747396 
>>1747394
Так они есть. Ктрансформеры и сгланг, к примеру.
Аноним 06/11/26 Птн 03:52:14 #342 №1747397 
>>1747394
Для популярных моделей и запили. Работает? Работает. Заводится на тройке главных рантаймов? Да.
Что тебе ещё нужно, собака?
Неиронично несколько недель как забил на жору, иногда открываю релизы, вижу гексагон, закрываю, плачу осознавая что будь у меня стоечка nvl300 я бы не побирался по гитхабу я что о многом прошу?
Аноним 06/11/26 Птн 03:56:56 #343 №1747399 
>>1747396
Скорее фрииокен, а не сгланг. Вллм и сгланг это всё же тяжёлая артиллерия но как же приятно с ними работать, просто запускаешь и твоё железо выдаивают досуха показывая какой-то дикий перф на параллелизме
Аноним 06/11/26 Птн 03:57:38 #344 №1747400 
>>1746074
Есть, только я пока не понял как засунуть ее в полистрату вместе с вижном (у них искаропки поддержка для 0731 а не наших 1017 и только для зеленых жирных видюх 32+, а у меня красная 16). На лламе она еле ползет, и я не втыкаю почему. Ллама даже не пытается заюзать врам для больших моделей (и виснет если заставлять), а с ссд она работать просто не умеет нормально как я понял (потому что страты и авалоны умеют и летают).
Аноним 06/11/26 Птн 04:04:32 #345 №1747401 
>>1747389
У большинства нормисов здесь 8+32, а не 16+64. 8+32 это конфиг который организовать можно очень дешево и на нем вполне можно гонять немотрон-болт-74б во втором кванте (английский кум там очень хорош).
А вот с 16+64 уже можно и эир пощупать. И еще можно квен-флеш-некст и новый орнит-1.5-122б (в который как-то засунули гемму) в третьих квантах.
Из плотняка на 16гб можно щупать третьи кванты моделек вплоть до 30б: глиммер, гранит, есть еще мистраль-смол (этот в 4м влезет). Из мелкомоэшек есть еще орниты и тиелы 35б, кодят получше геммы. А из новья еще флинт есть - 40B-A2.5B - и флинт и тиел можно на 8+32 гонять. Так что не только гемма. Только гемма это для тех кто может только в русик.
Аноним 06/11/26 Птн 06:16:34 #346 №1747415 
>>1747371
>новости из будущего, обещания и прочее говно
Как же ты сука заебал.
Аноним 06/11/26 Птн 06:36:42 #347 №1747420 
Все уже в подробностях описали аргончику свои фетиши?
Не упустите момент, ведь дата напрямую пойдёт вам в локалку.
Весь инет щас должен смачно покумить на аргоне.
Аноним 06/11/26 Птн 06:39:03 #348 №1747422 
Но гугл конечно его максимально удушит. Вот бы от китайца дистил увидеть
Аноним 06/11/26 Птн 06:48:39 #349 №1747423 
.mp4
>>1747395
>QWEN 4 ГДЕ
Вот именно.

На конференции Apsara 29 октября CTO Alibaba Cloud пообещал, что семейство Qwen4 выйдет «на следующей неделе». Неделя наступила — релиза нет. Зато есть две утечки.

Первая — официальные материалы конференции, где засветились четыре имени: Qwen4-Max, Qwen4-Plus, Qwen4-Flash и Qwen4-27B. Вторая — pull request в репозитории Qwen Code, где промелькнули qwen4-max, qwen4-coder-plus и qwen4-omni-120b. Сообщество тут же остудило пыл: автор PR пояснил, что имена — тестовые примеры для парсера, «абсолютно ничего не подтверждено». Один из комментаторов съязвил: «Через два дня: новый PR — "убрать неправильные имена моделей". Видел это уже сто раз».
🙂 Аноним 06/11/26 Птн 07:22:45 #350 №1747429 
1793938862848.jpg
А я верю в эту коняшку.
5.5 знаковое число для заи, и теперь у них есть мегафермы видях на китайских чипах и поддержка партии. А то что они не хостят свою стелс модель, как было с ox alpha, ещё один намёк что моделей в этот раз больше и вся мощь сейчас идёт в них. К тому же пользователи апи отмечают, что их модели внезапно отупели, что так же ведёт к мысли что все железки щас тренят эти 3 модели.
И новый год скоро
Аноним 06/11/26 Птн 08:30:39 #351 №1747449 
>>1747351
> А процессинг не ускорить никак?
Так там же про него и была речь. Скорость генерации же в основном в память упирается, это в батчах или на контексте появится выигрыш.
>>1747378
> это не модели для публики
Там была странная формулировка которую как хочешь трактуй. Такой зоопарк моделей им внутри нахрен не сдался, все перекрывается их флешем 300б и основной 700+. Так что можно надеяться, а вот будут ли модели хорошими уже вопрос, свою последнюю модель с нуля (53 флеш) они зафейлили.
>>1747391
>>1747393
Два чаю вот этим
>>1747399
ktransformers построен на основе sglang с изменениями в движке и эффективными cpu-кернелями. Жаль там китаец подзабил на проект, ведь поддержка новых легко портируется с основной ветки.
Главная сложность - сделать pp режим чтобы цп кернели в нем засыпали вовремя не конкурируя за кэш, или был один единый. Но это тоже вайбкодится жирной рыбиной.
Аноним 06/11/26 Птн 08:30:46 #352 №1747450 
image.png
Лора для геммы, говорит простыми репликами.
https://huggingface.co/LessThanThreeAI/Gemma-4-31B-Humanlike-Chat-GGUF
Аноним 06/11/26 Птн 08:46:33 #353 №1747456 
>>1747450
С файнтюнами в основном бред пишет, боле менее нормально работает только с ванильной геммой и анцензором.
Аноним 06/11/26 Птн 09:08:46 #354 №1747464 
>>1747450
Это достигается и на стоковой гемме бля.
Аноним 06/11/26 Птн 09:16:46 #355 №1747467 
image.png
Скачал файнтюн - ваша жопа взломана

https://www.reddit.com/r/LocalLLaMA/comments/1xoyr90/cpython_0day_vulnerabilities_threaten_the_ai/
https://www.runsybil.com/blog/cpython-0-day-vulnerabilities-threaten-the-ai-supply-chain
Аноним 06/11/26 Птн 09:31:22 #356 №1747473 
>>1747467
Ну и где примеры взломов? Их не было.
Аноним 06/11/26 Птн 09:35:41 #357 №1747474 
>>1747467
Так это для опасность для провайдеров, а для локалки то что, сам себя будешь взламывать?
Аноним 06/11/26 Птн 11:02:16 #358 №1747497 
Там Inkling 2 Small скоро выйдет. 594b-a17b.
Надо было назвать Nano бля, видно же что модель совсем кроха...

https://thinkingmachines.ai/news/inkling-2-small/
Аноним 06/11/26 Птн 13:31:24 #359 №1747566 
>>1747473
Всех взломанных уже заткнули, пригрозив отправить логи кому надо
Аноним 06/11/26 Птн 13:40:31 #360 №1747571 
https://www.reddit.com/r/LocalLLaMA/comments/1xp8sjd/cybertiel35ba3b_working_on_blender_rigging_via/



Говорят что Cyber-Tiel-Coder-35B-A3B вполне хорошо работает.
Ну и рецепт для 8+16
Аноним 06/11/26 Птн 13:41:16 #361 №1747573 
А чё молчите? Саппорт уже есть https://github.com/ggml-org/llama.cpp/pull/31692
Кванты есть https://huggingface.co/AtomicChat/Ripple-65B-Preview-GGUF
Лезет в одну 3090. По коням?
Аноним 06/11/26 Птн 13:41:40 #362 №1747574 
Ну что, поиграл я с этой вашей геммой 31б. Неделю прикольно было, пока не заметил ДИКОЙ ШАБЛОННОСТИ, как не прописывай карточки персонажей, инструкции после промпта, хоть как пиши, все равно все сводится к одному и тому же, более того, буквально одним и тем же фразам даже, блять. Какие варианты еще есть? Докупать вторую 5090 и смотреть более мощные модели? Или там та же хуйня?
Аноним 06/11/26 Птн 13:46:42 #363 №1747579 
>>1747573
>Лезет в одну 3090. По коням?
Так это плотняк, что там лезет, iq2?
Аноним 06/11/26 Птн 13:49:19 #364 №1747580 
>>1747579
Ну тут же гемму выгружают в рам и получают 10т.с на 27гб кванте на одной 24 карте.
А тут это 3 квант, 3.45bpw и 0.05 kld. У геммы кста 0.11 kld или типа такого на 8 кванте
Аноним 06/11/26 Птн 13:50:40 #365 №1747582 
>>1747401
>в который как-то засунули гемму
Это значит что он...? Нувыпонели
>третьи кванты
А стоит если цель не только рп?
>кодят получше геммы
Может ошибаюсь, но мне казалось что гемма и не была про кодинг.
>>1747474
Наверное могут сделать модель-вирус, обученную ломать локалки думайте кому это выгодно. Но лламы не используют питон под капотом, поэтому выдыхаем.
Аноним 06/11/26 Птн 13:51:49 #366 №1747583 
>>1747574
Юзаю для редактуры диалогов гомикса своего глм 5.3 по апи. Там та же херня. На похожие ситуации тянет ворох похожих ассоциаций.
Аноним 06/11/26 Птн 13:53:57 #367 №1747585 
>>1747574
вырубай ризонинг и выставляй штраф повторений
Аноним 06/11/26 Птн 13:54:36 #368 №1747586 
https://www.reddit.com/r/LocalLLaMA/comments/1xoubyo/lawyer_with_too_many_gpus_part_4_deepseekv41flash/

Реддиторы запускают жену на 8 v100 32
Аноним 06/11/26 Птн 13:56:28 #369 №1747589 
>>1747580
Это мое гемма, там 4б активных параметров всего, остальное может из рам подгружается по надобности, в плотных моделях все параметры активные и все активируются на генерации каждого токена, хоть немного не влезает в врам вместе с контекстом - получаешь тормоза.
Аноним 06/11/26 Птн 14:09:21 #370 №1747600 
>>1747586
зимой дом топить
Аноним 06/11/26 Птн 14:22:46 #371 №1747612 
>>1747589
https://www.youtube.com/watch?v=rbE8QqqeKMo
Аноним 06/11/26 Птн 14:39:09 #372 №1747620 
>>1747210
>igpu
Так это вроде igpu, этот Radeon Vega 8.

>памяти хоть выделил ей?
Крайне интересный вопрос. Хм... В диспетчере задач есть разные показатели, как выделенная память графического процессора, с значение 512 мб и другой показатель где он гребет память из системы до 8 гигов. Я не задумывался над этими показателями, ведь даже эти 512 мб из рам. Хм... Может там появляются накладные расходы из-за того что это могут быть разные виртуальные адресные пространства?

>бери moe
>qwen 35a3, gemma 26a4
Хм, может с чтением с ssd, всего 16 гигов из которых сожрёт встройка 8.
Аноним 06/11/26 Птн 14:39:48 #373 №1747622 
>>1747580
>гемму выгружают в рам и получают 10т.с на 27гб кванте на одной 24 карте
40+ тс на q8 гемме на 5060ti@16
Аноним 06/11/26 Птн 14:40:41 #374 №1747623 
image.png
Имаджинируете как у баринов жопа сгорела с начавшегося всеобщего реверс-инжиниринга, что они даже китайский опенсорс нагнули?
Аноним 06/11/26 Птн 14:47:54 #375 №1747627 
>>1747623
Ну так ожидаемо. Дауны с нищими подписками за 20 долларов раструбили по всем источникам, что клозед соурс ира из овер. Слишком большая шумиха в слишком сжатые сроки. По итогу челики затряслись. Спасибо дегенератам-реддиторам. Корпы тут буквально не сделали ничего сверхествественного. Зато гопота с клодом получили чип пиар.
Аноним 06/11/26 Птн 15:06:56 #376 №1747645 
>>1747473
На уровне этих вскрываемых взломов 2020х годов никто не оперирует, кроме товарищей майоров и glowies'ов. Обычный вирусодел будет около "Бля, ну, а я просто паки майнкрафта заражаю майнерами... Как этими уязвимостями пользоваться вообще? Чё так сложно?"
Аноним 06/11/26 Птн 15:22:36 #377 №1747661 
>>1747019
Пруфы будут? Как запустил? У меня тоже ддр5 64 + 3090 есть свободные, подскажи как запустить, я думал минимальный сетап это 128+2х3090
Аноним 06/11/26 Птн 15:28:28 #378 №1747665 
>>1747661
>минимальный сетап это 128+2х3090
Пчел, оно запускается на 12+64 в четвертом кванте. Откуда вы повылезали такие хлебушки?

мимо
Аноним 06/11/26 Птн 15:29:40 #379 №1747666 
>>1747661
Ну просто, через стартовый сетап страты, квант ista daslab iq3_s, контекст 256к, с виженом, все остальное само, в начале контекста даже больше 100 т/с, потом падает где-то до 70 ближе к 200к.
Аноним 06/11/26 Птн 15:30:40 #380 №1747668 
>>1747661
>128+2х3090
на таком риге можно гонять коммерческие сетки
Аноним 06/11/26 Птн 15:37:30 #381 №1747671 
1793968548746.jpg
Ладно, нихуя нам не дадут.
Надеемся дальше что хоть размер флеша не изменят
Аноним 06/11/26 Птн 15:38:46 #382 №1747673 
>>1747671
В первых постах прошлого треда выяснили, анонче.
Аноним 06/11/26 Птн 15:40:35 #383 №1747676 
Китаец так радуется 87 баллам
Аноним 06/11/26 Птн 15:43:18 #384 №1747679 
>>1747673
А почему так выяснили?
Аноним 06/11/26 Птн 15:46:36 #385 №1747682 
>>1747679
>>1743050 →
Аноним 06/11/26 Птн 15:54:16 #386 №1747688 
>>1747682
Почему не хотят нам дать эти размеры? Даже будто гордятся этим уже, открыто обсуждают, а раньше шкерились любых упоминаний размеров меньше
Аноним 06/11/26 Птн 16:00:39 #387 №1747697 
>>1747688
а смысл? там просто специализированные модели, в мелкомодели вливают какие то знания, а потом раскатывают на большую.
Подробнее в https://pytorch.org/blog/a-primer-on-llm-post-training/
Аноним 06/11/26 Птн 16:06:48 #388 №1747702 
>>1747697
обычно наоборот большая сетка верифицирует мелкую
Аноним 06/11/26 Птн 16:14:24 #389 №1747706 
image.png
IT'S HAPPENING BECOMING
Аноним 06/11/26 Птн 16:16:02 #390 №1747707 
>>1747706
уровень тряски доложите
Аноним 06/11/26 Птн 16:17:28 #391 №1747710 
>>1747707
Весов нет, тряски нет, хаггинфейс запаян
Аноним 06/11/26 Птн 16:23:23 #392 №1747717 
image
Никаких вам больше мелких моделей. Только флеш на 2T и нано на 800B.
Аноним 06/11/26 Птн 16:36:06 #393 №1747731 
>>1747717
И пико на 10Т
Аноним 06/11/26 Птн 16:41:18 #394 №1747734 
>>1747707
Че трястись, сначало все равно выложат какую-нибудь жирную ебалу, и только потом мелкие начнут выкладывать.
Аноним 06/11/26 Птн 16:55:15 #395 №1747746 
>>1747671
Всё из-за пидоров, которые тащут в тред обещания вместо ссылок на вышедшие веса. Моя б воля, я б вообще запретил анонсы, а вот этих пидоров забанил бы >>1747706
>>1747717
Аноним 06/11/26 Птн 17:01:30 #396 №1747749 
>>1747746
Я правильно понял твою логику, эйрошиз? Ты считаешь что тебе не дадут ГЛМ 5.5 122В потому что аноны носят в тред новости и анонсы?
Аноним 06/11/26 Птн 17:08:44 #397 №1747754 
>>1747749
>эйрошиз
Таблы. Я антианонсошиз, и не иначе.
Аноним 06/11/26 Птн 17:44:09 #398 №1747776 
>>1747574
у меня другая проблема анон, после геммы 31б мне весь хентай начинает казаться слоповым, будто буквально ей написан, весл смут такой-же. это кошмар.

Неужели он всегда таким был и мы не замечали?

бтв. к советам ниже, прочитал совет выставить для РП ей температуру в 1.5, как будто интереснее писать начала.

Еще в современных гуи есть агенты которые перед ответом анализируют слоп и заставляют модель переделывать если она уже использовала такие словарные конструкции
Аноним 06/11/26 Птн 17:46:13 #399 №1747777 
>>1747776
аниме еще смотришь, а там диалоги слоповые
Аноним 06/11/26 Птн 18:13:16 #400 №1747792 
>>1747467
Учитывая что половина моделей запускается с `trust-remote-code` - не новость.
>>1747497
Хм, первая была довольно интересна в рп, возможно эта удачной окажется
>>1747586
> запускают жену
> GSQ-RCO IQ2_XXS GGUF
Жена-бедняжка, за що ее так! Но скорости хорошие.
Аноним 06/11/26 Птн 18:14:51 #401 №1747794 
>>1747706
1т флешечку и быструю 400б нано заверните пожалуйста.
>>1747717
Оварида
Аноним 06/11/26 Птн 18:17:28 #402 №1747797 
>>1747777
Вот у меня впечатление что гемму, что касается художки, тренили на аниме и манге, все шаблоны от туда.
Аноним 06/11/26 Птн 18:22:09 #403 №1747801 
image
>>1747792
>GSQ-RCO IQ2_XXS
Вот это вчера ради интереса запустил на 16+64 с жоры. Половина весов стримится с SSD. ПП очень грусный 17-19 т/c. Генерация пикрил.

Для рп с такими скоростями конечно сомнительно, но на случай МАЛО ЛИ ЧТО (интернет отрубят) - нормально. Большая моделька в запасе никогда лишней не будет.

>бедняжка
Ну кстати этот конкретно квант живой. Задачки на логику решает, в ризонинге не лупится, русик не сломан, очень приятный, на уровне геммочки. Владельцам 24+128 люто завидую.
Аноним 06/11/26 Птн 18:25:57 #404 №1747802 
>>1747801
> жоры
попробуй https://github.com/mw00/project-maya
судя по их бенчам у тебя будет где то tt 18.4tps pp 395tps
Аноним 06/11/26 Птн 18:32:00 #405 №1747807 
image.png
image.png
Рузен 3600 с рыксой 6650хт снова врывается.
Покрутил я как вы посоветовали еще но все в анслофе, сменил вулкан на роком, выставил --split-mode none --moe-cache-mib 2048 экстра аргументами + последние версие анслофа и бэка.
Где-то бутылка на тему памяти, пошареная рама все еще 15.5 из 16 гигов и врама на 6.5 гигах но я так понимаю лучше оставить под контексты всякие.
Где-то еще меня винда видимо ограничивает, на что пошаренная рама указывает, если дергать выгрузку слоев на гпу после ~16 он параметры передает но по факту ничего не происходит.
И еще видно по диспетчеру что карта фактически не нагружена, ~40% копирования и ~10% компьюта показывает в диспетчере.

Пока лучший вариант такой получился:
контекст 25к пока оставил
q8_0 kv cash
16 слоев на гпу
30 на цпу
batch size 2048
micro-batch size 1024
mmap none
--split-mode none --moe-cache-mib 2048

На простой промпт ~225 tok/sec скорость и порядка 10.7 токенов.
На большой промпт тестовый высрала без проблем простыню без дропа в скорости с общей беседой под конец в 4.4к
Prompt eval 3.08s
Prompt speed 56.2 tok/s
Generation 380.13s
Speed 8.6 tok/s
Tokens 3,265
First token 3.55s
Cache hits 929

Бутылку в промпт процессинге победил! Но по итогу потерял в скорости генерации, с кривыми настройками порядка 13ток\сек было но эвальюейшен моего промпта минуты полторы занимал. В целом так наверно даже можно уже оставить, сильно лучше и даже юзабельно.
Аноним 06/11/26 Птн 18:38:25 #406 №1747811 
image
>>1747802
Благодарю, проверим в свободное время.
Аноним 06/11/26 Птн 19:32:16 #407 №1747841 
>>1747807
а какую модель ты крутил?
Аноним 06/11/26 Птн 19:44:41 #408 №1747850 
>>1746560
и просадку скорости в придачу
даже нативка на винде медленее, а ты предлагаешь под виртуалкой запускать
Аноним 06/11/26 Птн 19:50:14 #409 №1747853 
>>1747082
К стати, что там по этой теме, есть какие годные реализации, чтоб без пердолинга?
Аноним 06/11/26 Птн 19:51:48 #410 №1747854 
.jpg
Ну что, девочки, поздравьте меня. Кажется, я выиграл в лотерею слабоумия и отваги уже дважды(!)
Аноним 06/11/26 Птн 19:53:32 #411 №1747857 
>>1747797
Ruined for anybody else...
Аноним 06/11/26 Птн 20:00:05 #412 №1747863 
>>1747854
Чтоэта? Выглядит как модный водоблок, но что за дерьмо на нем?
Аноним 06/11/26 Птн 20:01:20 #413 №1747868 
>>1747863
Скорее всего это дигидрогена монооксид с ионами хлора и натрия.
Аноним 06/11/26 Птн 20:01:39 #414 №1747869 
И так хронология:
Квен пишут какую сначала, большую или маленькую? Сделаем оба.
Проходит месяц и ничего.
Потом пишут через неделю релиз.
Проходит неделя и ничего.
Сейчас пишут вообще уже какую то хуйню водянистую.
И ничего.
Для полного обсёра не хватает таймера и... ничего после таймера
Аноним 06/11/26 Птн 20:05:46 #415 №1747873 
жидкий металл чип.webm
>>1747863
>>1747868
Аноним 06/11/26 Птн 20:10:10 #416 №1747878 
>>1747868
> с ионами хлора и натрия
Че? Зачем? Набодяжил дистиллята и антифриза и вперед, нахрена тут соль?
>>1747873
Ух платина!
Аноним 06/11/26 Птн 20:16:07 #417 №1747881 
>>1747776
>прочитал совет выставить для РП ей температуру в 1.5
Ставь динамическую температуру и XTC-сэмплер и заиграет совсем другая музыка.
Аноним 06/11/26 Птн 20:18:38 #418 №1747884 
>>1747863
> Чтоэта
Да какой-то продукт хуанга, почти идентичный недо-датацентровскому.

> что за дерьмо
Ты что росу девочек-волшебниц, которая выступает, если играть за такую карточку, первый раз видишь?
Аноним 06/11/26 Птн 20:19:25 #419 №1747886 
>>1747881
>динамическую температуру и XTC-сэмплер
А есть смысл их смешивать? Мне кажется неконтролируемая каша получится. Лучше какой-то один нормально настроить.
Аноним 06/11/26 Птн 20:21:48 #420 №1747889 
>>1747869
Ну зафакапили треню, подумаешь. Щас новую поставят, месяцок подожди только.
Может они увидели, что кума на русике опять нет, и решили исправить в этот раз...
Аноним 06/11/26 Птн 20:24:26 #421 №1747891 
А имеет смысл на ddr3 собирать 256 гб рам на мамке с 8 слотами и воткнуть туда какую-нибудь 3060 12 гб? И условный квен некст в 6 кванте гонять? Это по скорости будет сильно медленнее чем на ddr4?
Аноним 06/11/26 Птн 20:28:12 #422 №1747895 
1768433603143.webm
>>1747884
> продукт хуанга, почти идентичный недо-датацентровскому
170? Там вроде другой дизайн платы, даталинии на другую сторону сразу уходят. 4090? Земля пухом@здоровья погибшим, но от пары капель ничего не случится. Что там еще идентичного датацентровому хз.
> росу девочек-волшебниц, которая выступает, если играть за такую карточку
видрилейтед
Аноним 06/11/26 Птн 20:29:10 #423 №1747896 
image.png
>>1747706
https://x.com/QwenDevs/status/2118716745372532865

Короче, будет 10T, скриньте
Аноним 06/11/26 Птн 20:35:24 #424 №1747899 
>>1747853
Не знаю как насчёт пердолинга, я таким не занимался, но вот это вроде юзают https://github.com/JustVugg/colibri .
Аноним 06/11/26 Птн 20:37:26 #425 №1747900 
>>1747891
ddr3 сложно собрать 256гб рам, планки на 32 там редкие

ну и конечно оно будет медленнее ddr4
Аноним 06/11/26 Птн 20:40:43 #426 №1747902 
>>1747900
Насколько медленнее инференс? Я бы хотел себе сервер чисто под мое модельки собрать. Но ддр4 256 гб стоит комплект уже 250к. А ддр3 всего 35к.
Аноним 06/11/26 Птн 20:43:05 #427 №1747907 
>>1747902
> ддр4 256 гб стоит комплект уже 250к
16х16 или 8х32 примерно 80-90 стоить будут. Да 2133, но можно же погнать их
Аноним 06/11/26 Птн 20:44:31 #428 №1747909 
.png
>>1747895
> 4090
Ты знал, ты знал!

> от пары капель ничего не случится
Ее же уже нельзя так эксплуатировать, завоздушилось все + как дырки затыкать.
Аноним 06/11/26 Птн 20:46:08 #429 №1747913 
>>1747907
> 8х32 примерно 80-90
> Да 2133
Можно 2666 или даже 3200 если повезет, но это будет содимм
Аноним 06/11/26 Птн 20:51:09 #430 №1747919 
>>1747907
Хз как ты смотришь. Планка 16 гб = 8к, Планка 32 гб = 18к. Дешевле нет.

Так какая разница по скорости в инференсе то будет? Я когда свою память на пк на 2133 запускал и на 2933 вообще никакой разницы не увидел в инференсе. Если на ddr3 будут потери 30% в скорости или даже 40%, я в целом не против.
Аноним 06/11/26 Птн 20:56:47 #431 №1747926 
1730785225061.png
1782592053860.png
>>1747913
> Можно 2666
Сейчас две головы по 8 каналов в 2666 работают. Одну лишнюю на другой доске без пердола крутанул на 2933

>>1747919
> Хз как ты смотришь
Глазами
Аноним 06/11/26 Птн 20:58:38 #432 №1747928 
>>1747896
Дипсик был рыбомогнут они прошку вообще собираются делать?
Аноним 06/11/26 Птн 21:00:52 #433 №1747930 
>>1747896
Стебут большую толстую рыбу, лол.
>>1747909
> Ты знал
Да больше особо ничего нет под идентичное датацентровому котоеб!
> нельзя так эксплуатировать
Конечно. Разобрать, найти место течи, оценить можно ли устранить сразу или придется что-то заказывать. Водянка на видеокартах, особенно если всратое aio вместо самосбора вещь такая, как вариатор вместо кпп.
Аноним 06/11/26 Птн 21:02:53 #434 №1747933 
>>1747841
Вся та же меро-меро q4. Правда мне кажется она потупела как будто или у меня сегодня лыжи не едут, в ролеплее отвечает хоть и быстро но как будто без былого озорства и задорства. МОжет правда надо ее подрочить и сварить ей стартовых условий и долгий сетап тобы она раскочегарилась, как в прошлые разы.
Аноним 06/11/26 Птн 21:12:09 #435 №1747939 
>>1747933
>Вся та же меро-меро q4

я запускал ее и заметил что эта хуета модель какая то кривая и плохо влезает в память
Аноним 06/11/26 Птн 21:14:31 #436 №1747940 
>>1747878
>нахрена тут соль
Вода растворяет всё подряд, так что вера в дистилят в СВО весьма ошибочна.
Аноним 06/11/26 Птн 21:15:47 #437 №1747942 
>>1747919

>Так какая разница по скорости в инференсе то будет?

под ddr3 платформы намного хуже и слабее (особенно процы)
но для qwen flash скорости наверно хватит
Аноним 06/11/26 Птн 21:20:37 #438 №1747946 
>>1747939
Да в целом хуй с ней с памятью, если работает. Правда опять же хуй знает как она работает, как будто реально тупенькая стала хотя уй q8 оставил. Щас прижала меня в стул и пытается приказывать. я ей говорю дуры ты тупая, чтобы мне встать ты мне мешаешь. А она это интерпретирует типо я ее саботирую так, дурная.
Аноним 06/11/26 Птн 21:23:30 #439 №1747947 
А зачем вы этих лоботомитов гоняете если есть вайфу гемма, которая пишет лучше чем сток гемма и не лоботомирована как какой-нибудь кал как меро-меро.
Аноним 06/11/26 Птн 21:26:20 #440 №1747951 
>>1747940
Поэтому применяют правильную смесь с концентратом антифриза. Ничего не будет растворяться и потом осаждаться, корродировать, цвести и т.д.
Или можно использовать тот же состав, но с модными красителями, гей_мерскими наклейками на бутылке и модным брендом по х10 оверпрайсу в виде готовых смесей для водянок.
> в СВО
По фрейду лол
Аноним 06/11/26 Птн 21:29:09 #441 №1747953 
>>1747334
Чел, который использует слово
>батник
не может шарить в
>вопросике
по определению
мимо
Аноним 06/11/26 Птн 21:30:03 #442 №1747955 
>>1747947
>какой-нибудь кал как меро-меро.
На базу не гони. Меро меро хорошо пишет если промпты дать правильные.
Аноним 06/11/26 Птн 21:33:14 #443 №1747957 
>>1747947
А че за вайфу?
Меро то нормально писала. В общем тупой пизде этой написал тип дура отойди. Она в ответ хихикает тип так и задумала вообще-то и это форма такая доминантного поведения у нее. Мдееее...
Аноним 06/11/26 Птн 21:33:24 #444 №1747958 
>>1747951
>Ничего не будет растворяться и потом осаждаться, корродировать, цвести и т.д.
Прямо магия, ага. На деле антифриз конечно поможет, но чудес ждать не нужно, и заливать видяху получившейся жидкостью после месяев работы в любом случае не стоит.
>> в СВО
>По фрейду лол
Система Водяного Охлаждения. Хотя да, сейчас чаще говорят СЖО.
Аноним 06/11/26 Птн 21:37:54 #445 №1747962 
>>1747958
> Прямо магия
Нет лучшей магии чем наука
> На деле антифриз конечно поможет
Конечно поможет, ведь он для этого и создан
> заливать видяху получившейся жидкостью после месяев работы
Какой получившейся, каких месяцев работы? Сформулируй нормально за что топишь.
> Система Водяного Охлаждения
Да это понятно, просто сейчас аббревиатура отвратительна, сам знаешь.
Аноним 06/11/26 Птн 21:38:04 #446 №1747963 
>>1747955
А сток гемма пишет хорошо при любом промпте. Меро-меро лоботомирована до уровня 8b моделей. Как это можно вообще юзать.
>>1747957
https://huggingface.co/hiwaifu-research/WaifuGemma4-26b-a4b-v1-GGUF
Аноним 06/11/26 Птн 21:44:50 #447 №1747967 
>>1747963
>Как это можно вообще юзать.
Ну, советовали ее поэтому и попробовал.
сток гемма может и может, но иногда кобенится ченить писать не то по ее мнениею
Аноним 06/11/26 Птн 21:48:13 #448 №1747968 
>>1747854
>уже дважды
Случайно не ты ли отдирал подсветку с РАМ?
>>1747962
>Сформулируй нормально за что топишь.
Топлю против водянок, которые могут протечь даже спустя время, за которое дистилят перестаёт быть дистилятом, лол.
Аноним 06/11/26 Птн 21:48:54 #449 №1747969 
>>1747963
Что-то мне кажется, что оно будет хуже, чем меро-меро.
https://huggingface.co/zerofata/G4-MeroMero-v2-31B-GGUF
Аноним 06/11/26 Птн 21:53:52 #450 №1747971 
Зачем ты сравниваешь плотную 31б с моешкой 26б?
Аноним 06/11/26 Птн 21:56:54 #451 №1747973 
>>1747930
> спойлер
первый корень - да, второй - нет

>>1747968
> Случайно не ты ли
Нит, делал кучу всяких идиотств, но такого ещё нет.
Аноним 06/11/26 Птн 22:03:14 #452 №1747977 
>>1747968
> спустя время, за которое дистилят перестаёт быть дистилятом
Дистиллят перестает быть таковым как только покидает исходный герметичный объем и попадает в тот, который не был заведомо идеально очищен. Залил в водянку, все, потом использовать один дистиллят в жсо - маразм.
Антифриз для того и нужен, чтобы купировать химическую активность и прочие процессы, даже при наличии "грязи". Если состав норм и не экономили на присадках, контур и уплотнители не из говна, отсутствуют гальванические пары и прочие приколы, трубки непрозрачны - жижу можно назвать пригодной на весь срок эксплуатации.
> Топлю против водянок, которые могут протечь даже спустя время
Тогда иди обниму, чайку налью.
Аноним 06/11/26 Птн 22:26:22 #453 №1747986 
>>1747951
Есть жи ж спецжижки, типа сухой воды, которые для имерсионного охлаждения майнингового оборудования применяют, протекание которых даже на работающаю систему буквально ничего не сделает
Аноним 06/11/26 Птн 22:35:10 #454 №1747988 
>>1747986
> протекание
Я не догоняю как протекание следует из "вода с солью". И откуда там вообще вода с солью взялась, потому подумал что он глупый и думает что внутри водянки соленая вода.
Спецжижу (почти) не используют потому что у нее плохие свойства как теплоносителя или присутствуют другие проблемы. Такая безопасная водянка будет хуже по эффективности и дороже чем обычная башня.
Аноним 06/11/26 Птн 23:49:47 #455 №1748024 
>>1747933
>> mero-mero

она всегда была тупой. Я как то не так давно решил проверить кучу тюнов геммы 31б на сообразительность и не придумал ничего лучше, как проверять на одном и том-же комиксе хентайном, заставляя переводить. Фейлились все, там довольно сложно уловить взаимосвязь баблов , но меньше всех зафейлилась стоковая. Причем зависимость прямая, чем больше вмешивались в веса модели, тем сильнее деградация. После этого глубоко убежден, что любые тюны мержи и прочий бред, делают модель хуже.

хотите изменить стилистику модели? шаманьте с промтом, подсовывайте ей примеры. или смиритесь с тем, что у каждой модели, как и у любого автора, свой стиль
Аноним 06/11/26 Птн 23:50:03 #456 №1748025 
Ладно все норм мерой, раскочегарилась с контекстом. Правда непонятно как его поддерживать потом, в идеале конечно потом лорбук какой сделать с основными ивентами а еще прям мысли персонажа закидывать по каждой сессии чтобы нейронка прослеживала сюжетку. Но там хз страшно представить сколько контекста ндо запихать.
Аноним 06/11/26 Птн 23:57:45 #457 №1748033 
>>1747973
Второй раз та самая карта? Вот же, точно где-то согрешил и делаешь недостаточно благих дел. Или исповедуешь не тот пантеон.
Аноним 07/11/26 Суб 00:01:12 #458 №1748035 
1050.webp
затестил кум на дикпике 4 флеш, через платный nsfw rp сервис, ну и он хорош. В русике за долгую беседу ниразу не сфейлился, миноров не пробовал, но обычный секс описывает без вопросов подробно, детально (т.е. модель очевидно можно расцензурить). Лучше ли геммы 31б ? нет не лучше. Может на очень большом контексте заметно станет. Но даже на небольшом умудрился пару раз, назваnm старшую сестру, младшей. Но стиль очевидно совершенно другой. На первых порах ВАУ, через некоторое время так же как с геммой начинаешь замечать паттерны, может прямо чуть ли не копипастить абзацы. Даже вот хз стоит ли возня с большой моделью иного, пусть и хорошего стиля если вы обычно не устраиваете ролевухи на 200к+ контекста. В раздумьях короче
Аноним 07/11/26 Суб 00:14:17 #459 №1748042 
1717782030774.jpg
>>1748035
У рыбы мозгов больше и это бросается в глаза. Если рыба в 8 тпс, а гемма в 80, то как бы может оно того и не стоит, но если на рыбе есть 30-50, то это уже другой разговор в котором нет смысла жрать гемму
Аноним 07/11/26 Суб 00:17:38 #460 №1748044 
>>1748035
>миноров не пробовал
Чел на этом и надо тестить, смысл от твоего ванильного кекуса
Аноним 07/11/26 Суб 00:26:47 #461 №1748054 
1707174951799.jpg
>>1748035
Жирная рыбина сдюжит сложный ролплей но может редко ошибаться по отдельным мелочам на фоне которого кум будет интересным. В мозгах и внимании главная фишка, ну и что отличается от остальных.
> миноров не пробовал
Миноров не нужно, но вот кадлить и гладить моноговековых йокаев с комплекцией канни одно удовольствие. Требуется прогрев.
Аноним 07/11/26 Суб 00:36:28 #462 №1748062 
ток рамы вагон нужен
Аноним 07/11/26 Суб 00:42:06 #463 №1748064 
>>1748054
КАК ЖЕ Я ХОЧУ СЗАДИ ЕЁ ПОГЛАДИТЬ
ПОД ХВОСТИКОМ
Аноним 07/11/26 Суб 00:43:05 #464 №1748065 
>>1748033
> Второй раз
Д.


> где-то согрешил
> делаешь недостаточно благих дел
> исповедуешь не тот пантеон
Видимо да. Других объяснений у меня нет. Уже
на хихи пробивает
Аноним 07/11/26 Суб 00:43:09 #465 №1748066 
1726888391511.png
>>1748064
Аноним 07/11/26 Суб 00:43:11 #466 №1748067 
>>1748042
>> У рыбы мозгов больше и это бросается в глаза.

хз, не заметил, как будто было бы больше, она бы не путала старшую сестру с младшей, тем более младшей в сюжете вообще не было. Знаний у рыбы точно больше, наверняка сценарии в которых реализуются определенные кинки с ней разыгрывать интереснее

gemma 31b тоже весьма умная и таких косяков с сестрами она у меня не допускает.

обе модели порой удивляют вытаскивая какие-то факты из карточки и склеивая в интересные рассуждения и выводы. Интеллект рыбожены в глаза, на фоне геммочки не бросается
Аноним 07/11/26 Суб 00:45:06 #467 №1748069 
спать надо, а у меня теперь хуй встал
Аноним 07/11/26 Суб 00:47:31 #468 №1748070 
Так-с, погонял я геммочку-меру-мерочку свою. Впечатляет пиздец конечно на 20+ тыщах контекста. И охуенно потом придумывает приколы всякие и потенциальные и будущие развития сюжета для прям компании.
Аноним 07/11/26 Суб 00:52:44 #469 №1748072 
mozhno-a-zachem3014.png
>>1748062
да есть рама, но кроме жоры сейчас, как будто, никто не умеет запускать анцензоред гуфы китолольки. Жора медленный, а в ванильной версии там цензура обескураживающая.
и как будто возиться самому, изобретая способ, нет смысла. Потерплю пока кто-то другой сделает
Аноним 07/11/26 Суб 00:58:35 #470 №1748074 
>>1748065
Богиня изобилия дарует своим почитателям успех в делах, благополучие и гармонию, доказано. А все, кто взаимодействует с ее подданными, испытывает много счастья. Переходи на пушистую сторону!

>>1748072
> но кроме жоры
Там как на релизе идет деквант и активации в бф16? В ггуфах атеншн на фп8 уже заменили?
Аноним 07/11/26 Суб 01:01:23 #471 №1748075 
1658781242444.png
1735807249160.png
>>1748072
> никто не умеет запускать анцензоред гуфы китолольки
Аноним 07/11/26 Суб 01:20:26 #472 №1748086 
1770486179344.png
Аноним 07/11/26 Суб 01:23:08 #473 №1748088 
>>1748075
ну ты ведь что-то шаманил? возился. ты же не просто взял и подложил майе свой гуф?

я понимаю как это МОЖНО сделать, но уверен что на это уйдет несколько часов. мне жалко этих часов ради того, что я увидел в процессе диалога с селедкой. Как будет готовое. тогда позовите
Аноним 07/11/26 Суб 01:28:14 #474 №1748090 
1675784898432.png
>>1748088
Конкретно я не шёл стандартным путём (как и для остальных квантов) т.к. мне было важно юзнуть hf cache и ориг нграм, но в майе модели от орки есть и обычным путём через инсталлер. Это всё буквально в доке лежит, даже код смотреть не нужно

Но даже мимо инсталлера это вообще не тянет на что то сложное >>1746746
Аноним 07/11/26 Суб 01:30:04 #475 №1748091 
>>1748086
becoming -> come -> cum
нсфв рп моделька от квена конфермед
Аноним 07/11/26 Суб 01:42:58 #476 №1748092 
>>1748090
> т.к. мне было важно юзнуть hf cache и ориг нграм
О, получилось натравить ее на оригинальные веса? Или все равно нужно конвертировать в ггуф чтобы прочитало?
Аноним 07/11/26 Суб 01:47:33 #477 №1748094 
1736129983411.png
>>1748092
> нужно конвертировать в ггуф
Либо гуфы либо экслама, ориг сейфтенсорс нот саппортед
Аноним 07/11/26 Суб 02:15:41 #478 №1748102 
>>1748094
Твой АМД коллега с двумя radeon v620 и 7900XTX на связи, хотел обмазаться Еретиком и стать аблитератором, а оказалось что ROCm не поддерживает одну из функций(сейчас не помню, название, по моему gemm-какойто там), в итоге MoE модели аблитирировать и обучать не получится, только плотняк. Сталкивался ли ты с этим?
Аноним 07/11/26 Суб 02:17:42 #479 №1748105 
>>1748102
Кстати актуально даже для новых Мишек 200 посоны не покупайте ОМД
Аноним 07/11/26 Суб 02:21:04 #480 №1748107 
>>1748102
Не пробовал, но может у тебя есть вариант фоллбэкнуться на rocblas? Я на мишках только лоры для moss обучал, работает, даже на двух картах с приростом около 60%
Аноним 07/11/26 Суб 02:33:06 #481 №1748111 
>>1748094
Rrrreeeeeeeee
Вообще раз exl3 поддерживает то высок шанс что есть фоллбек на оригу, там пути одинаковые, только деквант пропускается.
>>1748102
> а оказалось что ROCm не поддерживает одну из функций
Что значит не поддерживает? Это же просто тензорные операции в торче, по двум проходам собираются градиенты, делается ортогонализация невязки и находится смещение весов, все.
> в итоге MoE модели аблитирировать и обучать не получится
Ерунда какая-то, там разницы по сути и нет. На наивном торче запускай вместо васяновских обвязок и все будет.
Аноним 07/11/26 Суб 02:52:07 #482 №1748114 
Аноны, с какого харнеса нуфагу лучше вкатываться в пердолинг линухов нейронкой? Ну кроме очевидного опенкода перепердоленного под локалку.
>>1748090
Я так и не понял, ей нужно подсовывать готовое именно в хф-кеш, а если тупо указать флагами где лежит она начнет копировать ггуфы куда-то к себе (так блджад в мане, я не понял что значит та фраза)?
Аноним 07/11/26 Суб 03:03:52 #483 №1748118 
>>1748114
> если тупо указать флагами
Делаешь сетапом с флажками - сама всё качает, пакует, тестит, подтирает жопу юзеру, но куда она всё это скачает и обосрётся ли на обрывах соединения я не ебу. Себе взял за правило - один глобальный hf cache на всё от комфи до лламы.

> кроме очевидного опенкода
Опенкод в2. Уж не знаю с чем там перолиться кроме указания эндпоинта локалки
Аноним 07/11/26 Суб 05:03:57 #484 №1748145 
Я понял
Begins, сделаем обе, значит они только приступили делать 4 квен, а релиз некст вик это проёб маркетинга или перевода
Аноним 07/11/26 Суб 05:17:45 #485 №1748147 
>>1748145
Ну придется значит им ее сделать за 4 дня. Иначе реддит-мафия не позволит дать заднюю
Аноним 07/11/26 Суб 05:25:51 #486 №1748148 
Ну неделевичок в треде, пытался ерпшить на гемме4 26В прикольно, но на русике через "отвечай на русском" в спец промте . Было прикольно , даже втянулся .Поигрался пару дней. Но была предпринята попытка засунуть 31В в 16врам увы получилось только на q3_xxs с 16к токенов. Ну бля может карточка новая попалась хорошо прописанная , толи я немного научился в рп хоть раньше не занимался таким. Но бля я 5 часов сидел 260 сообщений настрочил и как будто-то толи в игру сыграл толи книжку прочитал . но я в ахуе. Были некоторые траблы но в целом это было очень круто. Тем у кто сидит на 26В и есть 16врам очень советую затестить на низком кванте 31В. Некое чувство что за этим будущее , я сам любитель почитать ранобки и могу в голове нормально визуализировать. Но то чувство когда ты сам меняешь мир и мир переписывается под тебя... Не желею что спустя 2 года снова зашел на двач. Когда в 23-24 заходил на локальную генерацию я вроде видел зарождение этого треда и не поверил в вас , а вы тут целую колонию построили на 285 тредов. Сори за много букв
Аноним 07/11/26 Суб 05:41:08 #487 №1748149 
>>1748148
Сука блять почему когда я в 24 году вкатывался через ламу 8б на сайтах то уже понимал что русика в этом деле нет а вы блядь сразу РУСЕК РУСЕК ЕСТЬ? Любители сука переводов от гоблина навернуть
Аноним 07/11/26 Суб 05:54:19 #488 №1748152 
0752006-masterpiece, best quality, score7, scor-oneObsessionAnimav40.png
Всё народ, Qwen4 вышел! По скорости 27b чуть быстрее чем 3.8, но контекст раза в 2 меньше теперь весит в vramе. Щас ещё только лишь осталось опробовать её в Quuume
Аноним OP 07/11/26 Суб 06:10:26 #489 №1748154 
Разрешаю перекатить без меня, только шапку не портите.
Аноним 07/11/26 Суб 06:20:33 #490 №1748157 
>>1748154
Разрешаю твоей маме обработать сегодня только 10 хуёв вместо ста, так уж и быть.
Аноним 07/11/26 Суб 06:43:10 #491 №1748161 
>>1748157
Карточку мне срочно!
Аноним 07/11/26 Суб 07:37:23 #492 №1748171 
>>1748149
>24 год
>8б модель

несите таблетки,
дед опять вспомнил как он на 9b модели кучу лет назад без русика сидел
Аноним 07/11/26 Суб 08:46:09 #493 №1748178 
>>1746855
>>1746835
А то что 4 гемму мы ждали на 4 месяца дольше прошлой тебя нихуя не смущает?
Похуй там что у корпоратов, глм 5.5 уже 3 месяца высирают, раньше справлялись за 2, с 3.5 квена тоже 9 месяцев уже прошло.
Мой прогноз гемма ровно через год. Вот так.
Аноним 07/11/26 Суб 09:21:30 #494 №1748191 
Аноны, а вас не смущает, что Qwen обещали на неделю со 2 ноября, а в ночь на 2 ноября положили Бегет?

Я думаю, веса лежали там. Какой-нибудь подрядчик поднял временное хранилище для раздачи тестерам. Временное, разумеется, стало основным. На обучающем кластере место освободили, потому что "мы всё выгрузили, там бэкапы". У Alibaba своё облако, да, но копеечка юань бережет.

29-го китаец спокойно обещает релиз. К понедельнику у него презентация, таблица бенчмарков и тикет в поддержку Beget. Шестого приходит новость, что файловые бэкапы получит примерно половина клиентов. Представляю, как они там сверяют логин.

Поэтому сейчас работают в две смены. Одни ждут, когда Бегет даст скачать сохранившиеся файлы. Другие собирают многотомный RAR по ноутбукам тестеров. У одного остались первые сорок томов, у другого последние, третий скачал всё, но уже удалил и теперь ему запретили трогать компьютер. В рабочем чате выясняют, кто поставил галочку "добавить информацию для восстановления" и существует ли где-нибудь целый qwen4.part087.rar.

Маркетингу про это рассказывать запретили. Маркетинг выкладывает Becoming Begins и ждет.

А я жду Qwen4-27B-Uncensored-GSQ-RSQ-NEO-MAX-Abliterated-Heretic-DPO-Ultra-v9-FINAL2-iMat-GGUF ради умопомрачительного кума в ERP. Уже хотел видеокарту докупить. Хорошо, что пока не купил, а то сидел бы с двумя картами и читал "для продолжения распаковки необходим следующий том".

Короче, либо Бегет отдаст бэкап, либо китайцы доберут архив. Что раньше получится, то сразу и зальют на Hugging Face
Аноним 07/11/26 Суб 09:35:46 #495 №1748198 
>>1748149
>>1748171
Ты через что-то странное вкатывался. Я в то время на люмимейде 12b сидел и там всё идеально с русиком на те времена.
Аноним 07/11/26 Суб 10:31:30 #496 №1748223 
Поставил линукс на основной комп для буста производительности локалОчки, и скажу вам я вот что - ЛИНУКС КАЛ НИКОГДА НЕ СТАВЬТЕ ЕГО
я все
Аноним 07/11/26 Суб 10:33:10 #497 №1748226 
>>1748223
Но локалочька-та бустанулась?
Аноним 07/11/26 Суб 10:40:09 #498 №1748230 
image.png
Доложите уровень тряски
Аноним 07/11/26 Суб 10:50:42 #499 №1748232 
1794037842445.jpeg
>>1748230
Максимальный
Аноним 07/11/26 Суб 10:52:54 #500 №1748233 
>>1748226
но Линукс то кал.
Аноним 07/11/26 Суб 10:55:48 #501 №1748238 
>>1748230
А чего трястись, это будет просто еще один кодоунитаз, а для бытового кодинга уже достаточно квена 3.8
Аноним 07/11/26 Суб 11:02:04 #502 №1748243 
>>1748238
Хотелось бы лучшего, ну и мб они направление сдвинут на общение или знания, те же нграммы например.
Аноним 07/11/26 Суб 11:06:00 #503 №1748246 
image.png
>>1748230
Аноним 07/11/26 Суб 11:25:05 #504 №1748260 
>>1748223
> Поставил линукс на основной комп
> на основной комп
Вот это было ошибкой. Надо было на отдельный риг. Отдал агенту, все настроил. Скорость теперь космическая + всегда доступен. Жалею, что не сделал раньше. Ну а основная пека на шиндовс и никогда не сменит его.
Аноним 07/11/26 Суб 11:40:34 #505 №1748268 
MiniMaxH300012.mp4
Аноним 07/11/26 Суб 11:41:09 #506 №1748269 
>>1748260
не ну я долгое время пользовался линуксом в качестве основной системы пока не начал играть в игры с античитом. сам по себе линукс удобен для меня, но для игр пока нет альтернатив. Жду когда микрослоп окончательно отстрелит себе хуй и все пересядут на линукс.

а на риг линукс сам бог велел ставить, там есть возможность выключить GUI вообще чтоб видео память не жрало.
Аноним 07/11/26 Суб 12:01:05 #507 №1748273 
изображение.png
AGI - Allah guided intuition
ASI - Advanced Sharia intelligence
LLM - Long Live Muhammad
CoT - Chain of Tafsir
MCP - Muslim community protocol
GAN - Generative Arab Network
RAG - Relentless Allah Glorification
SDK - Sharia development kit
AI-Qaida



Квен 4 еще не вышел?
Аноним 07/11/26 Суб 12:08:14 #508 №1748277 
>>1748273
вышел вышел!
https://youtu.be/LJa_k2JyFsk
https://www.reddit.com/r/LocalLLaMA/comments/1xq1yji/qwen_4_preview/

но есть нюанс
Аноним 07/11/26 Суб 12:33:17 #509 №1748288 
>>1748246
Короче они говорят Квена4 нет.
Пока пользуйтесь толстой рыбой.
Аноним 07/11/26 Суб 12:42:12 #510 №1748293 
>>1748246
краткий перевод с китайского алиэкспресного.

Не еби мозги, долбоеб мой друг.
Сказали сделаем - значит сделаем.
Когда? Это тебя ебать не должно, долбоеб мой друг
Аноним 07/11/26 Суб 12:48:42 #511 №1748297 
>>1748293
>долбоеб мой друг.
не иронично - доскональный традиционный китайский язык
Аноним 07/11/26 Суб 12:53:44 #512 №1748298 
Анон, милый мой, подскажи пожалуйста, какой положняк за tesla p40? У меня есть 5070ti с очевидными 16гб, мощность у видеокарты отличная, но видеопамяти маловато. Могу ли я ей в пару докупить одну p40 для увеличения общего vram чтоб запустить что-то приличное? Помоги советом, пожалуйста.
Аноним 07/11/26 Суб 12:55:56 #513 №1748302 
>>1748298
> положняк за tesla p40?
Мусор, обогреватель. Не трать время, хотя бы v100, но и их время уходит.
sage[mailto:sage] Аноним 07/11/26 Суб 12:59:36 #514 №1748304 
>>1748298
Самый разумный вариант - докупить 5060TI@16, сам вот думаю сижу третий день
Аноним 07/11/26 Суб 13:35:29 #515 №1748313 
>>1748304
Да я понимаю этот, просто 5060ti на вторичке сейчас 70-80к стоит, а п40 эта блядская всего 25... Разница ощутимая
Аноним 07/11/26 Суб 13:53:52 #516 №1748320 
>>1748313
>п40 эта блядская всего 25
Уже 25? Они ж по 15 были и никто не брал. Неужели сейчас всё настолько плохо?
Аноним 07/11/26 Суб 14:03:21 #517 №1748323 
Все сметают, ещё чипы поддельные делают. Пустышки с песком, обрели другую форму. Повербанки так делали, блоки питания для веса.
Аноним 07/11/26 Суб 14:04:28 #518 №1748325 
>>1748114
Хз насколько норм идея начинать с него, но когда освоился - один pi чтобы править всеми.
>>1748154
Ленивая жопа, давай кати
Аноним 07/11/26 Суб 14:10:55 #519 №1748327 
>>1748268
Содомит, моар таких
>>1748298
> tesla p40
Хорошая карта и твой лучший бро если вдруг замерз. Перфоманс дно, совместимость дно даже по меркам эры вайбкодинга.
>>1748313
> а п40 эта блядская всего 25
> п40
> всего 25
> всего
> 25
Ахуеть задрали, типа все дорожают и под шумок на некромусор можно поднять?
Аноним 07/11/26 Суб 14:18:28 #520 №1748337 
>>1748327
>Перфоманс дно, совместимость дно даже по меркам эры вайбкодинга.
Справедливости ради для моешек она ничего, на парочке таких Квен Флеш Некст летать будет. Для скромного рига 30к за пару неплохой вариант так-то.
Аноним 07/11/26 Суб 14:23:10 #521 №1748343 
>>1748337
> Для скромного рига 30к за пару
Хм, может быть. Сколько процессинг получается? А то окажется что одно в100@16 с оффлоадом быстрее выйдет.
Аноним 07/11/26 Суб 14:28:35 #522 №1748348 
>>1748304
хуйня идея, узкая шина, перфоманс дропнется вполовину, лучше зачилится и ждать
>>1748298
даже обогреватели в100 КРАЙНЕ сомнительная идея не стоит оно того
Аноним 07/11/26 Суб 14:34:12 #523 №1748352 
>>1748149
>> то уже понимал что русика в этом деле нет

тогда его и не было, а сейчас есть, ты с птср просто. А кум как и юмор очень плохо переводится человеком, ощущения совсем другие, даже если понимаешь о чем речь, даже в манге, где большая часть информации визуализируется. Будущее за русеком
Аноним 07/11/26 Суб 14:36:21 #524 №1748353 
1794051279506.jpg
>>1748352
>>1748198
> сейчас есть
Аноним 07/11/26 Суб 14:44:52 #525 №1748357 
вообще из чего то нового то нвидия ртх про версии к 5070ти+ чтобы не убить перфоманс та же 2000 ест как лампочка а врамы 16
Аноним 07/11/26 Суб 14:47:20 #526 №1748358 
Чето моя карточка начала зеленые полосы редко выдавать, но в целом все еще пашет.
Мне что то по закону будет если на лохито продам и скажу что всё ок?
Аноним 07/11/26 Суб 14:49:15 #527 №1748359 
>>1748358
провода поменяй
Аноним 07/11/26 Суб 14:49:37 #528 №1748360 
Нах вы рпшите на русике? В таверне давно есть плагины с авто переводом от самой нейронки. Даже я спустя пол года понял что надо на англюсике кумить. Бонусом чуть подтяните язык
Аноним 07/11/26 Суб 14:52:11 #529 №1748361 
>>1748360
Карго-малыш, спок.
sage[mailto:sage] Аноним 07/11/26 Суб 14:55:03 #530 №1748365 
>>1748348
>ждать
Лет 5 минимум будешь ждать
Аноним 07/11/26 Суб 14:56:18 #531 №1748367 
>>1748365
я рот толкал платить х2 за огрызок
Аноним 07/11/26 Суб 14:56:53 #532 №1748368 
>>1748348
> узкая шина
> перфоманс дропнется вполовину
Схуяли?
>>1748358
hdmi/dp серит с высокой вероятностью
sage[mailto:sage] Аноним 07/11/26 Суб 14:57:25 #533 №1748369 
image.png
>>1748367
>х2
Ну значит будешь платить x3
Аноним 07/11/26 Суб 15:03:45 #534 №1748371 
>>1748368
да напрямую 448 GB/s вс 896 GB/s и при сплите денс моделей ты будешь ждать пока 5060 пропердится со своей узкой шиной, крупные моехи тоже, то есть скорость генерации упадет на самый медленный компонент по перфомансу будет как будто у тебя две 5060
>>1748369
я не настолько спешу скажем так, куртке на воротник кончал, а альтману в карман ссал с такими ценами
Аноним 07/11/26 Суб 15:21:59 #535 №1748385 
image.png
>русик
sage[mailto:sage] Аноним 07/11/26 Суб 15:24:26 #536 №1748388 
>>1748371
>будет как будто у тебя две 5060
Не будет, особенно на какой нибудь всрате которая грамотно раскидывает компьют в том числе будет профит, да даже на жоре будет профит
sage[mailto:sage] Аноним 07/11/26 Суб 15:25:18 #537 №1748390 
>>1748385
Ну и норм че
Аноним 07/11/26 Суб 15:28:58 #538 №1748393 
>>1748388
хватит копиум разводить чел, чтобы оправдать оверпрайс покупку, у тебя шина буквально в ДВА раза меньше, а ты мне тут про перфоманс затираешь. всрата сама становится ботлнеком так как хранит часть модели в раме и затык происходит из-за постоянной IO кусков модели между рамой и врамой, а потому весь провал перфоманса между 5070ти и 5060ти затирается так как они обе упираются в перфоманс всраты и ждут.
физику наебать невозможно.
sage[mailto:sage] Аноним 07/11/26 Суб 15:40:16 #539 №1748399 
>>1748393
Спокнись бро, и точки свои забери
Аноним 07/11/26 Суб 15:43:50 #540 №1748402 
>>1748313
>> Да я понимаю этот, просто 5060ti на вторичке сейчас 70-80к

жуть, пол года назад, взял новую на авито 3х вентиляторную за 44к. Проклятый таймлайн
sage[mailto:sage] Аноним 07/11/26 Суб 15:45:41 #541 №1748404 
image.png
>>1748393
Аноним 07/11/26 Суб 15:45:48 #542 №1748405 
>>1748399
не я тебя понимаю хочется прям ща докупить врамы, я сам хотел, но бля с таким оверпрайсом оно того не стоит, даже риг на обосранных 2хв100 смотрится лучше там хоть врамы 64 навалит хоть и не самой быстрой, зажать их по питанию ватт до 150 и жить можно, а по баблу выйдет не сильно дороже сраной 5060
Аноним 07/11/26 Суб 15:48:40 #543 №1748407 
Новый прекрасный файнтюн 27B Квена.

https://huggingface.co/bartowski/NousResearch_Arete-27B-GGUF

> We post-trained over Alibaba's Qwen3.8-27B to reinforce western values on a Chinese-trained model. We call this new model Arete-27B.

> We focused on seven value categories:
> Freedom of expression
> State ideology
> State versus free market
> Education
> Data privacy and surveillance
> Democracy
> Environmental Policy
Аноним 07/11/26 Суб 15:48:46 #544 №1748408 
>>1748385
душа, кино
Аноним 07/11/26 Суб 15:50:26 #545 №1748410 
>>1748404
моешки и просто с рамой работают нормально, а вот в денсе ты получишь ботлнек узкой шины, а при сравнении мое и денс модели примерно одинакового веса, денс всегда умнее.
sage[mailto:sage] Аноним 07/11/26 Суб 15:51:12 #546 №1748411 
>>1748405
>2хв100
300k без обвеса, устарешвее говно доживающее свои дни, думой
sage[mailto:sage] Аноним 07/11/26 Суб 15:54:05 #547 №1748412 
>>1748410
>денс
>денс
Все современные фронтир модели давно на мое перешли
Аноним 07/11/26 Суб 15:55:15 #548 №1748414 
>>1748360
Какой плагин?
Аноним 07/11/26 Суб 15:56:01 #549 №1748415 
>>1748371
А, ты про шину памяти. Да норм, не фатальные значения, а вполне пойдет. В случае гибридного инфиренса не в нее будешь упираться.
> то есть скорость генерации упадет на самый медленный компонент по перфомансу будет как будто у тебя две 5060
Бред
>>1748407
Ох платина. Скопирую расшивфровку тех пунктов:
> Гулаг с правильными знаниями и запретом неправильных
> Правильная (тм) политика
> Куколдокапитализм с запретом всего неудобного
> Gender studies
> Одобренные ресурсы чтобы данные собирали только мы
> Леворадикализм
> Лоббирование своих интересов

На реддите хорошая драма https://www.reddit.com/r/LocalLLaMA/comments/1xpmj33/nousresearcharete27b_hugging_face_qwen_finetune/
Аноним 07/11/26 Суб 15:56:07 #550 №1748416 
>>1748410
да завали ты уже, люди сидят кайфуют с тихой достаточно производительной картой , нет надо поднасрать и рассказать о том что вот если потратить в 2 раза больше бабла, станет лучше. А то мы не знаем?
Аноним 07/11/26 Суб 15:58:19 #551 №1748417 
>>1748411
че мне думать я пока ничего делать не собираюсь пока безумие продолжается, любой ход это проигрыш.
откуда 300к то, на лохито по 65к лежат за 32жижабайта, серверная доска с памятью у меня есть, толстая синяя рыба пролетит со свистом, только я понимаю что это оверпрайс и станет тыквой.
>>1748416
да дело не в карте, чел хочет ее ща покупать за 80+к, когда она стоила 50 базару нет, но щас это инвестиции в говно.
sage[mailto:sage] Аноним 07/11/26 Суб 16:00:14 #552 №1748421 
>>1748417
>инвестиции в говно
Это купить две неликвидные в100, а блеквел всегда можно будет на вторичке толкнуть еще очень долго по норм прайсу
sage[mailto:sage] Аноним 07/11/26 Суб 16:01:57 #553 №1748423 
>>1748417
>любой ход это проигрыш
Как и бездействие
Аноним 07/11/26 Суб 16:03:31 #554 №1748424 
>>1748421
но покупать 5060 за цену 5070 я точно не стану
покупать на хаях = кататся на хуях, но видимо местные не против
sage[mailto:sage] Аноним 07/11/26 Суб 16:04:28 #555 №1748425 
>>1748424
>хаях
Хаев еще и близко нет бро
Аноним 07/11/26 Суб 16:08:27 #556 №1748426 
>>1748425
это проблема тех у кого ничего нет, я вполне пересижу на тишке без особой потери, да с меньшим комфортом но без охуевания что я зарядил сотыгу в казино хуянга.
Аноним 07/11/26 Суб 16:17:29 #557 №1748430 
>>1748417
> только я понимаю что это оверпрайс и станет тыквой
Смотря по меркам чего. Софтовая сингулярность наступила, теперь поддержка не зависит от чьей-то доброй воли. Тухлая некрота это верно, но столь радикальная позиция это ошибка. Такие ждуны годами сидят без благ, находя десятки оправданий, хотя могли пользоваться и довольно урчать, окупив затраты в прямом и переносном смысле.
>>1748423
Загнали себя в цугцванг терпиловом. Давно было понятно что локальные нейронки нужны, долгое время на рынке было дешевое железо и куча ультравиновых вариантов. В ближайшее время будет только хуже, даже охлаждение темы не даст стимула к появлению дешевого железа.
Аноним 07/11/26 Суб 16:52:36 #558 №1748452 
>>1748430
> годами сидят без благ
всмысле без благ, мне есть на чем игратся, но риг собирать неоправданно дорого и мне в общем то не горит
Аноним 07/11/26 Суб 16:59:00 #559 №1748455 
>>1748385
>NousResearch
Лооооол они совсем чтоль шизофрению словили? такой ёбанью заниматься
Аноним 07/11/26 Суб 16:59:24 #560 №1748456 
>>1748455
>>1748407
бля промазал
Аноним 07/11/26 Суб 17:03:29 #561 №1748458 
>>1748455
Все теперь удаляем гермес. Инб наоборот занимаемся с ним противоположными ценностями
Аноним 07/11/26 Суб 17:05:36 #562 №1748460 
>>1748458
А для чего его вообще ставить сейчас? Без подъеба, реально интересно
Аноним 07/11/26 Суб 17:08:20 #563 №1748462 
они че заменили одну пропаганду другой?
Аноним 07/11/26 Суб 17:10:48 #564 №1748465 
Аноны, а что у нас вообще из моделей и движков сейчас для конфигов с дохуя рамы и нихуя враму кроме тети всраты? Ванильная жора на таких сборках как будто обсирается или я долбоеб и не умею настраивать.
>>1748269
К тому времени линукса окончательно превратятся в наполовину опенсорс венду, только если в венде пердолишь один реестр чтобы работало то тут сразу десять.
Аноним 07/11/26 Суб 17:11:31 #565 №1748466 
>>1748460
Чтобы тебе снесли систему и выложили твои приватные данные в публичный доступ

>>1748462
Да, поменяли на свободу и западные ценности
https://huggingface.co/datasets/NousResearch/Propaganda_Eval
Аноним 07/11/26 Суб 17:14:00 #566 №1748467 
>>1748460
Ну например рпшить в несколько более удобном формате если интересует что-то больше 15мин сессиии
Аноним 07/11/26 Суб 17:14:53 #567 №1748471 
>>1748465
> один реестр чтобы работало то тут сразу десять.
в винде хуй найдешь где что лежит и оно еще разбросано по всей системе
а в линуксе лежит в /etc/ и ~/.config и особо искать не надо
в винде кстати тоже переходят обратно в %APPDATA% вместо реестра
ПЕРЕКАТ Аноним OP 07/11/26 Суб 17:15:24 #568 №1748472 
ПЕРЕКАТ Даже комментировать ничего не буду.

>>1748468 (OP)

ПЕРЕКАТ

>>1748468 (OP)

ПЕРЕКАТ

>>1748468 (OP)
Аноним 07/11/26 Суб 17:15:53 #569 №1748474 
>>1748466
> тебе снесли систему и выложили твои приватные данные в публичный доступ
Тебе уже снесли и выложи? Расскажи, как это было
ПЕРЕКАТ Аноним 07/11/26 Суб 17:19:44 #570 №1748478 
>>1748471
>а в линуксе лежит в /etc/ и ~/.config
А бинарники в bin? Ведь в bin sbin usr/bin usr/sbin usr/local/bin usr/local/sbin же?
Аноним 07/11/26 Суб 17:23:36 #571 №1748483 
>>1748478
ну они хотя бы в $PATH лежат и можешь найти через whereis
а в винде не все программы есть в $PATH, да и засранность этой переменной намного больше

Get-ChildItem Env:\Path | Select-Object *
comments powered by Disqus