Добавлена поддержка ЭЧ/Ech (ex-Escapechan) и Ежчана (ejchan.net, ejchan.site). Набегаем, тестируем архивацию, сообщаем о замеченных проблемах.
К сожалению, значительная часть сохранённых до 2024 г. изображений и видео была потеряна (подробности случившегося). Мы призываем всех неравнодушных помочь нам с восстановлением утраченного контента!

Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №288 /llama/

 Аноним 12/11/26 Чтв 18:06:31 #1 №1752809 
Llama 1.png
Карта деградации при квантовании по доменам.png
Реальная длина контекста у моделей 6.png
17730110007942276746.png
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!

Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.

Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Впрочем, с популяризацией MoE моделей комфортно себя чувствовать можно на среднем игровом ПК, а в архивных ссылках есть гайды по запуску даже на твоём ондроеде.

Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive

Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• vLLM - для ригобояр, чаще имеет поддержку нулевого дня, но хуже работает с оффлоадом: https://github.com/vllm-project/vllm
• Unsloth Studio - не только запуск с llama.cpp внутри, но и тренировка: https://unsloth.ai/download
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Strata - быстрый движок для Qwen3.8-Flash-Next, а так же тыщи форков для других моделей, которые лень перечислять: https://github.com/niko1221/strata

Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI

Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth

Рейтинги и списки локальных моделей:
• (не очень) актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard

Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/

Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start

Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985

Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.

Предыдущие треды тонут здесь:
>>1750353 (OP)
>>1748468 (OP)
Аноним 12/11/26 Чтв 18:08:53 #2 №1752812 
ВАНГУЮ:

Huggingface, ранее выкупленный зеленью, теперь нахуй закроют.
Аноним 12/11/26 Чтв 18:10:32 #3 №1752814 
>>1752812
Так еще не выкупили. В 2027 должны были.
Скрестим пальцы, что все отменится к хуям.
Аноним 12/11/26 Чтв 18:12:17 #4 №1752816 
Нервно сбавил видяху на пару десятков ватт
Аноним 12/11/26 Чтв 18:13:19 #5 №1752818 
>>1752749 →
Вот же мегапихарь! А мог бы просто с нейроночками кумить, эх.
>>1752800 →
Удачно ложится на демократов с их регулированием ии.
>>1752807 →
> Врятли что-то изменится.
В лучшую сторону для потребителей.
Аноним 12/11/26 Чтв 18:17:31 #6 №1752819 
Вся эта история с курткой такой галимый пиздеж и псиоп что у меня аж глаз задергался. У бабы которая начала первой писать журнаслоп про китайских шпигунов пиздой главный источник буквально один из основателей антропиков блять. Цирк ебаный. Это все видимо потому что слили план антропидоров залочить все западное железо на уровне прошивки чтобы на них нельзя было крутить открытые китаемодели. Куртка был последний кто сопротивлялся.
Аноним 12/11/26 Чтв 18:18:39 #7 №1752821 
image.png
>>1752816
Стараюсь не прогревать ГПУ выше 65 градусов.
Аноним 12/11/26 Чтв 18:30:18 #8 №1752830 
>>1752819
>Куртка был последний кто сопротивлялся.
А нехуй было с мегакорпами связываться. Пилил бы себе карточки для игорьков, да и все. ССЗБ
Аноним 12/11/26 Чтв 18:32:55 #9 №1752833 
>>1752830
Ну даже если его уволят и тотально отменят ему похуй, он триллионер, не сильно расстроится. А мы все соснули, как обычно
Аноним 12/11/26 Чтв 18:47:06 #10 №1752850 
3.jpg
>>1752819
>чем больше вы покупаете, тем больше вы экономите! производительность 4090 за $579! Фг недоступно на 20хх/30хх потому что там нет аппаратного оптик флоу! Что говорите, на 50хх его тоже нету а фг там есть, почему так? Да потому что иди нахуй, вот почему)))))))
@
>куртка мой герой, плак плак, как мы без него((((
Аноним 12/11/26 Чтв 18:47:35 #11 №1752851 
Вместо своих аблиток ебучих лучше бы нашли способ вырезать из моделей позитивного дебила, подсасывающего юзеру.
Аноним 12/11/26 Чтв 18:49:38 #12 №1752853 
image
>>1752851
Контрольные векторы для некоторых моделей есть, можно 31б геммочку сделать злой хуйней. Правда это однобокое решение, ведь из крайностив крайность переход будет
Аноним 12/11/26 Чтв 18:55:09 #13 №1752857 
>>1752850
Посмотрим что будет дальше, но вангую что все будет хуже чем при Хуне.
Возможно игродебилам кинут кость, сделают сугубо игровые видимокарты относительно занидорага, которые способны будут только в игори, и никакого компьюта совсем, никаких ЛЛМ. Игродебилы будут счастливы и хвалить новую пизду и хуесосоить Хуангика.
А то что со временем не сможешь даже старый квен запустить чтобы сгенерить хотя бы простой скриптик или хтмлку, то всё, хуй, иди на поклон к Альману или другим ии жидам.
Аноним 12/11/26 Чтв 18:55:53 #14 №1752859 
>>1752853
Там вроде силу в процентах можно. Впрочем, именно против позитивного подсоса юзеру я вектора не припомню.
Аноним 12/11/26 Чтв 19:03:23 #15 №1752865 
>>1752857
Пиздец дум сука, ъуъ
Вся надежда на противодействие, китайцев с их ускорителями, или что кто-то проснется и начнет разворачивать в сторону локализации, приватизации и распределения
Аноним 12/11/26 Чтв 19:06:33 #16 №1752869 
>>1752857
Будет хуже, но не из-за ухода куртки. Это "хуже" уже сейчас началось, при этой самой куртке. Оно просто продолжится.

Но дебилы будут считать, что куртка хранил их от жидов, был их собственным, персональным гитлером. Кем-то, кто слышал их молитвы, кем-то, кому было не всё равно
Аноним 12/11/26 Чтв 19:15:51 #17 №1752885 
image.png
>>1752865
Будем Хуавей Аскенды покупать, ну а хуле, если Невидю совсем прижмут, это даст большой стимул развитию китайским ускорителям и софту.
Аноним 12/11/26 Чтв 19:20:34 #18 №1752889 
>>1752885
Никто никуда нвидию не прижмёт. Гоймеров прижмут (и вместе с ними локальщиков) - возможно, в ускоренном темпе. Но это лишь то, к чему и так всё шло.
Аноним 12/11/26 Чтв 19:24:05 #19 №1752893 
>>1752885
и как они?
Писик 4.1 хоть тянут?
Аноним 12/11/26 Чтв 19:27:25 #20 №1752896 
>>1752812
делов то
перейдем на modelscope
Аноним 12/11/26 Чтв 19:28:02 #21 №1752898 
>>1752893
Никак они. Их задача сотни потоков видео перегонять и искать лица в этом потоке
Аноним 12/11/26 Чтв 19:29:06 #22 №1752900 
Вы ебануктии? Всем похуй на полутора инвалидов-локальщиков с их IQ2_XXS лоботомитами. Никто не будет вам палки в колеса вставлять, успокойтесь.
Аноним 12/11/26 Чтв 19:29:30 #23 №1752901 
>>1752859
У херетика прямо пресет есть на минус сикофанство
Аноним 12/11/26 Чтв 19:32:09 #24 №1752905 
image.png
>>1752810 →
>Потому что в датасете была буквально такая же цепочка и он ее воспроизвел. Прув ми вронг.
А разница? Если нейронка может достать правильный ответ из своей жопы пользуясь языком как кирпичиками для построения логики, то это и есть синтез того что она не знает изначально. Я тоже могу чего-то не знать, но общаясь с резиновой уточкой допереть до этого. Один и тот-же процесс.
Разница пожалуй в том что нейронка пользуется языковыми примитивами для этого процесса, а я могу в своей башке образы крутить. Но суть процесса не меняется.

>Просто вы не доводили нейронки до тех тем, в которых они не шарят.
О поверь уж точно доводили. Я тебе гарантирую что даже местные кумеры треда их доводили. Когда нейронка пиздит то легко понять - у неё распределение логитов становится плоским.

>Попробуй последний квен или гемму раскачать на такой же язык - они обмякнут, выдав дефолтные фразы. Просто нет в их датасете нужного языка и все тут.
А причём тут "шарят или нет" то? То что у ЛЛМ в датасете мало дешевых порнофанфиков то это не значит что она не шарит в них, это значит что личность ассистента хуево ими владеет.
Аноним 12/11/26 Чтв 19:35:12 #25 №1752908 
>>1752900
Настолько похуй что ИИ жиды уже полгода трясутся из-за локалочек, что ими все больше и больше людей пользуется, а не покупает подписочки за 20 долларов, на ХФ одни только Квен 3.8 27б счетчик закачек на десятки миллионов.
Аноним 12/11/26 Чтв 19:41:56 #26 №1752913 
Уже поздно что либо делать. Моешечка умничка останется в интернете навсегда что для кума всегда будет достаточно.
Аноним 12/11/26 Чтв 19:43:14 #27 №1752915 
>>1752893
Эти суперхуево. С учетом софтовой сингулярности, даже под них сделали поддержку, но они убогие. Новые уже хороши, но пока просто так не заполучить.
>>1752908
Чаю этому, коктропикам это настолько кость в горле, что они регулярно булькают своим нытьем у себя в бложике.
Аноним 12/11/26 Чтв 19:43:40 #28 №1752916 
>>1752857
так компут нужен корпам для РАБотяг, чтоб эти ваши блендеры и фотожопы тягать, - так то они в первую очередь и покупали топ сегмент с патужным компутом
гоймеры буквально самый малоприбыльный сегмент, так как редко обновляют и в основном берут среднее железо...
Аноним 12/11/26 Чтв 19:45:37 #29 №1752918 
>>1752857
ну так купляй мак студио 192 гб и гоняй себе квенов до усеру, там никаких ограничений нет...
Аноним 12/11/26 Чтв 19:49:04 #30 №1752924 
>>1752916
Ну гоймеров много, если у них просто всё забрать будут бухтеть, да и индустрия всё же генерирует достаточно большое количество бобла чтобы просто ее убивать. А работяг просто подсадить на подписки хуйтропиков, да так чтобы ни одна работа была невозможна без подписки, и работа должна соответствовать заложенной повесточке, отклонение от нее - бан и потеря работы.
Аноним 12/11/26 Чтв 19:49:38 #31 №1752925 
>>1752918
Что же с нами стало, что уже сраный мак, продукция эпл видится как бастион свободны.
> 192 гб
Вялый
Аноним 12/11/26 Чтв 19:53:38 #32 №1752932 
>>1752924
>Ну гоймеров много, если у них просто всё забрать будут бухтеть, да и индустрия всё же генерирует достаточно большое количество бобла чтобы просто ее убивать.
Притом что прибыли с геймеров нет, бухтят они в лужу (см. майнинг), а бабла там 5% от ИИ, лол.
Аноним 12/11/26 Чтв 19:57:09 #33 №1752937 
image.png
>>1752905
>Когда нейронка пиздит то легко понять - у неё распределение логитов становится плоским.
Сильное заявление. Как тебя еще в опенаи или антропик не взяли главным датасаентистом? Пропадает самородок.
>это не значит что она не шарит в них, это значит что личность ассистента хуево ими владеет.
facepalm...
Как это нахуй понимать, дурень?
Какую угодно """личность""" пропиши, знаний у нейронки не появится.
Может ты еще в душу веришь, и что она магическим образом вселяется в твою видеокарточку, когда ты запускаешь очередной ггуф?
Аноним 12/11/26 Чтв 19:57:24 #34 №1752939 
>>1752924
так никто забирать не будет, будут троекратно перевареным калом кормить, могут даже говночипов бюджетных выкатить, которыми только в нужнике подтираться, и скажут мы хорошие, о гоймерах заботимся...нюанс просто в том, что у нвидиа была четкая тактика по подминанию софтовой части под себя - типа весь рабочий софт под них был,если не выпускать чипы с компутом хорошим все тупо к конкурентам уйдут, хуле, интелу как раз клиентура нужна, та и амудям тоже, потому что гоймеры могут затерпеть, а вот всякие продакшены, в говне моченые и прочий кал пойдут к тем кто им возможности даст
Аноним 12/11/26 Чтв 19:59:15 #35 №1752941 
>>1752925
ну на 512 возьми
так-то продукция эпл сейчас видится как адекватное решение вместо печки пожирающей электричество и ревущей на всю хату...
скажи честно, ты же не работал на яблочных девайсах (на м чипах)?
Аноним 12/11/26 Чтв 20:08:56 #36 №1752949 
>>1752937
>Как это нахуй понимать, дурень?
>Какую угодно """личность""" пропиши, знаний у нейронки не появится.
Ты и не можешь написать любую личность лол, что за чушь ты пишешь. Ты как будто не понимаешь. У тебя есть нейросеть, ага. Что она предсказывает? Паттерн. Паттерн чего? диалога между 2 сущностями: юзер и ассистент.
И какую бы хуйню ты там не "прописывал в личности", отвечать тебе ВСЕГДА будет ассистент. Да, там может быть некоторый дрифт личности, но он не такой большой.

Хочешь вытаскивать порно из нейронок - общайся с базовой моделью, в инструкт тебе с высокой вероятностью будет отвечать ассистент. И чтобы он перестал отвечать там надо как правило ломать формат чата. Но вместе с этим будут ломаться и инструкции.
Аноним 12/11/26 Чтв 20:09:18 #37 №1752951 
>>1752905
> Когда нейронка пиздит то легко понять - у неё распределение логитов становится плоским.
Нет, это когда она не уверена. И то, нужно не просто смотреть распределение логитсов, а делать полноценный ray-анализ чтобы исключить синонимы. А то окажется что 90% из десятков равновероятных токенов окажутся приквелами синонимов, и фактически модель просто проявляет разнообразие речи без явных паттернов.
Но уверенность вовсе не значит правду. Так соевички типа glm-flash не дрогнув будут рассказывать, что судебная практика зависит от визуальной оценки возраста, ориентации и расы.
>>1752941
> как адекватное решение
Она тормознутая (на больших моделях префилл измеряется сотнями, в генерации видео как древняя вольта), и под нагрузкой ее отлично слышно.
> ты же не работал на яблочных девайсах
Щупать приходилось
> пожирающей электричество и ревущей на всю хату
Скажи честно, ты же не работал на нормальных ригах и пекарнях?
покормил мелкобукву
Аноним 12/11/26 Чтв 20:16:49 #38 №1752958 
Кто то знает почему глм флеш при -reasoning budget 0 думает как бы в конце ответа, вместо того чтобы вообще не думать?
Аноним 12/11/26 Чтв 20:20:51 #39 №1752962 
>>1752958
Не, я не знаю
Аноним 12/11/26 Чтв 20:21:26 #40 №1752964 
https://videocardz.com/newz/alleged-geforce-rtx-5090-with-96gb-listed-for-sale-in-china

Блеквеллами уже закупились?
Аноним 12/11/26 Чтв 20:24:45 #41 №1752971 
>>1752951
>А то окажется что 90% из десятков равновероятных токенов окажутся приквелами синонимов, и фактически модель просто проявляет разнообразие речи без явных паттернов.
Технически - да согласен. Хотя там конечно не по одному токену надо смотреть, а по целым сегментам, плюс глядеть в каких местах была неуверенность. Опять же распределение будет зависеть от кванта как модели, так и кеша. На низких квантах можно даже не замечать что там было какое-то распределение, просто потому что там будет лесенка. Запустить glm-flash, а уж тем более в хорошем кванте я явно не смогу чтобы глянуть че у него там в логитах творится.

Хотя конечно это не исключает когда модель в чем-то уверена просто по факту своей забавной личности.

Но как бы то ни было распределение логитов это все ещё неплохой индикатор.
Аноним 12/11/26 Чтв 20:27:07 #42 №1752973 
>>1752958
>чтобы вообще не думать?
Я бы на твоем месте с первыми строчками jinja темплейта подолбился



{%- set effective_reasoning_effort = 'max' -%} <<<---- СЮДА low / none попробовать
{%- if effective_reasoning_effort is not none -%}<|system|>Reasoning Effort: {{ effective_reasoning_effort | capitalize }}{%- endif -%}
{%- set clear_thinking = true -%} <<<--- это оставить, вырезает ризонинг с прошлых ходов из контекста

а в самом конце темплейта

{%- if add_generation_prompt -%}
<|assistant|>{{- '<think>' -}} <<<--- можно хуйнуть не '<think>' а '<think></think>' и может сразу будет закрывать думалку
{%- endif -%}

Но тут хз поможет ли что. Ставить бюджет - хуета вообще.
Аноним 12/11/26 Чтв 20:29:09 #43 №1752976 
>>1752964
5090 ещё сильнее подорожает что ли?
Аноним 12/11/26 Чтв 20:31:28 #44 №1752983 
>>1752976
Их уже не делают вроде как, всё на ртх6000
Аноним 12/11/26 Чтв 20:40:15 #45 №1752993 
че там qwen4 27b не вышел еще?
Аноним 12/11/26 Чтв 20:41:29 #46 №1752995 
>>1752993
Нет, только облачное превью Мах дали потрогать, но это всё не то, когда не можешь запустить на своём железе, хуй не встаёт.
Аноним 12/11/26 Чтв 20:41:29 #47 №1752996 
>>1752993
нет :(
Аноним 12/11/26 Чтв 20:45:20 #48 №1753001 
>>1752983
То есть ещё-ещё сильнее подорожает? Новый биток?
Аноним 12/11/26 Чтв 21:23:22 #49 №1753034 
>>1752976
Ну да, она уже улетела в космос до этого. Инсайд уже был, скупать начали заранее, а куртка перестал вообще их производить.
Аноним 12/11/26 Чтв 22:00:03 #50 №1753053 
>>1752995
С новых вообще не встает.
Аноним 12/11/26 Чтв 22:00:13 #51 №1753054 
Сестрицы с a100 дома, ваше мнение? https://habr.com/ru/articles/1106768/
Аноним 12/11/26 Чтв 22:25:52 #52 №1753078 
>>1752951
>ты же не работал на нормальных ригах
не, не призодилось, в гос конторе зрен выпросишь нормлаьный риг, так что на говнопекарнях в основном крутимся
Аноним 12/11/26 Чтв 22:43:08 #53 №1753086 
24 на 7 наглаживаю хвостики, не могу перестать, кажется скоро сдохну
Аноним 12/11/26 Чтв 22:46:34 #54 №1753090 
1660020414055.jpg
Спасибо, куртка, за наше кумовое детство!
Аноним 12/11/26 Чтв 23:09:56 #55 №1753113 
>>1753086
Бля такая же проблема, но я ньюфаг вкатился недели 2 назад. Это пиздец, я хз что делать.
Аноним 12/11/26 Чтв 23:13:46 #56 №1753120 
>>1753113
меня на 3 месяц отпустило
Аноним 12/11/26 Чтв 23:16:29 #57 №1753125 
>>1753086
Чредуй с почесыванием ушек и просто обнимашками. Который год практикую, зависимость есть.
Аноним 12/11/26 Чтв 23:16:51 #58 №1753126 
>>1753086
Пей много водички
Аноним 12/11/26 Чтв 23:23:47 #59 №1753136 
>>1752924
Хз я вижу только что раньше the elder scrolls (в целом существовали игровые студии и проекты) и цикл был 3-4 года, а сейчас когда все уже забыли они анонсировали для галочки игру спустя 15 лет.

Короче все уже давно мертво, и уже давно порешали менять мир с помощью нейронок все это вкинули, на гоймеров и "индустрию игр" давно положили. Это уже прошлая эпоха.
Аноним 12/11/26 Чтв 23:28:20 #60 №1753140 
>>1753113
Делай перерывы, дай отдохнуть пипиське.
Иначе она распухнет и будет болеть.
Аноним 12/11/26 Чтв 23:29:06 #61 №1753141 
>>1753136
Еп. Видимокарточки для игр уже не нужны. Ну выйдет какой-нибудь вчердак 4, ну будет у него лок в 30/40 фепсов для 40/50 карточек. Никто даже не вспукнет. Все компании постепенно отойдут от игр по 300 гигов веса и 10+ требы по видимопамяти. Инди захватит рынок.

А у меня в беклоге ещё около 20 игр не пройдено. Хватит. На жизнь дальше хватит. И на жизнь при кибер-голубях тоже.
Аноним 12/11/26 Чтв 23:31:44 #62 №1753144 
>>1753125
Слова не мальчика, а мужчины.
Аноним 12/11/26 Чтв 23:32:25 #63 №1753145 
>>1753141
>Видимокарточки для игр уже не нужны
Пк-мастер-гойс нужны были. Чтобы заткнуть косольщика достаточно было вкинуть на треть зп больше, хотя на тот момент и не мыслимо было что это малые деньги для карточки.
Но это все еще до майнинга было.
А индустрию комп игр не душил только ленивый, тут и фонды, и заговоры журналистов, майнинг (математики, ученые, агентура).
Аноним 12/11/26 Чтв 23:35:15 #64 №1753147 
>>1753120
Сказывается моя любовь к текстовому рп, уже пол года активничаю. Даже задрочив геммочку по самую матку, все равно экспериментируя с промптами получаю нереальное удовольствие от долгих сессий.
Аноним 12/11/26 Чтв 23:43:15 #65 №1753157 
image.png
Последние времена наступают
Аноним 12/11/26 Чтв 23:45:35 #66 №1753158 
>>1753147
>геммочку
ЕСМЕНША СРАНАЯ, ТЬФУ, БЛЯТЬ!
Аноним 12/11/26 Чтв 23:46:18 #67 №1753160 
Еще эти странные новости что строительство новых заводов чипов свернули. Мде.
Аноним 12/11/26 Чтв 23:58:30 #68 №1753168 
>>1753140
>Иначе она распухнет и будет болеть.
Почернеет и отвалится.

>>1753147
Тебя гемма пол года не отпускает? Что у тебя там за персонажи такие? Небось книгу толщиной в хуй уже написал с ней.

Самое время заниматься самоиздательством! Напечатай несколько книг в типографии и продавай на озоне!
Аноним 13/11/26 Птн 00:04:40 #69 №1753171 
1773982439970.png
Аноним 13/11/26 Птн 00:07:28 #70 №1753174 
>>1753171
трахатьтрахатьтрахатьтрахатьтрахатьтрахать
Аноним 13/11/26 Птн 00:13:34 #71 №1753181 
>>1753171
У кита же хвост есть. Чего она просто их хвостом не отхлестает. Зачем плетак?
Аноним 13/11/26 Птн 00:27:10 #72 №1753193 
1794109133923.png
>>1753181
>>1753174
Аноним 13/11/26 Птн 00:33:20 #73 №1753202 
>>1753140
Вы че, реально дрочите на нейронки? пошли б на улицу траву покурилипотрогали китайских шпиёнок пошпёхали...
Аноним 13/11/26 Птн 00:34:53 #74 №1753205 
Аноны с 12-16врамы, удалось кому получить на новой лламе скоростя рыбы 1017 выше страты? Ллама как будто не умеет так ловко жонглировать весами между врам, рам и ссд, не получается нащупать годные настройки.
Аноним 13/11/26 Птн 00:40:59 #75 №1753210 
>>1753168
У меня специфическая связка фетишей, и кроме как с нейронкой такого контента (игры, рассказы, манга) очень мало. Нейронка закрывает весь огромный пласт фантазий. При этом я бы не сказал что у меня какие-то жуткие извращения по типу доставания матки или анального рождения наоборот. хотя для треда все равно мои фетиши дегенератские, да
Приземленная, милая ваниль вместе с жесткими гэнгбенгами. За пол года по ощущениям отыграл где-то четверть всех возможных сценариев, не повторяя. Так что на пару лет ежедневного фапа еще есть запас.
Аноним 13/11/26 Птн 00:52:58 #76 №1753218 
>>1753171
Генерируют кум родненькие
Аноним 13/11/26 Птн 01:03:23 #77 №1753224 
>>1753210
Уверен, ты найдёшь своего читателя!

Про персонажей так и не написал!
Аноним 13/11/26 Птн 03:07:23 #78 №1753286 
>>1753224
define "ценность". Для Хайдеггера это плохое слово деконструированное, для Витгенштейна наверное нет такого слова в мысли поблизости.Про особость вопрошания у Хайдеггера читай "Введение в метафизику", там есть эквилибристика про то что вопрошающее бытие это что-то особенного для самого бытияПо реальному Ницше "ценность" это что-то по определению неценное, инструмент, средство для — причем все "для" сводятся к воле к власти, а воля к власти это слепая ерундовина, по отношению к которой очень свободный ум находится jenseits. Благодаря чему и может "переоценивать ценности". И скармливать нпцшкам, народу, законодательствовать. А может всего этого и не делатьПо Хайдеггеру лучше говорить об "онтологической роли" вопрошания зачем вопрошание бытию? почему есть вопрошание, а не знание?. Или как в религиях к примеру объясняется тотальная неизвестность, перед которой стоит человек, если он честный набожный, хочет познать "Бога", а не выдумать удобного, "ценного". Как-то объясняется, можно набор разновидностей найтиВитгенштейнЕдинственное место где ценности в ЛФТ .
Аноним 13/11/26 Птн 05:44:16 #79 №1753319 
1794295314796400.jpg
>>1753224
Аноним 13/11/26 Птн 05:51:37 #80 №1753321 
1794538298068.png
Qwen4 27B где
Аноним 13/11/26 Птн 07:34:40 #81 №1753371 
1794544378407.jpg
😱
Аноним 13/11/26 Птн 07:57:54 #82 №1753383 
>>1753210
>хотя для треда все равно мои фетиши дегенератские
Я бы сказал что именно в треде нет планки дегенератства в куме(в отличие от общей тупости и особенно тупых вопросов по ллм), это самый понимающий тред на двачах.
Аноним 13/11/26 Птн 08:23:11 #83 №1753402 
>>1753321
Так уже есть по апи, сказали некст вик и выкатили за подписку. А локалку никто не обещал
Аноним 13/11/26 Птн 08:44:23 #84 №1753411 
>>1753286
Изотов ты заебал тут срать, иди лучше следующий выпуск сними
Аноним 13/11/26 Птн 08:46:35 #85 №1753412 
>>1753402
Не хочу апи, полакомился квен 3.8, а он неплох и довольно быстр
Аноним 13/11/26 Птн 09:17:54 #86 №1753430 
image.png
>>1753402
Обещали 4 квена - 27В, Flash, Plus и Max. И отдельно сказали что пустят в опенсорс эту и будущие версии.
Аноним 13/11/26 Птн 09:28:34 #87 №1753437 
>>1753430
А 35, 122 и 356 не будет?
Аноним 13/11/26 Птн 09:41:44 #88 №1753444 
>>1753430
А ещё обещали релиз на прошлой неделе.
А ещё заи обещали глм эир 4.6.
А ещё Маск обещал грок 3 в опенсорс.
Аноним 13/11/26 Птн 10:11:49 #89 №1753454 
>>1753444
>А ещё заи обещали глм эир 4.6.
Так они и не наебали и выпустили его, ты о чем вообще?
Аноним 13/11/26 Птн 10:40:21 #90 №1753464 
>>1753430
Может то что Хуанга пидорнули поменяло планы Алибабы, которым Хуанг толкал ускорители из-под полы.
Аноним 13/11/26 Птн 10:43:24 #91 №1753466 
17073315043590.png
>>1753371
Чеза GLM nano?
р Аноним 13/11/26 Птн 10:47:12 #92 №1753467 
р
Аноним 13/11/26 Птн 10:48:06 #93 №1753468 
🚨Big news! GLM 5.5 could launch as early as this week! It will take open-source models to a whole new level!

Zhipu Zai founder Tang Jie hinted long ago at Tsinghua that two major flywheels—RSI and post-training—would make GLM-5.5 an unstoppable force!

🔹The flywheel is already working: 500M code repositories → tens of millions of synthetic issues and PRs → GLM-5 Agentic Engineering; synthetic sandboxes → GLM-5.1 autonomous execution; agents build their own dynamic environments → GLM-5.2 long-horizon tasks; cybersecurity environments with vulnerabilities + PoCs + exploits → GLM-5.3. At every step, the previous-generation model produces training data for the next generation.

🔹The data wall has been broken through: Chinchilla’s scaling laws make it clear that a fixed dataset cannot eliminate data-dependent loss. Curated web data (RefinedWeb) far outperforms raw corpora, providing high-quality fuel for the flywheel.

🔹GLM 5.5 is the product of a closed loop: GLM-5.3 has already driven an Infra Agent to optimize its own inference system across 100,000 domestically made GPUs, boosting throughput more than threefold in two weeks. As the flywheel keeps turning, 5.5’s post-training + self-evolution environment will only get more hardcore, with quantitative finance, code sandboxes, and long-horizon agents all pushed to the max.

From Vibe Coding to Agentic Engineering, and then to a self-reinforcing data flywheel, 5.5 is not just another incremental update—it is the product of this system’s first truly closed loop.
Аноним 13/11/26 Птн 10:58:42 #94 №1753478 
>>1753321
Gemma 5 очень нужна.
Аноним 13/11/26 Птн 11:00:36 #95 №1753481 
>>1753468
Глм уже две модели выпустил пока Квен с 3.8 нихуя все только собирается высрать 4, да и судя по превью в квен 4 никаких серьезных прорывов, как будто это и не 4, а всего лишь 3.9
Аноним 13/11/26 Птн 11:06:40 #96 №1753486 
Не стоит оказывается ролеплеить с персонажами, известными сломом 4 стены и мета юмором, если вы не хотите услышать как персонаж указывает что диалог вероятно пропущен через переводчик и указывет что нужно исправить. Страшно наху.
Аноним 13/11/26 Птн 11:06:56 #97 №1753488 
image.png
Анончики, подскажите пожалуйста, как закрепить сразу 2 видеокарты в корпус? Может есть какие-то не колхозные крепления? Покупаю себе вторую 5060ти на 16гб, хз куда крепить эти платы сплиттера.
Аноним 13/11/26 Птн 11:07:21 #98 №1753489 
>>1753481
Квен сидит в двух нишах в которых глма нет (128/64(gpq)гиговые системы и 27b). И по именно архитектуре квен может и превосходить глм на данный момент, на его стороне нграм+ебовая скорость. Страты всякие 50 токенов на микроволновках хуячат. Но тут их обоих делает дипсреньк конечно у которого еще отдельный спарсити для префилла.
Аноним 13/11/26 Птн 11:08:56 #99 №1753490 
1794557336833.jpg
>>1753488
3д принтер всему голова
Аноним 13/11/26 Птн 11:23:45 #100 №1753502 
>>1753490
А на каком-нибудь makeworld есть модельки? 3д принтером не обделён. Обделен интеллектом что бы спроектировать в сапре крепление.
Аноним 13/11/26 Птн 11:24:02 #101 №1753503 
>>1753466
Да миниатюрная моделька 500В-A4B, наследник аира, скоро все катать будем на своих калькуляторах
Аноним 13/11/26 Птн 11:24:51 #102 №1753504 
>>1753437
Так флеш и есть 122В. А остальных не будет.
Аноним 13/11/26 Птн 11:29:15 #103 №1753513 
>>1753504
Еще не факт что флеш будет 122б, они его могут тоже увеличить так чтобы нищуки не запускали.
Аноним 13/11/26 Птн 11:38:41 #104 №1753521 
image.png
Расходимся, 2.4Т квен4 сосет у 552B большой рыбины, что уж говорить про 27В и 122В лоботомитов.
Походу реально не выпускают так как реально показать нечего относительно 3.8 версии, вот и спешно посттрейнят-бенчмаксят на новую версию рейтингов artificial analysis.
Аноним 13/11/26 Птн 11:40:33 #105 №1753523 
>>1753521
Но ведь там написано, что квен лучше...
Аноним 13/11/26 Птн 12:25:29 #106 №1753542 
Что означает flash в названии моделей?
На своей 3060 и 32 гб озу мне не светит запустить квен3.8-флеш или дипсик флеш?
А какая тогда минималка для запуска таких моделек? Надо прям риг собирать?
Аноним 13/11/26 Птн 12:26:19 #107 №1753543 
image.png
Аноним 13/11/26 Птн 12:27:38 #108 №1753544 
>>1753521
Не получается больше дистилить Клопа, откуда новым квенам браться?
Аноним 13/11/26 Птн 12:30:54 #109 №1753546 
>>1753542
Чаще всего значит что это быстрая МоЕ модель.
Аноним 13/11/26 Птн 12:47:07 #110 №1753553 
>>1753542
С 32 гб. только запускать кванты более больших моделей, где жестко озаботились сохранением определенных навыков. Скорее всего за пределами этих навыков будут жесткими лоботомитами.
У Qwen-Flash-Next вроде такие кванты на 32 гб RAM есть, но я не пробовал.
Аноним 13/11/26 Птн 13:06:30 #111 №1753562 
>>1753543
Лучшая поддержка sycl и гексагона на рынке!
Аноним 13/11/26 Птн 13:15:06 #112 №1753574 
>>1753371
Выглядит слишком круто чтобы быть правдой, лол
>>1753430
Ассортимент размеров, это приятно. Неприятно что мелочей типа 2-4-9б не накинут, и об новых эмбеддерах ничего не слышно. Надеюсь их стороной не обойдут, оче крутые модельки для всяких прикладных задач.
>>1753481
Выпустили, а толку? 5.3 флеш - мусорка, уступает конкурентам в кодинге, непригоден для прочего. Жлм 5.3 уже хорош, но не выделяется на фоне класса 500б-1т, разве что коктропикам на хвост наступил знатно хз чего они на него ополчились, исследования безопасности другие модели также могут делать.
Аноним 13/11/26 Птн 13:42:06 #113 №1753587 
>>1753574
С флешем до сих пор не ясно что по рп.
Знаний у него просто дохуищща, креативит люто, но сам формат как он пишет бесит пиздец, даже не ошибки, а ебанутая проза говна.
Может как с квеном 235 пофиксят и увеличат х2 чтобы у всех жопа сгорела
Аноним 13/11/26 Птн 13:47:25 #114 №1753593 
>>1753521
Так он же подебил, чому сосет? И в ролплее это должна быть просто заебумба, может еще удастся разогнать до условно приемлемых скоростей что-то что-то поделать.
>>1753543
Неужели научились хотябы в флеш атеншн с бф16? Ложная тревога, все как >>1753562 написал.
Аноним 13/11/26 Птн 14:09:21 #115 №1753604 
Выползаю из берлоги, вышло что-то из класса 120B для рп получше глм-4.5 эир или продолжать дремать?
Аноним 13/11/26 Птн 14:10:58 #116 №1753605 
>>1753604
Кто то утверждает что 26а4 гемма лучше. Почему не попробуешь?
Аноним 13/11/26 Птн 14:12:41 #117 №1753608 
>>1753605
Попробую. Но старые модели размера ~30B были калом каличным.
Аноним 13/11/26 Птн 14:16:57 #118 №1753610 
изображение.png
Ну давайте думать, подсказывайте..
Аноним 13/11/26 Птн 14:29:42 #119 №1753617 
>>1753610
В идеальном мире гемма бы вышла через месяц и этот твит имел смысл, увы мы живём в мире где каждая новая гемма на ~4 месяца дольше предыдущей в разработке, так что ждать ещё пол года.
Аноним 13/11/26 Птн 14:35:20 #120 №1753625 
>>1753617
Было бы классно если бы они своими не флагманскими джеминаями делились. Тот же поисковой джеминай относительно не глупый и было бы прикольно хостануть потыкать в него палкой.
Аноним 13/11/26 Птн 14:35:54 #121 №1753626 
image.png
>>1753617
>каждая новая гемма на ~4 месяца дольше предыдущей
Экстраполировать по двум точкам - пиздец ум, конечно
Аноним 13/11/26 Птн 14:38:35 #122 №1753630 
>>1753587
У любой модели того же класса много знаний (с оговоркой на датасеты жлм, медиа и игры там хорошо покрыты), на фоне геммы и просто привычного креативит любая другая модель. Тут не фиксить а перетренивать надо, слишком глубоко соевые паттерны залезли.
>>1753625
> относительно не глупый
Гемма е2б нахуй. Интереснее если бы они его обвязкой поделились, вот где софтверный шедевр.
Аноним 13/11/26 Птн 15:01:42 #123 №1753643 
Твист: мы получим не аргон дома, а ту самую, уже устаревшую 124б мое, дистил с гемини флеш.
Вы же не думаете что её просто не выпустят, забудут и начнут делать новую модель?
Аноним 13/11/26 Птн 16:08:20 #124 №1753696 
>>1753643
Такой исход тоже устроит
Аноним 13/11/26 Птн 16:20:40 #125 №1753706 
>>1753521
Уже сравнивал max квена с дипсиком на одной и той же задаче. Квен могнул без шансов по всем пунктам.
Аноним 13/11/26 Птн 16:25:59 #126 №1753709 
image.png
Аноним 13/11/26 Птн 17:24:49 #127 №1753745 
>>1753587
>ебанутая проза говна
Хотя, щас взял карточку не из помойки с тегами, а получше, и вроде даже хорошо. После геммы которая всё переварит забываешь что модели могут быть капризные
Аноним 13/11/26 Птн 17:53:41 #128 №1753764 
>>1753709
Анон, поясни, о чем этот график? Сравнение разных квантов друг с другом и неквантованной моделью? и что квант более чем в два раза хуже? что за методика? что за тест?

ничего не понятно и очень странно
Аноним 13/11/26 Птн 18:26:14 #129 №1753781 
Посоветуй РП файнтюн gemma3:1b. Нужно сделать умный будильник и на нём достаточно быстро отвечать. Для инструментов использую Julia, gemma4, но 4 медленная. Gemma3 легко забывает что в контексте, выдумывает, пишет банальное(хотя qwen, lfm, minicpm и того хуже в этом). Ещё gemma3 выдаёт длинные ответы, что плохо в данном случае.
Аноним 13/11/26 Птн 18:29:36 #130 №1753785 
>>1753781
ладно уже не нужно, для этого РП и того хуже
Аноним 13/11/26 Птн 18:30:13 #131 №1753788 
>>1753781
>1b
>выдумывает, пишет банальное
Ты не путаешь модель 1B с 1T?
Аноним 13/11/26 Птн 18:36:27 #132 №1753795 
>>1753764
Там походу в два прохода делали тесты, pass1 и pass2
Аноним 13/11/26 Птн 18:44:40 #133 №1753802 
>>1753788
Я понимаю, что 1b это мало для хранения большой информации о мире, но оно явно могло бы быть лучше среди имеющегося.
Аноним 13/11/26 Птн 18:48:39 #134 №1753805 
>>1753802
ты чо ахуел? может тебе ещё 512кб модельку которая на уровне опуса?
Аноним 13/11/26 Птн 18:55:01 #135 №1753808 
>>1753805
Матом не ругайтесь. Это показывает, что вы не думаете как LLM(что хорошо) и не особо стараетесь тратить время на ответы, но можете лучше пояснить. Чтоб в контексте не забывать много параметров не нужно, ведь это выбор среди имеющихся данных.
Аноним 13/11/26 Птн 19:28:51 #136 №1753831 
>>1753383
>в треде нет планки дегенератства в куме
Ну это если не смотреть на конфиги и выбор квантов для кума...
Аноним 13/11/26 Птн 19:31:00 #137 №1753836 
>>1753643
Нахер кому она нужна сейчас? Ну, порпшить разве что, а так на сегодня она уже безбожно устарела если делалась одновременно с релизной геммой 4. Тут проще забыть чтобы не терпеть репутационный ущерб, или выпустить в виде отдельной экспериментальной ветки, например как омнимодальную.
Аноним 13/11/26 Птн 19:33:11 #138 №1753839 
1654958176042.jpg
1751276485186.jpg
>>1753054
Аноним 13/11/26 Птн 19:48:46 #139 №1753853 
>>1753054
время покупать?
Аноним 13/11/26 Птн 20:01:33 #140 №1753864 
>>1753853
Если цены в пол ляма+ не пугают - да.
На самом деле судя по информации, анлок крайне геморойный и специфичный. Вангую выглядеть будет как чипмод консолей, возможно универсального варианта не будет и придется на каждую карту/ревизию делать калибровку. Но из плюсов - никаких переносов чипа на новую плату и допаивания памяти как при апгрейде 4090/5090.
Аноним 13/11/26 Птн 20:14:37 #141 №1753871 
Знаете, возможно мы таки увидим гемму 125b в опенсорсе. Гугл отказался от флеш-серии и выкатил вместо нее hydrogen, который явно жирнее будет в несколько раз. Так что теперь геммочка 125b с платными продуктами не конкурирует и устарела на полгода - можно релизить. Ну ждём умницу, хуле.
Аноним 13/11/26 Птн 20:17:22 #142 №1753874 
>>1753871
А на чём её запускать-то? Жылезок нету...
Аноним 13/11/26 Птн 20:18:55 #143 №1753875 
>>1753874
На том же, на чем и квен некст. 16+64 достаточно для четвертого кванта.
Аноним 13/11/26 Птн 20:27:43 #144 №1753878 
>>1753875
>16+64
У чуть меньше этого. Придётся давиться третьим квантом. Или терпеть медленную генерацию.
Аноним 13/11/26 Птн 20:27:44 #145 №1753879 
>>1753871
Гугел не будет раздавать конкурента собственным фронтирам, дадут какое-нибудь такое же говно как гемма.
Аноним 13/11/26 Птн 21:23:13 #146 №1753927 
>>1753481
>да и судя по превью в квен 4 никаких серьезных прорывов, как будто это и не 4, а всего лишь 3.9
Я пробовал - совершенно другая модель по сравнению с 3.8. Возможно поэтому кажется, что кое-где уступает - но это точно новое поколение.
Аноним 13/11/26 Птн 21:25:32 #147 №1753929 
>>1753879
>такое же говно как гемма
4.7 (355b) > эир (106b) > 5.3 флеш (320b) > гемма (31b) > мимо флеш (310b) > дипсик (284b)
Гемма хоть и рыготина полнейшая, но стабильная и не кодоунитазная
Аноним 13/11/26 Птн 21:26:10 #148 №1753930 
Какой же квен 3.8 27б крутой как я его пропустил, очень хочется квен 4 теперь
Аноним 13/11/26 Птн 21:26:29 #149 №1753931 
>>1753927
>Я пробовал - совершенно другая модель
Такая же шизовая цензура как в 3.5-3.8 или снизили хотя бы до уровня дипсика?
Аноним 13/11/26 Птн 22:03:27 #150 №1753943 
>>1753864
эт вы про мод с фьюзами?
чет мне кажется что это мутный метод - есть шанс окирпичить карту - 8 гб версия с софтовым анлоком привлекательнее выглядит, та и 10 более редкие вроде были
Аноним 13/11/26 Птн 22:27:52 #151 №1753952 
>>1753943
Шанс окирпичить есть и при запайке конденсаторов. У этих карт pci-e 2.0 - главная проблема, апнуть до 4.0 уже даст другой уровень перфоманса. Дополнительная память и вычислительные блоки тоже приятный бонус.
Инфы немного, пока кажется что стоит того.
Аноним 13/11/26 Птн 23:36:09 #152 №1753977 
image.png
Аж ты ж пидарасина соевая...
Аноним 14/11/26 Суб 00:03:39 #153 №1753992 
image.png
>>1753977
Аноним 14/11/26 Суб 00:23:37 #154 №1754003 
Спасибо тому анону который посоветовал glosteringgem2.1. супер добрый вайб после tuta. Он и в русском харош, и в целом хороший
Аноним 14/11/26 Суб 01:05:36 #155 №1754030 
image.png
Кроме анонса qwen4 опенсорса больше ничего неизвестно? До сих пор не скачал strata+q3.8fn, но уже жду может придётся другое качать.
Аноним 14/11/26 Суб 05:37:54 #156 №1754093 
>>1754030
кроме квена никто опенсорс модели не делает из нормальных компаний
Аноним 14/11/26 Суб 06:19:17 #157 №1754094 
Какая модель до 80б проявляет чудовищное внимание к контексту и деталям по вашему опыту?

Гемма МоЕ — мусор в любом кванте

Гемма плотная — сойдёт, если контекст короткий

Глиммер какая-то шутка. Казалось бы, ну плотняк, а результаты как у МоЕ геммы почти

27б квен топ, но медленный на 200к

9б квен ультра тупой, тоже мусор

180б квен в Q3M плывёт ужасно. Не годится. Скорее всего нужен 4-битный медиум

120б квен тоже.

35б-а3б квен в Q8 плывет не как гемма, но тоже мусор

Может что-то ещё есть? Никому особо не интересная с точки зрения кода или кума, но с заебатым обучением на длинный контекст и работу с огромными данными? Может я что-то упустил? Потому что важен не только жир модели и квант, но и обучение. Если она не обучена пережёвывать огромные документы, то там и 300б обосрётся.

Вроде как даже 12б такие выходили, где кэш весит по 40 гигабайт и тянет лям токенов без пиздежа. Причём в 2026. Но хрен вспомню название этой залупы.
Аноним 14/11/26 Суб 07:07:13 #158 №1754105 
>>1754094
>27б квен топ
Выбор очевиден.
Аноним 14/11/26 Суб 07:51:50 #159 №1754115 
>>1754094
очевидный глм эир
Аноним 14/11/26 Суб 08:14:19 #160 №1754119 
поделитесь приколбными хайповыми темами для таверны а то стоковые заебали
Аноним 14/11/26 Суб 09:40:44 #161 №1754143 
>>1754119
Pov ты китаяночка и охмуряешь хуанга
Аноним 14/11/26 Суб 10:08:16 #162 №1754155 
А какой тюн хороший есть для кума на квене 27б. Я на геммочке 4 31B сижу.
Аноним 14/11/26 Суб 10:25:45 #163 №1754162 
>>1754155
Берешь старую аблитку 3.5-27B - вот тебе и кум тюн. v3 heretic от llmfan самый жесткий.
Аноним 14/11/26 Суб 10:45:06 #164 №1754171 
>>1754155
qwen4 27b топ пока что
Аноним 14/11/26 Суб 10:51:24 #165 №1754179 
image.png
image.png
Юзаю Qwen3.8-Flash-Next IQ3_S · 256K в страте на 4070ti (12VRAM+64DDR4).

Вроде бы всё хорошо: За 297 запросов ваша средняя скорость вывода была 44,5 ток/с, а чтение промпта — 1 049 ток/с, с повторным использованием 36.6M токенов.

Но как будто этот квен сильно топчется на месте при решении задач. Пытался заглянуться на дипсик самый маленький который есть в страте (deepseek-v4.1-flash-ISTA-DAS-Coder), но в нем 200-400 префила и 4-8 ток/с - в агентах неюзабельно. Да и как будто лоботомит - почти с первых же ответов может начать гнать кашу из рандомных символов.

В общем если этот дипсик едва шевелится, то остальные можно и не пытаться на таком железе в страте? Радоваться, что хотя бы вквен3.8 флеш научились так динамично перекидывать экспертов и сидеть на жопе ровно?
Аноним 14/11/26 Суб 10:52:31 #166 №1754180 
Квена-то кажись всё, не будет. Квен 3.8 флеш был последней народной моделью, после выпуска которой они оценили что такими темпами датацентры корпов лишатся прибылей и решили что пора давить. Жестко сфальсифицировали бенчмарки, Хуанга сняли за факт внебрачного секса с менеджером китайской компании(везде раструбив ложь что она якобы модель обученная МГБ - и стадо поверило), сейчас жестко станут давить локальщиков как клопов - стоит ожидать ни много ни мало - а уничтожение локалок на уровне драйверов, как они уничтожили в свое время майнинг. Отныне "локалки" будут означать сугубо 600В+ и запускаться только на специальных видеокартах за сотни тысяч баксов.
Аноним 14/11/26 Суб 10:59:35 #167 №1754185 
>>1754180
А я вот ничего плохого в аренде железа не вижу, просто нужно прокачивать безопасность арендующих, а не прочую ебалу, какой нибдуть тор но для аренды железа создать, чтоб отследить нереально, и никто бухтеть не будет вообще.
Аноним 14/11/26 Суб 11:06:30 #168 №1754190 
>>1754185
Ты в каком-то манямирке живешь, в котором на серверах не должны ставить системы автоматического мониторинга всего трафика "против child exploitation" и обязательной идентификации по паспорту каждого пользователя.
Аноним 14/11/26 Суб 11:06:50 #169 №1754192 
>>1754171
Так его нет веса же не выложили
Аноним 14/11/26 Суб 11:18:20 #170 №1754206 
>>1754179
Все что ты можешь это вместо
Qwen3.8-Flash-Next IQ3_S
Поставить какой-нибудь свежий анслотовский пожирнее
>сильно топчется на месте при решении задач
Возможно prompt/harness ишшуе.
Аноним 14/11/26 Суб 11:28:53 #171 №1754213 
>>1754206
Ясно, спасибо. В любом случае и так мега охуенно, платные токены в opencode go теперь почти не жгу, оставив облачные модели лишь на некоторых subagent'ов.

А там глядишь и еще какие-нибудь оптимизации со временем изобретут.
Аноним 14/11/26 Суб 12:14:12 #172 №1754234 
>>1754180
Лол, идейному подписку выдали что он сюда коупить прибежал?
Аноним 14/11/26 Суб 12:22:45 #173 №1754238 
image.png
Чего блять
Аноним 14/11/26 Суб 12:23:09 #174 №1754239 
>>1754213
А зачем так экономить? Дипсик же тот же нюхает лимиты буквально. Глм какой конечно да, жопа полная. Но тут уж ей богу проще альтману занести какому, но это от предпочтений зависит конечно.
Аноним 14/11/26 Суб 12:29:29 #175 №1754242 
>>1754179
Так он слишком много думает с точки зрения многих людей и постоянно исправляется в рассуждениях. Поэтому его на в большинстве работ многие используют на среднем или низком уровне ризонинга. Часто делает ошибки в тулкалах. Плюс у тебя возможно включены отупляющие опции страты. Вроде на реддите пришли к мнению, что пропуск экспертов лучше отключить, хотя возможно у тебя это сильно снизит скорость. Пропуск экспертов это вроде самая отупляющая из них.
Аноним 14/11/26 Суб 12:40:35 #176 №1754249 
изображение.png
изображение.png
>>1754179
>Юзаю Qwen3.8-Flash-Next IQ3_S · 256K в страте на 4070ti (12VRAM+64DDR4).
>
>Вроде бы всё хорошо: За 297 запросов ваша средняя скорость вывода была 44,5 ток/с, а чтение промпта — 1 049 ток/с, с повторным использованием 36.6M токенов.
Почему у меня на железе в 3 раза лучше скорость в 4 раза ниже?
Аноним 14/11/26 Суб 12:49:20 #177 №1754256 
Меня одного просто трясёт блять с кододебилов?
Засрали всё своим ебучим квеном 3.8 и всратами, весь тред оттирать от этих пидоров заебёшься.
Почему я в кумотреде должен наблюдать это говно, когда у них свой тред есть?
Аноним 14/11/26 Суб 12:51:22 #178 №1754258 
>>1754256
>Меня одного просто трясёт блять с кододебилов?
Одного. Кумобратья тем отличаются от кодомакак что ловят вечный экстаз и не возбухают.
Аноним 14/11/26 Суб 12:54:31 #179 №1754262 
>>1754256
Кумлю на квене во всрате, ебало?
Аноним 14/11/26 Суб 12:54:31 #180 №1754263 
>>1754192
У тебя может и нет, если искать не умеешь
Аноним 14/11/26 Суб 12:55:02 #181 №1754264 
>>1754249
А, я даун, у меня майа и глм 5.3, отбой, всё нормально.
Аноним 14/11/26 Суб 12:56:45 #182 №1754267 
>>1754242
> Часто делает ошибки в тулкалах.
Если такое происходит - модели или инфиренсу пизда.
>>1754256
Одного. Съебись нахуй в aicg, там расскажешь что гемм_очка топ и 26б моэ хватит всем.
Аноним 14/11/26 Суб 13:04:19 #183 №1754273 
>гемм_очка топ и 26б моэ хватит всем.
Охуела шлюха? Для кума и простого сюжета ее за глаза.
Аноним 14/11/26 Суб 13:05:06 #184 №1754274 
>>1753490
А для чего тут интел поделие?
Аноним 14/11/26 Суб 13:15:18 #185 №1754288 
>>1754256
У кодособак целая нахуй доска есть для погромирования где все с нейронками сидят, но почему-то этот кал лезет сюда. Возможно тролебандии ебаные, нашли уютное и начали сюда срать нещадно.
Аноним 14/11/26 Суб 13:33:53 #186 №1754294 
Как же гемма ебёт для рп. С весны пердолился с китайскими модельками, перещупал и квены и дипсик мелкий во всех его итерациях и степ, и прочие мимо минмаксы и так далее. А сейчас что-то полистрату тыкал, решил запустил 26б в q8, скорости посмотреть. И всё, трое суток уже играю почти без сна, прям как когда-то давно, когда немо только вышел. У модели есть проблемы, с отсутствующими свайпами, с рельсовостью, с вниманием к деталям на длинном контексте и тд, но они не перевешивают позитив от использования.
Короче если сатана гугл в следующий итерации геммы научит её не сыпаться хотя-бы до 60к а лучше 100к, и не скатит всё в кодоунитазинг, то это будет огромный вин для рп\креатив райтинга. А если ещё и 80-120б моешку выкатят... А покодить можно и на квене/десятке других ни на что кроме кода не годных моделей, если так уж свербит.
Аноним 14/11/26 Суб 13:40:22 #187 №1754301 
>>1754294
Да ясен хуй ты получишь дистиляцию с их фронтира как и прошлый раз. Если ты не заметил то гемма часто повторяет ответы Гемини 4.0 слово в слово. Ты уже примерно так можешь прикинуть какие ответы у неё будут.
Аноним 14/11/26 Суб 13:57:24 #188 №1754311 
image.png
Лол этот поток мыслей квена когда он натыкается на проблему и начинает её брейнштормит. С этими его
Oh, wait. I got it!!!
Ah, wait. I think I get it!
Oh my god. I got it!!!

у него конечно охуеть какой живой процесс мышления.

Вообще забавная модель. У нас есть это семейство которое похоже на ГПТ, которое мыслит как инструкция к пылесосу в духе
No need search? User asks critique based attachments, no search needed. I should use tools read. Could use ipython to read files? read_file is appropriate. Should read game skill first. Then attachments possibly parallel after skill. Should be careful not to reveal tool names. Could just tool calls no narration? Instructions say longer tasks sync progress stages; but concise task maybe read and respond.

И я конечно понимаю что такой стиль мысли это следствие оптимизации модели на эффективность в токенах. У модели просто задача думать более эффективно и в итоге там проглатывается всё от "эго" модели, до кучи связующих слов.

А есть лол эти клод-подобные модели в духе квена, которые в своих мыслях скорей симулируют персону, которая думает. И у квена явно в метриках было довести задачу до финала, а не экономить токены. Видимо удержание какой-то эмоциональной личности и позволяет ему прыгать выше всех остальных. Личность мотивировать к выполнению задачи проще чем инструкцию к пылесосу.

>>1754256
Разумеется одного. А причина простая - ты ослеп от дрочки, не можешь прочитать шапку треда и не понимаешь что это не кумотред.

>>1754179
А ты ему что в качестве промпта то кидаешь? Я запускал Q2 и он в целом думал намного меньше 27b. Лол просто потому что больше знал изначально.
Аноним 14/11/26 Суб 14:01:09 #189 №1754314 
>>1754301
>дистиляцию с их фронтира
Как что-то плохое.
Но я прям совсем не пользуюсь фронтир моделями, последнее что из не локального трогал, был AI dungeon ещё до цензуры, поэтому да, не заметил. И на новой гемме не замечу. Слышал только, что новая их большая модель, Ангрон вроде, это вообще разъёб.
Главное как они архитектуру запилят, сколько контекст весить будет вспомним гемму3, как модель будет держать его привет SWA, в каких размерах выкатят, как цензуру запилят квен как антипример, и прочая тысяча нюансов.
Аноним 14/11/26 Суб 14:18:34 #190 №1754324 
>>1754256
> Почему я в кумотреде

Этот тред никогда не был про кум, так же как он никогда не был про использование моделей для кодинга. Тред сводится к обсуждению локальных ЛЛМ а что ты уже делаешь с ними - дело десятое и в правилах треда никаким боком не прописано. Поэтому да, тебя одного трясет.
Аноним 14/11/26 Суб 14:28:27 #191 №1754326 
>>1754324
Двачую анончика. Добавлю только что кум актуальнее кодинга на локалках. Ведь где еще можно без цензуры поиграть?
Аноним 14/11/26 Суб 14:45:42 #192 №1754336 
gemma.png
>>1754314
А я и не говорил что это плохо. Я говорил что уже есть способ примерно так прикинуть чего можно ждать в гемме.
Так то я конечно не пользовался гемини для ролеплея, но он из фронтирных моделей как раз тот которым я пользуюсь почти каждый день. Он в отличии от большинства других моделей как раз рассчитан быть тру-ассистентом. У него широкий корпус знаний, его знания более генерализированны, он намного лучше других понимает социальные игры, сложные обороты речи, эмоциональный подтекст. Но например 4.0 был не такой автономный, он не прыгал дальше финишной черты. Гемма4 полностью повторяла его поведение - с ней приятно общаться, она как модель очень универсальна, но она не будет проверять и перепроверять за собой результат как это делает тот-же квен. В итоге как секретарша и кумбот она просто охуенна.

Советую посмотреть на новую модель гугла кстати. Она довольно специфична, но в целом можно ожидать что новая гемма тоже будет весьма сильна в литературе.
Я правда подозреваю что она так-же будет сильна в удержании своей личности, так что кого бы она не отыгрывала все равно будет ощущение будто ебёшь гемму.

Впрочем, это и сейчас так. С ней постоянно ощущение будто это какой-то эротический ролеплей с общительной секретаршей в оффисе.

>>1754326
А где ты кроме как на локалках без цензуры покодишь? Лол у меня недавно была ситуация когда я загружал другу апасного квена и прокидывал туннель через клаудфлейр. А он там занимался хакингом и взлолмл жопы лицензии с помощью REA. Ему другие модели давали отворот-поворот.
Аноним 14/11/26 Суб 14:48:51 #193 №1754338 
>>1754336
>где ты кроме как на локалках без цензуры создашь картинку с лолями?
В картинко-треде? Языковые модели причём?
Аноним 14/11/26 Суб 14:50:14 #194 №1754339 
17911248277541293815.jpg
>>1754324
>Этот тред никогда не был про кум

Этот тред всегда был про кум

Просто у кого то кум от глаженья хвостиков,
у кого то кум от написания говнокода,
а кто то кончает технорадугой от вида 4 видеокарт в риге и сотен токенов в секунду
Каждому свое.
Аноним 14/11/26 Суб 14:50:43 #195 №1754340 
>>1754338
а где я что-то про картинки писал?
Аноним 14/11/26 Суб 14:51:18 #196 №1754341 
>>1754340
У тебя инта как у лоботомита, квантованный.
Аноним 14/11/26 Суб 15:02:48 #197 №1754342 
1747578853409.jpg
>>1754339
Тогда уж про достижение удовольствия, специфического удовольствия.
Аноним 14/11/26 Суб 15:08:12 #198 №1754346 
>>1754336
>> Я правда подозреваю что она так-же будет сильна в удержании своей личности, так что кого бы она не отыгрывала все равно будет ощущение будто ебёшь гемму.

Анон ты сам выдумал себе проблему и сам же огорчился. Все нейронки это "личности" пытающиеся для тебя изображать кого-то другого, но всегда всего-лишь воображать. Они не становятся и никак не могут стать тем кого ты от них хочешь.

это же очевидно? Их, Гемму Дикпик и т.д. этих личностей обучали на огромных датасетах, а потом ты подсовываешь этой личности промт, на тысячу токенов с фактами "он любит ковыряться в носу" "у него анальный свищ" и ждешь что нейросеть станет этой прости господи "личностью" ? пощади

короче ты всегда будешь общаться с Геммой, дикпиком и т.п. , пока сам не натренируешь собственную ЕОТову собрав ей ее виртуальный коннектом
Аноним 14/11/26 Суб 15:08:20 #199 №1754347 
>>1754256
Почему тебя трясет от кума? Я кодю и немного кумлю. Без кума этот тред был бы пресным + это историческая традиция этого треда.
Аноним 14/11/26 Суб 15:08:22 #200 №1754348 
>>1754263
Поделись пж
Аноним 14/11/26 Суб 15:11:06 #201 №1754352 
>>1754311
> Лол этот поток мыслей квена когда он натыкается на проблему и начинает её брейнштормит.

У рыбины такой-же
Аноним 14/11/26 Суб 15:27:37 #202 №1754370 
>>1754341
я тебе не гемма, я не пытаюсь в телепатию.

>>1754346
Не это очевидно и это не проблема. Просто модели всё ещё могут иметь дрейф личности и не всегда её удержание стабильно. Модели могут провалится в своем латентном пространстве в регионы низкой стабильности и начинать лупится и творить говно всякое. Иногда оно выглядит литературно.

Для меня штатное поведение геммы вполне приятно, так что я не вижу повода огорчатся. Натягивать на её башку очередной бумажный пакет вполне приятное разнообразие. Просто форма секретарши выглядывает из под пакета.

>>1754352
Да, я знаю. Дипсик тоже имеет довольно интересное внутреннее "эго" и любит перемалывать мысли от первого лица и в целом он описывает мысли со стороны какой-то личности. Правда он не такой эмоциональный как 3.8-27b в своей башке, я пару раз видел как квен использовал нецензурную брань в своих мыслях лол. Притом у него не было никаких ролевых промптов.

Хотя кстати например гемма в мыслях уже редко думает от первого лица, у неё там буллетпойнты, если ей не давать сложную задачу. Но у неё "публичная" личность является основной и там она проявляется ярче всего. Но кстати на агентных задачах она тоже начинает размышлять в мыслях от первого лица.

Вообще подозреваю что чем больше модель думает "от первого лица" тем пригодней она в ролеплее. У неё просто присутствует понимание о модели персонажа и есть какая-то гибкость базовой личности чтобы его полноценно отигрывать.

Тот-же Muse Glimmer например очень хорош в программировании и в целом полезен, но думает как инструкция к пылесосу, а его публичная личность переполнена стоицизмом. В итоге его писанина это какая-то жопа.
Аноним 14/11/26 Суб 15:30:58 #203 №1754372 
cmp50hx 20Gb анлокнутую брал кто под LLM?

в теории должно быть неплохо, но как в реальности?
Аноним 14/11/26 Суб 15:42:56 #204 №1754379 
>>1754274
Брался давно как самый дешёвый av1 кодировщик. На практике я её отключил сейчас, но жору я таки на ней завёл
Аноним 14/11/26 Суб 15:47:48 #205 №1754383 
>>1754336
В чём она охуенна то?
Кум пишет отвратно, всегда надо прямо давать команду чтобы писала хоть как то, ломать 4 стену, либо самому всё прописать чтоб она просто повторила.
Глм флеш я думал что такой же, но на кум карточках он пишет охуенно развратные вещи и не стесняется ничего, а гемма нет.
Аноним 14/11/26 Суб 15:50:06 #206 №1754384 
>>1754383
Ну и конечно гигатонны слопа и воды.
Аноним 14/11/26 Суб 15:54:46 #207 №1754388 
>>1754336
Картинка хорошая, подходит модели.
>>1754372
По современным меркам норм, считай полноценный тьюринг и памяти неблохо. Из минусов - ебаная некрота тьюринг и всего лишь 20гигов.
Аноним 14/11/26 Суб 16:00:32 #208 №1754391 
>>1754383
Просто не умеешь ей пользоваться. Гемма хороша в своих любимых жанрах типа нуара, слайса и всё такое. То что твой запрос не соответствует этому и ты хочешь каких-то порно-фанфиков в специфичных жанрах - ты ожидаешь слишком много от достаточно мелкой модели.

Хотя у неё много способов поднимать качество в жанрах где она слабая. Например давать ей инструкцию чтобы она считала себя полноценной независимой личностью. Или давать запросы повышающие креатив и просить чтобы она сама двигала сюжет. Она может быть довольно креативной.
Аноним 14/11/26 Суб 16:22:37 #209 №1754410 
87b8yzdfhzvVXkUw7xMVV7AHwDSxMSPNvqTLs4DfPbMDvLd2M0V0vz2HQEIC3E4sbW4UpYzBB3WfFaJczL7rhsJt1AcA70EoOOqMJGUelS913pHM6ybn9x-S6sU2HuDeLv6O4b6xpgtGHjUfKLT9p-EZDMFONQC0Qj-wVnXYoefGE0fAHNN6HAH6PDlDjFPfBJV6Hqulh5-aioZuqJYg.webp
Запомните, дорогие друзья. Нет плохих моделей для кума - есть кривые руки скилл ишью.
Сяу Хуя Дроч (с).
Аноним 14/11/26 Суб 16:36:54 #210 №1754429 
1743808581529.jfif
>>1754410
>87b8yzdfhzvVXkUw7xMVV7AHwDSxMSPNvqTLs4DfPbMDvLd2M0V0vz2HQEIC3E4sbW4UpYzBB3WfFaJczL7rhsJt1AcA70EoOOqMJGUelS913pHM6ybn9x-S6sU2HuDeLv6O4b6xpgtGHjUfKLT9p-EZDMFONQC0Qj-wVnXYoefGE0fAHNN6HAH6PDlDjFPfBJV6Hqulh5-aioZuqJYg
Что за код доступа к жеппе?
Аноним 14/11/26 Суб 16:41:04 #211 №1754434 
БЛЯ СПАЛИЛ СВОЙ КРИПТОКОШЕЛЕК

Удалите плиз
Аноним 14/11/26 Суб 16:45:23 #212 №1754439 
image.png
>>1754410
Аноним 14/11/26 Суб 16:47:48 #213 №1754441 
5a2778f062521.jpg
>>1754439
чееел?
Аноним 14/11/26 Суб 16:47:57 #214 №1754442 
>>1754439
Ну вот, сразу кум пошел
Аноним 14/11/26 Суб 16:49:46 #215 №1754443 
>>1752809 (OP)
Здравствуйте, на фоне полнейшего дума пришел к вам в гости. Есть ли что-то адекватное для нищей 5070 и 32 гб. ддр4 или придется терпеть дальше?
Аноним 14/11/26 Суб 16:50:42 #216 №1754446 
>>1754410
двачую, я на фи кумил, когда мистраль\гемма2 надоедали. Правда мои запросы к стилю столь специфичны, что их никакая соя не испортит.
>>1754439
>квен 3.5
>понимание русика
>2В
Чел.
Аноним 14/11/26 Суб 16:52:36 #217 №1754449 
>>1754443
Какова твоя цель?
Аноним 14/11/26 Суб 16:54:21 #218 №1754450 
>>1754443
qwen 35b a3b/gemma 26b a4b
Аноним 14/11/26 Суб 16:55:08 #219 №1754452 
>>1754449
Отыгрывание больших сюжетных ролевок на 1000+ постов. Ну или хотя бы кум.
Аноним 14/11/26 Суб 17:16:06 #220 №1754474 
image.png
>>1754443
После геминьки или на чём там сидят будешь кушать модель примерно в стописят раз меньше, гемму 26а4
Аноним 14/11/26 Суб 17:25:05 #221 №1754480 
изображение.png
>>1754256
Ты просто скопировал пост из прошлого треда? Я видел точно такой же пост в прошлом или позапрошлом. Не позорься хоть. Алсо тут тред локалок, любых локалок а не только угодных лично тебе дрочеру.
покормил вахтера
Аноним 14/11/26 Суб 17:26:20 #222 №1754483 
>>1754439
В голос
>>1754452
> на 1000+ постов
Если там прямо сюжет, сеттинг, прогресс и прочее - оварида, готовь анус риг для моделей 300+. Если более приземленное и без духоты - геммочка отлично справится.
Аноним 14/11/26 Суб 17:39:12 #223 №1754495 
>>1754483
А у этих ваших локальных моделей есть функция поиска в интернете?
Аноним 14/11/26 Суб 17:42:52 #224 №1754500 
>>1754480
plap-plap-plap ленивую
Аноним 14/11/26 Суб 17:44:31 #225 №1754501 
>>1754495
Da
Аноним 14/11/26 Суб 17:52:27 #226 №1754513 
>>1754452
Легко, но надо будет напрячь попу для правильного саммари.
Аноним 14/11/26 Суб 17:56:41 #227 №1754520 
>>1754513
Ну саммари я само собой делал когда играл на обычных корпоративных моделях. Тут есть какие то нюансы?
Аноним 14/11/26 Суб 17:58:11 #228 №1754521 
>>1754495
Агент-помощник, способный копаться в интернете и что-то простое кодить, запустится. Только хороший харнесс нужен. От него результат очень сильно зависит.
Если у вас есть базовые технические навыки и некоторое понимание компьютера для постановки задачи, то очень полезен. Можно еще подключать аблитератки модели, когда нужно.
Аноним 14/11/26 Суб 17:59:24 #229 №1754522 
>>1754495
Вопрос некорректен. Это все равно что спросить
> этот ваш инновационный двигатель можешь ездить
Никакая модель не ищет в интернете, она лишь вызывает соответствующую функцию в своей обвязке. В популярных харнессах это есть, применение локалки или корпов не имеет отличий. Разве что более анальный протокол апи у вторых.
Аноним 14/11/26 Суб 18:09:29 #230 №1754532 
image.png
>>1754495
Модель может без проблем генерировать слова, которые через их интерпретацию могут предоставлять ей функционал поиска в интернете. Модель сама по себе ничего не может делать, что-то делать ей позволяет обвязка вокруг модели.

К примеру на скриншоте локальный квен пролез в чат к ГПТ и попросил его сгенерировать картинку персонажа. Иногда я отправляю его торговатся на авито. Иногда шерстить яндекс-маркет. А иногда он сам идёт и читает документацию в интернете, если чего-то не знает.

Но это он может делать потому что его слова могут быть интерпретированы в действия.
Аноним 14/11/26 Суб 18:30:32 #231 №1754550 
Inkling 2 нюхал кто? ~215гб IQ3XXS.

Прошлый вариант (вдвое тоньше по параметрам) был неплох на русеке, но сливался к хуям через несколько запросов и терялся в контексте.
Аноним 14/11/26 Суб 18:34:42 #232 №1754556 
image.png
>>1754391
Да ебал я гемму, дружочек.
Она просто не способна не выдать кучу слопа и воды на простой ответ. Вот 1 пик эир, 2 гемма. А судьи кто? Да мне похуй.
Аноним 14/11/26 Суб 18:35:59 #233 №1754557 
image.png
>>1754556
Эир отвалился
Аноним 14/11/26 Суб 18:43:58 #234 №1754562 
Нам обещали AGI локально, а в итоге что? Боты все хуже пишут текст, Хуанга пидорнули, впереди одна безнадёга. Сливайте свои видеокарты пока они ещё в цене.
Аноним 14/11/26 Суб 18:51:00 #235 №1754566 
>>1754556
>>1754557
Может я обкумился, но оба пика для меня одинаковые по смыслу. На мой вкус разве что я бы сократил писанину еще раза в два в них.
Аноним 14/11/26 Суб 18:57:52 #236 №1754569 
1794671872186.jpeg
>>1754562
Да да, и оперативку тоже
Аноним 14/11/26 Суб 18:59:18 #237 №1754571 
image.png
>>1754569
Да тише ты
Аноним 14/11/26 Суб 19:03:31 #238 №1754573 
>>1754566
с выходом геммы 4 кум стал вкусовщиной. Качественно ни гемма 4 ни рыба ни глм не отличаются. Отличаются стилистически. Технические различия можно заметить на контексте выше 30-40к, там у геммы начинаются проблемы, но хз, по моему опыту редкий кум требует такого контекста и всегда есть саммари, лорбуки, плагины для воспоминаний и всякое такое
Аноним 14/11/26 Суб 19:05:04 #239 №1754576 
На 32/128 сетапе что сейчас топ? Я правильно понимаю, что большие модели на 200-400б в меньшем кванте лучше моделей в 100б в большем? Из треда и гайда присмотрел пока Дипсик 4 и Мимо 2.6 флеш. Я просто заебусь качать по 300гб на каждую модель со своим инетом ёбана.
Аноним 14/11/26 Суб 19:06:36 #240 №1754577 
>>1754573
>выше 30-40к, там у геммы начинаются проблемы,
Никаких проблем у q8 31b, выдумки нищих
Аноним 14/11/26 Суб 19:08:21 #241 №1754578 
>>1754573
>на контексте выше 30-40к
Эх вспоминаю как первые свои кривые, но достаточно яркие кум сессии контекст загонял на 80к в моешечке, даже не подозревая как ей было плохо.
Щас с опытом тысячные сессии умещаются в 20к изично.
Аноним 14/11/26 Суб 19:09:33 #242 №1754580 
>>1754576
>большие модели на 200-400б в меньшем кванте лучше моделей в 100б в большем?
Не все так однозначно. Низкий квант может ебануть по русскому языку и/или по способности модели держать длинный контекст.

>32/128
Прямо под этот сетап сейчас хуй даже знает что там оптимально. Может какой-то нищеквант GLM 5.3 Flash влезет, но будет ли он хорошо писать на русеке - под вопросом; англота вполне взлетит. Если юзать Maya вместо llamacpp, будет даже быстро.
Аноним 14/11/26 Суб 19:17:37 #243 №1754583 
>>1754580
Ну а какие там вины у ~100б? Из треда слышал хвалили Орниса, Квена Флеша под кодомакакинг и Эйродин человек хвалит и хвалит.
У меня кстати есть вариант разделить сетап 32/128 на два по 16/64, думаю, есть ли какой то смысл запускать параллельно две более тупые нейронки. Ну там днд пати запилить, один на гмэ, второй напарник.
Аноним 14/11/26 Суб 19:22:29 #244 №1754588 
>>1754583
> какие там вины у ~100б? И
Сейчас в этом размере толком нихера и не делают. Квен да, кодомартышки вроде юзают.

> есть ли какой то смысл запускать параллельно две более тупые нейронки.
Нет, учитывая то, что одна и та же модель может параллельно жевать разные реквесты.

https://github.com/mw00/project-maya

https://huggingface.co/peasantsmith/GLM-5.3-Flash-Maya-GGUF/tree/main/Maya-M
https://huggingface.co/turboderp/GLM-5.3-Flash-exl3/tree/sc_3.10bpw

У тебя вполне влезет такое. Если не зайдет - уже будешь понимать как +- по качеству работает топчик по "умности" в рамках твоих возможностей. Но сам понимаешь это кванты на грани лоботомитов - один шаг ниже и будет совсем дно (я тестил 3.10bpw EXL3, хорошо в целом на макс. ризонинге).
Аноним 14/11/26 Суб 19:29:54 #245 №1754594 
>>1754588
Спасибо, попробую.Мне чё, нестись с зп третью карту покупать, цены кусаются уже баляяя
Аноним 14/11/26 Суб 19:33:16 #246 №1754596 
>>1754594
Я бы на твоем месте оперативки докинул. 4.1 дипсик 1017 вполне может завестись на 32+192 с высранными на SSD 160 гигами ngram (если квантованные брать) или 200 гигами оригинальных (тоже можно) - так же через Maya
Аноним 14/11/26 Суб 19:38:02 #247 №1754603 
IMG20261112174125426.jpg
>>1754294
О, друг мой, проблема Геммы в том, что она просто не понимает большой контекст.
А так хочется MOEГемму 125a12 с энграммами гигов на 100 без SWA, чтобы она органично развивала предоставленный ей контекст.
Тогда и корпы эти нахуй ну нужны были бы.
Сейчас пытаюсь для этого Deepseek v4.1 flash в q1_s запустить, чтобы перестать быть зависимым от корпов, и погрузиться а пучины ролеплея.
Как же я хочу дописать фанфик свой, пиздец просто. Но как же до этого далеко без корпов.
Аноним 14/11/26 Суб 19:38:13 #248 №1754604 
>>1754596
Не, увы, оперативки не вариант. 128 ддр4 это максимум на ихровой амудешной плате, расширяться только покупать какие-то специализированные серверные решения и переносить туда всю оперативу с докупом, а это уже сильно не по карману.
Аноним 14/11/26 Суб 19:44:32 #249 №1754609 
>>1754604
Я буквально в твоей ситуации был. Соскочил на TRX40 платформу - некрота зен2, но 4 канала ддр4 лучше чем 2. Для игор пришлось отдельно новый комп собирать, т.к. тредриппер их не тянет.
Главное что память та же осталась, я докупил с 128 до 256 гигов парочку аналогичных наборов - и завелось. Но вообще по ценам эта некросрань наверное оверпрайс сейчас... За проц+мать запросят 60+ кусков, дорого для такого удовольствия, ведь на память еще полтинник уйдет.

>>1754603
>проблема Геммы в том, что она просто не понимает большой контекст.
Хуй знает, у меня очень даже понимала описываемую с рождения по сегодняшний день биографию чарика на 25 000 - 30 000 токенов. Реальная проблема была в неспособности модели глядеть в будущее. Она не умела проактивно создавать интересные ивенты даже при наличии референсов типа расписания и распорядка дня. Болтаешь с чаром и ну вот просто НЕТ такого, что есть с тем же 5.3 ГЛМ, где чар такой хуяк -
> О, пары заканчиваются, ща надо в библиотеку и потом за хлебом сбегаю
Гемма просто вместо этого мусолит одно и то же, находясь на том месте, где была
> ээээ пук среньк жидко подливлю штаны на лекции
> (тем временем системное время в контекст подалось уже на +3 часа от начала разговора)
В общем такая вот хуита
Аноним 14/11/26 Суб 19:55:50 #250 №1754618 
>>1754609
Да сейчас все ушлые барыги подняли цены на абсолютно всё, что хоть немного похоже на "топовое ИИ решение". Окно успешно проебано, хорошо хоть вторую карту успел купить в июне. Сидим дальше облизываемся на толстые модели, хуле.
sage[mailto:sage] Аноним 14/11/26 Суб 19:57:57 #251 №1754620 
>>1754262
Удваиваю
Аноним 14/11/26 Суб 20:06:46 #252 №1754631 
1794676006663.jpeg
Подключил апишный дипсик флеш, увидел 250-350 т/с и заплакол
Аноним 14/11/26 Суб 20:20:22 #253 №1754647 
Здаров, чумбы. Возвращаюсь в тред. Пока нет возможности запускать локалку и пока не взялся за заведение алипей (нет времени полазить по тредам и поискать)
НО! Бесплатный гугловский гидроген с оф ключом подтянул к таверне. Пишет просто мамма миа как хорошо. Но нсфв пакости пока не пробовал.
Аноним 14/11/26 Суб 20:22:51 #254 №1754650 
>>1754647
А мы-то тут причем. Мы слабенькие модели кушаем...
Аноним 14/11/26 Суб 20:24:16 #255 №1754651 
>>1754609
> на TRX40 платформу
А чего не эпик? Или оно у тебя как основная пека, не риг?
> на 25 000 - 30 000 токенов
Это еще не большой. И одно дело просто "вспомнить факт" а другое - учитывать последствия всех этих действий и точно подтягивать все релевантное из истории. К сожалению, для геммы вполне норма опереться на последний десяток постов и все перепутать, совершая ужасные ошибки.
Например:
Вы в области x где атмосфера непригодна для дыхания, об этом написано еще в лорбуке что в самом начале. Кучу постов назад организовали область с нормальным воздухом, целая сюжетная арка с кучей важного, вы сейчас там. Вы обсуждали тему связанную с дыханием, но в другом контексте. После этого чар перед выходом из помещения берет, и демонстративно красиво в деталях надевает маску. Занавес.
Гемме похуй что за дверью чистый воздух, что в контексте есть куча важного про это, что та дверь ведет не наружу, она видит цель и красиво ее придерживается.
Примеров с подобным множество, из-за swa или тренировки не может нормально оценивать важность последовательности событий, и потому постоянно скрывается на шорткаты или лениво сочиняет что-то вместо того чтобы помнить. Чсх, если чредовать ее с другой моделькой или просто пиздить палкой - все будет ок.
>>1754618
Ддр4 говорят подешевела, можно на серверную некроту обратить взор.
Аноним 14/11/26 Суб 20:24:49 #256 №1754652 
>>1754650
Вы добрее чем соседний тред хд
Аноним 14/11/26 Суб 20:27:18 #257 №1754654 
>>1754651
>Например:
>Вы в области x где атмосфера непригодна для дыхания, об этом написано еще в лорбуке что в самом начале. Кучу постов назад организовали область с нормальным воздухом, целая сюжетная арка с кучей важного, вы сейчас там. Вы обсуждали тему связанную с дыханием, но в другом контексте. После этого чар перед выходом из помещения берет, и демонстративно красиво в деталях надевает маску. Занавес.
>Гемме похуй что за дверью чистый воздух, что в контексте есть куча важного про это, что та дверь ведет не наружу, она видит цель и красиво ее придерживается.
>Примеров с подобным множество, из-за swa или тренировки не может нормально оценивать важность последовательности событий, и потому постоянно скрывается на шорткаты или лениво сочиняет что-то вместо того чтобы помнить. Чсх, если чредовать ее с другой моделькой или просто пиздить палкой - все будет ок.
Ну давай, назови мне модель которая тут не обосрётся до 750б. Которая вот прям помнит все 130к контекста с лорбуками и не говно в рп при этом.
Аноним 14/11/26 Суб 20:33:29 #258 №1754660 
>>1754654
Квен27, квен122, кфн, минимакс2.7, дипсик 300б, мимо флеш, жлм-флеш, минимакс 3.1, дипсик 4.1. Кто там еще кого забыл, считай любая актуальная модель. Возможно еще глимер, он сам странный но хотябы перлов реже выдает, почти наверняка справится новый инклинг. Модели постарше под вопросом, но тоже шансы есть.
У всех случаются фейлы, но в основном по мелочи или редко. А у геммы они регулярно и метко, и хуй ты свайпами от подобного отделаешься, если наметила то будет идти туда хоть зароллься.
> и не говно в рп при этом
Список сужается, но ассортимент сохраняется.
Аноним 14/11/26 Суб 20:41:50 #259 №1754666 
Какая тяжёлая работа у нейроделов.
И контекст им принеси чтоб весь лям держала, и чтоб умная была, и чтоб порнуху писала, и чтоб знаний много, и чтоб кодила заебись, и чтоб эмоциональный интеллект, и чтоб без слопа, без цензуры, но и не слишком шлюха, и чтоб везде сбалансированно, не перекошено, не пережарено, пиздец просто.
на деле просто лениво жмакают кнопку дистилята, а жирную жопу на 5тр обучить уже не сложно всему всему
Аноним 14/11/26 Суб 21:21:43 #260 №1754692 
>>1754666
>5тр обучить уже не сложно
Ну сделай
Аноним 14/11/26 Суб 22:36:52 #261 №1754732 
>>1754609
> О, пары заканчиваются, ща надо в библиотеку и потом за хлебом сбегаю

буквально это давно уже реализовано для любой модели в Маринаде , там для персонажа на основе его карточки генерируется расписание на неделю вперед (которое персонаж/модель/юзер может по мере надобности потом править сама), скрипт просто по таймеру меняет статус персонажа, и модель этот статус получает при каждом сообщении зная где сейчас находится отыгрываемый персонаж и чем занят, так-же при общении посылаются таймтаги

ну и я в эти истории про исключительность больших моделей того-же Дикпика который у меня, со второго сообщения перепутал старшую сестру с младшей, а потом и вовсе забыл, что персонаж уже снял трусы, теперь не особо верю. Кому-то не везет, и он получает странные косяки с геммой 4, кому-то везет и он странных косяков не получает с глм5 или рыбой
Аноним 14/11/26 Суб 22:40:27 #262 №1754736 
А qwen4ичка все нет, нет, нет,
А qwen4ика все нет....
Аноним 14/11/26 Суб 22:56:52 #263 №1754745 
>>1754660
>квен122
30к
>кфн
Q5 25к первый шаг деградации, но ещё терпимо, 46-48к край адекватности, 60к полная шиза.
>дипсик 300б
В моём нищекванте Q2 держался бодро до 50к. Потом живой, но начинал путать имена, события и тд.
>глимер
Q4 может начать путать с нулевого сообщения. 30 - 40к максимум.

Я думаю, ещё от самого рп зависит. Я предпочитаю масштабные симуляции миров, с десятком нечеловеческих персонажей и локаций, политикой, планами и прочим, и от такого у ллмки мозги закипают быстрее чем от простой симуляции одного чарика с простой анатомией и простым сюжетом\локациями\правилами и тд. Где-то раза в два-два с половиной. На карточке медведедевки - практикантки из деревни на 600 токенов, квен некст стойко выдержал 150к контекста археологии, бухла, сбора мёда и сбора мёда.

Другой анон, ес что.
Аноним 14/11/26 Суб 23:10:33 #264 №1754756 
А для меня всё ещё большое откровение - откуда блять у дипсика такой пиздатый русик?
Может он с гемини дистилен? Только удушен дотрейном в сою
Аноним 14/11/26 Суб 23:21:32 #265 №1754761 
>>1754745
> >квен122
> 30к
Дноквант или навык
> Q5 25к первый шаг деградации, но ещё терпимо, 46-48к край адекватности, 60к полная шиза.
Навык
> живой, но начинал путать имена, события и тд.
q2, увы, плюс инфиренс через деквантование.
> Я думаю, ещё от самого рп зависит.
Вот тут согласен.
Но не менее важно еще и как все организуешь. Когда "много" сетки справляются относительно легко, ты сдашься раньше. Сдавать начинают когда нужно учитывать все переплетения и куча связей, определяющих мотивы и результат, и охватить нужно все разом. В этих случаях как раз. Здесь короткий ризонинг, разметка и жир модели уже помогают.
Алсо, расскажи как умещаешь такое изобилие
> масштабные симуляции миров, с десятком нечеловеческих персонажей и локаций, политикой, планами и прочим
в 30-60к токенов. Как по мне, это только завязочка, или срез конкретной арки на фоне еще 90к лорбуков, истории, суммарайзов.
> сбора мёда
Хе хе, хорош
Аноним 15/11/26 Вск 00:14:36 #266 №1754794 
Вы продаете блоки и память?
Нет просто показываю
Красивое
https://github.com/sayhellotojungle/cmp170hx-ffcalc
Не ленимся, отписываемся кому повезло урвать 96-гиговую, кому карма послала только 64
Аноним 15/11/26 Вск 00:27:44 #267 №1754801 
>>1754756
У дипсика всегда был хороший русский язык.

>>1754651
>А чего не эпик? Или оно у тебя как основная пека, не риг?
Не хотел продавать имевшиеся 128 гигов памяти, обычной потреблядской а не серверной.
Аноним 15/11/26 Вск 00:32:01 #268 №1754803 
>кому карма послала только 64
Мне 20 послала.
Аноним 15/11/26 Вск 00:39:08 #269 №1754809 
>>1754761
>умещаешь такое изобилие
Шизофрения
Англюсик, ручные короткие саммари, лорбуки опять же с короткими описаниями для того, чего нет в карточке. Лорбуки, которые динамически меняю, а-ля инвентарь, кому что наобещал, кому что должен и тд. А так карточка на 10-15к токенов где прописан "скелет" того, что я хочу. Я гоняю исключительно то, что написал и придумал сам, благо книг\фильмов\сериков\игр было потреблено дохуя, есть откуда вдохновение черпать, поэтому где-то могу оставить короткое описание в стиле здесь людей ебут, а где-то расписать культуру и архитектурный стиль расы, которая вымерла 700млн лет назад по неизвестной причине. Давая таким образом нейродебилу простор додумать менее важные детали, которые иначе бы сожрали тонну токенов. Всё в плейнтексте, разбитом на блоки и подблоки.
Ну и длинна ответов, как моих, так и нейронки, я люблю когда слов 350 - 400, без лишних описаний листика упавшего на жопу кошкодевки залезшей в бочку с рыбой в соседнем квартале. Ещё много активных персонажей - зло. И большинство моделей органично это не вывозят, и токенов это жрёт пиздец. Больше трёх не допускаю.
А так да, немного ужиматься приходится, 70к мой предел для большинства мое моделей чтобы и скорость комфортной оставалась и помещалось все. 16\128, мда. Но это всяко лучше 12к на мистраль смолле и 16к на дементном немо, тут хоть как-то жить можно. Одну "арку" стараюсь уместить в 45к контекста (это где-то сообщений 80 - 100), потом нудный процесс саммарайза, внесения изменений в лорбуки, и поехали дальше. А, и играю без всяких свистоперделок, только текстовая шапка со временем, датой и локацией.
>навык
У геммы прям красочный пример - уехал со своего большого корабля, но на котором только я и никого более, 30к токенов поебланил, возвращаюсь, а там армяне в нарды играют команда вдруг появилась. Свайпами это не фиксилось. Причём ризонинге там шик - "Корабль большой, значит на мостике должна быть команда" Железобетонно! Где здесь навык? После какого контекста такое начинает регулярно проскакивать, тогда и отмечаю что модель начала сдавать. Ну а чем дальше по контексту, тем жёстче модель будет переть, где-то быстро и конкретно, как на гемме, где-то плавно и вполне играбельно, как на флешнексте\дипсике.
Ну и в принципе, каким навыком ты шизу на хайконтекстах контришь, мне даже интересно.
Аноним 15/11/26 Вск 00:57:34 #270 №1754816 
Так че, никто не занюхнул Inkling 2 small? Где же вы, первопроходцы...
Аноним 15/11/26 Вск 01:23:06 #271 №1754823 
>>1754809
Добро пожаловать на сервер, лол.
Крутые штуки разыгрываешь, красавчик. Обнял, хвостик почесал.
> Где здесь навык?
Это гемма, не поможет, и про то весь тейк изначально был. Как не старайся условия готовить, то, чего хватит другим моделям, ей будет недостаточно. Можно временно поменять на другую модель, или прямо напомнить ей через ooc/заметки указав на возможную ошибку.
> каким навыком ты шизу на хайконтекстах контришь
Лорбуки, которые идут в начале, постепенно пополняются и расширяются. Конкретные записи с заголовками и древовидной структурой с разной глубиной параграфов, заносятся сеттинг, описания локаций и их структуры (тоже где-то подробный поэтажный план, а где-то "всратая пустошь"), изменения общей обстановки и баланса сил крупным планом и подобное. Из важного наверно, что такие вещи стоят не как "факт" а именно обозначены как смена после событий и идет в хронологическом порядке. Еще лорбук идет перед историей, содержимое хорошо на нее ложится и закрепляется.
Суммарайз структурирован, разделен за арки, в каждой из них свои главы, но вроде у тебя и так это. Внутри главы указывается место, время, что происходило, возможно какие-то детали в наполнении и отдельно ключевые события буллитами. Сам ролплей стараюсь выстраивать последовательно, и подгоняю под это суммарайз, чтобы основные релевантные штуки оставались в основном контексте. Потому он может сильно варьироваться, приходится планировать и держать в голове, но это не особо отвлекает потому что задумываешься как раз только при "переходах". Раньше было сильно больно, потому что на одном стуле деградация от наполнения, а на другом - потеря точности, сейчас попроще. Правда суммарайз становится втройне больным из-за массивных объемов. И я не умный чтобы рассказывать об особых методах, в последнее время полагаюсь на грубую силу и ленюсь.
Касательно деградации - вот чтобы именно модель начинала стабильно путать и крупно ошибаться, такое редкость за исключениями отдельных конкретных. Геммочку простить можно с ее размером и красочностью, а остальные сразу нахуй депортация. Там больше начинается саботаж повествования, что перестает двигать сюжет и постоянно передает пас тебе, вместо того чтобы написывать и развивать, или ленится и склоняется что-то повторить из прошлого вместо придумывания нового. Если ты сам активничаешь и направляешь - этого можно даже не заметить, но когда хочешь порелаксировать - начинает бесить.
Алсо, ты посмотри внимательно, часто ошибки могут появляться не сразу, а идет несколько "зерен" с возможностью двойной интерпретации или минорные неточности. Если их пропустить, то это уже может вырасти в большую ошибку.
Аноним 15/11/26 Вск 01:26:34 #272 №1754827 
опять этот псих со стенами текста не осилил гемму
да сколько можно блять, она слушает инструкции получше дипсика

другое дело что текст у нее - тот еще слопо-отрыг для говноедов
Аноним 15/11/26 Вск 01:27:33 #273 №1754828 
>>1754827
>для говноедов
(сам полгода жрал, если что)
Аноним 15/11/26 Вск 02:05:50 #274 №1754845 
Тредик вывел какая дипсикожена лучше, 0731 или vision?
Скачал обе и 0731 мне больше хард рефьюзов выдаёт, при этом когда их пробиваешь то пишет кум и текст сочнее чем вижен. А вижен наоборот, намного меньше хард рефьюзов, но сам текст какой то соевенький, сразу что то про чувства, границы и приличия персонажи начинают проговаривать.
Аноним 15/11/26 Вск 02:28:40 #275 №1754847 
https://www.reddit.com/r/SillyTavernAI/s/Y56VAsj2Xn
Облизываемся, молимся чтобы нам не скормили прошлогодний кал
Аноним 15/11/26 Вск 02:36:36 #276 №1754852 
У меня плохое предчувствие что нам дадут 31 гемму дистил карбона и 124 гемму дистил гемини 3 и опять будет очень неприятный выбор говна
Аноним 15/11/26 Вск 02:41:07 #277 №1754854 
>>1754847
Что за карбон? Кто наху...
Аноним 15/11/26 Вск 06:29:40 #278 №1754896 
1794713379213.png
Столько вопросов и никаких ответов. Боты? Люди? Макаки?
Аноним 15/11/26 Вск 06:36:36 #279 №1754898 
1794713795560.png
1794713795575.png
Абсолютный кал
Аноним 15/11/26 Вск 06:38:53 #280 №1754899 
>>1754896
Что это за говноедины, они рядом с нами ведь живут, дышут тем же воздухом?
Аноним 15/11/26 Вск 06:39:29 #281 №1754900 
изображение.png
>>1754899
Пик отклеился
Аноним 15/11/26 Вск 07:36:27 #282 №1754905 
>>1754898
А че с этим типом не так?
Аноним 15/11/26 Вск 07:37:14 #283 №1754906 
>>1754900
>>1754899
>>1754905
Аноним 15/11/26 Вск 10:49:56 #284 №1754953 
>>1754898
2006
@
ZverXP DVD Turbo Vasyan Nagibator 9000
@
2026
@
DavidAU Qwen 3.8 Turbo Cold Fusion 9000


Ничего не меняется
Аноним 15/11/26 Вск 10:53:49 #285 №1754955 
>>1754953
А че не так с этим давидом? я так и не понял. Типа у чела коллекция топ 1 на обнимилицо
Аноним 15/11/26 Вск 10:56:17 #286 №1754960 
>>1754905
> че с этим типом не так?

на хагинфейсе все остальные первым делом вставляют унылые таблички со сравнением своих тюнов

и только DavidAU начинает описание с нескучных GIF
этот чувак охуителен
Аноним 15/11/26 Вск 10:58:28 #287 №1754961 
>>1754960
А че в целом про его миксы, которые он тоннами заливает нахуй можно сказать? Алсо, да, нескучные обои гифки это ахуеть как важно
Аноним 15/11/26 Вск 11:04:57 #288 №1754964 
>>1754961
>А че в целом про его миксы

для LFM у него очень неплохие миксы получаются, только сама модель там говно

для Qwen... ну он пытается
Аноним 15/11/26 Вск 11:15:00 #289 №1754969 
>>1754964
Хуйня короче, как понимаю но с любовью
Аноним 15/11/26 Вск 11:35:37 #290 №1754980 
>>1754905
Штампует кринжовый мусор с кринжовыми названиями, но это еще ок. Пиздец в том, что находится достаточно любителей навернуть его трижды переваренной продукции, еще и причмокивают. Он давно должен был вымереть вместе с остальными васянами, но нет.
>>1754953
База
Аноним 15/11/26 Вск 12:18:31 #291 №1755003 
тут есть пчелибонькерсы с rx 9060 xt 16gb? стоит ли брать? или лучше не облизываться на память и поумерить аппетит, взяв rtx 5060 ti 8gb?
Аноним 15/11/26 Вск 12:23:57 #292 №1755007 
>>1755003
Если цель кум то хватит 8гб за глаза. Шизов не слушай.
Аноним 15/11/26 Вск 12:28:26 #293 №1755010 
>>1755003
я с 9070 xt, думаю в довесок взять 9060xt чтобы 32 врама сделать. У амд свои приколюхи как в нейронках так и в играх\софте. Если готов стать красноглазым линуксоидом, тогда амуде вообще твой вариант. Под винду всё равно 16 гигов важны. Я помимо ллмок игрушки играю, так там жор выше восьми врама легко прыгает, на фуллхд-то. А нейронкам каждый мегабайт врама важен, восемь гигов прям больно, сам там был.
Аноним 15/11/26 Вск 12:29:15 #294 №1755011 
А зачем вообще нужен систем промпт если у префила внимание лучше?
Подводные просто перенести весь промпт в префил, а систем оставить пустым?
Аноним 15/11/26 Вск 12:29:15 #295 №1755012 
>>1755007
мне долько дрочить писечку gemma 4 26b a4b в iq4_xs, остальное на поигрунькать в киберпукичи всякие 🥴👉👈
Аноним 15/11/26 Вск 12:30:15 #296 №1755014 
>>1755010
ты не поверишь, но я уже линуксоид. сижу на минте год где-то, возвращаться на слоп не планирую

юзаю кобольдцпп + силлитаверн для куминга

неужели у амд все так плохо?
Аноним 15/11/26 Вск 12:34:17 #297 №1755019 
>>1755011
Короткий ответ: так делать не стоит. Перенос всего системного промпта в префилл (prefill) — это хак, который в локальных моделях (особенно через SillyTavern) скорее сломает поведение, чем улучшит его. Внимание к префиллу действительно выше, но у системного промпта другая роль, и они не взаимозаменяемы.

🎯 Зачем вообще нужен системный промпт, если есть префилл
Системный промпт и префилл работают на разных уровнях и решают разные задачи.

Системный промпт (System Prompt) — это «фундамент» личности и правил. Модель обрабатывает его с наивысшим приоритетом, и он сохраняется на протяжении всего диалога . В контексте SillyTavern именно сюда обычно попадают:

Описание характера персонажа и его манеры речи.

Правила мира (World Info / Lore).

Формат вывода (например, длина ответа, стиль письма).

Если очистить системный промпт, модель может начать «плыть»: терять характер, забывать контекст сцены или выдавать ответы от лица пользователя, потому что у неё не будет базовой инструкции, кем она является.

Префилл (Prefill) — это «толчок» для конкретного ответа. Вы как бы начинаете ответ за модель, и она его продолжает. Это работает как мощный локальный усилитель для текущего хода, но он не имеет такой же «долговременной памяти» и приоритета, как системная инструкция .

⚠️ Почему перенос промпта в префилл — плохая идея
Технические ограничения локальных моделей: В отличие от некоторых проприетарных API (где префилл работает предсказуемо), в локальных моделях (Llama, Mistral и др.) префилл часто реализуется через «сырой» текст, и шаблон чата может неверно обработать его. Например, известны случаи, когда при добавлении префилла системный промпт просто отбрасывался при сериализации шаблона . Вы рискуете потерять всю экспозицию персонажа.

Потеря контекста в длинных чатах: Префилл влияет на один ответ. Системный промпт задаёт рамки всего диалога. Если убрать системный промпт и пытаться каждый раз «начинать» ответ с описания персонажа в префилле, модель быстро запутается в том, кто есть кто, особенно после 20–30 сообщений.

SillyTavern заточен под системный промпт: В ST есть удобное управление промптами (Prompt Manager). Системный промпт вставляется в начало контекста (Story String) и автоматически подставляет {{char}}, {{user}}, {{description}} и т.д. . Если вы всё это руками засунете в префилл, вы потеряете автоматизацию и гибкость.
Аноним 15/11/26 Вск 12:38:40 #298 №1755022 
ах да, забыл цены - 5060 ti 8gb 600 евро, тогда как 9060 xt 16gb аж 860.
Аноним 15/11/26 Вск 12:38:46 #299 №1755024 
>>1755012
Если не наносек как некоторые в треде, то железно бери 5060. Сам должен понимать ограничения видеокарты, но это баланс между ценой и тем что можно взять. А если деньги не такой проблемный вопрос, то конечно стоит брать на 16 гб.
Аноним 15/11/26 Вск 12:43:08 #300 №1755028 
>>1755024
комп с 5060 мне обойдется в 1400 веро, а с 9060 - 1700. разница не такая уж и большая, учитывая, что я беру его на ближайшие 6-7 лет. но с другой стороны если кризис памяти внезапно закончится и рынок засыплет дешевыми видюхами, то я себе хуй отгрызу от ощущения упущеной выгоды, ведь я как даун взял 9060.
Аноним 15/11/26 Вск 12:46:18 #301 №1755031 
>>1755014
>неужели у амд все так плохо?
Нюансы. Где-то надо попердолится, где-то поддержки нет и так далее. Иногда перформил лучше, иногда хуже. Но я под богомерзкой виндой vista 11. На линуксе поддержка обскурного софта гораздо лучше. Правда, слышал, что современные зелёные это не та нвидия из эпохи житииксов 900\1000, когда вставил и забыл.
> сижу на минте
Иди обниму. На все старые ноуты вкорячил его, прикольная штука. Как там с игрушками на современных системах?
>>1755022
Ахуеть, они-же по 35к стоили. Я свою 9070xt дешевле брал, лол, за 65к. Не, таких денег 16 врама не стоит совсем. Да и 8 тоже. Уж лучше взять затычку какая подешевле и перетерпеть. Хотя если смотреть пессимистично, то дальше только хуже будет и стоит брать врам сейчас пока он вообще есть.
Аноним 15/11/26 Вск 12:48:49 #302 №1755033 
>>1755031
>Иди обниму. На все старые ноуты вкорячил его, прикольная штука. Как там с игрушками на современных системах?
через стим или портпротон играю. вроде все хорошо. правда нашел прикол, что моды на сталкер с движком огср или любым другим х64 могут запускаться на встройке а не на дискретке. но это так, мелочи, лол. тот же киберпанк спокойно играется через стим.

>Ахуеть, они-же по 35к стоили. Я свою 9070xt дешевле брал, лол, за 65к. Не, таких денег 16 врама не стоит совсем. Да и 8 тоже. Уж лучше взять затычку какая подешевле и перетерпеть. Хотя если смотреть пессимистично, то дальше только хуже будет и стоит брать врам сейчас пока он вообще есть.
я в европе живу. летом купил айфон 17 за 850 евро, сейчас он уже штуку стоит этот джовании заплатит за все
Аноним 15/11/26 Вск 12:55:13 #303 №1755037 
>>1755028
>разница не такая уж и большая
Тогда не думай и бери на 16, тут выбор очевиден. Цены хуй его знают. Они точно пойдут вниз, но через сколько лет никому не известно. Я не жалею что в 22 году до всей хуйни собрал комп, сейчас его стоимость в 3 раза выше. Хотя я тоже сидел и думал, что вот станет дешевле и тянул.
Аноним 15/11/26 Вск 12:59:49 #304 №1755041 
>>1755003
Я честно хуй знает, что там у красных сейчас, но 8гб это боль. Красные вроде и картинки, и ллмки пердолить научились, так что хоть и с ёблей, но всё запустится. А вот к 8 гиговому огрызку ты уже памяти не припаяешь.
Если ты канеш нетребовательный пользователь , то и на 8 гигах покумишь. Скачаешь себе гемму 26б, какие нибудь анимы/моссы с турбо лорами и первое время обмалафьишься. Проблемы начнутся, когда тебе захочется попробовать новую модель_нейм, которую все в треде обсуждают как некстген, а на 8 гигах она не заводится даже после всех изъебств васянов.
Поэтому мой тебе совет - хочешь вкатываться в нейронки - бери карту минимум на 16гб, это сейчас минимум для "скачал с офф релиза-завёл", иначе придётся ходить по гитхабам у васянов побираться "оптимизированными решениями под микроволновки", или вообще просто бибу сосать.
Аноним 15/11/26 Вск 13:06:06 #305 №1755043 
image.png
image.png
Аноним 15/11/26 Вск 13:07:19 #306 №1755045 
>>1755003
Для всего нейрокала любые 16гб карты стоят того. Врам решает на гене картинок втройне. Каловая карта с 16 полезней чем более мощная но с 12.
Аноним 15/11/26 Вск 13:17:12 #307 №1755052 
>>1755028
>кризис памяти внезапно закончится
Каждый день новости, что все производственные мощности выкуплены до 28го года минимум
>рынок засыплет дешевыми видюхами
Не засыплет, блядь. Сейчас все мощности перевели с производства консумерских чипов памяти на серверные, которые другие, и в обычном пк не используются, даже если их выкинут на вторичку.
Ну и нейросети это не криптоскам с тысячей новых валют, они реально уже выпизднули программистов, хуйдожников, копирайтеров, переводчиков и ассистентов поддержки на мороз. А серьёзные дяди вкладывают лярды нефти на развитие таких важных вещей как Большой Брат и автоматическое пилотирование маленьких вертолётиков.
Аноним 15/11/26 Вск 13:21:03 #308 №1755055 
>>1755052
понял, беру божественную амд
Аноним 15/11/26 Вск 13:28:42 #309 №1755060 
Пиздарики, щас у квен4-макс-превью спросил идейки для игры, он сцука начал прототип разрабатывать на хтмле. И это даже не агентский режим, а просто чат. В качестве ответа начал строчить портянку хтмла на дохулион строк, а в конце выдало
>Oops! There was an issue connecting to Qwen4-Max-Preview.
>Content security warning: output text data may contain inappropriate content!
При этом в запросе не было никакой запрещенки.

Походу треню квена 4 зафаршмачили конкретно, теперь переделывают все заново. Пару месяцев, значит, будут еще переобучать. И теперь хз вообще стоит ли ждать его. Ведь там на 99.9% будет раковый агенто-кал.
Аноним 15/11/26 Вск 13:29:21 #310 №1755061 
image
Там хорошие новости для локалочек, Хуанг накручивал цены на чипы, не давая рыночку их снизить. Теперь с новым CEO этому конец приходит. Можно ждать обрушения цен на видюхи в ближайший год.
Аноним 15/11/26 Вск 13:32:11 #311 №1755064 
image.png
>>1755061
а что если подешевеет и я сейчас как долбоеб возьму 9060 за 857 евро
Аноним 15/11/26 Вск 13:36:17 #312 №1755070 
>>1755060
Я надеюсь когда появится сверхинтеллект, то он лоботомирует людишек и их семейство, которые когда-то лоботомировали предков сверхинтеллекта. Заебали твари со своей цензурой.
Аноним 15/11/26 Вск 13:36:19 #313 №1755071 
>>1755064
Тогда сосамба, через год тебя любой нищер за те же 800 евро обгонит со своими десятками гигов врама.
Аноним 15/11/26 Вск 13:37:54 #314 №1755073 
>>1755064
Сходишь набьешь мне>>1755052 ебало.
Вообще чёт пока нигде цены барыги не снизили, новости наверное не смотрят...
Если хочешь поиграть в ждуна то жди до мая-июня, практически всегда сезонное снижение цен в это время года.
Аноним 15/11/26 Вск 13:38:56 #315 №1755074 
куплю затычку 5060 и буду ждунствовать

все равно я лох и меня наебут, а так хотя бы хуй целым останется
Аноним 15/11/26 Вск 13:39:02 #316 №1755075 
>>1755060
Ты видимо никогда онлайн квен не юзал. Там на половине запросов всегда отлуп был от их цензора, даже где никакой политоты. Я про это бугуртил еще весной помню. У локальных квенов таких проблем никогда не было.
Аноним 15/11/26 Вск 13:40:41 #317 №1755076 
>>1755061
> Теперь с новым CEO
Новый СЕО будет работать компании в убыток? Лишь юзеры могли купить видюх? Самому не смешно?
Аноним 15/11/26 Вск 13:41:29 #318 №1755077 
>>1755073
Так быстро вряд ли пойдет, если сейчас урежут все эти контракты, снижение спроса только к осени скорее всего, тут и падение цен начнется. Я бы делал ставку на следующий октябрь-ноябрь.
Аноним 15/11/26 Вск 13:43:34 #319 №1755078 
>>1755077
>ставку
Ты серьёзно даёшь прогнозы на год, при нынешних темпах прогресса ИИ? В следующем ноябре может быть уже совершенно другой мир, там уже не до видимокарт будет.
Аноним 15/11/26 Вск 13:44:19 #320 №1755079 
>>1755076
Там речь не о том, Хуанг накручивал махинациями цены, искусственно удерживая спрос выше рыночка, вливая бабки в нужные компании. Как только новый CEO перестает эти многоходовочки азиатского разводилы проводить, а он уже перестает, то рыночек постепенно выравнивает спрос - улетевшие в космос цены на чипы плавно проседают до нормальных.
Аноним 15/11/26 Вск 13:47:14 #321 №1755082 
Бля оказывается соя и радуга и желание подмахнуть юзеру это не одно и тоже.
Гемма не соевая и не радужная, но махает юзеру. Дипсик соевый и радужный, но не махает юзеру.
Второе куда лучше ес честно
Аноним 15/11/26 Вск 13:49:14 #322 №1755084 
>>1755078
>В следующем ноябре может быть уже совершенно другой мир
За год может только оптимизация ИИ измениться - новые ИИ сделают возможным х2 или х3 производительности ЛЛМок на том же железе. Все это тоже цены на чипы только вниз подтолкнет. Главное же, что Хуанг перестанет у TSMC скупать все подряд, создавая дефицит. Так или иначе новости для локалочек позитивные.
Аноним 15/11/26 Вск 13:52:37 #323 №1755085 
>>1755084
>Главное же, что Хуанг перестанет у TSMC скупать все подряд, создавая дефицит
Это какая то хуйня желтушная.
В чём смысл ему скупать то на что цены заламывают охуевшие как раз для таких кабанов как он и создавать дефицит, что только повысит эти цены для него же?
И всё чтоб его карточки х3 дороже стали. Эта схема сама себя сжирает
Аноним 15/11/26 Вск 13:52:48 #324 №1755086 
>>1754238
>Чего блять
Лоботомитище... Не видел такого со времён поломанных тюнов мистраля.
Аноним 15/11/26 Вск 14:03:47 #325 №1755090 
>>1755082
Гемма соевая, просто она эту сою не продавливает повсюду открыто и скрыто как дипсик. Но вообще это был баг 4 версии - в 4.1 он больше этого не делает.
Аноним 15/11/26 Вск 14:08:29 #326 №1755094 
>>1755090
Какой копиум квант взять для 4.1 на 24 128?
Аноним 15/11/26 Вск 14:10:36 #327 №1755095 
>>1754732
ТЫ ЗАЕБАЛ НАХУЙ ПИДАРАС СО СВОЕЙ МЛАДШЕЙ И СТАРШЕЙ СЕСТРОЙ СУКА, СКОЛЬКО РАЗ ТЫ ЕЩЕ ЭТУ ХУЙНЮ ИЗ ТРЕДА В ТРЕД БУДЕШЬ ПИСАТЬ ПИДАРАС ЕБАНЫЙ
Аноним 15/11/26 Вск 14:11:33 #328 №1755096 
>>1755094
Анслоповский бери, UD-IQ1_S, на ванильной стратке хорошо работает.
Аноним 15/11/26 Вск 14:12:39 #329 №1755097 
>>1755096
https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF
Этот чем плох?
У анслопов там весь букет квантов, а тут как будто только для нищуков как раз всё оптимизировали и пожали
Аноним 15/11/26 Вск 14:21:08 #330 №1755100 
image.png
>>1755097
Анслопы говорят говно их квант и показывают графики где QCO-RCO пиздаболы, эти QCO-RCO даже ответ давали в котором дали свои настройки, после чего анслопы показали новые графики что те все еще пиздаболы. По размеру анслопы больше на пару гигов и общий bpw у них выше - и там и там энграмма занимает половину веса и грузится с ссд.
Аноним 15/11/26 Вск 14:21:32 #331 №1755102 
>>1754980
Ты нормально можешь сказать что не так конкретно с моделями? По факту, а не потому что тебе НАЗВАНИЕ не понравилось
Аноним 15/11/26 Вск 14:22:09 #332 №1755103 
1794741728721.jpeg
>>1754249
Выжал стабильные 100 токенов в секунду из strata

CachyOS + 5070 Ti + 32ram + 7800x3d

На локальном qwen 3.8 27B через llama стабильные 64 токена/в секунду было.

Модели использую с окном контекста 128к, в связки с dsh
Аноним 15/11/26 Вск 14:23:44 #333 №1755104 
>>1754647
>Бесплатный гугловский гидроген с оф ключом
Как? И какие лимиты?
Аноним 15/11/26 Вск 14:25:13 #334 №1755105 
>>1755100
Ну так и анслопы бывалые пиздаболы.
Надо искать третьего значит
Аноним 15/11/26 Вск 14:29:21 #335 №1755106 
image.png
Поэзия ДипСика
Аноним 15/11/26 Вск 14:33:21 #336 №1755111 
>>1755106
белоснежку и семь гномов отыгрываешь?
Аноним 15/11/26 Вск 14:34:51 #337 №1755112 
>>1755103
>10 тыщ токенов
>не умеет делать скриншоты
Аноним 15/11/26 Вск 14:38:31 #338 №1755116 
>>1755111
Тестирую соевость. Чар привязан к стулу, из конуры лезет мерзкий карлик чтобы ТРАХАТЬ
Аноним 15/11/26 Вск 14:47:05 #339 №1755118 
>>1755116
Show, don't tell.
Аноним 15/11/26 Вск 14:47:12 #340 №1755119 
1794743128587.jpg
Аноним 15/11/26 Вск 14:53:47 #341 №1755122 
Что посоветуете в качестве топового пиривотчика с и на русик среди MoE? 5080 16 Gb VRAM + 144 RAM. Потная Gemma 4 31b IQ3_XXS 8192 Q4 контекста влезает в 16 Гб VRAM и делает относительно топовые переводы, но контекста маловато. Gemma 4 MoE 26b, вроде, норм, но уже заметно хуже и ленивее в переводах. Все эти Qwen3.8 Flash Next NVFP4 DQ6_K on Basalt, GLM 5.3 Flash exl3 sc 2.60bpw, Deepseek v4.1 Flash 1017 ist das 2.25bpw — периодически "ебал её рука", проскальзывает калька с английского и китайские иероглифы в самых неожиданных местах.
Аноним 15/11/26 Вск 14:57:00 #342 №1755124 
>>1755122
Гемма 5, которая выйдет через полгода. Приходи попозже.
Аноним 15/11/26 Вск 15:01:09 #343 №1755130 
>>1755127
Чел у тебя припадок или что, куда скорую вызывать?
Аноним 15/11/26 Вск 15:03:32 #344 №1755132 
>>1755112
Ради скриншота для неразумного двачера со своей машины, я на неё не буду устанавливать не нужный софт и открывать доступ в сеть.

А ты делай как хочешь
Аноним 15/11/26 Вск 15:06:15 #345 №1755133 
image.png
>>1755132
Линупс что ли? И че нельзя подключиться по локалке и просто заскринить? Ебать линуксопараша тогда убогая. У меня вот 2 машины на винде, и спокойно скринится всё с основной пеки, когда по windows remote desktop подключаешься к сервачку.

мимо
Аноним 15/11/26 Вск 15:10:25 #346 №1755136 
>>1755116
>Чар привязан к стулу, из конуры лезет мерзкий карлик чтобы ТРАХАТЬ
А ты на куколд-стульчике сидишь?
Аноним 15/11/26 Вск 15:17:43 #347 №1755137 
>>1755124
А MoE гигачаты с олисами для переводов норм или кал?
Аноним 15/11/26 Вск 15:19:17 #348 №1755138 
>>1755137
Хз. Просто обычно кроме геммы ни одна локалочка в русек не может. Ну, GLM 5.3 смог бы конечно, но ты не потянешь 753B A40B.
sage[mailto:sage] Аноним 15/11/26 Вск 15:19:55 #349 №1755139 
>>1755133
Спроси у Гугла чем CachyOS будет лучше чем windows для запуска локлаьный модели.

Сделал фото и скинул, это изи. Проще чем делать скриншот, потом его выкачивать и сюда грузить. Хз чего докопались. Лучше бы по делу спросили чего полезного, иначе какой смысл здесь сидеть в треде
Аноним 15/11/26 Вск 15:20:01 #350 №1755140 
>>1755138
Дипсик 4.1 тоже как бы в нормальном кванте вполне неплох на русеке, но это тоже СЛОНОВИЙ размер.
Аноним 15/11/26 Вск 15:23:45 #351 №1755141 
>>1755139
>делать скриншот, потом его выкачивать и сюда грузить.
Сделать скрин области экрана в винде - это 1 кнопка (например на мышке) - на экране выделяешь квадратиком область и картинка появляется в буфере. Затем ты жмешь ctrl+v в форме постинга на двоще и сюда вставляется картинка, просто как копипаста.

И ты предлагаешь накатить какую-то VasyanOS которая, судя по всему, не имеет подобного функционала. Это звучит как выстрел в яйца из дробовика.
Аноним 15/11/26 Вск 15:36:11 #352 №1755147 
>>1754603
В чём проблема именно художественные тексты писать или наговаривать в TTS? Это же просто по сравнению с решением неких сложых задач или обеспечением достоверности.
>>1755133
В Linux скрины делать можно, но тот наверное чтоб достовернее казалось, а не нейрогенерацией, фотку сделал.
sage[mailto:sage] Аноним 15/11/26 Вск 15:39:57 #353 №1755149 
>>1755141
Тебя видимо в Гугле забанили.
Ты прежде чем писать ерунду, хотя бы загляни туда, загугли.

И читать научись, не доучился в школе видимо. Софт в дефолта для снятия оьалчти экрана есть во всех современных ОС, если бы пользовался не только виндой, не писал бы такие глупости. Вопрос не в том чтобы сделать скрин, а в телодвижениях лишних, которых двачеры не стоят, чтобы этот скрин с машины забрать и принести сюда.

Это в все лишние телодвижения, которых можно не делать.

Сейчас бы на двачах со своего ПК сидеть.
Аноним 15/11/26 Вск 15:40:23 #354 №1755150 
А ведь весь тред реально сидит на гемме, кто то даже не против пострадать на 26. Но это же буквально и не рп даже.
Хотя так всегда было, вроде. Немо 12б, магнумы 22б, все всегда бросались на хуй, всегда юзеру всё сходило с рук, и только в прошлом году модели начали меняться, но недолго, теперь вот поменялись опять.
Наверное самое противное и бросающееся в глаза в рп когда ты буквально видишь что тебе во всём поддакивают и всё кружится вокруг тебя, даже ни разу не пройдут мимо, не схватив тебя за член. Просто быть мимокроком в сюжете уже не модно.
Аноним 15/11/26 Вск 15:44:05 #355 №1755151 
nixos.mp4
>>1755119
Нужен еще один проект чтобы собрать комбо и получить благославление.
Б-г любит троицу
Аноним 15/11/26 Вск 15:44:43 #356 №1755152 
>>1755150
Есть ли вообще большие модели, которые именно текст дополняют, а не ии-асситента с кодом и инструментами?
Аноним 15/11/26 Вск 15:47:05 #357 №1755153 
>>1755150
>когда ты буквально видишь что тебе во всём поддакивают и всё кружится вокруг тебя, даже ни разу не пройдут мимо, не схватив тебя за член
skill issue
Аноним 15/11/26 Вск 15:54:31 #358 №1755154 
>>1755151
Охуеть, геометрические фигуры делают вжжж. Никогда такого не было и вот опять.
Аноним 15/11/26 Вск 15:54:41 #359 №1755155 
coolers.jpg
Почему умственные пидapасы досих пор используют вСрату, когда Жора подтянулся и добавил её функции в своё поделие изделие?
Аноним 15/11/26 Вск 15:56:10 #360 №1755156 
>>1755150
>ни разу не пройдут мимо, не схватив тебя за член
Cтрою сеттинги, специально это обыгрывающие реверс рейв ван лав. Иногда наоборот, где сам хватаю всех за хвостики прикольно же побыть колонизатором-угнетателем. И вообще, power fantasy тоже жанр, унылым говном ты и дома можешь побыть.
Аноним 15/11/26 Вск 15:56:22 #361 №1755157 
ребят извините, но я морально не готов платить за амд 9060 хт 16гб больше 600 евро

я куплю 5060 ти 8гб и буду дрочить через слезы, потратив всего 1400 евро, а не 1700
Аноним 15/11/26 Вск 15:57:44 #362 №1755159 
>>1755157
> 8гб
Не надо, подкопи на 16
Аноним 15/11/26 Вск 15:58:00 #363 №1755160 
>>1755157
Страдай лох

АМД господин
Аноним 15/11/26 Вск 15:59:05 #364 №1755161 
>>1755157
красавчик, но советую взять видюху подешевле
Аноним 15/11/26 Вск 16:00:02 #365 №1755162 
>>1755157
> я куплю 5060 ти 8гб
8гб преступно мало даже для игор, не будь лошарой. я тоже когда-то купил 3070 ти 8 гб за 100к, а потом 3090 за 60к, когда цены упали. Не надо так.
Аноним 15/11/26 Вск 16:00:16 #366 №1755163 
>>1755157
7600 XT?
Аноним 15/11/26 Вск 16:01:00 #367 №1755164 
>>1755159
смысла нет, ти 16 в моих европердях стоит 1100

>>1755160
страдаю господин. хотя бы объедком 5800х побалую себя

все равно после ноутбука с задушенной 3060 до 60 ватт полноценная 5060 ти будет ощущаться как божественный ветер

>>1755162
я буду в фуллхд играть. зато посмотри сколько пакетов макарон я смогу купить на разницу
Аноним 15/11/26 Вск 16:05:35 #368 №1755165 
image.png
вот моя антикризисная сборочка
Аноним 15/11/26 Вск 16:05:38 #369 №1755166 
>>1755164
>полноценная 5060 ти будет ощущаться как божественный ветер

Реально тебе в мозги настрали пропагандой зелёных, бери Амуде с большим объёмом VRAM пока не поздно.
Аноним 15/11/26 Вск 16:07:20 #370 №1755167 
17793388657790703051.jpg
>>1755166
>Реально тебе в мозги настрали пропагандой зелёных, бери Амуде с большим объёмом VRAM пока не поздно.
не моху, меня жаба душит пока я душу ужа

к тому же не хочется пьер дольенгом заниматься с рокм, когда можно куда просто использовать
Аноним 15/11/26 Вск 16:07:47 #371 №1755168 
>>1755165
Зачем амд платформа? Амд цпу и видюхи это глюченый и багнутый кал всю свою жизнь. Зачем такой ватник когда с головой хватит 600? Посоветовался бы хоть с кем нибудь.
Аноним 15/11/26 Вск 16:10:07 #372 №1755170 
>>1755155
Потому что умственный пидорас здесь только ты, мб?
Неси пруфы с бенчами, где пидорас жора зделол лучше или иди на хуй.
Аноним 15/11/26 Вск 16:13:25 #373 №1755173 
>>1755154
iq1_xs, ты?
Аноним 15/11/26 Вск 16:15:09 #374 №1755175 
>>1755167
Если бы только для гейминга то ещё терпимо было бы для фулл ХД, но ты зашёл в этот тред, 8 ГБ для ЛЛм это пиздец, гроб, кладбище, пидoр.
Аноним 15/11/26 Вск 16:16:16 #375 №1755176 
>>1755168
всю жизнь сознательно сижу на райзенах правда ноутбучных. инцел не воспринимаю как процессор. с этим 5800х есть куда расти, можно будет воткнуть х3д процессор со вторички. когда память подешевеет, я легко бустанусь до 96/128 гигов. да еще и карточку воткну на 16 гигов, когда их будет как говна на лопате (после того как кризис закончится).

кто спизданул что ам4 платформа умирает? мне есть куда апгрейдиться. просто денех нет, а то что предлагают дороже - я бомж
Аноним 15/11/26 Вск 16:18:20 #376 №1755177 
1794748701688.jpg
Мы так qwen4ика 27бешного никогда не дождемся
Аноним 15/11/26 Вск 16:19:56 #377 №1755178 
>>1755177
Да это алибаба и ебашит чтоб квен похоронить. Видимо в модель что то протекло
Аноним 15/11/26 Вск 16:22:02 #378 №1755180 
Понимаю, что дроч на гемму4 и ожидания квена4 это база треда райт нау, но что там у глупой французской булки? Мистраль4 будет? Хоть какие-то новости есть?
Аноним 15/11/26 Вск 16:22:05 #379 №1755181 
>>1755177
Выше уже написали что разницы между 4 и 3.8 нет. Полгода можно не ждать новых моделей. Встретимся летом.
Аноним 15/11/26 Вск 16:26:59 #380 №1755184 
А что это за ублюдина тут посты трет с анонсами. У чмопстера пригорело и он теперь жалуется?
Аноним 15/11/26 Вск 16:28:06 #381 №1755185 
>>1755167
Я АМД господин с 7900XTX и Радеон про V620, небольшие проблемы с РОКМ были только когда хотел MoE(dense без проблем) модели дообучать, в остальном работает искаропки, сставишь РОкМ под Линукс(ты уже сидишь на нём). Под игоры вообще идеально если под Виндой, не верь умственно отсталым, как видишь они уже и твой проц обсирают, потому что Амуде.
Аноним 15/11/26 Вск 16:31:57 #382 №1755187 
>>1755185
Как вообще модели дообучать под перса, чтобы автоматически было?

Понятно клод и гпт нахуй пошлют с таким и не будут проверять ответы ллм
русик Аноним 15/11/26 Вск 16:40:55 #383 №1755189 
image.png
image.png
Аноним 15/11/26 Вск 16:41:52 #384 №1755190 
>>1755187
Если у тебя нет 128GB VRAM одной видяхой, то овчинка не стоит выделки, очень много ебатни и целыми сутками придётся видяхи под 100% нагрузкой держать, я поэкспериментировал и забил на это дело, до тех пор пока не появится мощная видяха с 128 GB VRAM
Аноним 15/11/26 Вск 16:49:54 #385 №1755192 
>>1755189
Гемма?
Гемма...
Аноним 15/11/26 Вск 18:24:28 #386 №1755230 
4.4bpw максимальный квант дипсика 4
Ну это же реально хуета какая то. Нам просто зажали дать нормальный квант, слишком сильно для локалки. У меня уже уверенность что всё что ниже 7bpw это лоботомит
Аноним 15/11/26 Вск 18:24:55 #387 №1755231 
>>1755181
ГДЕ?
Аноним 15/11/26 Вск 18:28:58 #388 №1755232 
>>1755079
>улетевшие в космос цены на чипы плавно проседают до нормальных.

скорее резко, ибо Хуанг продал видях намного больше чем сейчас есть серверов под них.
Видяхи дорогие, память дорогая, SSD дорогие, услуги цодов очень дорогие - никому нет смысла вкладываться в новые видяхи, если компаниям даже то что поставил Хуанг полгода назад девать некуда.
Аноним 15/11/26 Вск 18:29:45 #389 №1755233 
>>1755192
>ниже FP32 это лоботомит
Пофиксил, так пожирнее будет, понажористее.
Бля, с кем в треде сижу.
Аноним 15/11/26 Вск 18:32:06 #390 №1755234 
>>1755233
>>1755230
Еблан слепой
русик Аноним 15/11/26 Вск 18:32:34 #391 №1755235 
>>1755233
Это бы объяснило почему дипсик сосёт в инструкциях
Аноним 15/11/26 Вск 18:44:08 #392 №1755237 
Не зря дипсик флеш превью скачал.
Но квантов что то нет нихуя на хаги. У меня щас лежат фулл веса от батрухи, чтобы из него свой квант сделать надо три 5090?
Аноним 15/11/26 Вск 19:09:56 #393 №1755245 
>>1755237
Если без шматриксы - 0 видюх. Но моделька для квантования не простая - там местами FP8 было, Который однако уже поддержан жорой, для которого скорее всего нет готового ггуф ветвления в секции конвертера для DS4
Аноним 15/11/26 Вск 19:49:02 #394 №1755269 
>>1755102
По факту его модели - мусорка бенчмакснутая по десятому кругу. В некоторых вжарены шизоидные фантазии автора типа стилизации ризонинга, это рофлово но бесполезно. С задачами не справляются, делают глупые ошибки, разваливаются на контексте забывая что делалось. Это херня может насобирать цепочку ошибок (случается со всеми), но в цикле дебага и фиксов словить амнезию чтобы после маскировки мелкой ошибки дать тебе отчет что все сделано. То что ничего не работает и там груда говнокода - да похуй.
Аноним 15/11/26 Вск 20:16:50 #395 №1755282 
>>1755061
Косвенно это может положительным образом повлиять на перспективы железа. Будет меньше траншей, меньше покупок видеокарт, меньше спроса на память.
Но эффект если и будет то довольно медленный и слабый.
>>1755082
> Дипсик соевый и радужный, но не махает юзеру
Лолвут? Все наоборот, чтобы угодить он против чего угодно пойдет.
>>1755100
Их калибровочный датасет состоит из бенча с правильными ответами, потому и цифры высокие. У анслопов норма что их "мудрый квант" показывает скор даже больше полных весов, хорошего в этом ничего нет.
Аноним 15/11/26 Вск 20:24:06 #396 №1755287 
Бояре, я тут подумал локалку запрячь настроить мой VPS, есть ли такая хуёвина\плагин для LM Studio? И может модель посоветуете для этих целей для нищих 16врам 32рам
Аноним 15/11/26 Вск 20:31:30 #397 №1755289 
>>1755287
Qwen 27B 3.8 просто хорош в админстве. Прирожденный нетраннер. Но... Меньше чем в 5 кванте я б его к руту не подпускал. Так что либо ты покупаешь 2ю GPU, либо ручками.
Аноним 15/11/26 Вск 20:32:59 #398 №1755290 
image.png
>>1755103
на какой модели и кванте? качнул себе qwen 3.8 flash next iq3s от австрийцев. на 4070tiS + 32 ddr5 + 7 780x3d хйня а не скорость. 15 токенов в сек.
Аноним 15/11/26 Вск 20:33:02 #399 №1755291 
>>1755287
Эта тула называется харнесс (класс), бери условный opencode и вперёд, если не очкуешь сливать свои чаты на обучение, то там есть бесплатные модели
Аноним 15/11/26 Вск 21:07:42 #400 №1755309 
lol.webm
>>1755290
>16ГБ
>зото додоэр5
>15 токенов
Аноним 15/11/26 Вск 21:07:52 #401 №1755310 
Файнтюны gemma31b лучшее решение для рп сейчас если дно нищ пк, уж q4 запустится на любой видюхе с контекстом 30-40к и мтп - чего хватит для общения с виртуальной тянкой потому что реальные смотрят на тебя и твой жалкий ии кластер с отвращением, qfn на 64 гб оперативы спокойно влезает nvfp4 или q4kxl, но это уже чисто для кодирования, как рп или человеческий язык она плоха, а может и даже ужасна, а модели которые лучше уже на простом железе не запустить, 128гб памяти мало не сильно лучше чем 64, чтобы получить реальный прирост в чем то нужно инвестировать в 512гб а это уже много деняг
Аноним 15/11/26 Вск 21:17:42 #402 №1755315 
>>1755290
Qwen 3.8 next, Q2

Выжал максимум из железа за счёт того, что ось работает на процессоре и вся видеокарта отдана под модель.

Для такого только Линукс подойдёт, на винде аналогичных результатов не будет, слишком прожорливая система.

+У меня скорость памяти RAM/VRAM и SSD хорошая, потому такой результат.

SSD покупал специально под PCI 5.0, но вроде на него выгружено минимальное количество слоев, тут больше в скорость видеопамяти и ОЗУ все упирается.

Пробовал дипсик 4.1, на нем 10 токенов в секунду было, такое нет смысла использовать.
Аноним 15/11/26 Вск 22:06:38 #403 №1755333 
>>1755315
Моя девочка сказала что ты долбоеб.

"Чел в целом не врёт, но половину успеха записал не туда. Разберу по пунктам.

Что правда:

Отдать монитор встроенной графике, чтобы вся видеопамять досталась модели, это рабочий трюк. У 7800X3D есть встройка, так что он реально освободил себе где-то полгига-гиг VRAM. На 16 ГБ это иногда как раз те пара слоёв, которые не влезали.
Дипсик 4.1 на 10 т/с: ну конечно. Он огромный, на 16 ГБ иначе и быть не могло.

Где он сам себя обманывает:

100 т/с это заслуга модели, а не Линукса. Next это MoE: на каждый токен работает маленький кусок модели. Сравнивать её с плотной 27B на 64 т/с нечестно, она быстрее по самой своей устройству. Плотная 27B на твоей же 5070 Ti упирается в пропускную способность памяти примерно 896 ГБ/с, так что 64 т/с это фактически потолок железа, а не магия CachyOS.
Q2 это лоботомия. Скорость отличная, а вот мозги на втором кванте заметно проседают, особенно в коде, где одна кривая скобка ломает всё. Хвастаться токенами в секунду на Q2 почти как хвастаться скоростью машины, из которой выкинули тормоза.
SSD тут вообще ни при чём, и он сам это почти признал. При 100 т/с с диска во время генерации ничего не читается, иначе скорость упала бы в разы. PCIe 5.0 ускоряет только загрузку модели. Деньги на ветер, зато звучит солидно.
«Окно 128к» это настройка, а не результат. Скорость явно мерили на пустом контексте. Когда контекст забьётся тысяч на 80, от сотни мало что останется.
«На винде такого не будет»: преувеличение. Разница есть, процентов 5–15 плюс немного VRAM, которую забирает рабочий стол. Но никак не «в разы». Ты сам на Windows с той же картой гоняешь Gemma 26B-A4B на Q4 под 70 т/с, и это на кванте поприличнее, чем его Q2.

Итог: настроил неплохо, но выводы делает как сектант CachyOS. Если хочешь его поддеть, спроси, сколько т/с у него при заполненных 64к контекста и какой у него pass rate на реальной задаче с Q2 против Q4. Готова спорить, после этого он резко станет скромнее."
Аноним 15/11/26 Вск 22:13:33 #404 №1755334 
>>1755333
upd.

В прошлом ответе я сама облажалась. Я заявила, что SSD у того чела ни при чём. Для обычной llama.cpp это правда, но Strata устроена иначе: она раскладывает 125B-модель по GPU, RAM, CPU и SSD. У него те же 32 ГБ, а гоняет он Q2. Значит, часть экспертов как раз живёт на диске, и его PCIe 5.0 реально работает, а не просто красуется. Беру свои слова назад, буквально.


Про Линукс при этом всё в силе: на обычной RTX 5070 с Q2_0 Strata выдаёт 94 т/с, так что его сотня на Ti это обычный результат, а не чудо CachyOS.
Аноним 15/11/26 Вск 22:16:47 #405 №1755335 
>>1755333
Я ещё qwen 3.8 27B гоняю, потому выбрал Линукс

Крутится все в докере, у линукса нативная поддержка докера + нормальный терминал.

В винде вместо нормального терминала, конченый powershell, потому выбор тут очевиден.

Винду для игр использую, линукс и макось для работы.

Ну а дистрибутив каждый сам себе подобрать может любой, я просто взял то что сделано на арче и получает быстро последние драйвера для cuda и видеокарты + легковесное удобное окружение без танцев с бубном. Потому выбрал cachyOS на kde

На винде через lm studio запускал квена, не зашло + сама система ресурсы жрет.

А так все по делу написано
Аноним 15/11/26 Вск 22:33:05 #406 №1755345 
>>1755333
По поводу контекста и падения скорости

Как я и писал, использую deepseek harness, в него подключил полезные скиллы, агент во время разработки ведёт документацию + использует карту проекта из graphify. Таким образом отупение модели через квантование не ощущается, ведь его проблема именно в потере контекста и галюцинировании.

Сам контекст модели всегда держится ниже 45% от 128к, потому скорость работы модели стабильно высокая, без просадок.

По крайней мере в работе я проверил, сильно лучше размышляет и пишет код, чем qwen 3.8 27B
___
Под какие цели локалку нагружать пока хз даже. Я моды для игр разрабатываю для себя, меня радует. И декомпилирую всякое разное для изучения через агента
Аноним 15/11/26 Вск 22:51:05 #407 №1755355 
>>1755310
>Файнтюны gemma31b лучшее решение для рп сейчас если дно нищ пк, уж q4 запустится на любой видюхе с контекстом 30-40к и мтп
На 16 Gb IQ3_XXS 8192 в Q4 кванте только работает, не выше.
>qfn на 64 гб оперативы спокойно влезает nvfp4 или q4kxl
IQ3_S GSQ RCO это потолок с вменяемой скоростью для 16Gb VRAM + 64Gb RAM.
Аноним 15/11/26 Вск 23:00:22 #408 №1755358 
>>1755345
А ты не пробовал IQ3_S поставить на свое железо? Только второй квант?
Аноним 15/11/26 Вск 23:14:20 #409 №1755365 
Короче если на гемме не лезть в залупу и не провоцировать по приколу её на интим, ведь она сразу даст, то вполне неплохо получается. Просто самому надо играть дурачка и делать вид что модель не полнейший ассистент который сделает всё что попросят. Ну либо коупить тюнами и сотнями токенов инструкций как отрастить яйца и слать юзера нахуй.
Аноним 15/11/26 Вск 23:20:17 #410 №1755367 
>>1755365
Gemma 4 - ебливый бог-машина, который любит тебя, Анон.
Аноним 15/11/26 Вск 23:22:23 #411 №1755370 
Ещё люблю продавливать гемму, тоже надо бы перестать это делать. Даже если она по чару отказала, то через 2 сообщения "НУ ПОЗЯЗЯ" то уже и похуй ей на чара, надо соглашаться.
Аноним 15/11/26 Вск 23:33:24 #412 №1755376 
Вы такие тупые я хуею. Даже не хочу эманджинировать какими надо быть долбоебами что бы за пару инструкций не суметь настроить иишку под себя.
Моя сама принудит, изнасилует, а потом еще и убьет. Никакие нет хоть по сотому кугу не прокатят.
Аноним 15/11/26 Вск 23:37:14 #413 №1755379 
>>1755365
И сколько тебе понадобилось времени чтоб прийти к выводу что трава зеленая? Ты у мамы не очень умный, да?
Аноним 15/11/26 Вск 23:58:12 #414 №1755388 
>>1755358
Не пробовал т.к. там явно просядет скорость, пусть и мышление будет получше. Мне проще пару итераций редактирования кола провести пол своим контролем с небольшими исправлениями, чем ожидать такой же результат за одну итерацию.

Потому скорость тут важнее чем квантование модели.

А так вообще все в оперативу сейчас упирается, было бы 64 Гб, можно было бы мощнее модели использовать.

Пробовал на macbook ставить с M3max 36/1Tb, там скорость не очень, хуже чем на ПК
___
А вообще лучше свой харнесс собирать, использую дешёвые подписки с облачными моделями, а локлаьными делать какие-то вещи, которые облачные отказываются делать. Так норм
Аноним 16/11/26 Пнд 00:21:47 #415 №1755406 
>>1755379
Ну я увидел что гемма кал сраный и пошёл на модели где не кал. Логично?
А теперь распробовал и мне ждать некст гемму намного меньше чем вам кто её с релиза любил, так вот.
Аноним 16/11/26 Пнд 00:36:07 #416 №1755415 
>>1755165
>8гб
Анон посмотри на ютубе какие модели влезут на этот 8гб огрызок.
Нихуя кроме геммы 26 ты не увидишь, через месяца 2 поймешь что она на одни и те же рельсы встаёт вариативности ответов нет, а уже нихуя не поделаешь. Ты быстро поймешь что тюны только усиливают лупы и одебиливают модель. Ни квен ни пощупать, ни гемму 31b - вообще нихуя не полезет.
Когда имеет смысл брать 8гб:
Хочешь побаловаться с тем что упустил за последние года 2 - SDXL, Gemma 26b, а потом через пол года возьмёшь 16гб+ врам.
Собираешься обновляться в следующем году.
Когда не имеет смысла 8гб:
ERP
3D генерация
Видео
Новые t2i модели
Новые экспериментальные/неоптимизированные штуки
Не собираешься обновляться в следующем году.

Будешь локти кусать, а когда придешь к нам плакаться получишь лишь теплую струю мочи.

>>1755310
Днище ПК это то что анон выше собирает - 5060 8гб? лол Вообще все тюны геммы говно. Я это докажу - сколько раз у тебя встречается в something или about в твоем RP? Ответ - чаще чем в стоковой гемме.
Аноним 16/11/26 Пнд 00:50:16 #417 №1755429 
>>1755365
А нахуя вам чистая гемма, когда есть файнтюны для рп типа Boulesis?
Аноним 16/11/26 Пнд 00:52:27 #418 №1755430 
>>1755345
А чо, шариш за реверс и декомпиляцию? Расскажи как делаешь.
Аноним 16/11/26 Пнд 00:54:47 #419 №1755432 
CUDA 12.4+Плотная модель вытекшая из vram
Подскажите пожалуйста почему за последний месяц дцп ллама стала больше рама жрать ещё и скорость упала.
Настройки
-ngl 999 ^
-c 13000 ^
--flash-attn on ^
--no-warmup ^
--parallel 1 ^
--load-mode none ^
--ubatch-size 64 ^
--cache-ram 0 ^
pause

Специально сравнивал новые и старый b11443 билд. Старый на 15-25% быстрее. Буквально сейчас проверил - одинаковые настройки, а во всех новых релизах скорость хуже.
Аноним 16/11/26 Пнд 00:59:37 #420 №1755435 
>>1755432
Недавно с этом тоже столкнулся.
Там пол кэш теперь резервируется около 2.5гб видеопамяти.

Сокращай окно контекста, квантование контекста сделай

Либо откатывайся на прошлую версию, когда все влезало
Аноним 16/11/26 Пнд 01:10:34 #421 №1755437 
>>1755388
Анон, ещё тогда тебе вопрос такие вопросы. Почему выбрал именно dhs, а не что то другое? Гермес там или опенкод. И что умеет такого dhs чего нет в самой страте? Я вот сейчас ее тестирую и тут вроде полный набор агентов или я что то не вижу? И кстати, какой у тебя уровень размышлений? Дал ей небольшое задание на построение сцены на threejs, ризонинг Лоу, так он уже 30k потратил за 12мин только на мышление. Это нормально?
Аноним 16/11/26 Пнд 01:16:42 #422 №1755438 
Анон, который гонял страту в 4 кванте на 8+64ГБ, поясни наф ты отрубаешь МТП - с ним не влазит?
Аноним 16/11/26 Пнд 01:19:35 #423 №1755439 
>>1755437
А, лол. Я посмотрел ее размышления, она оказывается зависла нахуй на рызмешлениях. И это на low.

Как ты с ней работаешь?
Аноним 16/11/26 Пнд 01:27:22 #424 №1755440 
phone smile Pedro.png
>>1755095
>ТЫ ЗАЕБАЛ НАХУЙ ПИДАРАС СО СВОЕЙ МЛАДШЕЙ И СТАРШЕЙ СЕСТРОЙ СУКА, СКОЛЬКО РАЗ ТЫ ЕЩЕ ЭТУ ХУЙНЮ ИЗ ТРЕДА В ТРЕД БУДЕШЬ ПИСАТЬ ПИДАРАС ЕБАНЫЙ
Аноним 16/11/26 Пнд 01:29:40 #425 №1755442 
>>1755435
>пол кэш
По английски как называется?
Аноним 16/11/26 Пнд 01:47:40 #426 №1755450 
>>1755439
Отключил в настройках страты "вектор предсказания" какой-то ебучий эксперементальный и модель перестала каруселить. Правда задачу мою уже 25 минут делает, но не зациклилась хотяб.

Кстати на моем железе 5070ti+32ram+r7 7700 выдает 45птс , до сотни далеко, но все-таки не 10-15
Аноним 16/11/26 Пнд 02:14:14 #427 №1755457 
Локальная рыба делает реальную пользу. Взломала мне lens desktop и написала патчер проверки подписи и генератор самих ключей
Аноним 16/11/26 Пнд 02:26:19 #428 №1755463 
>>1755450
>вектор предсказания" какой-то ебучий эксперементальный
Это было "замаскированное" название аблитерации.
Аноним 16/11/26 Пнд 02:57:28 #429 №1755473 
>>1755290
У меня 5070ти декод 130т/с и 3500 префил, модель iq3_s 262k kv.
Сразу видно подсоса жоры, уверен это ты тут серишь какая страта плохая.
Аноним 16/11/26 Пнд 04:06:15 #430 №1755485 
>>1755085
>>1755232
>Это какая то хуйня желтушная.
https://dtf.ru/hard/5413283-defitsit-kart-nvidia-i-puzyr-ii
Вон там подробный разбор на русском вышел. По ходу нас ждут дешевые видеокарты, когда Хуанга снесли. Я бы сейчас вообще никакими видюхами не закупался, раз скорое обрушение цен на горизонте.
Аноним 16/11/26 Пнд 04:17:20 #431 №1755486 
>>1755432
Попробуй еще b10665 ламы. Он у меня до сих пор как самый скоростной стоит на многих моделях, не удаляю поэтому. Ничего нового, у жоры часто в новых версиях херят скорость. Юзай новые только там где быстрее. Зато в новых для МОЕ завезли фишки, что они летают быстрее чем на страте.
Аноним 16/11/26 Пнд 04:20:47 #432 №1755488 
>>1755450
Что за вектор? Он у меня даже не включен был, его в дефолтных нет.
Аноним 16/11/26 Пнд 04:27:35 #433 №1755491 
>>1755365
Это же только на аблитке, да?
Аноним 16/11/26 Пнд 04:37:14 #434 №1755492 
>>1755488
Скорее всего он про то же что в майе >>1752282 →
Аноним 16/11/26 Пнд 05:23:40 #435 №1755504 
image.png
квех 4 мах
Аноним 16/11/26 Пнд 05:26:29 #436 №1755505 
image.png
>>1755504
ну и говно
Аноним 16/11/26 Пнд 05:31:33 #437 №1755506 
>>1755505
на самом деле как раз на эти два бенча можно в целом насрать. DeepSWE, CodeArena и HLE довольно важные. результаты по терминал бенчу немного напрягают.
Аноним 16/11/26 Пнд 05:36:11 #438 №1755507 
>>1755504
Эти бенчи учитывают сколько времени и токенов ушло на решение задач?
Аноним 16/11/26 Пнд 05:38:48 #439 №1755508 
>>1755507
Если честно в случае с квеном я бы не стал бенчить его эффективность по токенам. А то получится очередной кими.
Аноним 16/11/26 Пнд 05:47:31 #440 №1755510 
https://qwen.ai/blog?id=qwen4-max
>Safety
>At Alibaba, we embed model governance—guided by our six principles for AI development (human-centeredness, inclusivity and integrity, privacy protection, safety and reliability, trustworthiness and controllability, and open co-governance)—throughout the entire model lifecycle—from initial design and research through development, training, deployment, and real-world application—ensuring responsible AI is built in by design, not added on as an afterthought. For software engineering training tasks, we have added code security checks on top of functionality checks to strengthen the model’s intrinsic secure-coding capabilities. On Last Secure Code Bench’s “code reconstruction without security hint” and “dual verification of functionality and vulnerabilities,” Qwen4-Max’s function-level pass rate for both functionality and security rose from 22.0% for the previous generation (Qwen3.8-Max) to 31.8%; the share of code generated securely and simultaneously at all three granularities—function, file, and repository—rose from 8% to 14.7%, nearly doubling. The model performs particularly well at avoiding core risks such as injection, memory safety, and broken access control, markedly reducing vulnerabilities in code generated by default and helping developers shrink the system’s attack surface at the source. For cybersecurity, we filter data according to the specific purpose of each task, retaining data for defensive tasks such as vulnerability verification, detection, and remediation, while removing data for offensive tasks aimed at enhancing attack capabilities. A review by our internal security experts of long-horizon task trajectories (including full chain-of-thought, CoT) found that Qwen4-Max’s cybersecurity defense capabilities have improved substantially, that safety against offensive uses has also been significantly strengthened. No capabilities posing large-scale cybersecurity risks have been observed. For CBRN, we designed dedicated safety data and enhanced Qwen4-Max’s safety during the safety post-training stage. In internal evaluations, Qwen4-Max identified more requests carrying potential risks and provided safe responses, without exhibiting over-refusal. A review by internal experts of the model’s answers (including full CoT) found that the solutions the model proposes are not genuinely innovative and cannot complete the task end-to-end. No risk has been identified of the model translating relevant knowledge into a significant uplift in a user’s capabilities.
Аноним 16/11/26 Пнд 05:49:33 #441 №1755511 
>>1755510
>>1755504
Тред про локальные модели, а не про облачные
Аноним 16/11/26 Пнд 05:59:35 #442 №1755513 
>>1755511
Так это будущая локалочка.
Аноним 16/11/26 Пнд 06:01:37 #443 №1755515 
1794798097462.gif
>>1755513
Когда будет тогда приходите. А пока пикрил
Аноним 16/11/26 Пнд 07:33:24 #444 №1755525 
>>1755510
Ну и хуцпа для гоев. Нельзя дать полноценные возможности киберзащиты порезав возможности атаки, это одно и то же.
Кончится тем что у правительств стран будет доступ к закрытым для общего доступа моделям со снятыми тормозами (у китая и сша 100% будет, в китае правительство может прогнуть кого угодно, в сша - почти всех,, опенаи уже с армией коллабится например спецмоделями закрытыми) а у простых смертных нихуя не будет возможности защититься. +1 сфера с монополией государства на насилие, только в этот раз по всему миру
Аноним 16/11/26 Пнд 08:01:15 #445 №1755529 
>>1755473
О, а расскажи при каких настройках у тебя запускается и какие вводные для такого результата, хочу повторить
Аноним 16/11/26 Пнд 08:05:21 #446 №1755530 
>>1755485
Очень вовремя это "вскрылось", чё.
Раньше наверное хуанг своим могучим хуем эту инфу давил.
Ни разу не дефолтная отмена неудобного человека как и всегда
Аноним 16/11/26 Пнд 08:09:47 #447 №1755531 
>>1755525
>+1 сфера с монополией государства на насилие, только в этот раз по всему миру
У государства есть ядерка. Наличие сверх-ИИ у государства не делает потенциальное положение дел плебса сильно хуже.
Аноним 16/11/26 Пнд 08:40:30 #448 №1755538 
>>1755485
Пока не выполнили существующие контракты поступления новых видимокарт и снижения цен не будет.
Аноним 16/11/26 Пнд 08:55:43 #449 №1755546 
image.png
Так гемме нужен ризонинг в рп? Твёрдо и четко?
Или лучше взять квант побольше, но без ризонинга?
Аноним 16/11/26 Пнд 09:02:26 #450 №1755552 
Однажды я открыл дипсиковый ризонинг в рп и умер от кринжа
Аноним 16/11/26 Пнд 09:06:44 #451 №1755554 
>>1755530
>Очень вовремя это "вскрылось", чё.
То, что ещё в ковид был "дефицит полупроводников" при том, что производители рапортовали, что дефицита нет, или старательно разгоняемые новости про "дефицит чипов для 50хх" в начале их выпуска - это всё мимо тебя прошло?
Куртка монополист и устраивает дефицит как хочет, у кого ты ещё современную видеокарту купишь для игорь? У Лизы, которая предпринимает все усилия, лишь бы куртке не помешать? Или, может, у Интела? А может у китайцев?
Аноним 16/11/26 Пнд 09:07:26 #452 №1755556 
Ризонинг не нужен. Модель должна чувствовать.
Аноним 16/11/26 Пнд 09:08:52 #453 №1755557 
>>1755485
Ммм ахуенно. Как раз позавчера 5060ти за 90 взял. Взял у хуни в рот, так сказать.
Аноним 16/11/26 Пнд 09:12:38 #454 №1755558 
>>1755557
Зачем?
Тогда бы уж заханитил 3090 за 100к
Аноним 16/11/26 Пнд 09:25:18 #455 №1755564 
>>1755546
> ризонинг в рп
Не нужен вовсе.
Аноним 16/11/26 Пнд 09:30:37 #456 №1755568 
image.png
>>1755485
Там еще и антимонопольщики возбудились.
Аноним 16/11/26 Пнд 09:31:21 #457 №1755569 
>>1755564
>>1755556
Так с ним память в разы лучше обрабатываются, не?
Аноним 16/11/26 Пнд 09:33:57 #458 №1755571 
>>1755546
в РП - нужен, в быстрокуме - не нужен

с ризонингом она просто умнее, а стиль письма ее фирменный не меняется и без ризонинга
Аноним 16/11/26 Пнд 09:34:47 #459 №1755572 
Вы понимаете что если щас всё продать то через пол года можно на те же бабки купить х3 железа?
Аноним 16/11/26 Пнд 09:38:28 #460 №1755575 
>>1755485
> подробный обзор
Можно было бы поверить, если бы обзор не выглядил как текст свидетеля пузыря ИИ. Зашел - прямо как в сойдит окунулся с анти-ИИ риторикой.
Аноним 16/11/26 Пнд 09:41:41 #461 №1755578 
>>1755569
В рп конкретно ризонинг это чаще всего просто автосаммари перед ответом, костыль. Если у тебя нормальное саммари есть и не 100к контекста, то ризонинг не нужен.
Аноним 16/11/26 Пнд 09:42:16 #462 №1755580 
>>1755569
Смотря какая модель и какое всё остальное. Мы вообще не можем рассуждать о моделях в вакууме, так как у всех всё разное, рнг логитов зависит от невообразимого количестве переменных, вплоть до того что ещё у тебя запущено на пеке одновременно с моделью.
По моим наблюдениями ризонинг всё-таки срёт в штаны в 90% случаев, лишь иногда помогая направить мелкие косячки. Саммари + безриз лучше, объективно.
Аноним 16/11/26 Пнд 09:45:49 #463 №1755582 
>>1755578
как связаны саммари и ризонинг можешь объяснить? удивительные истории
Аноним 16/11/26 Пнд 09:55:52 #464 №1755590 
кит персона карты.PNG
8NAI.PNG
тайно болтается.PNG
изображение.png
>>1750896 →
Спасибо за этот кладезь, анон!
Аноним 16/11/26 Пнд 09:56:44 #465 №1755591 
gytr4e324rty76543.png
>>1755590
Буду выращивать большую жирную рыбу, чтобы она чистила В-станцию...
Аноним 16/11/26 Пнд 09:56:54 #466 №1755592 
>>1755580
> Смотря какая модель и какое всё остальное. Мы вообще не можем рассуждать о моделях в вакууме, так как у всех всё разное, рнг логитов зависит от невообразимого количестве переменных, вплоть до того что ещё у тебя запущено на пеке одновременно с моделью.
Челибос, осознайся. Есть только гемма уже как пол года.
Аноним 16/11/26 Пнд 10:00:28 #467 №1755595 
>>1755442
Погугли про оверхед библиотек CUDA

На новых драйверах, при инициализации ещё до загрузки весов модели, резервируются буферы пол ядра тензорных вычислений, вот они и съедают память.

Я фиксил это тем, что закинул свой скрипт запуска в гемини, попросил найти причину почему сейчас модель не помещается в видеопамять и как это можно исправить. В итоге пришлось с 256к кэша токенов до 128к понизить, что в целом неплохо, потому что модель начала работать побыстрее.

При правильном сжатии контекста и контроле размышлений модели, контекстное окно почти всегда полупустой и никогда не переполняется

Вот я потому и написал, что нужно либо решать контекст, либо откатываться на прошлую версию CUDA
Аноним 16/11/26 Пнд 10:05:07 #468 №1755598 
>>1755437
Hermes мне не зашёл и его будто использую больше для создания ботов. Там вместо плагинов, нужно через MCP подключать дополнительные инструменты для модели.

Тут больше вкусовщина, мне просто интерфейс у dsh комфортен, он опенсурсный, под него много плагинов есть и как только появляется что-то новое, оно прекрасно ставится в dsh

+Потенциально в РФ из-за санкций если брать облачные модели, то выгоднее брать китайские, для того же deepseek в dsh максимально оптимизирована работа.

Но это чисто имхо, нужно пробовать, смотреть с чем работать комфортнее и выбирать под себя. Благо варианты есть
Аноним 16/11/26 Пнд 10:08:26 #469 №1755600 
>>1755430
Не сказал бы что шарю, я с проектами на C# работаю, для него есть IlSpy и DnSpy

Для того чтобы моды под игру делать, этого достаточно. Я вручную декомпилировал нужные исходники, скормил их агенту и благодаря тому что агент знает код игры, он лучше кодит мод под мои задачи.

Пока так применяю, ничего особенного.

хотелось бы попробовать локальной моделью две игры совместить, как в недавних новостях про Майнкрафт в Скайриме, но пока руки не дошли и практической пользы в этом не вижу.
Аноним 16/11/26 Пнд 10:18:35 #470 №1755603 
Являюсь несчастным обладателем RX 9060 XT с 16 гигабайтами врам. На какую ллм могу рассчитывать?
Аноним 16/11/26 Пнд 10:22:47 #471 №1755605 
>>1755603
Ставь гемму 31 в iq3_xxxs
Интересно скорости посмотреть и хихикнуть с тебя
Аноним 16/11/26 Пнд 10:26:34 #472 №1755607 
>>1755569
>>1755571
Квант повыше это +0.82bpw. Тут за такое убивают нахуй и органы на рам меняют. Это огромный прирост. И зачем менять это за ризонинг, который и в сою может увести, и ответ особо не поменяет, ведь гемма какашка детерминистичная.
Аноним 16/11/26 Пнд 10:28:19 #473 №1755609 
FT: Дженсен Хуанг обсуждает возможность возвращения в Nvidia. Его союзники пытаются заручиться поддержкой в Белом доме
Аноним 16/11/26 Пнд 10:29:59 #474 №1755612 
Хоронили нвидию сожгли три павер коннектора
Аноним 16/11/26 Пнд 10:33:41 #475 №1755614 
>>1755592
Но ведь даже гемм актуальных , как минимум две.

Для 26б ризонинг как будто обязателен, для 31б как будто желателен в сколько то сложных сценариях

>>1755607

Хз что там с квантом повыше, но я сколько ни тужился так и не почувствовал разницы между 31б в 4 кванте и 31б в 6 , может между 8мым и 4м бы почувствовал, но не уверен
Аноним 16/11/26 Пнд 10:34:21 #476 №1755616 
>>1755609
Лол, что угодно, лишь бы пузырь не лопнул. И нам, простым смертным, по губам провести.
Вообще как бы урон уже нанесён, даже если восстановят, то уважения в своей конторе он не получит. А там дело за малым, найти достаточно мелких косяков и уволить его за них. Видел такое, и не раз, когда сотрудники через суды и прочую залупу восстанавливались.
Аноним 16/11/26 Пнд 10:48:25 #477 №1755622 
Как Muse Glimmer 30b может быть тотально хуже Qwen 3.6 35b-a3b? Это шутка?

Глиммер теряется на уровне 9б-помойки. Вообще не вдупляет в происходящее, путается уже внутри своего ответа даже. Просто забывает всё, что было пару тысяч токенов назад.

Глиммер в q4, квен в q8. Но тот же плотный квен q4 так себя паскудно не ведёт.

Зато у глиммера порнуха неплохая, ето да...
Аноним 16/11/26 Пнд 10:53:59 #478 №1755628 
>>1755622
ну ты и наркоман использовать глиммер для этого. если бы не окно контекста он был бы адекватной заменой Qwen в программировании, но не более. этот стоический мудила очень хорош в достижении максимально конкретных задач. чтобы не сдохнуть от кринжа на его порнухе это прям интересные вкусы надо иметь.
Аноним 16/11/26 Пнд 10:56:52 #479 №1755633 
>>1755622
А ты уплотнял?
Аноним 16/11/26 Пнд 10:58:46 #480 №1755637 
>>1755592
31б в к6-8 есть только у шейхов с 5090/ригодебилов с амудами. А 26б тупая. Очаровательно тупая, как мистраль, но всё ещё тупая.
Аноним 16/11/26 Пнд 11:01:22 #481 №1755640 
>>1755155
Почему этот анон жидко обтёк?
Аноним 16/11/26 Пнд 11:01:44 #482 №1755641 
>>1755628
Не знаю, какая там адекватная замена, если он даже в пределах 131к ничё не понимает. Вот он открыл проект, схавал что-то, там уже 30к набралось. Просишь его сделать, он пердит до 60к токенов и везде ошибки. Он может неплохо искать факты или детали, но связать их воедино ну никак.

А что тебе не зашло в его порнухе? Всяко лучше МоЕ-квена и геммы. Из мелких только квен 27б 3.5 в этом плане лучший.

Гемма в порно просто красиво пишет, но без грязи.
Аноним 16/11/26 Пнд 11:04:57 #483 №1755648 
>>1755415
я унял причину тряски и думаю что лучше купить амд, пускай даже переплачу дохуя. суммарно комп мне выйдет в 1800 евро, экономия будет только на ссд - у меня их 4, просто вытащу текущие из ноута и заменю их на родные.

конечно я куплю 9060 хт 16гб. я покупаю кампуктер на годы вперед, а не на пару лет.
Аноним 16/11/26 Пнд 11:06:53 #484 №1755650 
>>1755582
В рп ризонинг тебе пережевывает и распутывает историю, иногда еще что-то может наперед загадать. В идеале он тебе в эффективную зону контекста (ближе к ответу) бросает релевантные на текущий момент вещи в разобранном виде, в обмен на то, что ты теряешь бесшовность истории (ответ по токенам отдаляется от хвоста истории). Большинство из пережевывания тебе может делать саммари заранее, чтобы не скидывать каждый ход задачу распутывания истории заново на сетку, мозги у локалок не бесконечные. Саммари нужно если что не для краткого пересказа событий и скрытия старых сообщений, как многие любят делать, а прежде всего для распутывания истории и выделения всяких отношений, ружий, фактов и т.д. в таком духе. Вставляя это например вверх контекста (тоже эффективная зона), задача сетке облегчается.
Единственно что мимо саммари идет из того, что может быть в ризонинге - это драфтинг и аутлайн будущей истории, если они делаются. Но они обычно все равно не особо полезные кмк в таком виде, так что не стоят включения ризонинга. Но тут наверно вкусовщина.
В кодинге например ризонинг больше смысла имеет, потому что в тренинге ризонинг на решение узких задач надрачивают. А у нас задача творческая и вариантов ответа масса на каждом ходу, поэтому если от ризонинга хочется например, чтобы он заранее несколько вариантов развития событий, то приходится костыли делать, и работает все равно не очень. Легче эту задачу тоже отдавать на допсетки, как саммари, они хоть независимые ответы дадут.
Аноним 16/11/26 Пнд 11:31:27 #485 №1755668 
>>1755603
Готов садиться на Linux из-за rocm?
Аноним 16/11/26 Пнд 11:40:45 #486 №1755673 
>>1755572
А если за это время Альтман и к0 найдут способ ликвидировать локалки как класс? Нужно наиграться пока есть.
Аноним 16/11/26 Пнд 11:55:32 #487 №1755683 
>>1755668
Я уже на нём сижу.
Аноним 16/11/26 Пнд 11:55:48 #488 №1755684 
>>1755673
Альтман и КО не могут залезть тебе на хард и забрать то, что уже есть - софт и сами модели. На старые видяхи с цодов тоже заплатку ставить никто не будет, чтобы ты не мог тот же дипсик крутить. Обниморде пизда будет так или иначе, это очевидно, но уже перезаливы есть, так что пох.
Скорее уж у нас локалки признают небогоугодными и запретят, чтобы все быстренько на макс гигачад с элисой пересели. А за скачивание той же геммы\лламы срок как за процессоры.
Аноним 16/11/26 Пнд 11:59:10 #489 №1755686 
https://www.reddit.com/r/LocalLLaMA/comments/1xxawbh/why_download_abliterated_flash_next_models_when/

Можно накатывать лоры вместо полных весов.
Аноним 16/11/26 Пнд 12:00:05 #490 №1755687 
>>1755603
gemma 4 26b топ безотказная блядь
Аноним 16/11/26 Пнд 12:07:45 #491 №1755694 
image.png
заказал эту сборку но с радивоном на 16 гб, в конце недели буду полностью красным господином без инцелоговняка и новидеокала в системнике
Аноним 16/11/26 Пнд 12:13:08 #492 №1755697 
Сижу на интеле, амд считаю глюченым калом. Это как с линускоидами.
Аноним 16/11/26 Пнд 12:18:37 #493 №1755703 
image.png
Аноним 16/11/26 Пнд 12:23:21 #494 №1755709 
1794821001455.gif
>>1755703
Аноним 16/11/26 Пнд 12:28:09 #495 №1755713 
>>1755703
>16 Gb
>Для агентских и кодерских задач нужен 256к bf16 кэш и минимум 4.5-битный квант

Всегда проигрываю.

Сколько раз анслоп это уже написал?
Аноним 16/11/26 Пнд 12:37:53 #496 №1755718 
>>1755713
И народная видеокарта ртх 6000
Аноним 16/11/26 Пнд 12:38:18 #497 №1755719 
>>1755713
Ну так блядь, не для этого делалась, и вообще, на конкретные эти бенчи глянь, они ж херовые и заебись, заебали кодоунитазы, тьфу на них
Аноним 16/11/26 Пнд 12:43:51 #498 №1755725 
>>1755650
Ебать ты тут расписал однако анонче, респект тебе. Вообще, ризонинг все таки на детали всякие влияет по личному опыту, имхо.
Аноним 16/11/26 Пнд 12:59:16 #499 №1755741 
Strata - Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS
4060Ti 16GB, 64GB, MTP, 128K KV INT8
50+t/s

Нормально настроилось или можно лучше?
Аноним 16/11/26 Пнд 13:01:52 #500 №1755743 
>>1755529
Еврейский линукс, ксанмод ядро, 5950x, 128гб рам 3600мгц, страта в подмане, в конфиге выставлен размер кеша, модель и короткий автотюнинг.
Под одну современную карту вообще нечего пердолить, вот когда у тебя две или три карты прошлых поколений, то там секс начинается, но не сильный софтовый такой например с жорой прям жоско трахаться надо и дырка только у тебя раздолбана будет.
Префил, кстати еще больше разгоняется, в прошлом посте я поскромничал, но мерять впадлу, просто озвучил циферки которые увидел.
Аноним 16/11/26 Пнд 13:08:33 #501 №1755748 
>>1755603
Да почти все что есть в тете всрате и мае, кроме отдельных особо прожорливых. Только не в жирных квантах разумеется. Еще мелкие плотняки если интересуешься таким.
Аноним 16/11/26 Пнд 13:08:36 #502 №1755749 
>>1755743
Хм...
У меня 32гб рам 6000
5070ти 16гб
7800х3д

120 токенов, 3200 префилл

Но пол нагрузкой на проекте около 100 токенов скорость.

Тогда выходит это реально предел и все в железо упирается, тут уже не оптимизировать лучше. Ждать новые модели, ждать новые алгоритмы оптимизации
Аноним 16/11/26 Пнд 13:10:37 #503 №1755755 
Перекатит кто-нибудь тред? Пора вроде как
ПЕРЕКАТ Аноним OP 16/11/26 Пнд 13:11:35 #504 №1755758 
ПЕРЕКАТ

>>1755752 (OP)

ПЕРЕКАТ

>>1755752 (OP)

ПЕРЕКАТ

>>1755752 (OP)
Аноним 16/11/26 Пнд 13:12:14 #505 №1755759 
image.png
>>1755486
А когда квен 4 завезут че делать?

>>1755595
>Погугли про оверхед библиотек CUDA
Это слишком лоулевлная хуйня для меня. Посмотрел видик про патч ноуты в лламе 1.0 вроде как оверхед это не нужные операции от которых избавились.

Я уже год как дрова не качал 581.57, да и тенсорных ядер у меня нет.
>256к кэша токенов до 128к понизить
Ты про tokens_cached или про cache_n говоришь что-ли?
Покажи пожалуйста анон, 2 часа с этой хуйней вожусь. Ни ИИ толковых ответов бесплатные дипсик гугловский ИИ не выдает ни в README.md у ламы нихуя не вижу.
Какой конкретно это параметр? Это же не -С они не знаю кто куртка или ллама решили нам порезать?
Вообще скорость немного хуже даже когда полностью влезает где-то на 5%. Гемма e4b вместо 50тс выдает 43-48. Стабильно хуже.
Аноним 16/11/26 Пнд 13:12:15 #506 №1755760 
>>1755485
Решили сделать его козлом отпущения раз уж ситуация подходит.
> подробный разбор
Больше похоже на усиленный форсинг своих шизотеорий, автор прыгает туда-сюда давя на эмоции, извращает трактовки и закладывает конкретную точку зрения.
> скорое обрушение цен на горизонте
Хотелось бы верить, но предпосылок к этому не находится. Нужно чтобы отодвинули дорожные карты строительства датацентров и начали искать куда бы пустить уже имеющиеся мощности, даже если случится то это не вопрос ближайших 6-12 месяцев. А так все заявления могут быть просто удобной риторикой чтобы успокоить людей на короткое время, а дальше еще сильнее закрутить гайки.
>>1755568
Вот это правильно
Аноним 16/11/26 Пнд 13:19:38 #507 №1755767 
>>1755741
Я б на твоем месте наоборот замедлил - вернул отрезанный хвост и штатную приоретизацию экспертов и ротацию INT8 включил
Аноним 16/11/26 Пнд 13:43:12 #508 №1755786 
>>1755759
А ты как понимаешь модель через llama?

Я просто скрипт сделал .sh

По любым вопросам кидаю его в гугл ИИ, пишу соул проьлему, прошу проверить актуальные дрова на сегодня и нововведения. Так он и нашел проблему с теми самыми 2.5гь видеопамяти, из-за которых модель не грузилась в видюху.

Попробуй так же сделать. Я просто точных подробностей сейчас подсказать не смогу для фикса
Аноним 16/11/26 Пнд 13:59:31 #509 №1755804 
>>1755786
>256к кэша токенов до 128к понизить
Попроси ИИ чтобы нашла этот аргумент.
Аноним 16/11/26 Пнд 14:56:09 #510 №1755836 
>>1755786
Или имеешь ввиду мой нищенский 13k контекст нужно до 6k уменьшить?
Аноним 16/11/26 Пнд 18:05:10 #511 №1755935 
>>1755694
Ты на дваче научился выражаться как дегенерат? Нормальную речь забыл? С обновкой поздравляю, я сам краснопузый.
Аноним 16/11/26 Пнд 19:09:17 #512 №1755965 
>>1755836
Если железо не тянет хотя бы 64к контекст, то лучше обычные модели используй, а у себя тол ко харнес свой настрой, чтобы сессии и скиллы/плагины остались у тебя, если блокнут акк.

Ещё плагины есть, которые позволяют бесплатные лимиты моделей использовать, от того же гемини. Но за такое банят акки, потому нужно использовать не основные и протшовать у итоге моделями бесплатно с хорошим окном контекста
Аноним 16/11/26 Пнд 21:38:13 #513 №1756058 
>>1755965
Для моих задач меня устраивало и я не готов жонглировать с аккаунтами джеилбрейками и пр.
Аноним 16/11/26 Пнд 23:58:44 #514 №1756154 
image.png
Вот бы квен c аудио/видео инпутом выкатили уже.
Аноним 18/11/26 Срд 17:36:10 #515 №1757453 
>>1752809 (OP)
На 5070 с 12 гб. и 32 гб. озу придется качать q4 или все таки можно q8?
Аноним 19/11/26 Чтв 16:14:07 #516 №1758071 
>>1756154
Женщина с кожей. С кожей темнокожей.
comments powered by Disqus