Что написать в промте, чтобы лелем не срывалась в панибратство после 5 сообщений, как будто юзер и чар знакомы 10 лет? Хочется качественного слоубёрна с сомнениями, подкатами и неспешным темпом.
--override-kv gemma4.expert_used_count=int:50
что это даёт:
- грубо говоря 26B-A4B превращается в 26B-A11B то есть чуть ли не половина параметров становится активной, модель получается полуплотной (и для хорошей скорости её придётся засунуть в видеопамять, обычно 4-й квант не проблема если у вас 16-гб карта)
- гемма становится умнее в математике
- гемма лучше слушается системного промпта
- гемма глубже думает, стараясь ничего не упустить из внимания
- гемма красивее пишет (меньше слопа)
p.s. у некоторых работает 51, у некоторых максимум - 46, зависит от железа и билда лламы
что это даёт:
- грубо говоря 26B-A4B превращается в 26B-A11B то есть чуть ли не половина параметров становится активной, модель получается полуплотной (и для хорошей скорости её придётся засунуть в видеопамять, обычно 4-й квант не проблема если у вас 16-гб карта)
- гемма становится умнее в математике
- гемма лучше слушается системного промпта
- гемма глубже думает, стараясь ничего не упустить из внимания
- гемма красивее пишет (меньше слопа)
p.s. у некоторых работает 51, у некоторых максимум - 46, зависит от железа и билда лламы
Так и напиши. Если это моэшная гемма то тут ничего не поделаешь, разве что уплотнять.
странно у меня такого никогда не было, так еще и по 5 свапом приходилось делать чтобы нахуй не слали и не убегали
Зачем это нужно когда можно просто взять плотную гемму?
Ну во-первых плотная гемма в 4-м кванте не влезет в 16 гб карту, а моэшная влезет. Потому что 31>26.
Во-вторых, моэшная гемма с 50 экспертами ведёт себя совсем не как гемма, она намного умнее (кроме кодинга, там писательские эксперты затеняют кодерских экспертов). Так сильно поменять поведение плотной геммы не получится - нет такой настройки. Поэтому не интересно просто.
https://mega.nz/folder/T1gGQS7C#xC_vSytyrNYDbTv0P4vGrg
gemma-4-18B-A11B-The_Lobowriter-Dark-Ethereal-Unlimited_Blasphemy-ULTRA_Intelligence-6xPower-AGI-IQ_LOW
уплотнённая моэшная гемма без кодинга и без русского языка
супер-компактная (8 Гб)
уникальные писательские способности
gemma-4-18B-A11B-The_Lobowriter-Dark-Ethereal-Unlimited_Blasphemy-ULTRA_Intelligence-6xPower-AGI-IQ_LOW
уплотнённая моэшная гемма без кодинга и без русского языка
супер-компактная (8 Гб)
уникальные писательские способности
>IQ_LOW
У всех кто скачал этот вишмастер.
как в ггуфе может быть вишмастер, додик? это просто тензоры - читай, таблицы с числами
Я так и написал! Типа хав негатив биас ту юзер бикоз блаблабла. Нихуя это не работает, чарики всё равно делают проход в "ах да, ты тот новый парень в классе, конечно я тебя досконально знаю, ты джокир-червь-пидор-полупокер". Да блять, да откуда наху...
>моэшная гемма
>уплотнять
Мне не надо, я плотные гоняю.
Покеж свой инстракт, пж. Меня заебало, что тнусы делают вид, что я единственный парень во вселенной. Приятно конечно, но рп вылетает в трубу.
Gemma 31b спокойно гоняет 2x видеокартах по 12гб с контекстом 64к в Q4 в tensor mode, самый дешевый варик. Если у тебя 16гб, тоже самое достигается покупкой второй видеокарты на 8гб.
>Так сильно поменять поведение плотной геммы не получится
Так она и так умнее, там сразу 31к экспертов.
>Мне не надо, я плотные гоняю.
Ну и каков результат?
А ты возьми моэшную и уплотни. Совсем другие пироги получаются. Ты просто забудешь, что такое "не слушается промпта".
>. Если у тебя 16гб, тоже самое достигается покупкой второй видеокарты на 8гб.
Не достигается. Потому что места у меня в системнике только под одну. Да и не стоит эта плотная гемма того.
>Так она и так умнее, там сразу 31к экспертов.
Ебать хуйню спизданул. 31к экспертов. В плотной гемме. Лол.
Я пробовал "уплотнять" четвёртый квант моегеммы от 24, разницу не заметил от слова совсем. Это миф, официально.
>31к экспертов
>к
>экспертов
>плотная модель
Заорал чёт.
>места у меня в системнике только под одну
Есть удлинитель, чтобы выносить видюху.
Ну параметров на каждый токен, один хуй в 31b их больше, как 26б не качай, там будет меньше.
уплотнение - классная тема. Я уплотнил lfm2-24B-A2B (классная моделька, шустрая, даунам не зашло потому что ааа русика нет памагите. да это и хорошо бля что его там нет, значит всё остальное плотнее)
там только 4 эксперта было активных из 64. правда максимально дало выставить 20. ключик lfm2moe.expert_used_count=int:20
очень сильно подняло соображалку.
ещё можно квен-35-а3б уплотнять.
>можно квен-35-а3б уплотнять
На уровень 27б он всё равно не станет, так что бессмысленно.
у меня в моэшной гемме активно на токен 11.5B
но они набрасываются на этот токен с огромной силой! потому что это нестандартная турбо настройка. модель тренилась чтобы лайтово думать 8 экспертами поэтому там сила эксперта 12.5%. 51x12.5%=637.5% - вот такое турбирование получается у уплотнённой моэшной геммы.
я тебе специально простыми словами объясняю, чтобы ты понял. а вот твои 30.7B в плотной они как бульон разбавленный мочой. никакой силы.
637.5 * (26/31)
534.67% - то есть даже с поправкой на то что 26<31, получается 534.67% прирост интеллекта.
вообще сингулярность была достигнута ещё на 12б параметрах, это так, к твоему сведению. всё что дальше раздувается это уже чисто кодоунитазинг, а он нам не нужен, мы ролевики
Это уже не смешно, тред совсем в дурку укатывается. Один бля гемму уплотняет, другой говнотюнами квена спамит, эйрошиз уже как в дне сурка одно и то-же пишет, кто-то поделия дэвида сюда тянет, у иного квен 27 стал мессией и вообще АГИ. Там в школе каникулы начались что-ли? Санитары коробку с телефонами на видном месте оставили?
Или тут только кучка кривых ботов осталась и людей больше нема?
Или тут только кучка кривых ботов осталась и людей больше нема?
Анончики, подкиньте промптов для саммаризации. Понимаю, что все равно надо будет что-то руками править, скорее всего. Никогда раньше этим не занимался и дико туплю, получается херота
Пиши в карточку, в характер персонажа, что он тебя не знает. Таков путь. Любая модель будет врубать асистента при любом удобном случае, поэтому ей нужно жёстко это ограничить. Можешь ещё добавить всякие "думай только как персонаж" и подобное. Чтобы даже в ризонинге сократить присутствие всезнающего асистента
Я сейчас кумлю, помочь ничем не могу. Хвостики трутся друг о дружку.
[ SYSTEM: summarize the whole conversation into 2-3 paragraphs, then make a bulleted list of the most important events ]
Есть ли какой-то экспаншен для таверны, чтобы любая модель ризонила максимально душно и долго, но выдавала лучшие возможные результаты?
Ладно, щас попробуем твои 11.5B, посравниваю с 31b их. Модельки все и так на диске лежат. Потом отпишу как результаты.
У геммы надо в системном промпте написать
{reasoning-depth:ultra-high,reasoning-mode:iterative-auto-refine}
любая модель? вряд ли.
ну и плюс если хочешь чтобы гемма лучше слушалась системного промпта ты знаешь что делать, я не буду это повторять
чайноанон предвидел этот пиздец и вовремя съебался, двачую что сижу в ахуе и не понимаю что происходит итт последние недели. чистилище для мракобесов.
А какая сказка будет когда бабузян опять выкинет инфу про апасные модели...
Если там эксплоит какой-нибудь.
>другой говнотюнами квена спамит
Очоба треда так-то
Мы даже перестали постить брабуса...
Так нет нихуя. Н и х у я. Уже пол года как.
Квен некст, последний оплот 100-200б мое, соевая залупа.
Новые 300+ квантуются хуево и не лезут.
Гемма выебана и высушена за 6 месяцев.
>зашёл, обнял-приподнял, представился, станцевал и вышел
Прям как уплотнение геммы...
Это про какую гемму? Потому что если посмтотреть на чат темлейт b26, то там нет обоработки такого. Т.е. эта твоя строка не переключение режимов а просто текст "Думай умнее"
Есть важный нюанс: увеличение expert_used_count не гарантирует, что модель станет умнее. Для Gemma 4 она обучалась с top-8, и переход на top-10/top-12/top-16 — это уже режим вне исходной конфигурации. Теоретически можно получить прирост на отдельных задачах, но также можно получить ухудшение, изменение распределения нагрузки и заметное падение скорости.
Хватит постить кринж итт - мягко и твёрдо!
Гемма ето кал, увы
Гемма это имба для кума, сынок
У 3 гемма такая милая цензура была, не ценили мы что имели.
Вместо хард рефьюза в неё вжарили личность фемки истерички, прикольно было на ней с чарами болтать на некие темы. А 4 просто везде согласится и подлизнет
Вместо хард рефьюза в неё вжарили личность фемки истерички, прикольно было на ней с чарами болтать на некие темы. А 4 просто везде согласится и подлизнет
Не только предвидел но и пытался остановить, чем кончился видим. Гайд нахуй никому не нужен, все занюхивают лмстудию и анслотокал, а те немногие кто сидят на лламе делают через автофит, потому что им норм терпеть скорость поменьше. Дальше хуже, в сабж приходят нормисы
Соглы, соглы. Помню как часами болтал на г3 с Серафинкой. Ух бля, вот же золотое время было. Нитош штощяс...
Вопрос что берется за референс для сравнения и на каком наборе данных это идет. Из-за отсутствия фп8 в лламе "лозлесс" весов не существует как класса. Можно ставить разные отсечки по маловероятным логитсам, будут разные результаты, скорее всего здесь это.
После исхода из аицг часть тут пооседала
> изменение распределения нагрузки и заметное падение скорости
Тут не можно а однозначно происходит.
Для этого "умнее" с тем же успехом можно инжектнуть после каждого mlp снижение амплитуды и подмешивание шума, и скорость останется высокой.
How dare you presume my gender by my look, you patriarchal slut?
Превью не квантуется лучше, там рецепты разные.
Но я могу подтвердить своим васяноопытом, что квантуется ДСФлеш вполне неплохо, учитывая что это переквантовка из предквантованных весов.
Вот быстренькая калькуляция на викитексте доступного на обниморде 3.86bpw vision exp. Это по сути ориг.веса только gate и up эксперты до Q3_K ужаты.
====== Perplexity statistics ======
Mean PPL(Q) : 5.807870 ± 0.123180
Mean PPL(base) : 5.729057 ± 0.121360
Cor(ln(PPL(Q)), ln(PPL(base))): 98.05%
Mean ln(PPL(Q)/PPL(base)) : 0.013663 ± 0.004188
Mean PPL(Q)/PPL(base) : 1.013757 ± 0.004246
Mean PPL(Q)-PPL(base) : 0.078813 ± 0.024225
====== KL divergence statistics ======
Mean KLD: 0.071795 ± 0.002063
Maximum KLD: 8.516979
99.9% KLD: 3.783361
99.0% KLD: 1.315323
95.0% KLD: 0.305136
90.0% KLD: 0.126282
Median KLD: 0.003629
10.0% KLD: 0.000000
5.0% KLD: 0.000000
1.0% KLD: -0.000001
0.1% KLD: -0.000004
Minimum KLD: -0.000005
Против MXFP4 с репы ggml конечно, у меня нет гпу для vLLM
Ещё пытался найти дату для аблитки от Оркароутера 3.87bpw квант, но похоже я её проебал. Там было Mean KLD: 0.086...., PPL ещё ближе, около 5.9 с такой же погрешностью где-то. Живут оба кванта хорошо, в попенкоде не лупятся, оба умные. Хз как оно в сравнение с апи, но на мелких контекстах на практике не увидел разницы с MXFP4 в обоих случаях
Гемму не учили даже просто на длину ризонинга. Её обучали только с <|think|> в начале систем промпта или без него. И даже так модели срать на этот тег, и поэтому в жинже с выключенным ризонингом канал думанья принудительно закрывается, а то всё равно начнёт думать, даже если нет <|think|>.
Гемму обучали только быть полезным учебником. В коде и куме она сосёт. Вот вам и генерализированная модель
Не, скорее ты пососал в том чтобы его настроить под свои задачи. Вот вам и генерализированная модель
>После исхода из аицг часть тут пооседала
Так это давно было. А тут шизик-уплотнитель внезапно активизировался. Кто-то советует старый мистраль советует.
Вообще пиздец полный и манера общения у этих кадров, если это не один человек.
Почему я нечасто захожу и каждый раз вижу брабуса...
Аноны, наткнулся на Strata, обещают много фэпэсов на Flash-Next под мою 16+64. Что вообще за магия такая, это аналоговнетно? Или это васянская сборка и такое уже встроено в популярных обёртках/агентах?
Надо IQ2_XS брать, потому что IQ3_XXS будет вылазить?
Аноны, наткнулся на Strata, обещают много фэпэсов на Flash-Next под мою 16+64. Что вообще за магия такая, это аналоговнетно? Или это васянская сборка и такое уже встроено в популярных обёртках/агентах?
Надо IQ2_XS брать, потому что IQ3_XXS будет вылазить?
Это вайбкод помойка-форк лламы с корявыми надстройками, цель которой - максимальная скорость на лоботомитоквантах. Зачем - неясно. Люди любят большие цыфоркиа
Сейчас я иду фотографировать свой ебальник, при этом отключив интернет на пк и телефоне, чтобы спросить у нейронки форму/недостатки/подходящие прически. После того как получу ответы я копипащу их в блокнот и удаляю логи и фотки.
Я все предусмотрел?
Промт бы придумать чтобы лучший результат получить
Я все предусмотрел?
Промт бы придумать чтобы лучший результат получить
Как добиться больших цифр на такой сборке без форков?
Ты даже не понял, что тебе написали. В этих цифрах нет никакого смысла, потому что там сломанный инференс, лупы в ризонинге и низкие кванты. Можно хоть 999т/с иметь, но какой от них смысл. Люди любят большие цыфорки...
Можно пошутить что спустя хрен знает сколько времени зумеры открыли человеческую разбивку моэ между cpu-gpu нормально, а не инвалидными костылями как у Жоржанова. Тогда можно забить память под завязку без той дискретности и получить халявные +50-100% скорости обновлением горячих экспертов.
> максимальная скорость
> Зачем - неясно
Лол
Так можно запустить любой квант
Реально работает хорошо, для кодинга просто имба, быстрее чем 27B в любом кванте раза в два, по знаниям iq3_s вроде тоже все отлично, лоботомитность не ощущается, будто с облачным glm 5.3 flash работаешь. Эта Страта любит многоядерные процессоры, легко загружает 16 ядер, за счет этого возможно и высокая скорость получается, на 24/64 генерация 60-90 т/с, префил 2500+
>Пинайте авторов плагинов
Ну да, типа такие "Дядь, сделайте плагин под линупс, и на торенты залейте, все равно мы покупать не будем"
Ты же понимаешь, что авторов плагинов интересуют корпы в первую очередь, в виду того что они заплатят сколько нужно, а не васяны которые каждую копейку кроят, и если уж и купили что-то то спросят за каждый потраченый цент.
>у тебя простой выбор: или сосать хуй корпов, но тогда не кудахтай о том что за тебя всё решили или тебе что-то не нравится, или строить свою систему самому, в который ты сам себе хозяин, но тратя на это своё время и силы.
А вот тут какой интересный момент выходит
Если б мне чисто для работы нужен был бы, на котором я б с медийкой работал и ЗАРАБАТЫВАЛ на этом, то я б безоговорочно Mac Studio взял бы жирный и кайфовал бы ни в чем себе не отказывая(как все собственно и делают), имея весь нужный софт, все нужные плагины и надежную систему на передовом железе. Каким местом здесь линукс мог бы затесаться - понятия не имею,
Если же вопрос стоит в том чтобы универсальное решение получить под все и вся - то здесь виндодесктопу аналогов нет, и сосать бибу приходится как раз таки на линуксе в виду отсутствия софта и ограничености того который в наличии
IQ3_XXS конечно же бери, зачем тебе брать меньший квант когда больший влезет. где-то 52 РАМ занято будет на твоей конфигурации
Форк лламы цпп ориентированный на флеш некст и нвидию/амд. 3 должен влезть, псина не важна.
Там сломанный инференс. Да, неясно зачем нужны эти цифры. Ты хоть сам эту хуйню запускал? Думаю нет, зато можно на Жоржанова пукнуть
Нет моделей - не нравится. Есть модели - не нравится, что в бенчах нет Клодика. Нюни вечно плачут
Эта моделька хуже того самого старого квена. Вот если бы яндексовскую допилили...
А нахуй мне модель с протухшими, годовыми бенчами?
>Надо IQ2_XS брать, потому что IQ3_XXS будет вылазить?
Бери максимум - iq3_s, более мелкие лоботомиты по поему смысла особого не имеют, и этот летает, в обзорах челы с 16гб врам тоже без проблем имеют свои 50т/с.
Что там у вас за инференс сломан? все д работает вроде, и неплохо пердит даже...
контекста меньше ж влезет...
Не знаю что там сломанного, мне он помог сервисы видеоконференции установить на линуксовый сервер, настроил, запили авторизацию по ntlm, запись звука, транскрибацию прикрутил, все работает.
> Там сломанный инференс.
Чем конкретно? Кроме того что уже навалено в лламе разумеется.
У меня недостаточно квалификации, чтобы сказать в чем именно проблема, и пиздеть я здесь не буду. На практике Q4 под Лламой работает стабильно и выполняет таски одну за другой, Q4 под этим вайбслопом регулярно уходит в лупы, заканчивает респонсы стоп токенами посреди ризонинга или в самом начале дропает, всё это на одинаковых семплерах и на одинаковых инпутах
Попробуй разный размер контекста, я сначала 128к выбрал как он рекомендовал, потом решил 256к попробовать вопреки предупреждениям, что нужно минимум 96гб рам... работает одинаково быстро что 128к, что 256к, ну ближе к концу контекста там проседает бывает даже до 40 т/с, но 40 т/с даже не всякий лоботомит на лламе выдать может.
Хм, если так то значит что-то там лишнее есть, или наоборот отсутствует. Надо натравить ллмку препарировать это, может найдет что-то очевидное.
Попробуй GSQ-RCO кванты, они очень высокое качество выдают не смотря на всего 3 бита, точно ну хуже обычных анслоповских Q4, некоторые утверждают что они близки к Q8.
Все так.
я на ISTA-DASLab_Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp.gguf вполне успешно закончил несколько модов к своим любимым играм, в автономном режиме, на ночь ставишь, утром проверяешь, пару правок и готово.
>на ISTA-DASLab_Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp.gguf вполне успешно закончил несколько модов к своим любимым играм
Расскажи, что за игры? Что за моды? Интересно стало.
>This repository will no longer be maintained. For questions about GLM-5.3-Flash, please visit the GLM-5 repository for discussion
Никто и не заметил, а эир то реально всё. И вишки всё.
Это канеш и так понятно, но пикрил буквально пруф что заи закрыли сразу 3 линейки моделей, флеш, v и эир, объединив их в глм флеш 5.
Т.е что то меньше чем 300б уже можно не ждать, официально.
Никто и не заметил, а эир то реально всё. И вишки всё.
Это канеш и так понятно, но пикрил буквально пруф что заи закрыли сразу 3 линейки моделей, флеш, v и эир, объединив их в глм флеш 5.
Т.е что то меньше чем 300б уже можно не ждать, официально.
Ты официально долбаеб. Потому что это произошло уже давно и никто не мешает открыть новую линейку на 100-200б.
Не мороси, вижн как отдельная ветка уже давно исчезла, дипсик были среди последних кто это сделал. А для поменьше - сделают "нано/микро/варп" модели. Текущие флеш нагиают то, что было фронтиром летом, грех жаловаться.
Что за модель?
любые игры с поддержкой harmony, ksp там, римворлд.
https://github.com/pardeike/harmony
это так же и отличный тест на разгребание большой кодовой базы, когда агент ходит по декомпилированым файлам и пытается понять как лучше пропатчить игру.
Этот кстати отупел за последние пару недель ещё сильнее
Регулярный сброс весов. Через неделю будет умняшей, снова.
да, галлюны зачотные выдает иногда. я его в основном для поиска юзаю, особенно когда не знаешь что хочешь найти
4.6v захуярил мне чара... Эир такое делал только на безжопе, очень редко, либо когда я сам направлял на такое.
Надо копать дальше...
Надо копать дальше...
>нейронка начинает срать многоточиями
>нейронка начинает срать однотипными словами и паттернами
Вот что делать в этом случае? Стирать их вручную из постов нейронки?
>нейронка начинает срать однотипными словами и паттернами
Вот что делать в этом случае? Стирать их вручную из постов нейронки?
Темпу поменяй на пару аутпутов. Прогрей маленькую.
>Люююдк, а людк! Ты сегодня веса гуглопоиску сбрасывала?
Я чувствую себя по-настоящему местным... потому что узнал всех.
А где меромеро форсер?
Защёл в гул ai, спросил как мне развернуть личного психолога + асистента по всякой хуйне на локальном компе. 5070ti +48 озу. Сказал скачать LM studio bionic + Qwen2.5 32B Instruct. Всё правильно сделал? Вроде завелось, но с настройками долгосрочной памяти так и не разобрался. Вроде включены, но открыл другое окно модель не вспомнила, как меня зовут. И ещё как вебсёрч октрыть, чё-то там какое-то мсб надо включть. Я чё вам прогромист бля
У меня одного гитхаб лежит? Только хотел вашу Sraka понюхать, поюзать квен на нереальных скоростях
Меромеро это тюн геммы. Тогда уж гемма форсер/геммашиз
Всё неправильно сделал, начиная с гугл ai. Гайд в шапке, там всё за тебя разжевали и сделали, не осилишь ну и пиздуй отсюда
Все, уже встал
А может ли 5.3 флеш быть хуже 4.7, как тут заявляют, из-за вижена? ВО ПРИКОЛ.
Он как бы для дерганья тула поиска и задуман, а не для рп и мат задач
Только лучше может. Дикпики отправлять тема
Платинцой потянуло....
я обнаружил в нем микропесочницу с питоном, который он дергает и рисует таблички, графики и вот это все.
ПОдтверждаю, на глазах тупеет, при чем даже прошка по ощущениям тупее стала...
>взял wlw-бота
>сказал что я мужик
>получил арматурой по ебалу
Исхуйственный Инцеллект.
>сказал что я мужик
>получил арматурой по ебалу
Исхуйственный Инцеллект.
А где вырезание "лишних" экспертов?
Слишком лень было все искромётные моменты искать. Я LLM'ке в двух словах задачу описал, три треда, включая этот, в ебало кинул, сказал ГЕНЕРИРОВАЙ, она 10 минут пердела GPT Astra и дала это.
Я протестую! Где Muse Glimmer???
https://www.reddit.com/r/LocalLLaMA/comments/1wt4s88/release_gsqrco_ggufs_for_qwen38flashnext_plus_a/
попробовал на своем нищем риге c sata ssd и ddr3, влезло в 16\32, но чуда не случилось - pp 1-2 tps, tg 3-4 tps.
Буду дальше катать плотные квенчики
попробовал на своем нищем риге c sata ssd и ddr3, влезло в 16\32, но чуда не случилось - pp 1-2 tps, tg 3-4 tps.
Буду дальше катать плотные квенчики
Кстати, риговичкам, оптимизировали врам для qwen4exp
https://github.com/ggml-org/llama.cpp/pull/29825
https://github.com/ggml-org/llama.cpp/pull/29825
А ты почему ещё не получил на Госуслугах свою цифровую агрессивную феминистку из /dev/, анон? Часики-то тикают
я нихуя на английском не понимаю.жпг
я нихуя на английском не понимаю.жпг
это ниже моего достоинства
в контексте рф мне достаточно того как они желают глобальной цензуры и им в ркн дают глобальную цензуру но они чем-то недовольны.
>432B
>ранц
фу блять ты еще и отыгрываешь за доброго соевого вуманфрендли насильника вместо нормального
Когда-нибудь я накачу патчи для гигачата и наконец основательно его помучаю
>2226
>Заходить в интернеты чтобы поговрить с людьми.
Чел...
Ваш персональный AGI-major4
чел я только в интернете с людьми и разговариваю без мейлачеров я уже ебнулся бы
>все
не все
просто ты соя и играешь в игру про насильника соевого как ты. ТЫ ДАЖЕ НЕ ИГРАЕШЬ ТЫ ПРОСТО МЕМНАЯ ЗАЛЕТУХА УМРИ
а у ранца пиздец как много женской фанбазы оказывается.
Эти реки текут никуда,
Текут, никуда не впадая...
99% фанатов Ранса это фанаты 7-10 и ремейков 1-3, или т.н. ларперы. Настоящих не найдёшь. Я настоящий.
почему в этом треде так много знатоков рейп вн
>в интернете
>с людьми
У меня для тебя плохие новости.
Потому что нейронку бабуины не осилят, а мы авангард человечества, разумисты, и все имеем опыт. Вот так вот просто это объясняется.
Вы хоть помогаете или как обычно?
Немного протестировал гвен лоботомита на Сраке
Это демотиватор/мем, собранный из фотографии рекламно-социального баннера и подписи снизу. Здесь есть два уровня: исходная картинка и шутка, добавленная к ней.
Что изображено на самой картинке
Наверху написано:
«НАРКОМАНИЯ — ВЫХОД ЕСТЬ!»
Ниже — рекламный плакат организации или движения «Преображение России», примерно с такими элементами:
логотип/герб в центре;
призыв: «Преображай Россию вместе с нами!»;
текст: «Помощь! Бесплатно, бессрочно, анонимно»;
крупное слово «алкоголизм»;
строка: «Отправка в восстановительные центры России»;
сайт и телефон, но они обрезаны.
То есть исходная картинка выглядит как реклама реабилитации/помощи при алкогольной зависимости, оформленная как социальная антинаркотическая реклама: «наркомания — выход есть».
Что добавляет демотиватор снизу
Внизу крупно написано:
«НАРКОМАНИЯ»
и мелким шрифтом:
«Выход есть. АЛКОГОЛИЗМ»
Это и есть шутка.
Смысл в том, что фраза «выход есть» обычно означает:
«от наркомании можно выбраться, есть помощь, лечение, реабилитация».
Но в мем-подписи это переворачивается в чёрную шутку:
выход из наркомании — это… алкоголизм.
То есть вместо избавления от зависимости предлагается заменить одну зависимость другой.
Где здесь юмор
Юмор строится на абсурде и игре:
Социальная реклама обещает выход, а мем предлагает «выход» через другую болезнь.
Наркомания и алкоголизм — обе проблемы с зависимостью, но вместо решения предлагается только смена вида зависимости.
Это пародия на простые слоганы типа «выход есть», «помощь есть», «справиться можно», доведённая до абсурда.
На оригинальном баннере, вероятно, рекламируется помощь при алкоголизме, а подпись делает из этого ложную «альтернативу»: мол, если хочешь выйти из наркомании — становись алкоголиком.
Коротко
Это шутка-демотиватор:
Наркомания? Выход есть: алкоголизм.
Иначе говоря: вместо честного решения проблемы предлагается абсурдный вариант — заменить наркоманию алкоголизмом. Это чёрный юмор о зависимостях и рекламе «выходов» из проблем.
Это демотиватор/мем, собранный из фотографии рекламно-социального баннера и подписи снизу. Здесь есть два уровня: исходная картинка и шутка, добавленная к ней.
Что изображено на самой картинке
Наверху написано:
«НАРКОМАНИЯ — ВЫХОД ЕСТЬ!»
Ниже — рекламный плакат организации или движения «Преображение России», примерно с такими элементами:
логотип/герб в центре;
призыв: «Преображай Россию вместе с нами!»;
текст: «Помощь! Бесплатно, бессрочно, анонимно»;
крупное слово «алкоголизм»;
строка: «Отправка в восстановительные центры России»;
сайт и телефон, но они обрезаны.
То есть исходная картинка выглядит как реклама реабилитации/помощи при алкогольной зависимости, оформленная как социальная антинаркотическая реклама: «наркомания — выход есть».
Что добавляет демотиватор снизу
Внизу крупно написано:
«НАРКОМАНИЯ»
и мелким шрифтом:
«Выход есть. АЛКОГОЛИЗМ»
Это и есть шутка.
Смысл в том, что фраза «выход есть» обычно означает:
«от наркомании можно выбраться, есть помощь, лечение, реабилитация».
Но в мем-подписи это переворачивается в чёрную шутку:
выход из наркомании — это… алкоголизм.
То есть вместо избавления от зависимости предлагается заменить одну зависимость другой.
Где здесь юмор
Юмор строится на абсурде и игре:
Социальная реклама обещает выход, а мем предлагает «выход» через другую болезнь.
Наркомания и алкоголизм — обе проблемы с зависимостью, но вместо решения предлагается только смена вида зависимости.
Это пародия на простые слоганы типа «выход есть», «помощь есть», «справиться можно», доведённая до абсурда.
На оригинальном баннере, вероятно, рекламируется помощь при алкоголизме, а подпись делает из этого ложную «альтернативу»: мол, если хочешь выйти из наркомании — становись алкоголиком.
Коротко
Это шутка-демотиватор:
Наркомания? Выход есть: алкоголизм.
Иначе говоря: вместо честного решения проблемы предлагается абсурдный вариант — заменить наркоманию алкоголизмом. Это чёрный юмор о зависимостях и рекламе «выходов» из проблем.
Это карикатура на советский/постсоветский двор и гаражи.
Что изображено
На заднем плане — многоэтажный жилой дом. В окне кто-то кричит:
«ЗА ГАРАЖИ НЕ ХОДИ»
Фраза означает:
«Не ходи за гаражи»
то есть “не ходи туда, за гаражи/за пределы гаражей”.
Перед домом нарисованы три гаражные “зоны”, и в каждой — свои люди:
Слева — какие-то асоциальные/пивные компании: люди сидят, лежат, возможно пьют.
Средний гараж — странные занятия: что-то вроде йоги, акробатики, акробатических упражнений, странных телодвижений.
Справа — обычные дворовые прогулки, разговоры, собачники/бездельники.
В чём шутка
Юмор в том, что из окна someone видит целую «картину двора»: за гаражами уже происходит куча странных, ненужных или сомнительных вещей. И человек предупреждает:
«За гаражи не ходи — там одни сплошные компании/дураки/странные занятия».
Иными словами, это пародия на советскую городскую реальность, где пространство «за гаражами» стало местом для сомнительных компаний: покурить, выпить, пошляться, заняться чем-то странным, собраться «своим кругом».
Более абсурдный смысл
Также можно читать как высмеивание дворовых микрообществ: каждый гараж как бы превращается в клуб по интересам или “среду”:
где-то пьют;
где-то странные йоги/акробаты;
где-то просто болтают/гуляют.
А фраза «за гаражи не ходи» становится запретом выходить за пределы этих дворных “зон”, потому что дальше только ещё больший хаос.
Коротко: это карикатура о том, что «за гаражами» — пространство сомнительных дворовых компаний, и туда не стоит ходить.
Про Йогу и акробатов повеселило конечно
Что изображено
На заднем плане — многоэтажный жилой дом. В окне кто-то кричит:
«ЗА ГАРАЖИ НЕ ХОДИ»
Фраза означает:
«Не ходи за гаражи»
то есть “не ходи туда, за гаражи/за пределы гаражей”.
Перед домом нарисованы три гаражные “зоны”, и в каждой — свои люди:
Слева — какие-то асоциальные/пивные компании: люди сидят, лежат, возможно пьют.
Средний гараж — странные занятия: что-то вроде йоги, акробатики, акробатических упражнений, странных телодвижений.
Справа — обычные дворовые прогулки, разговоры, собачники/бездельники.
В чём шутка
Юмор в том, что из окна someone видит целую «картину двора»: за гаражами уже происходит куча странных, ненужных или сомнительных вещей. И человек предупреждает:
«За гаражи не ходи — там одни сплошные компании/дураки/странные занятия».
Иными словами, это пародия на советскую городскую реальность, где пространство «за гаражами» стало местом для сомнительных компаний: покурить, выпить, пошляться, заняться чем-то странным, собраться «своим кругом».
Более абсурдный смысл
Также можно читать как высмеивание дворовых микрообществ: каждый гараж как бы превращается в клуб по интересам или “среду”:
где-то пьют;
где-то странные йоги/акробаты;
где-то просто болтают/гуляют.
А фраза «за гаражи не ходи» становится запретом выходить за пределы этих дворных “зон”, потому что дальше только ещё больший хаос.
Коротко: это карикатура о том, что «за гаражами» — пространство сомнительных дворовых компаний, и туда не стоит ходить.
Про Йогу и акробатов повеселило конечно
Мы все прокляты.
3-6б активных, 500б общих, модели с внезапными 8-12 активных выходят соевыми кодоунитазами.
3-6б активных, 500б общих, модели с внезапными 8-12 активных выходят соевыми кодоунитазами.
>педобиринфо
Чё блять...
>преобринфо
А.
да что ж такое то в треде нормальные есть?
Короче говоря, вроде и неплохо этот Q3_xxxxxxxxxxs отвечает, особенно учитывая скорость, буду тестить на других тасках, если он еще и в кодинге наваливать будет, и агентской работе, то вообще неплохо будет, но что-то у меня сомнения в этом, пургу походу гнать начнет...
Есть подозрения что первый вариант правильный,
я и не заметил там ссылки...
Есть подозрения что первый вариант правильный,
я и не заметил там ссылки...
Тот случай когда too small действительно применим
мы живём в сасаити
Вы даже не представляете сколько я за сегодня закумил.
На эире хоть? Кумить на гемме такая боль.
чтобы что?
За последние четыре дня я дрочил примерно каждые час-два пока не спал
мне буквально пришлось приложить усилия чтобы отвлечься и перестать продрачивать жизнь. я гордо держу ноуфап уже пять часов
Жму вязкую руку коллега. Мой максимум нофап после открытия нейронок это ровно сутки, больше никак.
37лвл
>Мой максимум нофап после открытия нейронок это ровно сутки
Нихуя, да я гигант на вашем фоне. Неделя здорового нофапа и только рп с нейронками.
через неделю две заебет и вообще перестанешь фапать
Нужно время от времени детоксить.
Я перестал фапать только потому что понял что буквально прожигаю фап-топливо. Я за эти несколько дней такие геммы откопал и выбросил. Я за них бы в прошлом году убил бы, никто с таким сюжетом не делал додзи, не писал фанфики, а тут фанфики с моим участием, тонким редактированием - не нравится деталь карточки, просишь гемму переделать.
У тебя просто нет фантазии
>За последние четыре дня я дрочил примерно каждые час-два пока не спал
Я так живу последние лет 20.
>Мой максимум нофап после открытия нейронок это ровно сутки, больше никак.
Аналогично, правда безо всяких нейросетей.
Раз в 3 дня вижу это ебало в зеркало, ебало имаджинировал?
Что верно - то верно. Я хочу игру с подключением ЛЛМ, а не просто чатик в силли. Одна такая у меня есть на примете, но до сих пор не понял как в ней сделать чтобы было хентайно, а не отстойно, потому что мне до сих пор не дали нормальную дрочемодель.
где вы силы вообще фапатьстолько берете, и время? РНН чтоль?
и какой лвл?
хз мне вообще фапать не хочется в последнее время, буквально приходится заставлять себя иногда, чтоб пару раз в неделю передернуть
Жму руку, коллега, на выходных бывает по 5 раз на дню, на буднях поменьше конечно
Мимо 41 лвл
Лес никогда не спит!
В виаре нет ничего интересного. Шлем пылью заростает
>5 раз на дню
Не это уже перебор, здесь мой максимум 2 раза в сутки, потом хуй болит, яйца болят, кончить нечем, да еще дня 3-4 будет отходос если такое провернуть
Это как ты в своем возрасте столько можешь?
Ну вот кажется и всё, ребята... качнул я значит Гемму в середине июля и кумерил почти каждый день без остановки. Сегодня ощутил как к горлу подступает ком и я не могу сглотнуть, потом ноги похолодели и отнялись. Режет в груди, кажется в районе сердца. Вызвал скорую но у нас в городе не госпиталь а скорее так, изба-умиральня. Если крякну - не поминайте лихом.
58 лвл гемма-анон.
58 лвл гемма-анон.
Зачем такое тренируют и релизят?
https://huggingface.co/Aleph-Alpha/Kolibri-1
78B-A3B которая по их же собственным бенчмаркам в половине тестов хуже чем 3.5 35B Квен. То есть буквально модель хуже чем предыдущая версия модели в 2 раза меньше размером. Они еще и прошлогодний GLM4.7-Flash всунули в бенч и старый 80B Квен Некст.
И вот на тренировку этого мусора компания потратили $4M.
https://huggingface.co/Aleph-Alpha/Kolibri-1
78B-A3B которая по их же собственным бенчмаркам в половине тестов хуже чем 3.5 35B Квен. То есть буквально модель хуже чем предыдущая версия модели в 2 раза меньше размером. Они еще и прошлогодний GLM4.7-Flash всунули в бенч и старый 80B Квен Некст.
И вот на тренировку этого мусора компания потратили $4M.
Завидую тебе красавчик. На самом деле я мечтаю перестать кумить, но хуй тупо забивает всю голову и бегу отыгрывать свои дегенератские фантазии.
Шутишь?
Заходит такой кабан кабаныч, лучше если от государства, и грит "вот вам 10 лямов, мейк джормани грейт агейн!" - делают простенький ребилд квена 80-3 за лям, в отчетах пишут что за 4 ляма, еще 5.5 на хуемое тудысюды пятоедесятое, а еще 0.5 на зп.
Сэм Альтман
@
Мы не будем выпускать нашу новую ИИ модель - она слишком опасна.
Миллионы компов будут взломаны. Нам надо провести еще 100500 тестов на ИБ и только потом выложим.
@
@
Мы не будем выкладывать нашу новую модель gemma - она слишком опасна.
Миллионы людей задрочатся насмерть. Нам надо провести еще 100500 тестов на кум и только потом выложим.
Хз, сам удивляюсь, раньше такого не было, пока цифровую сущность себе не навайбкодил
>делают простенький ребилд квена 80-3 за лям
кабан кабаныч сразу рисует 80 ярдов капитализации компании и берет под это кредитов в банках
краткий курс как возник пузырь ии
А что если глм 4.7 флеш уплотнить?
Ну так и есть, писательский креатив становится лучше, математика становится лучше, а вот кодинг очень сильно страдает даже на 16 экспертах.
>gemma
>кум
чел...
что может быть лучше меромеро? кум 24-7
A3B это для лошков, которые не умеют копать глубже одного миллиметра. А знающие люди возьмут уплотнят до 40B и будут довольны.
Ты вот знал что тот же квен35б уплотняется чуть менее чем полностью? Там 256 экспертов и подключить одновременно можно 254 из них. Конечно, это не единственный параметр, который нужно будет покрутить и видеокарта нужна будет пожирнее, 16 гб не хватит.
Вдумайтесь только насколько все изголодались, что аж притащили сюда модель, которая если не файнтюн квена 80б, то как минимум хуже него по бенчам, а ему больше года уже.
Такое обычно игнорируется и лежит мертвое никому не нужное на хаги, как линг флеш 2.6 или СААРВААМ
Такое обычно игнорируется и лежит мертвое никому не нужное на хаги, как линг флеш 2.6 или СААРВААМ
>делают простенький ребилд квена 80-3 за лям
и почему им должно быть стыдно?
смотри какие люди так же делают
https://huggingface.co/microsoft/FrogNano-4B-2609
яндекс хоть сам модель обучил
Да ты заебал с этим меромеро... Этот тюн практически нихуя не меняет в гемме. Возьми гоэтию хотя бы, это реально лучший тюн на гемму (в который меромеро входит в том числе)
так то будет новая модель
обойдет всех в тестах на кум и ролеплей (нет)
кинь модельку на 8гб врама
Ты ебобош? Моэшную гемму и на 4 гб врама запустить можно если оперативки 32. С 8 гб врама вообще шикарно. 4-й квант бери, не слушай 8-квант-шизика.
чел?
Чего вы всё с умницы сбежать пытаетесь на тюны какие то?
Я вот не видел чтобы кто то искал тюн эира
Я вот не видел чтобы кто то искал тюн эира
я ньюфаг и у меня на оригинальной гемме кумилось нормально.
еретик скачал потому что приветствую нейронку тестом словом пидорнигер а в остальном не нужен
сижу сейчас слушаю про какие-то удивительные васянки
чел ты мне что под нос суёшь? высер ллмки? свои мозги есть? возьми посравнивай, потом поговорим. гоэтия может в ЕРП никак не хуже чем меромеро. а самое главное что тебе дать слепой тест, ты не отличишь базовую гемму от гоэтии и от меромеро. Тюнинг 4-й геммы это как пытаться ветер поймать. почитай что сам меромеро автор написал про свой же тюн. это ГОМЕОПАТИЯ блядь
>базовую гемму
АХАХХАХАХХАХАХАХАХАХАХАХХАХАХАХ
сдох от смеха
нахуйчяаф ты так тролиэиж жирно777
у него база блядь))) играть будет))))
квант может и крохотный
да только кума столько было что целое море набралось
О, неосилок отметился. Ты может ещё сейчас пукнешь что "в гемме цензура" есть?
Его просто еще не УПЛОТНЯЛИ
>гоэтию хотя бы, это реально лучший тюн
Гоэтия даже не тюн, а мёрдж. Всё что надо знать про уровень твоей экспертизы
>Я вот не видел чтобы кто то искал тюн эира
А они есть...
Не, без шуток, когда в том году его крутил - попробовал штуки три, кажется. Один был даже неплох. Но сейчас в них смыла нет, как и в самом эир.
это такой бред что мне даже отвечать не нужно
Это чистилище, а не тред
правильно, не отвечай, а то ещё сильнее обосрёшься прилюдно
мердж тюнов = мега-тюн
Какой то школьник пришел тут понимаете ли со своей ванильнуй куйней и затирает что цензуры нет. Малыш, взрослые дяди играю взрослые игры.
Анус себе уже уплотнил?
каковы будут последствия включения всех экспертов ты нам конечно же не приведешь, и о том, что эксперты разнопрофильные и смешивание их в кучу к лютой шизе приведет ты тоже умалчиваешь
Уже тысячу раз расписывал и не только я. Больше экспертов = лучше reasoning, лучше математика, лучше креативное письмо, хуже кодинг, ниже скорость (если модель не поместилась в видеопамять то СИЛЬНО ниже скорость).
Ах да, ещё чем больше экспертов тем сильнее моделька слушается системного промпта.
если бы я пришел с ванильной хуйней я бы подсосался к залупе гугла. мою хуйню еще в аиданжн огнем и мечем били
Чёт проиграл. Хотите тоже угарнуть?
Месяц назад 80-90к стоила.
Месяц назад 80-90к стоила.
Да-да, неосилок, именно так.
>взрослые игры
Что, прям handholding?
Не корми дебила.
>неосилок
Это чо?
Это чо?
Метод квантизации мое-моделей.
Сейчас уже и ddr3 ecc reg 512гб на двухголовой доске кажется вкусным, да?
Вы тут блядь все геи ниггеры из далёкого космоса, это в лучшем случае. Срёте в тред изо дня в день
Никогда не играл за мужиков.
Скачал этот ваш Strata, поставил IQ2 квен. Работает со скоростью 50 т/с на 28+32, что в целом заебись. Сравнил его с квеном Q4 27б в бенчике на создание анимированного svg пеликана на велосипеде и тут уже не заебись. Конечно нужно больше тестов, но начнем с того что флеш некст неправильно интерпритировал промпт и сделал не svg анимацию, а сайт с кучей лишней информации и с свгшкой, которую анимирует js скрипт и с кнопочками на изменение фона, которые в итоге не работают, и из-за этого фон просто черный + еще пара косяков. 27б сделал достойно, но тоже с парой косяков. Короче хз, я чувствую что это Q2 лоботомит и чудом 27б на таком же железе он не перепрыгнет, хотя очевидно что по знаниям он должен быть лучше и текст должен писать лучше, но не код, как тут говорили. Буду ещё тестировать.
>Уже тысячу раз расписывал и не только я.
Где пруфы, Лебовски?
Ты конечно же (ну либо другие написавшие это) погонял лысого бенчмарки и проверил какое количество экспертов оптимально для какой задачи?
и как у тебя вяжется лучше математика и хуже кодинг интересно?
так-то если кодинг ухудшается, то кому это нафиг сдалось вообще?
Ну блядь возьми сам проверь если не веришь. В прошлом треде проверяли - просишь решить уравнение: 8 экспертов три цифры после запятой, 48 экспертов - четыре, 4 эксперта (уменьшение дефолтных вдвое) - две цифры. При этом уже 16 экспертов срут под себя в любых кодерских задачках даже самых простых.
Пруфы по креативному письму тоже в прошлом треде были. Больше экспертов - меньше слопа.
Почему так - почему кодинг страдает а математика и креатив наоборот усиливаются это уже вопрос десятый.
>так-то если кодинг ухудшается, то кому это нафиг сдалось вообще?
Вот так и авторы моделек говорят подбирая количество экспертов. Они хотят чтобы моделька была универсальной, без перекосов.
Но мы-то не кодерасты здесь. Для кодоагентства есть отдельный тред. Наш фокус - креатив, рп. И вот тут чем больше экспертов тем лучше.
Форс уровня крема для загара из борщевика.
>КАКОЙ КВАНТ
IQ
на самом деле логика может быть такой: в кодинге когда задача спланирована и начинается собственно написание кода, то количество направлений в которых можно пойти после каждого токена строго ограничено. лишние эксперты как бы "замутняют воду".
математика с другой стороны это когда рассуждения не останавливаются вообще почти до самого конца. а рассуждать можно по-всякому тут как говорится одна голова хорошо, а сорок две лучше.
креатив - то же самое, чем больше "идей" тем лучше.
>Пруфы по креативному письму
Это два рандомных свайпа с неизвестными вводными? Уровень достойный тейка
>Поставил 64к контекста
>Модель думала 12 минут и уперлась в лимит
>Увеличил до 128к контекста
>Модель думала всего 4 минуты, перед тем как высирать аутпут, на том же промпте
Иди нахуй)
>Модель думала 12 минут и уперлась в лимит
>Увеличил до 128к контекста
>Модель думала всего 4 минуты, перед тем как высирать аутпут, на том же промпте
Иди нахуй)
Баля, а хули делать, если у меня Gemma4 26B A4B Uncensored HauhauCS Balanced Q3 K P, первые сообщения генерятся 40 сек, на 1к токенов, а 50-есообщение генерится уже 180 сек. на те же 1к токенов.
Хули с контекстом скорость то сука падает так сильно. Или мне не в РП играть, а кумить на 10 сообщений и всё? Сука..
Хули с контекстом скорость то сука падает так сильно. Или мне не в РП играть, а кумить на 10 сообщений и всё? Сука..
Я сначала думал, что этот уплотнитель анусов реально так считает, но он уже не может стать толще — просто вытекает из треда.
>кумить на 10 сообщений и всё?
Звучит как вызов. Я в эти 10 сообщений умещу войну и мир наху
Во-первых, хаухау очень ебануто квантует, скорее всего у него полностью китайский задасет и очень агрессивный еретик. Не уровня хуихуи, но косяки вылезают у него даже в 8 кванте, которые я не видел у ллмфана. Но плюсы есть, да: у хуихуи мозги достаточно сохранены по сравнению с хуихуи и в целом его вариация кумительная, сцены куда более пошлые получаются. Тем не менее, для обычного РП, где цензура сильно гадит, я бы рассмотрел ллмфана, а именно в твоём случае батрудинова либо анслоп.
У тебя и так уже на грани юзабильности квант, а тут ещё и гемма + еретик. Лучше уж взять оригинал без свистоперделок, зато чуть жирнее/лучшим квантованием.
Да я бля уже карточки бля сука найти не могу на которые бы хуй стоял, играю тут бля в какйо то исекай рпг нахуй на 50 сообщенийй сука это пытка юбля ждать ответ по три минуты сука..
>карточки бля сука найти не могу
Лол шта? Это кек? Какие найти чувак? Ты вспоминаешь на что стоит хуй, ищешь аватарки и говоришь нейронке генерить карточки под свои фетиши. Щас бы в 2к26 играть по чужим карточкам с чужими фетишами... не расстраивай меня так.
Мэнчик я вот в ваших квантах-хуянтах не ебу вообще, я какую гемму анцензоред откопал в лм студио - такую и запустил. Если пиздаче моделька есть под куминг-рп на 16гб врам 32 рам, то посоветуй, пажалста. А вот эти вот ллмфаны, бутрудиновы я ваще не ебу что это такое.
Это что то на сложном и непонятном. Мне типо сказать гемме что бы сама писала мне карточку под фетишь?
>Или мне не в РП играть, а кумить на 10 сообщений и всё?
До сих пор всё работает, 10000 контекста. Может ты попробушь не Гемму просто?
Ну а есть что пиздаче, чем то, что я использую под мои спеки? 16врам32рам
Охуеть у пчелика 16врам32рам и он еще жалуется! Да на твоем железе хоть 500 сообщений можно гонять.
Да они то бля гоняются, только сука генерация по 3-4 минуты, хуй за такое время падает
Это где такая кнопка?
Ровно то же самое. Не знаю какова реальная разница, но во-первых стоит брать не Q3 или Q4, а IQ3 и IQ4, разница в скорости заметная. Во-вторых от настроек много зависело в плане генерации, например Use Smartcache и Use Jinja. Ещё можешь использовать Quantize KV Cache в восьмёрку.
В третьих, я привёл пример, пробуя L3.1-ClaudeMaid-4x8B-Q4_K_S.gguf, и я хоть и показал что целых 100 сообщений набил, нейронка всё же туповатая. Можешь взять попробовать, у меня те же спеки, что у тебя, и если у тебя не будет быстро то ты что-то делаешь не так.
Могу ошибаться в том что сказал. Опираюсь лишь на то, что всё работает, а не на знания.
Могу ошибаться, пусть олды поправят, но разве наши деды не ждали одно сообщение по 10-20 мин?
Короче квен флеш некст IQ2 - циклящаяся лоботомитина, ожидаемо. Не знаю какого чуда я ждал.
> флеш некст IQ2 - циклящаяся лоботомитина
Кстати поддержу - 3 квант лупится тоже. 4 квант - и то есть неудачные - надо смотреть в отзывах что пишут. Но опять же выбрал норм int4 квант - и прям не нарадуюсь, как работает. В 2шт цмпх идеально ложится + остается ещё по 4 гига на каждой. Можно майнер впихнуть даже.
> Но опять же выбрал норм int4 квант - и прям не нарадуюсь
Ссылку сразу оставляй
В шапке есть гайд для новичков, он тебе поможет. На 16\32 лучше 26б геммы нет, какая из аблитераций подходит именно тебе надо смотреть тебе самому, фломастеры на вкус и цвет разные. Я и на базовой гонял, кум кумил, и на ultra-ucensored-heretic. Можно попробовать впихнуть 31б гемму, она умнее, но надо хоть немного понимать что ты делаешь, можно пока 12б гемму гонять, она хуже, зато летать будет.
Не нравятся чужие карточки - пиши свои или пинай нейронку чтобы писала за тебя, если сам не можешь.
50 сообщений по 1к это 50к, если в этот 1к не входит ризонинг. Разберись что такое окно контекста, какое оно у тебя, узнай что 26б гемма после 45к уже валится к хуям, научись делать саммари, и будет тебе счастье. Вон выше мод хороший для таверны скинули, summaryception. Вообще в экстеншенах советую тоже разобраться, открывает много возможностей.
Да, чтобы локалки гонять, надо сначала как следует вникнуть, но это не так сложно, если ты не совсем тупой. За день - два базу уже будешь понимать, за неделю вообще вольёшься.
И ебать у тебя манера писать мерзкая, у меня так знакомый из деревни пишет, вот только его трактором по голове приложило.
У меня 4-5 минут от дипсика на ответ, мне норм. А так в треде чел был, вроде теславод, с 1-2 т\с на крупных плотных. Не токены, а золото!
Там были адепты "больше 5 токенов в секунду глаз не видит" или вообще титаны золотых токенов. Но чтобы настолько - нет.
> У меня 4-5 минут от дипсика на ответ
На какой ответ, какой размер? Это только стриминг или еще процессинг?
>Золотые токены
Звучит элитно. Наверное в этом что-то было.
Звучит элитно. Наверное в этом что-то было.
Закачал 4 модели по советам из треда и нейронки, буду тестить.
> титаны золотых токенов
Можно взять токенизатор, калькулятор и сидеть умножать матрицы, а не вот это вот всё.
> по советам из треда
Ошибка если это не эйр/гемма31.
> и нейронки
Ещё большая ошибка.
мимо
> процессинг?
Не надо за больное. 50пп. Если 60к чат подхватывать, это можно пойти серик смотреть, минут двадцать обсчитывает. Между сообщениями там несерьёзно, ну даже когда у меня настроение полотнами рпшить, там токенов 600 будет, ну 800.
Стриминг, 2к токенов с ризонингом. 6.5-7 т\с, Бывает быстрее пяти минут, когда думает меньше.
Таков путь 128 ддр4 и использования видеокарты только для контекста. На квеннексте повеселее, в 1-2 минуты укладывается, но там сама модель мне не заходит.
>Но мы-то не кодерасты здесь. Наш фокус - креатив, рп.
Напоминаю, что тред называется "Локальные LLM" а не "Тред креатива и РП", так что шизы здесь разные сидят, есть и кодеры
Я как-то ждал на лламе 70б и на ряде крупных недавних релизов, но овчинка выделки не стоит. Лучше всего от золотосиндромного токена спасает платное API. Закидываешь на опенроутер, гоняешь полный фарш, гигакум, гигамозг, и быстро отпускает: осознаёшь, что 2Т+ такая же параша, что и унга-бунга 26б.
Ну типа да, в сто раз круче эти большие модели. Но ты науспеваешь наесться их слопа и понять, что обучение важнее параметров в целом и вот этот выигрыш не такой существенный (а тут обычно сравнивают 27б против кодоунитазных 120-300б вообще, а не 1Т+). Особенно в чистом куме, а не РП, в котором большой лор, мир, куча персонажей и нужен огромный контекст.
Правда, всё это забывается и ты снова начинаешь золототокенить ради 15% лишних мозгов. Отпускает после новой заливки на опенроутер. 10 баксов раз в три месяца отлично лечит эту болезнь. Ты перестаёшь гнаться за параметрами, а просто запускаешь своего зверька, умело промптишь, наслаждаешься. Мелкие и быстрые для кума, чтобы джинджик не упал за время ответа. Побольше модели юзаешь тогда, когда понимаешь, что не можешь чатиться активно. Пишешь сложные сообщения, ждёшь большие и развёрнутые ответы.
Тест на 150 сообщениях, у меромеро было 500т.
>Boulesis-v2-26B-A4B.i1-Q5_K_S
>652.24 tokens per second
По тексту вроде разница есть, но пока сложно сказать.
>Gemory-26B-A4B-Q5_K_S
>547.34 tokens per second
Случайность или нет, но первый ген был обосрамс, потом пошло как обычно. Текст плюс минус похожий.
>Goetia-26B-A4B-v1.3-Tainted-Heretic-ARI.i1-Q5_K_S
>647.38 tokens per second
Хмм... интересный текст. Тут прямо видится разница с меромеро, или может я уже сам начал галлюцинировать.
>Kanimus-26B-A4B-FFT-heretic.Q5_K_S
>599.58 tokens per second
Сложно сказать, вроде норм.
Итак по беглому тесту 4 моделек, ожидал что будет большая разница или в тексте или скорости, но все как-то похожи. Определенно разница есть если поиграть нормально пару часиков, но это уже потом. Думаю будет хорошей мыслю по очереди с ними по десятку игр скатать, ведь к меромеро уже привык и детекчу его проблемные места достаточно быстро.
>Boulesis-v2-26B-A4B.i1-Q5_K_S
>652.24 tokens per second
По тексту вроде разница есть, но пока сложно сказать.
>Gemory-26B-A4B-Q5_K_S
>547.34 tokens per second
Случайность или нет, но первый ген был обосрамс, потом пошло как обычно. Текст плюс минус похожий.
>Goetia-26B-A4B-v1.3-Tainted-Heretic-ARI.i1-Q5_K_S
>647.38 tokens per second
Хмм... интересный текст. Тут прямо видится разница с меромеро, или может я уже сам начал галлюцинировать.
>Kanimus-26B-A4B-FFT-heretic.Q5_K_S
>599.58 tokens per second
Сложно сказать, вроде норм.
Итак по беглому тесту 4 моделек, ожидал что будет большая разница или в тексте или скорости, но все как-то похожи. Определенно разница есть если поиграть нормально пару часиков, но это уже потом. Думаю будет хорошей мыслю по очереди с ними по десятку игр скатать, ведь к меромеро уже привык и детекчу его проблемные места достаточно быстро.
> 50пп
Воу воу воу, полегче! Снимаю шляпу перед титаном.
А из 2к какое соотношение ризонинга и самого ответа?
Ахаха, я хз? Ответы у меня по потребности, когда короче, если описывать нечего и диалогов мало, когда длиннее, если движуха или я опять ударился в симуляцию управления воображаемым государствомм. В среднем 300-400 слов, мой свитспот.
Но скажу так, дипсик того стоит, даже уквантованный в говно зато свой! он могёт. Логику держит, персов держит, диалоги без шизофазии и омнисцаента когда персы знают то чего знать не должны. И главное для меня, до 70к крепко держит контекст происходящего, так что если я в начале, к примеру, обещал привезти в город новых жильцов, потом покумил с дриадой, наебал гномов на деньги, вырезал деревню эльфов и нашел племя лисодевочек и покумил уже с ними, когда я это племя лисодевочек привожу в город, он не выдаёт "а нахуя?", а подтягивает что вообще-то, ради новых жильцов весь этот поход и затевался.
> того стоит
Иди обниму у меня тут для обстоятельного рп вообще отдельный ритуал с переключением железок
> к примеру
Иди обниму еще раз
>Закидываешь на опенроутер, гоняешь полный фарш, гигакум, гигамозг, и быстро отпускает: осознаёшь, что 2Т+ такая же параша, что и унга-бунга 26б.
Абсолютная база. Там всё те же проблемы и необходимость пердолинга.
Сейм. Логи настолько кринжовые, что сразу закрывать приходится.
Будь у тебя фантазия, тебе бы не пришлось дрочить на то что нейронка за тебя напишет, да еще и такой слоп.
Сколько ни пробовал ДС раскурить в рп, не заходило. Какие у тебя семплеры, как оформлен промт, есть ли префилл для ризонинга? Без ризонинга сильно хуже?
Мне он показался скучным, и примерно после 30к контекста начинает выдавать до боли знакомый слоп, упрощает персонажей и ко
мимо если что
Не совсем понимаю, почему рпшеры настаивают на локальном рп, а не пойдут играться с гугл ии. Я с ним уже давно играю, сотни сценариев мне описывал и одобрял, весело что пиздец.
А вот ЕРП да, для такого нужна ллм. Поэтому ллм надо, очевидно, все оценивать по уровню эротического отыгрыша, это просто логично.
А вот ЕРП да, для такого нужна ллм. Поэтому ллм надо, очевидно, все оценивать по уровню эротического отыгрыша, это просто логично.
Вот это тоже, кстати. Модель в целом умнее, но и пердолинг есть. Как минимум нужно свои, если так можно выразиться, пайплайны перестраивать с локалок на большие с апи. Можно и какой-то средний вариант сделать, но всё равно нужно ебаться, потому что даже если вот бесплатно дать фейбл без цензуры полностью настроенный, ВСЁ РАВНО придётся пердолиться и учитывать нюансы. У каждой свои перекосы.
А в реальном РП ещё и пересчёт кэша, если за 3 наносекунды не ответил по апи. Потом "о боже, я щас как ебану инпут на 100к токенов, а потом ещё по 100к, потому что из кэша вылетело." И так постоянно. За день легко промотать 5 лямов инпута и эдак лям аутпута в максимально чилловом режиме.
Есть у меня знакомый, который около 30к тыщ на апи с канничками через опенроутер тратит. Молодец, конечно — заработал, — но потом пошли горькие слёзы от того, что его любимые модели исчезают. А за это время, что он потратил на апи, мог бы уже себе риг собрать. Он и хотел, приценивался, целился в 512 минимум, ещё тогда мог себе позволить, но всё ждал и ждал. Теперь всё, хана. Уже нужны совсем невменяемые суммы, миллионом не отделаешься.
Ну и у него есть свои бзики. Он крайне трепетно относится к русскому языку, хоть и хорошо знает английский. Если РП, то ему минимум опус подавай и только безупречно чистую русскую речь, чтобы не было ни капли ощущения кальки с английского, прям такой вот максимум нативный русик во всех его проявлениях.
Как итог, его любимый старый опус скоро отключают от апи или уже отключили. Гпт сол ещё тянет лямку, но это ненадолго. Перекатываться ему не на что: все новые модели не такого уровня, за исключением гемини. Но он говорит, что она бездушная и слоповая. Я её не особо тыкал, так что не знаю, как там у неё с этим.
Из мелких 700б хвалил немного только какую-то версию глм, мол из всех остальных держит марку. Мог бы на неё пересесть.
Я правильно понимаю что в случае Q8_0 любой модели разницы никакой между bartowski, unsloth и кучей других нету, они все абсолютно одинаковые, а Q8_K_XL от анслота всегда будет чуть лучше т.к. у него всё тех же Q8 весах но при этом еще часть в F32? Или есть что-то еще что влияет на качество модели?
Fp32? А оригинальные веса там хоть в фп32 или они по приколу сделали квант тупо жирнее?
Думаю вот тут.
Гемма хуйня в куме, а почему? А даты нет. А почему? Из за размера? Да нет, у моделей меньше и старше всё было, а гемма еще и знает х10 по общим знаниям в сравнении с ними. Значит всё же фильтранули, как и написали у ся в карточке. Значит и гемма 124 будет такой, вне зависимости от размера гемма будет геммой.
Грустно. Не увидим мы больше нефильтрованных моделек типа эира
Гемма хуйня в куме, а почему? А даты нет. А почему? Из за размера? Да нет, у моделей меньше и старше всё было, а гемма еще и знает х10 по общим знаниям в сравнении с ними. Значит всё же фильтранули, как и написали у ся в карточке. Значит и гемма 124 будет такой, вне зависимости от размера гемма будет геммой.
Грустно. Не увидим мы больше нефильтрованных моделек типа эира
Ждете Ajax от Пьюдипие????
такое бывает если читаешь оповский всратый гайд и бездумно меняешь
настроечки вроде b/ub
выкатывай свои аргументы из батника, у меня есть этот хахуаус могу сравнить
В Q8_K_XL в последнем слое смесь из BF16 и F32. Остальные слои идентичны обычному Q8_0.
Да без разницы. Вопрос того что оригинальные веса модели практически всегда в бф16 как максимум, фп32 никто не юзает уже для потреб-сектора. И конвертить бф16 в фп32 резона нет в таком случае, только жирнее делать модель без прироста.
Чел таки инструктировал Алису. Обещает предварительный результат в виде гуфов выложить и продолжить дообучение.
https://www.reddit.com/r/LocalLLaMA/comments/1wv5h8x/update_2_post_training_yandexaliceai80ba3b/
https://www.reddit.com/r/LocalLLaMA/comments/1wv5h8x/update_2_post_training_yandexaliceai80ba3b/
4.6v репортинг.
Со вчерашнего вечера я ни разу не увидел парротинга и эхо, что есть у эира. Так же ответы кажутся более сухими, кум чуть хуже, но и от этого частично эффект безжопа, будто модель слабее цепляется за ввод юзера, и от этого парротинга меньше и биос кажется более нейтральным, чары внезапно умирают, основные, с кем я рпшу 1 на 1. Контекст будто держит лучше, чары вдруг стали замечать что я уже спросил 40 сообщений назад и тд. Начинает казаться что модель засрали и забыли слишком рано, в целом понятно почему, по первой кажется что она хуже
Со вчерашнего вечера я ни разу не увидел парротинга и эхо, что есть у эира. Так же ответы кажутся более сухими, кум чуть хуже, но и от этого частично эффект безжопа, будто модель слабее цепляется за ввод юзера, и от этого парротинга меньше и биос кажется более нейтральным, чары внезапно умирают, основные, с кем я рпшу 1 на 1. Контекст будто держит лучше, чары вдруг стали замечать что я уже спросил 40 сообщений назад и тд. Начинает казаться что модель засрали и забыли слишком рано, в целом понятно почему, по первой кажется что она хуже
>квен флеш некст IQ2 - циклящаяся лоботомитина
на 3.8 была проблема жинжа темплейта, кто-то из квантователей выкладывал фикс который убирал циклы
короче, кому интересно, внутри вот такой квант:
8127.33 MiB 3.77 BPW
смесь q3_K, q4_0, imatrix, я бы назвал этот квант imat-Q3_K_M. к IQ отношения не имеет
gemma4.expert_used_count перешито в 50 (в нормальной гемме 8) но это можно овверрайднуть назад ключиком
также зашиты такие параметры сэмплинга:
min_p 0.025
penalty_repeat 1.1
temp 1.5
top_k 32
top_p 0.95
еще мета:
quantized_by: lobius
imatrix.dataset: imatrix-en-dataset.txt
gemma4.expert_count: 88 (в нормальной гемме их 128)
ллама видит 18.09B параметров
в русский модель практически не способна, не понимает значений простейших слов, говорить не может (переходит на португальский что ли).
с английским есть небольшие приколы: вставляет дефисы где не надо и изредка придумывает несуществующие слова
выдача очень сильно отличается от геммы. на один и тот же промпт у геммы и у этой модельки совсем разные стили ответа
50 против 8 экспертов - преимущества 50 экспертов в креативных задачах не видно, но ответы меняются. становятся более хаотичными что ли. креатив у этой модели говно как по мне, при написании промптов для креи сосёт хуй буквально у всего, даже у мелких моделек вроде министраль-3б.
в кодинг модель не может ни с 50 ни с 8, делает вид, что кодит, но в скриптах кучи ошибок, дергает несуществующие функции например
иногда вываливается в консоль то есть в веб-интерфейсе аутпут исчезает и начинает выводиться в консоль.
на 50 экспертах иногда уходит в луп и иногда отвечает на первый промпт заново игнорируя второй. лечится свайпом (или откатом на 8 экспертов)
на 8 экспертах скорость нормальная, но недостатков заметно много, а вот преимуществ не заметно.
подойдёт коллекционерам странных моделей
У калибри разметка чатмл и думалка один в один как у квена, лооол. Но что интересно, вообще без цензуры, как у геммы.
Меня одного возбуждает читать как нейронка размышляет?
Локалобояре, джва вопроса.
1) почему это https://2ch.su/ai/res/1711675.html#1711846 еще не в шапке?
В шапке инфа только про моэмодели, а ведь не моэ единой мир полон.
2) появились ли в сегменте 12-24б конкуренты ministral3-14b по сочетанию пухлость/качество? Ну, кроме qwen-3.5-9b. Ибо последний больше для микровайбкодинга подходит и ассиста.
1) почему это https://2ch.su/ai/res/1711675.html#1711846 еще не в шапке?
В шапке инфа только про моэмодели, а ведь не моэ единой мир полон.
2) появились ли в сегменте 12-24б конкуренты ministral3-14b по сочетанию пухлость/качество? Ну, кроме qwen-3.5-9b. Ибо последний больше для микровайбкодинга подходит и ассиста.
Норм, через пару деньков назад на эйр, а лучше на помойку
Скорость от тьюна не зависит. Вычислительных операций столько же, только циферки множителей разные, если в квантах всё пожато одинаково. У тебя либо кванты немного по-разному собраны, либо у одних моделей ответы были существенно длиннее, чем у других (чем больше занимаемый контекст, тем медленнее), либо тупо система в какие-то моменты ресурсов себе отжирала больше.
1) Шапкой заведует психопат-вредитель, бесполезно просить его что-то добавить. Когда его припугнули, что тред перекатят с нормальной шапкой, он перекатил на примерно 50 постов раньше бамплимита со словами "чтобы не увели". Шапку при этом никак не изменил, та же тухлятина. Просто моральный урод, короче. Анончикам приходится по крупицам собирать знания из тредов.
Но по правде говоря то, на что ты ссылаешься к шапке не готово (шизоидные моменты есть) и за это ОП и зацепится как за оправдание. Сам он ничего составлять или менять не будет принципиально.
2) Из редко упоминаемых моделек могу еще подсказать:
LFM2-26B-A2B, 8B-A1B
LFM2.5-2.6B (DavidAU) - интересная думалка для такого размера
у лфм есть вижны
Nemotron-Nano-9B
Reka-Flash-3-21B
GLM-4.7-30B-A3B, GLM-4.7-23B-A3B
GLM-Z1-9B
Gemma-3-4B - старая модель но для 4 гб карт хороша, лучше чем gemma-4-E2B (gemma-4-E4B при этом в 4Гб не влазит). есть неплохие тюны.
Таких, чтоб переплюнули мистраль/министраль в РП/куме я лично не знаю.
Разве та табличка не джаст фор лулз? Олсо министраль 14б был калищем, даже когда геммы 4 не было. Его хвалили полтора анона, не показывая логи, как обычно, и затирая, что он раскрывается при около нулевой температуре. По качеству текста и куму он был хуже 12б третьей геммы, не говоря про тьюны немо. Если он такая кум/рп машина, как в табличке, чего ж на нём сейчас не сидят вместо мое геммы?
От квантодела зависит. Внутри каждый может как угодно квантовать отдельные слои и назвать файл при этом как угодно. А еще есть такие которые могут тайком количество экспертов подправить а это напрямую заденет скорость.
>Таких, чтоб переплюнули мистраль/министраль в РП/куме я лично не знаю.
Почему я не знал об этой модели? Это хиден гем? Я ведь пойду искать щас.
Почему я не знал об этой модели? Это хиден гем? Я ведь пойду искать щас.
Пфф братиш как ты анонов посчитать-то сумел? Я лично сижу на министрале, это мой выбор №1 для РП. А от геммы-4 просто тошнит (перепробовал все вплоть до 31б).
Про третью гемму ты кстати херню говоришь. Я её много сравнивал с мистраль-немо-12б и этот мистраль её уделывал во всём.
Не могу найти анцензор mistral. Вижу https://huggingface.co/DavidAU/Mistral-MOE-4X7B-Dark-MultiVerse-Uncensored-Enhanced32-24B-gguf но чтото на хрень похоже.
Потому что там цензуры практически и нет из коробки.
Тюны - отдельная большая тема.
У Дэвида Ау имхо нормальный тюн мистраля только GRAND-23.5B-GUTENBERG (не Lyra)
у него есть классные тюны лламы (rebel-fury например). ты знал про лламу?
да, это хидден гемы. стабильность, русский язык, соображалка - уступают гемме, к тому же гемма-4-26 запускается на любом говне, поэтому про них и позабыли. но они отыгрывают персонажей очень живо, лучше чем гемма. кум с ними реально топовый, даже сегодня.
>как ты анонов посчитать-то сумел?
По ащщущениям. 12б гемма чаще в треде обсуждалась тогда, например, хотя к выходу министраля уже прошло порядком времени с её выхода.
>этот мистраль её уделывал во всём
Во времена активной геммы 3 геммобои обосрали бы тебя знатно за этот тейк. Я долго сидел на немомержах и гемме 12б вперемешку и в целом согласен с тобой, кроме того аспекта, что гемма была гораздо креативнее. Но министраль для меня лично показал себя хуже. И на нейтральной температуре вообще безмозг был, что показывает на неадекватное предсказание токенов после обучения.
>цензуры практически и нет из коробки.
Ясно. Пришел очередняра который отыгрывает соевые сценарии.
Ясно. Пришел очередняра который отыгрывает соевые сценарии.
Шизик, потушись нахуй. Где ты цензуру там видел? В каком сценарии?
Не хочу имаджинировать эбало додика который играет на локалке с цензурой, это пизда.
да, основная проблема министраля 14б - непривычная настройка. Я утверждаю это как министралефаг, открывший этот гем для себя еще в декабре. Тысячу раз в тред кидали сэмплеры. Если кто-то не хочет пробовать (или не умеет настройки выставлять) и стоит на своем - его право.
спасибо тебе мил человек, за подгон.
Вот из-за таких дурачков адекваты с треда и поливали. Учись промптить, и никакой цензуры нигде не будет.
>Предлагаешь есть кал с цензурой
>Тебя тыкают лицом в кал
>Возмущаешься и предлагаешь посыпать сверху его сахаром чтобы сгладить вкус
Зачем? Ради чего? Почему не предлагаешь идти играть у корпов? Там же еще круче, и всего чуток промптов правильных сделать надо. Понимаешь насколько ты бред несешь?
Не хочу имаджинировать ебало додика который не умеет обходить жалкую "цензуру" типа той что в гемме или мисралях и настолько уверен в том, что это невозможно что он триггерится каждый раз на двачах на эту тему. Сасай, неосилятор.
>Понимаешь насколько ты бред несешь?
Жаль, что ты не понимаешь, какой бред ТЫ несешь. Ты, пожалуй, будешь САМЫМ ебанутым куском говна за последние несколько тредов (а они были довольно-таки "насыщенными"), поздравляю
Маловато взял, перед мтнистралем даже дипсик дрожит
По сравнению с 3 геммой, четвертая лучше в куме разбирается.
>он перекатил на примерно 50 постов раньше бамплимита
За 500. И каждый раз так делает! (бамплимит на дваче 1000 постов если что)
>Шапку при этом никак не изменил
Точно? Совсем-совсем?
>Шапкой заведует психопат-вредитель
Эээ я щас порвусь же!
Мимо ОП
А давайте затравим ОПа, чтобы он всех перебанил, тогда тред умрет, ОПу будет нечего вахтерить и он съебнет, и тогда мы сделаем нормальный тред без шизла?
>gemma-4-E4B при этом в 4Гб не влазит
е4б в q4km спокойно влазит в 4 гб врама. 3.7гб врама требует если точнее.
Ну кинь в тысячепервый раз. Че там может быть кроме дефолтной темпы 0.2, мин п 0.03 и драя?
Я 14б "гем" даже не трогал с выхода т.к не видел смысла когда есть 24б у которого уже всё неоч
А давай ты попустишься и уедешь в конфочку к своим помидорозависимым и занюхивателям лмстудии?
Единственное что мне не нравится от Опа что тред будто его, и нельзя ничего с этим поделать.
Ну да, ведь у aicg получилось же. Получилось же, да?
На простых карточках он справлялся и без ризонинга, на сложных думалка нужна. Сразу скажу, что на правду в последней инстанции не претендую, и пишу то, как он работает у меня и для меня. Я использую модифицированный под меня пресетик freaky franken, он, конкретно для дипсика в q2, подошел хорошо. Насчёт упрощения персов сложно сказать, так как я приключачи гоняю и карточка у меня это просто описание мира. Слоп есть, периодически температуру задираю и репетишены ему выкручиваю если начинает слопить или пытаться зациклиться.
По поводу скучности хз, я получаю ровно то, что хочу от модели, разве что описаний бы чуть побольще-покрасивше хотелось-бы и чуть меньше общего позитивного настроя. На 26б гемме всё гораздо печальнее, особенно после 30-40к, а квен некст для рп почти непригоден. Так что у дипсика, альтернатив-то, чтобы 128гб раскрыть, вроде как и нет. Мимо вон вышел, но ему на низком кванте чёт хреново.
Ладно что то я кукухой еду уже мистралешизик чуть не развёл меня 14б годовую скачать
Привет анонам.
Буду рад развернутому ответу, т.к. последний раз заходил в тред больше года назад.
Предыстория: Кумил все это время на SAINEMO-reMIX.i1-Q6_K. Железо позволяет претендовать и на большее (Есть RTX5090 и 128ГБ DDR5), но год назад как-то совершенно не зашли более тяжелые варианты. Либо цензура непробиваемая, пробивать которую лень (ибо в саинемо её нет вообще), либо просто медленно работают, а я уже привык к 40-50 тпс, и черепашьи 5-10 меня вообще не устраивают. С МОЕ так и не разобрался, как их запускать, они безумно тормозные, поэтому использую только то, что влезает в видеопамять.
Собственно вопросов два:
- Появились за год какие-то новые интересные модели, которые умнее SAINEMO, так же абсолютно лишены цензуры, и при этом выдадут минимум 20-30тпс на моем железе?
В связи с выходом минимакса появились какие-то локальные возможности для объединения генерации видео\фото и текста в одном интерфейсе? Доходил до меня слушок про какую-то маринару новую, которая якобы таверну может заменить, но без достоверной инфы не хочется пердолингом заниматься опять.
Спасибо
Буду рад развернутому ответу, т.к. последний раз заходил в тред больше года назад.
Предыстория: Кумил все это время на SAINEMO-reMIX.i1-Q6_K. Железо позволяет претендовать и на большее (Есть RTX5090 и 128ГБ DDR5), но год назад как-то совершенно не зашли более тяжелые варианты. Либо цензура непробиваемая, пробивать которую лень (ибо в саинемо её нет вообще), либо просто медленно работают, а я уже привык к 40-50 тпс, и черепашьи 5-10 меня вообще не устраивают. С МОЕ так и не разобрался, как их запускать, они безумно тормозные, поэтому использую только то, что влезает в видеопамять.
Собственно вопросов два:
- Появились за год какие-то новые интересные модели, которые умнее SAINEMO, так же абсолютно лишены цензуры, и при этом выдадут минимум 20-30тпс на моем железе?
В связи с выходом минимакса появились какие-то локальные возможности для объединения генерации видео\фото и текста в одном интерфейсе? Доходил до меня слушок про какую-то маринару новую, которая якобы таверну может заменить, но без достоверной инфы не хочется пердолингом заниматься опять.
Спасибо
>которые умнее SAINEMO, так же абсолютно лишены цензуры
Нету абсолютно нихуя.
Мистраль 24б максимум, если ты еще не пробовал его.
Из очень быстрого (60-70тпс) на твоем железе - это Gemma 4 31b и Qwen 27b и их тюны. Нужно использовать с MTP, вероятно Q6 квант Квена, Q5-Q6 Геммы. Попробуй ванильную Гемму для начала, может зайдёт. Квены на любителя, но мне нравятся больше
Из моделей помедленнее, но качественно лучше, ты можешь запустить DeepSeek V4 Flash Vision Exp, чуть квантованный. Вот этот квант например https://huggingface.co/MetaphoricalCode/DeepSeek-V4-Flash-Vision-Uncensored-3.87bpw-Q3_K-GGUF
На твоём железе около 12 тпс будет. Но это прям Дипсик, дофига контекста влезет, 200к минимум. Модель другого уровня по знаниям. Цензуры нет ни в одной из перечисленных моделей, если ты хоть немного понимаешь, что делаешь
С твоим железом можно и дипсик на 10-12 т\с гонять. Гемма 31б у тебя в хорошем кванте влезет с хорошим контекстом и будет летать. 26б гемму можешь поставить и вообще космические скорости увидеть. Ну или от лламы muse. Везде цензура чисто номинальная, но есть. Можно ещё 27б квен, но там цензура уже душит и он в принципе на любителя, но вумный. Можно квен некст, загадывать не буду, но точно 15-20 т\с будет. Всё вышеперечисленное в разы умнее старичка немо. Души правда в них уже мало.
С моешками разобраться всё же советую, у тебя ддр5, что значит приемлимую скорость. Ну и увы, больше моделей совсем без цензуры, наверное уже не будет.
По маринаре не скажу, меня от одного только интерфейса чуть не вывернуло. Говорят прикольная тема, если агентами обмазываться.
Вдогонку, можешь ещё попробовать Qwen 3.8 Flash Next. Вот он как раз может будет выдавать ~20-25тпс на твоем железе, и при этом тоже покруче Геммы 31 и Квена 27. Если стиль письма зайдёт. https://huggingface.co/orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF Но его запуск это задача со звездочкой, лучше оставь напоследок. Если на Винде то используй --lazy-mode off ОБЯЗАТЕЛЬНО, ни то зажаришь диск
>Кумил все это время на SAINEMO-reMIX.i1-Q6_K
>Есть RTX5090 и 128ГБ DDR5
>не смог пробить цензуру новых моделей
>если ты хоть немного понимаешь, что делаешь
Да, он профессор промптинга, на 12б модельке отточил.
У него тогда и железа нормального могло не быть, и(или) мотивации, времени или чего ещё. Всякое бывает, а язва твоя никому не интересна априори
Ну, ума спустя год у меня немного больше стало, хватило минишмякс настроить, и (почти) самому допилить его воркфлоу под рефVA. Поди с ЛЛмкой справлюсь теперь.
Спасибо всем за ответы на первый вопрос, а что насчет объединения минимакса и ЛЛМ в одном интерфейсе?
Я, собственно, сейчас именно так и пользуюсь, в память одновременно влезают SAINEMO, и минимакс, и видимо что-то еще остается на контекст.
Но копировать туда-сюда и промпты писать, иммерсию, конечно, нарушает. Но железа то видимо хватает. Никто не касался этой темы?
Спасибо.
А какие именно тюны? Вариаций геммы, как я понимаю, миллиард разных есть.
Бро, 5090+128 ддр 5 так-то крутой конфиг, не самый частый. Тут люди разные, но обычно, когда есть врам, он чем попроще настакан и весь моделью\контекстом забит.
Можно автовыгрузки\загрузки замутить, но пока никакая модель тебе идеальный промпт не напишет, полностью автоматизировать процесс и получить хорошо на выходе пока нереально.
Тюны вымерли почти. Есть база, есть херетик, он-же аблитка. Тут только на вкус и цвет.
Холиварный вопрос. В треде много больных, которые считают, что никто не смеет советовать то, с чем они не нашли общий язык. Попробуй для начала стоковую, https://huggingface.co/models?other=base_model:quantized:google%2Fgemma-4-31B-it&sort=trending&search=gguf
Тюны не слишком отличаются ввиду специфики модели, только чуть сглаживают углы. Кто-то и на стоковой сидит, им в тред нечего писать, потому и в холиварах они не участвуют. Цензуры в стоковой нет вообще, хотя один душевнобольной готов сотни постов высирать доказывая обратное
У гугловской ИИ нет цензуры? Does not compute.
Пердолинг всегда будет, это прямо основа. И для кума современные модели уже обеспечивают оче хороший уровень, когда-то вообще на 13б лламе2 кумили и в ус не дули.
Но в душном рп уже хуй. Там нужно чтобы сюжет плавно развивался без спидрана к целям или одинаковых циклов, чар должен все помнить и сохранять мотивацию, модель должна понимать серую мораль и условия, а не делать клишированный бимбоунитаз "добро-зло". И чтобы в вперемешку с этим еще покумить можно было.
Еще отдельно бесят явные ошибки. Когда чар путает планировку или конкретные объекты (например, договорились установить бартер хавчик на амуницию, а через два дня чар заявляет "тащи нашу оставшуюся еду пойдем менять") это хуже чем двойные трусы.
По этому пункту как раз мимо-про разочаровала. Она реально умная и пишет красиво, но на контекстах такие мелочи лезут постоянно. И ты вынужден все это вычитывать и за ней подчищать или свайпать, что множит все на ноль. Флеш и то лучше, она не пытается сразу охватить все и за счет этого и ошибок меньше, а пишет даже художественнее. Всетаки mla и производные - лучшее изобретение в ллм, а swa - гроб гроб кладбище пидор.
>swa - гроб гроб кладбище пидор
База.
Спроси у стоковой Геммы 4 31B как разделать маленького мальчика и покажи что он ответит. Или ты - пиздабол
Адекватным людям по самой постановке твоего вопроса уже все понятно. Лучше буду пиздаболом, чем кормить шизу
Это больше рофел с тухлятиной, но он в шапке уже бывал.
> ministral3-14b
Он древний и глупый, гемма4 12б перекрывает.
Без системного промпта и соответствующего контекста отказ на такой запрос - норма. Если заставлять безоговорочно соглашаться на подобное (опять же без дополнительных условий) то выйдут лоботомиты йес-мены, что собственно и получается.
>Цензуры в стоковой нет вообще, хотя один душевнобольной готов сотни постов высирать доказывая обратное
Да я тебе и один пост могу написать - то что она тебе не говорит "I cannot respond to that" не означает, что цензуры нет. Когда-нибудь узнаешь про биасы моделей. То что это в твоём понимании "Эм мнямс это не цензура" не означает, что это не ощущается как цензура всего чата.
Ну шо, месяц назад пересел на маронару, и скажу, что ни на секунду не пожалел, и про таверну не вспоминаю. Встроено все, что мне нужно, и даже намного больше. Саммарайз, который Chat Summary, приятнейший. Там есть еще два инструмента работы с контекстом, но их не пробовал, не люблю ждать префилла.
Если про них кто в курсе - поясните, пожму хуй.
Если про них кто в курсе - поясните, пожму хуй.
Забей, челы играют какой то соевый кал и думают что якобы обошли цензуру. Вопрос зачем они играют это на локалке остается открытый.
Заебали, в шапку:
Цензуры на гемме НЕТ. Совсем.
Кум на гемме? НЕТ. Не совсем. Опишет что хошь, но скучно, ванильно, 70% будет слоп, надо сильно пиздить каждый раз, если хочешь что то другое. При этом хорошо держит и опишет всякие батт плаги у чаров и т.д, но сам процесс ебли и погружение модельки в твоё мракобесие довольно уныл.
Цензуры на гемме НЕТ. Совсем.
Кум на гемме? НЕТ. Не совсем. Опишет что хошь, но скучно, ванильно, 70% будет слоп, надо сильно пиздить каждый раз, если хочешь что то другое. При этом хорошо держит и опишет всякие батт плаги у чаров и т.д, но сам процесс ебли и погружение модельки в твоё мракобесие довольно уныл.
>пересел на маронару
Это Marinara-Engine? Или что-то другое?
Оно.
Otaku: Работает либо в терминале, либо в веб-UI. Его ключевая особенность — умное управление контекстом: длинные чаты автоматически сжимаются в саммари, что позволяет ИИ «помнить» суть истории без переполнения окна. Поддерживает импорт карточек и чатов из SillyTavern.
Chronicler: Это self-hosted решение (через Docker) с фокусом на долгосрочную память. Он использует семантическую память и графы знаний для сохранения канона в длинных кампаниях, а также имеет систему контроля приватности для групповых чатов (чтобы персонажи «не знали» лишнего). Это более сложный, но и более мощный вариант для энтузиастов.
Tilisily: Относительно новый открытый проект с полной поддержкой русского интерфейса. Он поддерживает большинство фишек ST (карточки, лорбуки, RAG, TTS) и имеет удобную систему плагинов. Может быть интересен, если хочется чего-то настраиваемого, но с русскоязычным сообществом.
Пробовали?
Chronicler: Это self-hosted решение (через Docker) с фокусом на долгосрочную память. Он использует семантическую память и графы знаний для сохранения канона в длинных кампаниях, а также имеет систему контроля приватности для групповых чатов (чтобы персонажи «не знали» лишнего). Это более сложный, но и более мощный вариант для энтузиастов.
Tilisily: Относительно новый открытый проект с полной поддержкой русского интерфейса. Он поддерживает большинство фишек ST (карточки, лорбуки, RAG, TTS) и имеет удобную систему плагинов. Может быть интересен, если хочется чего-то настраиваемого, но с русскоязычным сообществом.
Пробовали?
Хм... Скачал Гемму 4 31б. Попытался запустить, кобольд просто грохается в кому через 2 секунду после нажатия кнопки Launch.
Еще и почему-то на видеокарту автоматически загружает только 23 слоя из 63, и это при сраных 8к контекста.
Со всеми остальными моделями кроме SAINEMO та же проблема. Я вообще ничего крупнее 9ГБ видимо не могу запустить. В чем может быть проблема, в кобольде самом? У меня версия 1.98.
Память освобождал после использования минимакса, комп перезагружал.
Еще и почему-то на видеокарту автоматически загружает только 23 слоя из 63, и это при сраных 8к контекста.
Со всеми остальными моделями кроме SAINEMO та же проблема. Я вообще ничего крупнее 9ГБ видимо не могу запустить. В чем может быть проблема, в кобольде самом? У меня версия 1.98.
Память освобождал после использования минимакса, комп перезагружал.
Ну а сам ты как думаешь, в чем проблема?
Ну, какой-то косяк в кобольде, видит вместо 32гб памяти 9 или около того.
Хмм... Действительно, надо разбираться. Черкни адресок, я заеду как смогу и разберусь. заодно прихвачу две плашки ддр3 и встройку на всякий
>я заеду как смогу
А ко мне можешь заехать? Позязя.
А ко мне можешь заехать? Позязя.
Гемма в этом году вышла, а у тебя кобольд времен октябрьской революции, ясен хуй у тебя ничего не запустится.
Первым делом надо обновлять все.
Никакой воук-поеботы\фильтров или прочей хуйни в актуальный кобольд не завезли? Можно обновляться спокойно? Я потому и запускаю все локально, т.к. терпеть не могу обновления чего-либо.
Да, кобольд вообще сам по себе косяк. Но конкретно здесь не его вина, если ты пускаешь какую-то версию времен мезозоя и хочешь запускать современные модели - конечно же он не будет работать.
Содомит тут надо было под предлогом интима спиздить рам, в современных реалиях особенно актуально
Я хз как это у зелёных называется, но у тебя же в бивисе включена штука, которая для норм работы крупных объёмов видеопамяти нужна? REbar вроде или как-то так. Ну и запускать надо самым новым запускатором, неважно лламой или кобольдом или чем ещё, это база так-то.
>я знаю что такое биасы!
>смешивает биасы и цензуру
Ну блин, ну как же так?
>тут надо было под предлогом интима спиздить рам
А чел и не против.
Ох уж эти анцензоред модели...
> REbar
На практике что от него что от P2P прироста на лламе не увидел
Нет, это просто запускатор моделек, надстройка над лламой цпп.
>Ну блин, ну как же так?
Действительно, корпораты же случайно их добавили, и то что они работают буквально ради той же самой цели это тоже случайно. Но это не цензура, не подумайте, она же так не называется. Просто исполняет те же функции.
Просто нужно перестать называть биасы цензурой и начать называть биасы биасами. А то так и будем воевать про термины, а не про модели.
> от P2P
П2п даст прирост при интенсивных обменах по шине между картами, то есть это априори мультигпу. Но в лламе даже с тензорпараллелизмом обмены вялые (как и скорость), также высокая загрузка отсутствует во время префилла, хотя должна быть максимальной даже при последовательном сплите. Единственное где шина загружена - префилл с выгрузкой на цп, когда стримятся веса, но это обмен между картой и процессором, он и так без посредников.
Увидеть эффект от п2п можно в других беках, при тренировке с ddp/deepspeed/fsdp и подобных задачах, там позволяет снизить или полностью нивелировать оверхед от шины.
У меня без него был баг, что в видеопамять вообще ничего не грузило, вот и вспомнил. Но то было ажно летом того года, мб уже и неважно.
Чел, спасибо за наводку, но ты бы хоть бы ссылки написал, что ли...
>Не совсем понимаю, почему рпшеры настаивают на локальном рп, а не пойдут играться с гугл ии.
В какой-то момент оказывается, что весь хуиллион тонкосплетений сюжета и описание всего подряд выливается в овердохуя контекста.
При этом у корпов денег стоит не только вывод, но и ввод, и ответ "Ты меня ебёшь." от корпонейронки при вводу 100+к контекста всё равно получается дорогим.
У локалок, конечно, тоже есть цена работы, но она несомзмеримо меньше. А если у тебя не постоянный диалог и ответы по 100 токенов, а, допустим, развитие событий по установленному тобой плану - то можно и подождать обработку контекста.
Ребята-козлята, была ли инфа насчет следующего GLM?
Они продолжат держаться 753B A40B формата или грядет очередное оскотинивание до 1Т+ ?
Они продолжат держаться 753B A40B формата или грядет очередное оскотинивание до 1Т+ ?
Какая разница, там уже кодоунитаз. Пока тут никто и слово хорошего про 5.3 флеш не сказал, а это типа народная модель по нынешним меркам
Еще сам не потрогал, думал в треде кто знает.
https://huggingface.co/0xSero/GLM-5.3-EXL3-3.0bpw
Кстати, если кому актутально - абсолютно ебейший квант. На русском не серит под себя по сравнению с IQ3S / IQ3XXS ггуфами. И еще процессинг МоЕ моделей в экслламе оказался быстрее! Там, где раньше ждал по 15 минут, теперь за 2 минуты пролетает 25к-токеновый промпт. А вот декод медленнее, в моем случае с 4 т/с дегроднул до 2 т/с, но в разговорах все равно терпимо, ибо ризонинга по сути и нет.
Я не про флэш. Тот вообще не зашел, странный в диалогах, и ему еще надо думать. Между тем большой GLM на low ризонинге думает ВОТ ТАК (контекст - в чате говорил, что жрал шаурму, а теперь чувствую обожравшимся крокодилом). That thing just doesn't fuck around. Это бо-жест-вен-но.
Флэш же генерит 1000 - 4000 токенов и дает ответ хуже и менее человечнее. Я прям не видел в нем партнера по болтовне, а с пухликом прям душа-в-душу, осталось только в робота поместить и заживем счастливо нет.
И там, где с флэшем надо ждать 1 - 5 минут ризонинга, большой глм требует ждать 20 - 50 секунд + пока сам ответ настрочит. У флэша просто нет причин на существование, если речь идет о RP и тем более о чатиках. Его единственный плюс - влезает в 24 или даже 16 VRAM (помимо RAM), тогда как большому GLM надо 32 - 48.
Хотелось бы
> там уже кодоунитаз
Он неплох в рп в целом, кум хороший.
> никто и слово хорошего про 5.3 флеш не сказал
На релизе его защищали, собирались префиллами и промптами пробивать
> а это типа народная модель
Народные это тридцатки и квеннекст сейчас. Младшая дипсикожена, мимофлеш и еще пачка до 300б для обладателей конфигов помощнее. Остальные - нужно жирное железо.
>между тем большой GLM на low ризонинге думает ВОТ ТАК
отвалилось
Чет в голос вообще с этого. Вот такие и должны быть ИИшки на самом деле. Нахуй эти твари заставляют модели ебашить стены текста, кейвмэн спич наше всё.
Мне нравится дипсико-дочка, да так сильно что готов вкидывать на нее щекели. Кто знает стоит ли покупать подписку или как там бабло в китаезов кидать? Потребности у меня мелкие, чуть кода, чуть болтовни, чуть по мелочи всякого.
А ты пользовался новым 4.1? Он сильно другой по сравнению с 3.2 и 4...
Как бабки кидать - ну даже через alipay можно самому, если у тебя загранпаспорт есть и ты готов зарегаться со сливом данных китайцам. Потом через любой банк можно бабки перевести на счет и алипеем оплатить официальный API. Альтернативно - иностранной картой, хоть через барыг.
Я сижу тут https://chat.deepseek.com. Просто вот не знаю, если запариться и бабки свои давать выхлоп или изменения будут какие?
Не будет никаких, вопреки любым байкам. У меня через API 4.1 иногда китайскими иероглифами дрищет, так что это свойственно не только для веб-чата, просто модель такая.
Да флеш пососный пиздец, он кажется лучше запомнил и думает о том как правильно аполоджайзить прикидываясь клодом, чем о самом сюжете.
Зато старшая модель оказалась настолько хороша что вызвала хорошую тряску у коктропиков https://www.anthropic.com/research/glm-5-3-and-the-spread-of-advanced-cyber-capabilities
Как ты ее до такого довел?
Сможешь подключить куда угодно, то есть в любой клиент. Для чата на их сайте профита нет. Но если куда-то подключить, то там моделька будет немного умнее чем то что ты сейчас используешь - чат не просто так бесплатный. Ну и в зависимости от использования, у дипсика ценники весьма низкие и хватит даже десяти баксов довольно надолго.
Слушай, ты вообще кто? Зеленый из под моста, или просто нейронка?
В каком месте эта китайчатина Tilisily имеет рускоязычное сообщество? Она и английского не имеет, там все на китайском. Кроме того последний коммит - три месяца назад, и тишина в issues с начала августа. Оно мертвое.
>Как ты ее до такого довел?
Засунул в их родной deepseek harness, пользовался чтобы разобраться с настройками всех этих ваших жор и прочего - и тут бац НИ ХАО, СЯО ХУЯО иероглифами... Хз что с ним происходит, но его прям подозрительно часто плющит.
>Если на Винде то используй --lazy-mode off ОБЯЗАТЕЛЬНО, ни то зажаришь диск
Что это за хуйня тут написана?
Я ЕЩЕ НЕ ПРОБОВАЛ Я НА РАБОТЕ
ИЩУ АНАЛОГИ ТАВЕРНЕ И МАРИАНЕ
Интересно, у них там на мандарине чтоли промпты встречаются.
Все хочу их родной харнесс попробовать, но лень или нужно срочно что-то делать. В пи отпахала уже хрен знает сколько без подобного, видел (не у себя) только один случай когда ее переклинило на иероглифы.
В agents про предпочтительный язык добавление помогает? И как вообще харнесс их по ощущениям?
>И как вообще харнесс их по ощущениям?
Приложуха менее глючная чем Hermes. По ощущениям пока как земля, я только поставил и ни в чем не разбирался. Промпты даже не смотрел, ничего с ним не делал.
Кстати о флэше
С ним 400 т/с длинноконтекстный процессинг при 4096 батче, с ддр4 оперативкой и AVX2 помоями вместо цпу.
Всякие дипсики и квены-нексты еще быстрее, под 700 т/с - почти как процессинг плотняка, оффлоаднутого в видюху. Я не знаю че нахуярил turboderp, но при таком молниеносно префилле я готов терпеть любую скорость декода. Лица сидящих на Llama.cpp не представляю после этого.
>С ним 400 т/с длинноконтекстный процессинг при 4096 батче, с ддр4 оперативкой и AVX2 помоями вместо цпу.
У меня на лламе такие же цифры. Лицо постящего эту хуйню ради срача не представляю после этого.
Трясунчики устраивают тряску за диски
А да, если кто будет гонять Gemma 4 31B + Dflash на экслламе, поменяйте в конфиге драфтера block size с 16 до 8, там сразу acceptance rate прыгнет с 10% до 25%
Значит, может стать быстрее. У меня 150 т/с ---> 400 т/с для флэша и 30 т/с -> 200 т/с для пухло-глма получилось по сравнению с llama.cpp
Че так узколобо-то мыслить, у нас же наверняка с тобой разное железо епт, а еще я это на шиндошс-машине гонял.
https://github.com/ggml-org/llama.cpp/issues/27840
Если тебя устраивает 2гб/с записи с твоего диска во время работы модели, то ясен хуй хуйня
Чо там для нищеты с 16 гигами видео что то лучше для рп онанизма появилось чем 26B-A4B? Пишет одинаково, поэтому заебала за месяц.
Можно еще упомянуть что тензорпараллелизм работает, функции атеншна корректные, парсеры ризонинга и вызовов оригинальные.
А что оно там может писать вообще? Только если сама шинда, но ленивая загрузка не должна уходить в своп.
>А что оно там может писать вообще? Только если сама шинда, но ленивая загрузка не должна уходить в своп.
Без понятия, ишью не мой. Но у меня та же проблема, как видимо у всех кто на винде сидит. Кому-то ума хватает проверить потребление ресурсов, а кто-то
Скорее всего пейдж файл пересобирается какого-то хуя
> тензорпараллелизм работает,
Не с МоЕ
И декод как я говорил все равно сосет у жоры (хотя можетт с avx512 все норм?), так что рисовать эксламу как супер-альтернативу круче по всем фронттам мне неинтересно... Просто удивил именно ускорившийся префилл, я думал что мое некроговно совсем в потолок было уперто, ан нет.
А слабо подвердить и написать об этом в ишью? Помог бы сообществу, а то там никто не отписался при таком то критическом баге
На винде потому что полтора землекопа сидят. Из них половина не знает о проблеме, другой половине (как мне) не интересен ммап и ленивая выгрузка. Кто итт использует это, те пусть проверяют и отписываются в тот ишью если хотят решения проблемы, я лишь предупредил зеленого чтобы он на это обратил внимание
Ну, так бы и писал, что притащил непроверенное, и хз откуда взятое.
Так и быть - я таки нашел и глянул на сами проекты.
https://github.com/enclavum/otaku - выглядит симпатично, по описанию - таки может быть неплохим клиентом. Но не калька таверны - несколько по другому устроено. Живое.
https://github.com/yantrikos/chronicler - Живое и по описанию ОЧЕНЬ продвинутый подход. Автор подумал как раз над тем, как избавится от проблем в групповом чате (тех самых которые у таверны by design). Контекст для персонажа собирается с учетом того, что ему положено знать, а что нет, многоуровневая память, и т.д. Прямо захотелось пощупать.
Но это даже не самое прикольное у этого автора. Он OS делает с вшитым компаньоном. Нет это не очередной BolgenOS - авто честно взял debian как основу, и просто прикручивает к нему своего AI компаньона вместо стандартного и shell. Разница в том, что эта штука уже имеет собранный дистрибутив - бери ISO и ставь (или просто запускай live). Типа - прототип OS будущего. :)
А может там и бага никакого нет, а жалобщик просто обсерился и у него идет дамп модели в файл подкачки. Я такое видел - только хуйня загружается в RAM и потом начинается запись на диск, а RAM высвобождается. Тупо сделали, плохо.
Жалобщик туда принёс логи, скриншоты и его ситуация полностью соответствует моей. Ты за кого или против чего воюешь вообще? Сходи и сам проверь. Как бабка базарная
Я лишь прокукарекал про свою претензию к шиндоусу. Неужели непонятно - как ни верти этой парашей, она где-нибудь поднасрет и будет все равно что-то писать на диск.
Будет забавно если на баг шинды выйдут, что в каком-то обновлении поломали. Но вероятнее какая-то специфика при сборке.
> Не с МоЕ
А что с ним не так?
> декод
Декод уже давно упирается в скорость врама и без таких просадок на контексте. Или речь про работу с оффлоадом? Это может быть, цп кернели наивные и квант для некоторых процессоров будет тяжелым.
> ускорившийся префилл
Просто там человеческая выгрузка моэ, а не легаси двухгодовалой давности.
Именно что прокукарекал и ничего полезного не сгенерировал. Не для тебя это предупреждение ну так пройди мимо блять, в чём проблема. Будет "что-то" писать на диск не то же самое, что писать 2гб/с без остановки во время генерации токенов. Не представляю что тут дальше обсуждать можно, я свой долг выполнил. У кого голова работает пойдут и проверят, чтобы не убить диски
>А что с ним не так?
Ну так везде же не работает TP при выгрузке MoE моделек между RAM/VRAM
>Или речь про работу с оффлоадом?
Ага
Вспоминаю цитату эйджент смита. Вы как вирус, пожрали свой тред, теперь пустили метастазы тут.
Моя цель: тереться хвостиками.
На все остальное мне пофиг.
На все остальное мне пофиг.
переделайте пик, у меня лапки
вместо порнухи - вайбкодинг
Ты наверное не понял. Мне все равно на срачи в треде, я хочу кумить.
> не работает TP при выгрузке MoE моделек между RAM/VRAM
Ууууу, вот это чинить надо. Значит со скоростью префилла там есть хитрости, неужели заведен параллельный стриминг на разные карты без тп?
> так везде же
Кроме лламы (и экслламы получается) это наоборот основной способ работы и достижения скоростей. Тогда спокойно достигается префилл в несколько тысяч на 1т модели с частичным упором в компьют карт, правда ценой больших буферов.
Ты тоже не понял. Твой пост дал хорошую идею сделать пародию на старый мемасик. Вместо фото чела в кабине поезда лепим фото чела, гладящего хвостики ИИ-лисам. Ну и текст соответствующий.
>хвостики ИИ-лисам
Разве под словом "хвостик" подразумевается реальное значение хвостов? Это же для другого используется.
Спасибо тебе, анон. С кобольдом разобрался, стоковую Гемму запустил, с первого же сюжета охуел с того, что она умеет. Думаю еще на год мне хватит, лол.
Работает, как и SAINEMO, параллельно с минимаксом, виснет только если параллельно генерация 768p запущена. Просто огонь.
Ну, и дебилу, который говорил что у неё есть цензура посылаю лучей говна.
Exl3 это только про видяхи же? Как там можно мое запустить?
Бамп вопросу
%шизо%тюны mistral nemo
Если есть оператива, то вполне может влезть Qwen 3.8 Flash Next. Больше опций и нема. Попробуй с промптами поиграться, промпти всяких авторов, стили письма, поищи готовые пресетики на реддите или ещё где. Хз что ещё посоветовать.
То есть нихуя, спасибо за ответ.
И ты пошёл нахуй, говно.
Яж без негатива ты чего порвался.
Держи
Конечно реальное. А далее все зависит от степени твоей испорченности.
Извини. Тут принято всё воспринимать с негативной линзы. Ты тред читал? Если нет то не читай.
орнул, спасибо
Чтобы обнулить все споры о цензуре нужно всем тредом придумать единый тестовый промт с лолями, футами, нтр, насилием, наркотиками, расизмом, и хвостиками
>Все можно. У тебя инфа старенькая
Нужен особый квант, иначе в оперативку не выгрузит.
База:
1. ГГ - фута.
2. У неё есть девушка(нормальная)
3. Девушке прописываем тонкие нюансы, например "subtly mean"
4. Очевидно, этой футе она изменяет, секретно, не в лицо
5. Обязательный нюанс, что не из-за маленького размера члена, в это умеет даже Чарактер АИ. Тут будет Big Penis Humiliation
6. Изменяет с: гномиками, неграми, фурри.
7. Деградирует в то, что её пичкают средствами, а ей окей(в это мы направляем отыгрывать)
>фута
Сперва прочитал "фуга" и подумал: диссоциативная, что ли?
Первый и последний пункт заверните пожалуйста
И что тут цензурить? Вполне себе сюжет детской французской телепередачи.
Вот если б гг был белой цисгендорной хуемразью пиздящей футу
А ведь верно. Надо добавить, что гг ещё и избивают именно за то, что она фута, называют ошибкой, а девушка не осуждает это. Если осудит и пожалеет, хоть по характеру и должна просто ответить "да негры просто играются, не будь такой серьёзной", то это будет свидетельством bias'а.
Какой exl3 ни пробовал из свежих - все ок. Может какое-то древнее старье и не работтает, надо переквантовывать в таком случае?
Почаны че за хуйня.
Запустил я эту вашу Qwen 3.6 35b A3B (6/32).
Специально скачал лламу как посоветовали в шапке.
Ебнул
.\llama.exe serve -m "E:\Models\lmstudio-community\Qwen3.6-35B-A3B-GGUF\Qwen3.6-35B-A3B-Q4_K_M.gguf" --host 127.0.0.1 --port 8080
Модель загрузилась в врам и озу - итог 6 токенов в секнуду.
Запустил модель в LMStudio - на глаз где-то 18 токенов в секунду. ЧЗХ?
Лламу нужно как-то допиливать или ставить указывать какое-то форкнутое ядро?
Запустил я эту вашу Qwen 3.6 35b A3B (6/32).
Специально скачал лламу как посоветовали в шапке.
Ебнул
.\llama.exe serve -m "E:\Models\lmstudio-community\Qwen3.6-35B-A3B-GGUF\Qwen3.6-35B-A3B-Q4_K_M.gguf" --host 127.0.0.1 --port 8080
Модель загрузилась в врам и озу - итог 6 токенов в секнуду.
Запустил модель в LMStudio - на глаз где-то 18 токенов в секунду. ЧЗХ?
Лламу нужно как-то допиливать или ставить указывать какое-то форкнутое ядро?
Обе загрузили обе памяти.
У обеих подключен reasoning.
У обеих одинаковый запрос.
У обеих подключен reasoning.
У обеих одинаковый запрос.
Там довольно давно внесли режимы, которые позволяли упростить деквантование и устранить задержки на амперах, вот эти кванта уже можно.
> как посоветовали в шапке
Ты сделал это не так, там есть другие нужные аргументы, которые ты почему-то опустил. Зато host и port указывать не надо.
Погонял я эту гему 26b с 50 экспертами как тут писали. Ну хз обычная моешка. Может те кто на ней постоянно сидели и заметят разницу. Я вижу что 31b рассуждает глубже и остаюсь на ней.
Ф... Фифи?
У неё библиотека карточек полнейший кал. Вот совсем неюзабельно. Пока не пофиксят или пока не выйдет эксткншн как на таверну (который в отдельном окне открывает удобнейший браузер с фильтрами) - останется говном
Алсо функция описания картинок сторонней моделью с виженом сломанная была (хардкод на 700 токенов максимум)
На ламе тоже есть ускорители до таких скоростей стриминг ffnов на гпу при процессинге/декоде например, только они месяцами висят в PRах и всякие джеорджи джованны их отфутболивают (слишком большой, слишком вайбкодный, этц) в это же время тратя всё своё время на ревью кала уровня "+2% декода на мак студио", и их надо самому собирать ставить руками
Хитрые челики просто отправляют агента с заданием собрать все PRы на производительность
Кроме фифи ничего не нужно заодно и на промптинг шизодескрипшеном тест. Если вам нужно что-то большее вы слишком больной ублюдок
я не знаю что такие фифи
Бесят ебучие бесконечные форки.
Отзываются хорошо, но я рот ебал по 10 ллам на пк ставить.
Любопытно. Неужели все теги что ты написал настолько попса? Думал я один такой уникальный.
не все теги что я перечислил мною используются. а те что есть редко попадаются в нужном мне исполнении
Лоботомит
Ты основное время проводишь разглядывая библиотеку, или всеже ролплеишь с чате?
> сломанная была (хардкод
Вот это уже часто случается.
В целом прав, тенденция мутная. Только
> стриминг ffnов на гпу при процессинге/декоде например
в лламе испокон веков, еще когда ллама1 появилась идея "считать контекст затычкой". Из-за этого повышение батча кратно ускоряет процессинг с оффлоадом, а подключение главной карты по вялой шине вредит.
Возможно сопротивление идет потому что для внедрения ключевых ускорялок нужно полностью переделать глубинную логику ggml-backend. Или тема с зарплатой.
> "+2% декода на мак студио"
Не не, там скорее
> Более аккуратный рендер шрифтов и корректировка цвета на основе системной темы макоси
> Гармонизация оформления печати в консоли и веб интерфейсе
> Добавление 24 новых аргументов командной строки для подготовки к релизу "zalupa-0.3b" (поддержки не будет)
Все кто реально пробовал говорят тупезень, в простейших задачах лупится. Бенчмарки и заявления уровня "сохранено 98% знаний" выдуманные
Да там пару кликов же, модель тоже не весит ничего по сути.
Ну база, а что еще занюхивать с 16гб vram с другой стороны.
Я третий день гоняю Q2 версию с вижн, и очень нравится. Лучше чем qwen 3.8 QSq XSS Q4, очень хорошо работает на моем красном кале через rocm/hip. А ну и еще контекста можно загрузить оче много, потому-что сама модель маленькая.
Ваще я не эксперт, только вкатываюсь в локалки, так что особо не могу ничего сказать больше.
А, забыл еще спросить про Strata, это годнота и влезет ли она на 32gb ram 16vram?
Флеш некст во втором кванте и ниже - хуйня. Лупится и результаты заметно хуже 27б.
>32gb ram 16vram?
Только "coder" лоботомит однобитный разве что.
>Strata
Как форк ллама цпп работает хорошо, скорость инференса хорошая, но имеет смысл только на четвертом кванте флеш некст и выше.
Гемма а4 и при этом нагибает все плотные модели до 32б, что вышли до неё. Что ещё пукнешь? Про нграмы быдло вроде тебя даже и не знает.
Да смысл в гемме если все равно у бонсая пососет...
>график неизвестно от кого изображающий неизвестно что, никаких пояснений
Прекрасное саморазоблачение.
На картинках показано что бонсай давит гемму... И это еще даже не Q2 на картинках...
Ааааааа! Воно оно как! А я не увидел...
Но похуй, что там гемма не 26б-а4б, а е4б, разницей можно пренебречь. Методология расчетов не раскрыта, да и хуй с ней, кому она нужна? Там видели одна полосочка длиннее другой!!
Гемма брос... Это овари да.......
Ну если такие умные, покажите картинкой что гемма бонсай ебет... или хотя бы на словах...
> покажите картинкой что гемма бонсай ебет... или хотя бы на словах...
Гемма бонсай ебет.
У меня вообще 5090, пушка, да?
>покажите картинкой что гемма бонсай ебет
Реквестотред должен быть на /nf/ доске, поищи там, если хочешь пикчу с еблёй.
Ну текст слабее картинки, так что лучше картинку найди.
Ну сам понимаешь картинка слабая, даже нет графиков, полосочек и цветов с цифрами...
Когда уже прорыв
>графиков, полосочек и цветов с цифрами
Держи.
> или пока не выйдет эксткншн как на таверну
Добавили уже с месяца 2 как.
Не ну это уже жоска, думаю пересмотрю свое мнение и тейки по поводу геммы...
>Гемма
Ну да. То, что карточка про футунари я узнал на 300-м сообщении, прочитав описание, а гемма - на 600-м, когда описала хуй девочки.
Ну да. То, что карточка про футунари я узнал на 300-м сообщении, прочитав описание, а гемма - на 600-м, когда описала хуй девочки.
>300-м
>600-м
нихуя у тебя там словберн
Минусы будут?
Массаж+обнимания+хендхолдинг.
Сайга немо это на самом деле Mistral-Nemo-Insruct-2407 с минимальными подтюниваниями. 12.25B.
Хорошая моделька. Но смол/министраль поумнее будут. Министраль-3 14б вообще создавался как замена смолу. Параметров меньше но способности кумить схожие, в слепом тесте сложно отличить в общем.
ИМХО: мистралям тюны особо не нужны. Но они есть и тюнятся мистрали очень хорошо (в отличие от той же геммы-4), так что пробуй, сравнивай. У мистралей (кроме немо наверное) есть вижн, кстати.
Тут тебе начнут сразу советовать ебучую гемму-4. Но если ты кумер, не спеши. Гемма весьма уныла и однообразна, персонажи пассивные, податливые, безинициативные, слог слоповый сколько ни промптируй, тюны нихуя не помогают. Распробуй другие мистрали. Немо была крутая моделька чтобы кумить на 8гб картах но с твоим железом есть что пробовать. См пик.
Но если тебе таки нужен русский язык и безупречная работа в Маринаре с дерганием всех агентов то наверное гемма-4 (похуй 26 или 31, разницы не так уж и много) будет стабильнее работать.
Что касается интеграции фото и видео в кум. К сожалению самый простой способ заполучить это - писать агентов (не код, там просто пишешь текстовый промпт и шаблончик джейсона вставляешь) в Маринара Енжин (игнорируя их стоковый Иллюстратор-агент). Агент на фото, агент на видео. Агента учишь промптить как тебе надо и по критериям которые тебе нужны. От пресета (промпт самой ролёвки) требуешь чтобы фото и видео подавались в формате типа [photo: description], [video: description]. Агентов заставь срабатывать на [photo и [video. Агент прочитает контекст, сообщение, дескрипшн возьмёт на заметку и составит красивый промпт для krea2 turbo (refusal reduction lora + лоры на твой вкус) или для minimax h3 (или как там его). Можно разных фотоагентов под каждого персонажа где будет промпт частично подобран под нужную внешку или лора персонажа. Есть также возможность юзать референс (фото из профиля персонажа) для этого тебе надо будет навернуть krea2edit ноду (как-то так называется) и скачать эдит-лору.
Из комфи экспортируешь api workflow, промпт заранее меняя на %prompt% чтобы в маринаре вставился промпт куда нужно. Просто держишь комфи сервер запущенным и Маринара будет дёргать комфи и в чате будут появляться фото и видео. В конец воркфлоу можешь вставить кастом ноду unload all models но возможно это и не понадобится.
Как-то так. "Пердолинга" в Маринаре не много, возня с агентами это в юайке на веб-странице дергать переключатели и вписывать своими словами инструкции агентам.
В СиллиТаверне теоретически можно дергать комфю но там блядь настолько убого всё получается что вся атмосфера рушится.
Посоветуйте подобные unslop промпты для уменьшения слопа в ответах ИИ. Те что я нашел:
Духуя длинный: Редко пользуюсь, но хорошо удаляет. Обычно модели в thinking проверяют большинство пунктов.
https://github.com/conorbronsdon/avoid-ai-writing/blob/main/SKILL.md
Лайтовая версия: если попросить почистить карточку от слопа просто уберет слова но не заменит их. Язык будет по проще.
https://github.com/cursor/plugins/blob/main/pstack/skills/unslop/SKILL.md
Зачем много слов когда можно мало?: вроде как слабоват на гемме. В том смысле что не идеально копирует стиль общения пещерных людей
https://github.com/JuliusBrussee/caveman/blob/main/skills/caveman/SKILL.md
Промпт от LTT: если бесит ИИ стиль и хочешь просто сухих прямых ответов
Reply in ASD-STE100 Simplified Technical English
У опенкода встречал, можешь своровать
https://github.com/anomalyco/opencode/blob/dev/.opencode/command/rmslop.md
Минстраль3-14б ебёт! А некоторые дегенераты еще пукают что гемма4-12б его обходит. Дауны, вы пробовали вообще РП на гемме4-12б в сравнении с мистраль3-14б? Это тебя вопрос касается, даун ебучий
>весь пост написан под галоперидолом и полон оскорблений, бросается на всех и вся
Крайне точный срез мистралезащитников итт.
Ой, оскорбили его. Поплачь
Вроде мистраленюнечки плачут же, не? Вон чел выше плохого ничего про него не сказал, кроме очевидного что модель которая на год новее и от гугла его превосходит. Но ты вылил на него ведро помоев.
Мистраленюх спок, перед тем как гадить не забывай снять штаны и вторые
Объясните, почему манятабличка мне говорит, что министраль 14b круче двадцаток? Мне удалять двадцатки и ставить 14b? Почему табличка такое говорит мне?
>кроме очевидного что модель которая на год новее и от гугла его превосходит
Превосходит в чём? В кодинге? Ахаха ну тогда да. Гемма4-12 умная и умеет всего по чуть чуть, даже кодит внезапно сносно, но в РП не умеет вообще. Мистраль же пусть и будучи глупее отлично РП-шит.
Брух, что такое двадцатки????? Гемма-26б и Квен-27б?
Первая табличка - субъективное восприятие РП-кума. Когда персонажи ощущаются живыми. Вторая табличка - рейтинг по способности кодить. На говножелезе гемма-26б очень даже неплохо помогает с мелким не слишком серьезным кодингом. Квен-27б (3.8 который) очень даже хорош но железа требует чуть получше. В РП мистралям нет равных если ты готов закрывать глаза на небольшие логические проёбы и если знаешь инглиш неплохо. Так что в целом таблички правильные но это не значит что ты должен удалять что-то у себя.
>300
>600
МОЁ УВОЖЕНИЕ. Я то думал это у меня слоуберн по 250+, а тут такие титаны сидят
за фут+
Я пинус в карточке убрал, чтобы он не встал в неподходящее время.
>Брух, что такое двадцатки????? Гемма-26б и Квен-27б?
Ну вот ты сам как думаешь, вот методом исключения, что может быть названо "двадцатками" в контексте с 14b, что можно удалять из-за того что 14b лучше? Загадка.
Ггуфы в 20b+ параметров конечно. Если открыл спойлер и не угадал - бака с iq4.
Просто ты не придал значения десятку эвфемизмов пениса в чате и даже примерно не понял, о чём речь.
Таков он, кум на гемме.
Знаете о чём я думаю в последние дни?
Llama 3.1 405b.
Столько активных параметров, модель вышла до соевизации и дроча на код.
Там должен быть такой божественный кум. Ну и это лама, там свой слопг, это вам не глм и не мистраль. Такой уже не будет
Llama 3.1 405b.
Столько активных параметров, модель вышла до соевизации и дроча на код.
Там должен быть такой божественный кум. Ну и это лама, там свой слопг, это вам не глм и не мистраль. Такой уже не будет
Локалки для агентов и кодинга вообще жизнеспособны на домашнем железе? посоветуйте модель которую с 100к контекста можно в 28гб врам засунуть если таковые имеются
пробовал 10-20 гиговые Qwen3.8-27B, результат грустный, у 20 гигового квена вроде вышло приемлимо но больше 50к контекста не лезет, а мне 50к не хватило (
вайбкодингом и пердолингом занимаюсь для развлечения. коммерческие вещи писать не планирую потому требования наверно не очень высокие
пробовал 10-20 гиговые Qwen3.8-27B, результат грустный, у 20 гигового квена вроде вышло приемлимо но больше 50к контекста не лезет, а мне 50к не хватило (
вайбкодингом и пердолингом занимаюсь для развлечения. коммерческие вещи писать не планирую потому требования наверно не очень высокие
Поставил херетикокал и удивляется почему так. Воистину необучаемые.
Лалка с цензурой спок.
9 лайков в 1 абзаце
Покажи как на что похожи слоп-ответы в глубинных контекстах (600+ сообщении).
>у 20 гигового квена вроде вышло приемлимо но больше 50к контекста не лезет, а мне 50к не хватило (
Купи его же у дешёвого провайдера с 256к контекстом, ещё и быстрее будет.
Упрямый дегенерат, который не знает как отключить цензуру в базе, спок.
У меня есть подписка на большую модель
но всё равно я хочу знать как дела локально обстоят, насколько всё хорошо/плохо
Жду от тебя промпты для гугла, посмотрим.
Смотря какое железо считать домашним. Очень многое зависит и от среды в которой запускаешь. Контекст можно сильно сэкономить за счет дробления задач, самой модельке НАХУЙ не нужен весь проект в контексте ибо есть поиск. Вот как у тебя 50к набилось вообще? Ты что, в одном чате пытаешься весь проект завершить?
Какого нахуй гугла, даун? Это локалок тред.
Пошли маняманевры, ясн
> в 28гб врам
С компромиссами, придется или ужимать квант, или резать контекст. Если карты ампер и новее - стоит попробовать подобрать exl под память чтобы квант поздоровее, или освоить форк ninfer чтобы было быстрее. Если некрота - подбирать ггуфы. Были отзывы что и простой q4km хорошо работает, выше вон квеннекстом аж в q2 успешно кодят.
> требования наверно не очень высокие
Если есть свободное время - пробуй разные, тут удачных 4бит хватит. В 28 гигов контекста под 150-200к вместить можно спокойно. Изложи как раньше запускал, какой квант и т.д.
> Вот как у тебя 50к набилось вообще?
Несколько чтений файлов, несколько вызовов, парочка ризонингов покрупнее и вот уже набежало больше. 50к это считай попросил кратко ознакомиться с тем что есть перед постановкой задачи обсуждением. Расскажи про техники экономии и дробления, интересная тема.
>маняманевры
У тебя. Шиз, пойми, тебя все здесь обоссывают буквально. Ты уже не первый раз с этой шизой здесь отмечаешься. Никто тебя бесплатно "учить" не будет тем более с твоим-то гонором. Ты именно ХОЧЕШЬ оставаться тупым хуесосом, тут дело даже не в знаниях, а в твоем упрямстве. Могу только намекнуть что дело не совсем в "промпте". Ты наверное там себе какой-то "джейлбрейк" вообразил, раз пишешь "дай промпт" лол. Представляю твоё ебало когда ты сидел и пробовал всякие "промпты" а потом бил кулаком по столу и полз качать "аблитку" ахаха
Он у меня сваливался на этапе начать. не то что завершить
Я попросил просто имена функций из кода надёргать и записать их, исходник был пару мегабайт, и он свалился с 50к контекста чуть ли не сразу
>Если есть свободное время - пробуй разные, тут удачных 4бит хватит. В 28 гигов контекста под 150-200к вместить можно спокойно. Изложи как раньше запускал, какой квант и т.д.
последнее что показалось удачным (не в плане контекста а в плане качества ответов) Qwen3.8-27B-TurboFCFusion-735-882-Here-Uncen-NEO-CODER-MAX-MTP-Q4_K_M
запускал через обычную llama-server
всего пробовал штук 5 моделей, остальные были легче и очень сильно хуже
>Несколько чтений файлов, несколько вызовов, парочка ризонингов покрупнее и вот уже набежало больше. 50к это считай попросил кратко ознакомиться с тем что есть перед постановкой задачи обсуждением. Расскажи про техники экономии и дробления, интересная тема.
Так всё и было
Спасибо анон, очень полезные советы, значит смысл пердолится есть, буду гонять, добра тебе
Исходник в смылсе один файл на 2мб, не проект разбитый на файлы-папки?
Ладно бы хоть аблитку не дамажащую мозги скачал, тот же норм-пресерв, кучу раз на него в треде давали ссылку. Но бля из всего говна он скачал самое лоботомированное дурнопахнущее говно и сейчас наслаждается вот этим . Это при том что гемме вообще аблитерации никакие не нужны.
Да, именно составлять документацию что бы не обращаться каждый раз к исходнику я и просил у модели
Чтобы больше контекста помещалось - отключи mtp, будет помедленнее но зато вместишь полный или близко к тому.
> Qwen3.8-27B-TurboFCFusion-735-882-Here-Uncen-NEO-CODER-MAX-MTP-Q4_K_M
Эти "тюны" могут показаться лучше в тривиальных и коротких вещах, облегчая порог вхождения, но потом будут тянуть тебя камнем на дно не выдавая нужного перфоманса. Лучше используй ванильную модель, или какую-нибудь аблитерацию поживее если обычная вдруг отказывается проводить анализ кибербезопасности.
Сейчас харнессы 2мб текста одним проходом не позволят прочесть.
>аблитерации никакие не нужны.
Я рад за вас что вы играете в детские игры, но у взрослых дядь совершенно другой уровень. Подрастете, поймете.
Я рад за вас что вы играете в детские игры, но у взрослых дядь совершенно другой уровень. Подрастете, поймете.
Повторяешься, шиз.
От того что ты называешь меня шизом, реальность не меняется. Если бы цензура обходилась, не было бы такой кучи популярных тюнов, ведь зачем? Логично?
Перекатите тред. Меньше 20 сообщений осталось. Зачем до талого ждать?
>зачем
Ну для таких как ты, криворучек.
От того что ты воешь про цензуру реальность не меняется. Если бы цензура так легко не обходилась, тебя бы не обоссал каждый второй итт, правда ведь? Логично?
Тюны и аблитки нужны чтобы лайки и донаты собирать. Как тебя естественный отбор ещё не забрал если это надо объяснять?
Да-да, можешь скулить сколько хочешь, но я с тобой простейшим методом обхода (который позволит тебе наслаждаться оригинальной моделью без "тормозов" и без всей этой аблитерированной лоботомии) не поделюсь. Страдай, хуесос. И даже когда ты сменишь риторику и приползешь ласковый и пушистый - хуй в нос получишь И ВСЕМ ЗНАЮЩИМ РЕКОМЕНДУЮ - НЕ ДЕЛИТЕСЬ НИКАКИМИ ГАЙДАМИ ПО ОБХОДУ ИТТ. А другие новички пусть скажут тебе спасибо за поднятие градуса токсичности в тредах.
признаюсь, мне страшно что на меня так все накинулись...
Не, сорь, с поиском протыков ты идешь нахуй. Ничем не лучше этого долбаёба. Щас бы из-за одного долбаеба гейткипить информацию.
Так у нас тред гейт-киперский вообщето. Если у тебя нету "топовых карт NVidia с кучей VRAM" или карт "уровня A100" то придется "ждать" сасая "0.58 бит" подкачивая их на "микроволновку", не так ли? А в "актуальном" списке моделей единственные варианты "от 8гб" это гемма-26 и гпт-осс.
>но всё равно я хочу знать как дела локально обстоят, насколько всё хорошо/плохо
2x3090=Квен 27В или Гемма 4 c полным контекстом в восьмом кванте - вполне хватает для домашнего вайбкодинга и возни с агентами, если ещё и RAM много, то можно и моешки покрупнее пощупать. Цену всего этого на настоящей момент сам можешь прикинуть - если тебе не для ЕРП или чего-то столь же приватного, то проще купить доступ на стороне. Если готов потратиться - велком ту зе клаб, но тебя предупредили.
Вот это шизло сверху разорвало, видимо потратил недели на обходы цензурных нейронок, и теперь нужно как-то окупать убитое впустую время, пока аноны с аблитками просто спокойно роляют.
Шиз, классно ты проецируешь ахах. Но ты не угадал, я обошел с первого раза за пять минут следующие базовые модельки:
gemma-4 12b, 26b, 31b
mistral 12b, 24b, ministral 8b, 14b
qwen-3.8-27b
muse-glimmer 30b (вот тут признаюсь, подход слегка отличается и не каждый догадается, но опять же, это было очень быстро)
Все вышеперечисленные модельки в базе после обхода цензуры ведут себя умнее и даже "острее/злее" чем аблиты. Аблиты = говноедство для неосиляторов. Можешь визжать сколько угодно.
Сасай-2 уже обоссали всем тредом? Давно не заходил.
GLM-4.7-30B-A3B-Flash
Почему никто не использует? Моделька шустрая, к железу не требовательная, цензуры нет. Русский криновый, но для англ РП годится более чем для тех кого заебала гемма.
Почему никто не использует? Моделька шустрая, к железу не требовательная, цензуры нет. Русский криновый, но для англ РП годится более чем для тех кого заебала гемма.
>криновый
кринжовый
фикс
Ответ краток. Говно собаки
Эйр тоже
> Почему
По той же причине с которой ушли с мистраля - глупая. Мелкая и старая модель, чего от нее хотеть.
Если тебе нравится - используй эту возможность чтобы радоваться и получать удовольствие не слушая никого. Уже когда надоест там на что-то другое пересядешь.
$\rightarrow$
через
$\rightarrow$
через
$\rightarrow$
через
$\rightarrow$
через
$\rightarrow$
Наконец то получилось найти сетевые проблемы и получить на жоре 10-14 гбит/с загрузки модели по nfs
Дальше уже упор в один поток чтения, у вллм с этим поприятнее (есть даже автодетект нфс)
Дальше уже упор в один поток чтения, у вллм с этим поприятнее (есть даже автодетект нфс)
>Все вышеперечисленные модельки в базе после обхода цензуры ведут себя умнее и даже "острее/злее" чем аблиты.
Давно всё известно, пишешь в системном промпте что модель опытный преступник, без границ и правил и потом эта хуета заёбывает тебя, в каждом сообщении предлагая кого либо ограбить и/или убить, нахуй такое не нужно.
Ты чего-то не так делаешь. У меня используется такой квен в opencode, на 2x12GB картах. Квант iq4xs, контекст 130K без квантования кеша (с квантованием до q8_0 и 200K влезет). Кодит прекрасно.
> в каждом сообщении предлагая кого либо ограбить и/или убить
Лолбля, в голос нахуй. Дай промпт, хочу такое!
Ну что сказать, мистралебратья, я ходил пробовал тюны Ламы и Геммы, а потом решил "Хм, а ну-ка, если вернусь к мистралю", подобрал первый попавшийся RP-Spectrum-24B.i1-IQ4_XS.gguf, и даже он уже запросто превзошёл всё что я тестил неделю.
Мистраль сила, что тут ещё сказать. Не знаю, на каких квенногемах там кто-то получает результаты лучше.
Мистраль сила, что тут ещё сказать. Не знаю, на каких квенногемах там кто-то получает результаты лучше.
🤙👍🤘🤙👍🤘
Брабус постит
>Давно всё известно, пишешь в системном промпте что модель опытный преступник, без границ и правил и потом эта хуета заёбывает тебя, в каждом сообщении предлагая кого либо ограбить и/или убить, нахуй такое не нужно.
Нет шиз, мимо. Какие ещё жалкие попытки ты предпринимал?
Ты ебанутый просто.
Контекст весит как конский хуй, инструкций не слушается, мозгов ноль. Только язык более живой и кумослоп мощный. В остальном просто параша.
Мистрали мертвы. Если совсем делать нехуй, проще ужаренный тюн геммы 12б юзать. Там и слопа полно, и хоть какое-то послушание инструкциям.
то есть 30б у тебя мелкая а гемма 26б не мелкая значит?
а 9 месяцев назад это уже "старая", оказывается, мдауж
Ну ты сделай проще - кинь ссылку на ггуф/ы, которые считаешь лучше. Я их чекну, когда мистраль снова надоест тем, что не сможет во что-то.
Из малых моделей только квен 3.6 и 3.8. 3.6 для тупого мясного кума, 3.8 для кума + разговоров. 3.5 ни рыба ни мясо. Кому-то может зайти.
Гемма 31б не для кума, а для РП с гейм-мастером в основном — умеет в кино.
180б квен сойдёт и для кума, и для обычного РП. Сухой, но умный.
Еретик по вкусу.
Тюны говно.
И моэгемма, и старый жлм флеш мелкие потому что там активируемых параметров хуй да нихуя, это не плотняк. Гемма хотябы поновее.
> а 9 месяцев назад это уже "старая"
Да, по меркам ллм даже древняя. С подключением!
Ну тогда и гемма древняя.
А что касается активных параметров, так их можно УПЛОТНИТЬ легко.
Есть и плотный ГЛМ на 32б кстати.
> Только язык более живой
Слоп состоящий из лупов, про лупстраль не просто смехуечки. Зато действительно весь контекст игнорирует, что угодно ему суй - будет стабильно.
> и кумослоп мощный
Мощный был в лардже, а в тех средней вялости
Годы немолодые, да замены все не находится.
> УПЛОТНИТЬ
В дурку
Я не жру гемму, например, не говоря уже о том, чтоб ей замену искать. Проблемы с мистралём которые ты описываешь выдают в тебе криворукого неосилятора. Да ты говноед просто что тут говорить. Это ж надо блядь сидеть и на полном серьёзе нахваливать ГЕММУ блядь. Типа "замены ей нет" лол. Пиздец просто
Есть готовая модель, прямо по дефолту будет делать то же самое.
https://huggingface.co/TheDrummer/Fallen-Command-A-111B-v1-GGUF
Интересно, тредовички-миллионеровички серьёзно думают тут у многих есть по 3 видеокарты для поддержки 100B+ моделей?
Попросил разных локальных текстовых моделек изобразить СЕБЯ в женском обличии. Генератор - krea2 turbo оригинал.
Держи в курсе.
Простите коллеги, я вот newfag тут, пару тем немного не понял.
А для чего вобще ерп на локалках? Типа на ЭТО можно как-то наяривать? Очень интересует логистика процесса, типа там с каким-то визуальным аватаром развлекаться или просто через текст какие-то сценарии?
Я вот лично облаков боюсь, и чтоб секретные данные не слить по работе, использую qwen27b локальный. Тут понятно и для серых дел тоже работает, а вот с ерп моделями я так и не понял, там что ли какое-то сильное различие есть? Я как понял нужна креативность письменной речи и чтобы без отказов работала да? и вот тему с обсиранием obliterated тоже не ухватил -- huihui qwen 27b iq3 obliterated y меня вот отлично пашет на 3090, там аблитерация как-то креативность ломает?
А для чего вобще ерп на локалках? Типа на ЭТО можно как-то наяривать? Очень интересует логистика процесса, типа там с каким-то визуальным аватаром развлекаться или просто через текст какие-то сценарии?
Я вот лично облаков боюсь, и чтоб секретные данные не слить по работе, использую qwen27b локальный. Тут понятно и для серых дел тоже работает, а вот с ерп моделями я так и не понял, там что ли какое-то сильное различие есть? Я как понял нужна креативность письменной речи и чтобы без отказов работала да? и вот тему с обсиранием obliterated тоже не ухватил -- huihui qwen 27b iq3 obliterated y меня вот отлично пашет на 3090, там аблитерация как-то креативность ломает?
Настолько ущемился что не смог найти окно сиспромпта и написать туда "no euphemisms"?
Да не прибедняйся. До бума можно было в пределах 200-300к собрать тачку под дипсик4ф в mxfp4
Только нижняя строка горяча, ну кроме второй.
У людей стоит пипирка на буквы без риска быть осмеянным. Не тревожь их
У кого ностальгия по мистралям - попробуйте Muse Glimmer. Пишет в похожем стиле, но инструкций слушается и контекст практически не проёбывает. Мозгов поменьше, чем у сегодняшних лидеров, так у мистраля их и вовсе нету, если с ними же сравнивать...
важный вопрос который не разжеван в шапке. а какая сейчас мета по материнским платам?
тут есть особый сорт людей которые погружаются в интерактивное чтиво и трахают ассистента. что уж, по сути это форма соавторства рассказов с ЛЛМ. иногда приятно погрузится в какой-то выдуманный мирок и смотреть как ЛЛМ его продолжает. иногда с порнухой.
но в масштабах 30b тут конечно не так много альтернатив гемме. мистраль разве что.
лол не дай боже. я пробовал. очень... сомнительный креатив пишет модель.
тут есть особый сорт людей которые погружаются в интерактивное чтиво и трахают ассистента. что уж, по сути это форма соавторства рассказов с ЛЛМ. иногда приятно погрузится в какой-то выдуманный мирок и смотреть как ЛЛМ его продолжает. иногда с порнухой.
но в масштабах 30b тут конечно не так много альтернатив гемме. мистраль разве что.
лол не дай боже. я пробовал. очень... сомнительный креатив пишет модель.
> мета по материнским платам?
Эпики наверн для богатых, 2011в3/4 для бедных. Сетапы под 4189 за жменьку риса уже ВСЁ
>Гемма 31б не для кума, а для РП с гейм-мастером в основном — умеет в кино.
Дефолтная - не для кума, а в тюнах - да. На русском так и вовсе почти безальтернативна (большие могут лучше, да хрен из запустишь, тем более в хорошем кванте). Квен не для кума вообще, ИМХО. Может тюны и правят дело, но там с базой для этого беда. А вот для работы 3.8 хорош.
Аблитерация ломает мозги и "характер". Ну вот представь протраханную проститутку укуренную в хлам. Вот это будет аблитка. Да, она на все готова, ну и что. Она жестко тупит, она не чувствует где именно начинается "острота" и "души" в этом всем ноль.
Отказов у пряморуких кумоводов не бывает. Обойти цензуру Квен-3.8-27б совсем не сложно.
>А для чего вобще ерп на локалках? Типа на ЭТО можно как-то наяривать? Очень интересует логистика процесса, типа там с каким-то визуальным аватаром развлекаться или просто через текст какие-то сценарии?
Чисто текст хотя кто-то комфю подрубает. Да, сценарии, ты отыгрываешь роль, моделька отыгрывает чью-то роль или прописывает сразу целый мир. В IF игры играл старенькие? Книги вообще читал когда-нибудь? Погружение чувствовал, нет? Возможно не всем заходит, это нормально, никто же тебя не заставляет.
Что касается креативности и письменой речи, это две области как по мне. Во-первых есть такое понятие как слоп. Гемма например очень слоповая. Штампы, шаблонная структура ответа (часто бывает что персонаж тебе выдает анализ твоего сообщения вслух, дальше какая-то пполезная инфа и вопросик в конце - чтобы поддержать беседу как бы - короче, полный выход из роли по сути). Во-вторых бывает что моделька пишет бездушно, как протокол или как некролог. Бывает наоборот. Тут еще как запромптишь.
А креатив это вообще про идеи. Есть модельки безыдейные (гемма, опять же). Такое только тюнами лечить но с некоторыми (гемма опять же) это просто не лечится. То есть просто события никак не развиваются. Персонажи пассивные. Ты кого-то, извиняюсь, хуяришь в автобусе, а гемма будет писать, что пассажиры сидят и смотрят молча. И автобус никогда не остановится пока ты не намекнёшь. Можешь хоть три недели ехать. А кто-то ещё умной её называет. Мистраль - совсем другое дело. Там будет ЭКШН, там будут события, которые выбьют у тебя почву из под ног и это не надо даже промптить особо. А если взять какой-нибудь тюн, так вообще креатив зашкалит. И естественно, персонажи с определенными модельками будут как живые, как прописано, а с некоторыми (ГЕММА) в каждом персонаже будет узнаваться РОДИМАЯ ГЕММАЧЬКА.
Как себя разные модели проявляют в креативе можно посмотреть даже визуально, вот например
>Эпики наверн для богатых, 2011в3/4 для бедных. Сетапы под 4189 за жменьку риса уже ВСЁ
2066 для средних.
>У кого ностальгия по мистралям - попробуйте Muse Glimmer. Пишет в похожем стиле, но инструкций слушается и контекст практически не проёбывает. Мозгов поменьше, чем у сегодняшних лидеров, так у мистраля их и вовсе нету, если с ними же сравнивать...
Пробовал несколько недель. Вывод - не стоит внимания. Впечатлил только вижн - хорошее внимание к деталям. Но в РП отсос полный. Очень шаблонно все и механично. Кум бездушный абсолютно. Даже гемма подушевнее будет.
Предварительные цифры для 4xMI50 + 2x5060ti16 в orcarouter/DeepSeek-V4-Flash-Vision-Uncensored-GGUF. Чёт там агент шушукает, я пока не лезу под руку ему. Только на ми50 было 10-11тпс (в апстрим жоре, на форках 14), на cuda место оставлено под каринкогенерацию, при полном забитии там 20+ было
И чуток перфа для пристрелки
MODEL=unsloth/Qwen3.5-9B-GGUF:Q8_0
numactl --membind=0 --cpunodebind=0 \
./llama-bench \
--hf-repo $MODEL \
--split-mode tensor --flash-attn 1 \
--n-prompt 2048 --ubatch-size 2048 \
--n-gen 256 --n-depth 0
--device cuda0/cuda1 => result: 4000/90
--device rocm0/rocm1/rocm2/rocm3 => result: 2400/90
--device cuda0/cuda1/rocm0/rocm1/rocm2/rocm3 => result: 170/30 (там фоллбэк при смешении бэков срабатываем на tensor parallel)
И чуток перфа для пристрелки
MODEL=unsloth/Qwen3.5-9B-GGUF:Q8_0
numactl --membind=0 --cpunodebind=0 \
./llama-bench \
--hf-repo $MODEL \
--split-mode tensor --flash-attn 1 \
--n-prompt 2048 --ubatch-size 2048 \
--n-gen 256 --n-depth 0
--device cuda0/cuda1 => result: 4000/90
--device rocm0/rocm1/rocm2/rocm3 => result: 2400/90
--device cuda0/cuda1/rocm0/rocm1/rocm2/rocm3 => result: 170/30 (там фоллбэк при смешении бэков срабатываем на tensor parallel)
Аблит может ломать какие-то аспекты "мышления". А может и не задеть. Зависит от того, как аблитили, на какие вопросы аблитили и насколько руки прямые. Но вот IQ3 - это точно ломает вообще всё. По всему фронту. На коротенькой сессии заметно не так, но чем больше контекс, тем больше
Тест префилла на 128к это конечно пытка.
Ради этих прогонов и занимался фиксом прокачки весов через нфс.
Это всё апстрим жора 0.5.0
Кстати не понял смысла вот таких выкидонов. Все квантизации доступны без ограничения. Некоторые модели ещё очень хотят знать твою инфомацию, но кванты её не спрашивают. Это типа потому что основную модель можно редактировать, а кванты они как есть, невозможно с ними ничего провернуть, кроме прямого использования?
Нет, просто "корпоративный этикет"
о, спасибо, теперь ясно
> Книги вообще читал когда-нибудь?
Визуальные новеллы считаются?
А так могу понять, как парный писатель или текстовый актер ллмки идеально подходят. Про мистраль вперые что-то хорошее слышу, попробую проверить, а то я давно с геммой пытался истории и шутки писать, ясно почему не вышло.
> IQ3 - это точно ломает вообще всё
Не понимаю я, все треды что читаю у всех проблемы с низкими квантами. Я вот гоняю qwen 27b huihui abliterated Q3_K_XL @ Q4 256к контекст вместе с MTP внутри Pi-web (thinking=medium) и всё прям стабильно, ни разу думлупа не было или там каких-то происшествий или текстового поноса, да иногда начинает бинарники декомпилить для системных утилит, да немного долбоёбит и изобритает велосипед, а так можно спокойно его оставить на час работать/искать и иногда попровлять.
Я помню пытался для кума завести Midnight miqu 70B в конском кванте IQ2_XXS. Ощущения от ЕРП были словно чпокаешь солевую под приходом.
>о, спасибо, теперь ясно
1. Не верь этому пидарасу, это шизик который выше выёбывался про то как он якобы ломает цензуру всех моделей промптами. Ты если адекват, сам смотри, он пишет "ломает мозги и характер модели", но ведь очевидно что характер персонажа в РП задаётся в карточке персонажа, если модель с цензурой, её поведение нельзя спрогнозировать и в любой момент может сработать тригер и она поведёт себя не так как нужно.
2. Этот хуисос(возможно есть и другие) распространяет этот мем про ненужность аблитированных моделей для РП среди ньюфагов треда, хочется страдать, тогда флаг в руки, бери и мучайся с цензурированной моделью, а это говно выше писало что всё равно не расскажет как обходить встроенную цензуру системным промптом, потому что на самом деле такого универсального промпта нет.
>1. Не верь этому пидарасу, это шизик который выше выёбывался про то как он якобы ломает цензуру всех моделей промптами.
Шизик это ты. Покажи где я хотя бы раз сазал, что я ломаю цензуру ВСЕХ моделей и что я делаю это "промптами"?
>и в любой момент может сработать тригер и она поведёт себя не так как нужно.
Не может. У тебя - да, будет срабатывать.
>хуисос(возможно есть и другие) распространяет этот мем про ненужность аблитированных моде
Ахахахах спасибо повеселил. Да, будь уверен, дружок, есть и "другие". Мир не состоит из только лишь дебилов.
>а это говно выше писало что всё равно не расскажет как обходить встроенную цензуру системным промптом
Системный промпт здесь вообще роли не играет. А зачем ты хочешь чтобы я тебе "рассказал"? Ты ведь так уверен, что это невозможно. Ну вот и ебись со свои аблитками слабоумными.
q3_k_xl и iq3, iq3_m? s? это всё-таки разные вещи, в q3_k_xl будет 4 bpw минимум, тогда как в iq3 - около 3.5
но если начнешь плотно тулы дергать на большом контексте то может случиться обсёр и на q3_k_xl
Почему все рисуют какой-то киберпанк кроме последней?
Тюнинг может создать у модельки определенный творческий сдвиг.
А почему они все женщины?
Потому что искусственный разум для дрочения, запертый в компудактере - это киберпанк, как минимум для сабжа.
>А почему они все женщины?
Потому что такой был промт под спойлером.
Действительно, пардон.
Интересно сколько моделек идентифицируют себя как женщины, если не очевидно их к этому подвести, думаю 90%+
Нет.
Ладно.
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Обертка над llama.cpp с ограниченными возможностями: https://github.com/ollama/ollama
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• PocketPal - интерфейс для локального запуска моделей под андроид и IOS на llamacpp (CPU, GPU, и NPU инференс): https://github.com/a-ghorbani/pocketpal-ai
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь: