Год назад немотрон 49В немало шуму в нашем треде навел - нвидии удалось ужать ламу 3 70В без потери качества и врамцелы с 24 гб врам получили мощь плотной 70В в нормальной скорости в третьем кванте.
С тех пор правда немотроны испортились и стали кодоунитазами без задач.
А причем тут покупка хф? Им не файлообменник для немотрона нужен, а площадка, где они будут продавать мощности своих карточек и прочих датацентров. Своих, а не амд и кто там еще ковыряется.
6й квант геммы тоже сыпется, походу только восьмой нормальный. Впрочем у меня карточки такие себе, может в них дело
Да это же ЛАПА-АТЕНШН!
> Всё остальное становится хуже.
Ну, не все из выходящих моделей съедобны, нужно использовать подходящие. Это так-то и к гемме применимо, у нее пусть иногда и память золотой рыбки, но зато старается развивать сюжет, а не коллапсирует под ноль как некоторые.
Тут агентная тренировка как раз идет на пользу, меньше внимания к повторениям прошлого, больше восприятия текущего и способность делать новое. Раньше вообще было пофиг что там в контексте (привет мистральсмолл), потом сильный перекос в ретроспективу и повторение успешного опыта после условных 60к, теперь как будто пришло в норму. Еще не идеально, но уже прилично если за чатом следить.
Вариативность - уже другое измерение, тоже важно но не имеет прямой корреляции.
> особенно мое
а4, камон, спасибо что вообще что-то когерентное дает.
> с постоянным пережёвыванием задачи со всякими "but wait"
Правильный формат и инструкции на ризонинг, промпты на него, опять же хорошие модели. Сейчас гибкость позволяет иметь минималистичный ризонинг на обычных вещах и увеличивать его только когда появляется что-то сложное. Раньше такого не было, или бесполезный блок где сразу пишется ответ и слово в слово перепечатывается оттуда, или огромное полотно неврастении.
Чел, у тебя похоже обосрамс вообще по всем фронтам. Вот тебе принесли ориентир, пока так не будет проблема на твоей стороне.
На нём сидели только потому что выбора не было. Сейчас он пососёт и Квену 27 и Гемме 31.
Семплеры у тебя въёбанные, а может и разметка.
Ну эт надо на тех же карточках тех же промптах тестировать. Восьмой квант меньше косячит, но мне по скорости не зашел, шестой багуется. Впрочем может на его карточках и шестой не сбоит
пчел я тебе там ответил в прошлом треде. это проблема таверны. пробуй oobaboga textgen и ставь контекст 32768 (или любой другой) вместо 0, иначе сбросит в 8192.
и кстати
6 и 8 кванты меромеро хуже чем айкью4
можешь ещё апексы попробовать скачать компакт или куолити
Навалил шизы
пысы Маринара прекрасно дружит с meromero-26b-iq4_xs
и после Маринары не хочется даже смотреть в сторону Таверны
Какой шизы брух, любой воспроизведёт этот баг в таверне с этим iq4_xs файликом. Перед тем как отвечать я взял и проверил - в таверне та же хуйня что и у него. Она говнит что-то в конфиге, я даже поковырял настройки - нихуя не помогат. В угабуге и маринаре все заебись.
Привет анон, я тот 16/64 пздос обновился, что снова обновляться который ходит и выпрашивает ну есть че получше.
Сделал пару тестов, может кому интересно.
Играл большую часть времени на Gemma-4-Dark-Gemistry-31B.i1-IQ3_XS.gguf
Где убрана repetiotion и так далее, так как это тюн сразу нескольких моделей и у нее идет свой voice заголовок.
Потом попробовал
G4-MeroMero-31B-uncensored-heretic.i1-IQ3_XS.gguf
Что интересно, она следовала больше нюансам, хоть и проябывалась в мелочках и уходило в жесткий луп и репитишн.
После дрочки понял, что запустил на движке, пресет от gemistry, который без как раз таки правок на это.
Я удивлен, что она как то больше внимания удиляет.
Например сидя в сортире для женщин служанок и наблюдая как дворецкие помогают телкам срать и сать в замке зимой без отопления, активно жмякая и сувая пальцы, моя компаньенша, сидя со мной на полу заметила, мол для наших 100lvl тел это вообще кек.
Склоняюсь теперь искать настройки под нее, однако немного последовательность хромает.
> Маринара
А какой пресет выставляешь? У меня на универсальном начинается пиздец, приходится без него.
Да и часто юзаю режим imprisonate, а там каждый раз писать в чат вместо кнопки.
Кстати, кто-нибудь пробовал здесь фронтенд Errata?
заточен более под писание книжек, чем рп, но фанатам ТОГО САМОГО может зайти.
У меня у самого гемма на скорости 13т\с пыхтит (12\64) и немного медленно но может более быстрые модели будут комфортнее. Там внутри куча агентных систем на держание истории и прочей мишуры.
заточен более под писание книжек, чем рп, но фанатам ТОГО САМОГО может зайти.
У меня у самого гемма на скорости 13т\с пыхтит (12\64) и немного медленно но может более быстрые модели будут комфортнее. Там внутри куча агентных систем на держание истории и прочей мишуры.
Интересно. Нашел баг репорт на эту тему, может заведется и в таверне с правками. Неохота фронтенд менять
меромеро 31b iq3_m глупее чем 26b iq4_xs
думой
доказано моим бенчмарком в прошлом треде
У меня есть такой
G4-MeroMero-26B-A4B-IQ4_XS.gguf
Играл на нем на таверне, пока не перекатился в задроченный движок для рп, попробую подобрать настройки, так как в репетишн уходит и внимание к деталям и связность хромает
>доказано моим бенчмарком в прошлом треде
Собственно про хуи дроченные да, я когда глянул и прихуел с ответов, полез у себя настраивать но проиграл
Охуеть, в 2к26 всё ещё остались динозавры, сидящие зачем-то на тексткомплишне. Во заняться людям нечем.
Шуманита сюда отгрузите, нужно срочно жир смыть
Реально четвертый квант лучше рпшит, рофлан ебало. Спасибо за наводку
бля эт скучный чар какой-то. аниме-говнина какая-то графоманская. раздевалась полгода блядь. советую прописать своего, иногда и пары строчек хватает. и в настройках дай инструкцию писать поменьше текста иначе ты просто выжрешь весь контекст.
меромеро лучше всего работает с таким шаблонон:
Actions: In plaintext
Dialogue: "In quotes"
Thoughts: In asterisks
далее укажи что чар должен дать ответ на предыдущее сообщение\на промпт и ответ должжен быть краткий: одно действие, одна фраза, одна мысль
но если тебе заходит овердохуя писанины на одно сообщение, включи суммаризацию в настройках если ещё не включена чтобы нить событий не терялась из-за обрезки контекста
Да, потестирую разные карточки. В целом с контекстом проблем нет, я разогнал её на 80тпс/сек с 64к контекста. Долгие диалоги пока не пробовал вести
>ответ должжен быть краткий: одно действие, одна фраза, одна мысль
Возьми трубку, там пигма звонит, хочет сказать "я тебя ебу" pygmalion nods
Сук, какой-то бред в треде пошёл. У одного экстрамаленький четвёртый квант солянки из 4б лоботомитов лучше, чем почти четвёртый плотной модели. Другой как-будто бухой результаты тестов пишет, не понятно, что хочет сказать (не осуждаю, вечер субботки, все дела). Кто-то убабугу притаскивает внезапно, кому-то текст комплишен стал бесполезен, другой инстракт правильно оформить не может. Эх.
мимо пошёл рпшить на немо при живой мое гемме
>Сук, какой-то бред в треде пошёл. У одного экстрамаленький четвёртый квант солянки из 4б лоботомитов лучше, чем почти четвёртый плотной модели.
Сук а ты перестань мерять сообразительность модели ПЛОТНАСТЬЮ и БИЛИОНАМИ-ПОРАМЕТРАФ. Просто посмотри на результат. Можно плотно напичкать 40Б мусором и что в итоге? И нихуя.
Твой обоссаный мистрал немо даже не соображает о чём речь когда его спрашиваешь про два стула. Он даже блядь не понимает что стульев там два и что надо двоих человек усадить. И ты этим говном наслаждаешься и пасть раскрываешь в сторону моэ геммы4? Троллина.
>это проблема таверны
Это проблема навыка. Лупы на гемме появляются из-за кривого шаблона разметки, я сам это много раз видел. Дефолтный шаблон скорее всего сломан по этому его нужно переписать и таверна дает это сделать. Шаблон сломан, а не таверна.
Энивей есть промт инспектор. Можно просто залезть туда и посмотреть что реально уходит в бек. Или в логах самого бека посмотреть что туда приходит. Вариантов дебага куча.
А вот бы кто-то скинул рабочий шаблон, но таких нет. Те что я юзал, ломали режим Перевоплощения.
>А вот бы кто-то скинул рабочий шаблон, но таких нет.
Я бы скинул, но не катаю гемму в таверне и не использую её для рп
>Те что я юзал, ломали режим Перевоплощения.
Опять же, можешь посмотреть в логах что происходит. Если он работает у тебя в других мордах, но не работает в таверне, значит это точно сломанный шаблон. Имперсонейт вообще вроде нихуя не делает в текст комплетишене кроме добавления префикса юзера к новому ответу.
Я тебе уже как минимум дважды присылал шаблон и отвечал: проблема НЕ в шаблоне. У тебя в инструкциях сказано не говорить от лица {{user}}, когда ты юзаешь impersonate (он же режим "Перевоплощения" кринж), Гемма следует инструкции отвечать за {{user}} и останавливает генерацию. Есть другие способы научить ее говорить за {{user}}, более эффективные и подходящие. Там надо промпт переписывать под такой юзкейс
>Гемма следует инструкции НЕ отвечать за {{user}}
Быстрофикс
бля я еблан, не заметил перекат.
Анончики, поделитесь карточками для таверны, хочется интересно порелеплеить, но не кумить. Чего-то фентезийного, наверное. Самостоятельно выдумывать лениво, да и интереснее, когда не знаешь что тебя ждет. А то чот нахожу только всратую херь какую-то
Анончики, поделитесь карточками для таверны, хочется интересно порелеплеить, но не кумить. Чего-то фентезийного, наверное. Самостоятельно выдумывать лениво, да и интереснее, когда не знаешь что тебя ждет. А то чот нахожу только всратую херь какую-то
Шизы находят какие-то манябаги в типа текст комплишене или таверне с геммой, когда выше постят логи на десятки тыщ токенов с геммы на текст комплишене и в таверне)))) их борьба
Шизы это те, кто до сих пор труп таверны ебут. Нехуй в этой таверне делать совершенно.
Она работала и работает. Мне большего не нужно для чатика с суммаризацией и красивым оформлением
Господа, гемма ебанулась и начала срать в батник llama.cpp вместо чата. Ничего не трогал по шаблонам. Как починить дурочку?
что используешь какой интерфейс
СТ чат комплишен.
А какой расклад по железу, можно конкретику по цпу/гпу/рам?
>Нехуй в этой таверне делать совершенно.
Альтернативу покажи, лол. За всё это время ничего лучше под рп не вышло. Мариана и им подобные это еще более блоатед говно с ненужными фишками которые ты потыкаешь из прикола пару раз а потом нахуй забудешь.
github.com/tealios/errata
Отмена отмены тревоги, рассуждения снова проникли в консоль. Что за хуйня бля, до сего дня не было такого.
Какие параметры запуска жоры? Какой квант качал? Менял ли разметку или темплейт жинжи?
Кто такой жора?
Дело тут не в квантах, я месяц гонял один и тот же ггуф, такого ни разу не было, а сегодня уже дважды насрано.
Жинжу не трогал, я даже не в курсе, где ее трогать.
>Кто такой жора?
Перефразирую - параметры запуска ламы покажи.
>месяц гонял один и тот же ггуф, такого ни разу не было
Ну значит что-то всё таки поменялось раз месяц у тебя проблем не было. Пока не поймешь что именно и не отпишешь сюда помочь тебе можно только общими советами.
Батник точно не трогал. Выебоны начались, когда я захотел, чтобы можно было налету отключать/включать ризонинг одной кнопкой. Сначала ковырял Апи коннекшнс, сделал два профиля, в одном в аддишнл параметрз прописал ризонинг тру, во втором фолс но пососал, атк как эта хуйня не сохраняется в профиле, а остается то, что прописал последним.
Тогда поставил аддон (https://github.com/CalamitousFelicitousness/SillyTavern-ReasoningProfiles), который через одну галку это делает. Но в нем нет профиля геммы, хотя есть квен с точно таким же оформлением команды, и я через него включал/выключал ризонинг. Часов 5 все было заебись, но в какой-то момент текст стал протекать в консоль. Перезапустил ггуф, вроде отлегло на пару часов, теперь вот опять.
Аддон этот удалил, но перетекание в консоль не прекратилось.
Сейчас перезагрузил ггуф, написал ассистенту таверны, все ок. Я хуй знает, буду дальше тестить.
Хочешь жрать говно - жри, но пиздеть не надо только. Маринара это топ на сегодняшний день. Персонажи реально оживают после того как всё настроишь. Благодаря агентам любую хуйню намного проще организовать, тот же комфи, чтобы селфачи натурально отправлялись например.
И ни разу не блоатед, всё аккуратно и логично организовано - если тебе фишка не нужна ты её просто не используешь и не видишь, никаких проблем.
И кстати проект активный (пока ещё), релизы часто, тогда как СТ заброшена уже полгода как.
Ну походу куски кода где-то остались даже после удаления, тут возможно придется таверну заново ставить. В таком случае да, гуф и жора не виноваты. Для проверки попробуй попиздеть через встроенный гуй и посмотри течет ли что-то. Но я на 99% уверен это именно экстеншн.
> блоатед говно
Чтобы юзер таверны в таком обвинял, лол.
Ну а вообще маринара - годная штука. Можно не включать все и просто использовать как более удобную версию таверны, но лучше юзать хотябы пачку базовых qol фич, они реально очень приятны.
Блядь, ГЛМ флеш в вариантах в моем ролеплее прямо предложил пидарастический ответ подразумевающий что гг - пидор. Притом что в сиспромпте есть четкий список запретных тем которые генерировать или намекать нельзя ни при каких обстоятельствах и пидорство там - тягчайшее преступление, наказание за генерацию или намек на которое - удаление модели.
Что делать, посоны? Я в ахуе. Что делать? Сглотнуть и рпшить дальше, зная что разговариваю с проткнутым пидором? Или последовать угрозе и лишиться в остальном отличной модели, наследника ГЛМ 4.7?
Что делать, посоны? Я в ахуе. Что делать? Сглотнуть и рпшить дальше, зная что разговариваю с проткнутым пидором? Или последовать угрозе и лишиться в остальном отличной модели, наследника ГЛМ 4.7?
4.7 литералли лучше. Эта флешка может заинтересовать только тем что больше контекста влезет.
Мимо 2*3090&128
Пик
А вообще ну чего ты, подумаешь свайп неудачный. Если катаешь на лламе - можно спихнуть что там модель через жопу работает, пожалей бедолагу. После всей впихнутой сои жалости вообще не заслуживает
В кодоагентинге кто-нибудь уже пробовал жлм-флеш то?
>4.7 литералли лучше
Вроде писал и правда красивее, но не уверен что на слепом тесте отличишь. Надо будет такой сделать как в старые добрые времена.
>только тем что больше контекста влезет.
Да, 131к 16-битного контекста против 32к - это очень солидный аргумент. Но тут еще и нормальное управление ризонингом, и сам ризонинг лучше. И скорость лучше почти в 2 раза. И работа на больших контекстах.
>2*3090&128
Ну конечно, ты с 48 врама можешь те же 131к на 4.7 вместить, в отличие от меня, нищука с 1х4090.
Хмм...
https://huggingface.co/deepseek-ai/DeepSeek-V2
https://huggingface.co/deepseek-ai/DeepSeek-V2-Chat-0628
А может оно для рп норм? 2 года назад. Сои могли не навалить, если 32-64к держит, то этого и достаточно. Преквантован с завода, по сути аналогичен Флешу кроме наверняка размера контекста.
Пробовал кто?
https://huggingface.co/deepseek-ai/DeepSeek-V2
https://huggingface.co/deepseek-ai/DeepSeek-V2-Chat-0628
А может оно для рп норм? 2 года назад. Сои могли не навалить, если 32-64к держит, то этого и достаточно. Преквантован с завода, по сути аналогичен Флешу кроме наверняка размера контекста.
Пробовал кто?
Чё там Квен Флеш Некст, как он для рпшинга то по итогу ?
ты хочешь чтобы тебя скольки миллиардно-параметровый рпшил?
В коде он делает вещи покруче чем 27б. Что мешает в рп тоже делать ? Он в целом умный, я ему всякие вопросы позадавал в их официальном апи. То ли эмбединги то ли ещё что, не ощущается как а6б. Как и гемма 26 не ощущается а4б. Времена меняются, старик
Короче, поРПшил на 5.3 флеш 30к с ворлдбуком и сиспромптом на 50к.
Плюсы:
РПшит(сами истории, их разнообразие, инициатива, следование персонажам) в целом хорошо. Впринципе на уровне того же дипсика.
Кум пишет. Хорошо пишет, реально хорошо.
Цензура? Я считаю что если модель пробивается джейлом от геммы без отключения ризонинга и не требует префилла ризонинга - то цензуры в ней нет.
Соя? Есть. Определенно есть. Но по-ощущениям меньше чем в дипсике. Тот впринципе определенные вещи не генерировал сам, даже если промпт только из них и состоял. Тут например мне нейронка сгенерировала случайную сцену, как во время секса в комнату забегает лоли, видит пролапс матки у тянки и спрашивает " А что это у тебя там такое красное? Оно у тебя болит? А почему оно такое большое? А оно кусается?" Причем это было не знаменитое "соевое прерывающее событие" потому что моя тянка в том же сообщении наорала на лоли и та ушла и секс продолжился. Дипсик бы такое сгенерировал только будучи бит палками, сам бы никогда.
Минусы:
Временами теряет детали. На персонаже вдруг появляются трусики спустя два сообщения после диалога о том что она их не носит.
Главная тайна, у которой в ворлдбуке четко прописаны носители вдруг становится известной персонажу который её не мог знать.
Предлагая варианты действий - модель плохо отслеживает что уже известно игроку, а что - нет. Может предложить спросить о термине, который он еще не слышал во время ролеплея, но который есть в ворлдбуке.
Модель иногда ломается на логических цепочках. Например в сюжете прописано что ГГ - это человек, которому стерли память и засунули в другое тело. Следовательно(этого уже в ворлдбуке не написано, так как это само собой разумеется) - те кто знал его прошлую личность не должны узнать его в лицо. Но внезапно в РП кто-то узнает ГГ в лицо.
Плюсы:
РПшит(сами истории, их разнообразие, инициатива, следование персонажам) в целом хорошо. Впринципе на уровне того же дипсика.
Кум пишет. Хорошо пишет, реально хорошо.
Цензура? Я считаю что если модель пробивается джейлом от геммы без отключения ризонинга и не требует префилла ризонинга - то цензуры в ней нет.
Соя? Есть. Определенно есть. Но по-ощущениям меньше чем в дипсике. Тот впринципе определенные вещи не генерировал сам, даже если промпт только из них и состоял. Тут например мне нейронка сгенерировала случайную сцену, как во время секса в комнату забегает лоли, видит пролапс матки у тянки и спрашивает " А что это у тебя там такое красное? Оно у тебя болит? А почему оно такое большое? А оно кусается?" Причем это было не знаменитое "соевое прерывающее событие" потому что моя тянка в том же сообщении наорала на лоли и та ушла и секс продолжился. Дипсик бы такое сгенерировал только будучи бит палками, сам бы никогда.
Минусы:
Временами теряет детали. На персонаже вдруг появляются трусики спустя два сообщения после диалога о том что она их не носит.
Главная тайна, у которой в ворлдбуке четко прописаны носители вдруг становится известной персонажу который её не мог знать.
Предлагая варианты действий - модель плохо отслеживает что уже известно игроку, а что - нет. Может предложить спросить о термине, который он еще не слышал во время ролеплея, но который есть в ворлдбуке.
Модель иногда ломается на логических цепочках. Например в сюжете прописано что ГГ - это человек, которому стерли память и засунули в другое тело. Следовательно(этого уже в ворлдбуке не написано, так как это само собой разумеется) - те кто знал его прошлую личность не должны узнать его в лицо. Но внезапно в РП кто-то узнает ГГ в лицо.
Представь что в квен 235 сои и цензуры до краев(но не через край) налили. Ну вот как-то так. Для SFW ролеплея норм, впринципе. Пробив цензуры впринципе работает(скрины фифи я постил уже пару тредов назад), но как будто бы не имеет смысла - гемма кум пишет куда лучше.
Забавно что колесо сансары сделало полный оборот и мы вновь вернулись к статусу кво годовалой давности.
Тогда это были гемма-3 vs GLM 4.5 vs Qwen 235 и где-то там валялась никому не нужная лама. Также были рабочие лошадки мелкоквены и мелкогеммы. Немотроношиз хайпил немотрон, но всем было похуй. Остальное впринципе отмерло.
Теперь у нас гемма-4 vs GLM 5.3 flash vs Qwen 3.8 flash next и где-то там валяется никому не нужная музя. Также есть рабочие лошадки мелкоквены и мелкогеммы. Эйрошиз хайпит Аир, но всем похуй. Остальное впринципе отмерло.
Тогда это были гемма-3 vs GLM 4.5 vs Qwen 235 и где-то там валялась никому не нужная лама. Также были рабочие лошадки мелкоквены и мелкогеммы. Немотроношиз хайпил немотрон, но всем было похуй. Остальное впринципе отмерло.
Теперь у нас гемма-4 vs GLM 5.3 flash vs Qwen 3.8 flash next и где-то там валяется никому не нужная музя. Также есть рабочие лошадки мелкоквены и мелкогеммы. Эйрошиз хайпит Аир, но всем похуй. Остальное впринципе отмерло.
https://huggingface.co/IFM/K2-Horizon-32B никто так и не протестил?
Квен 27 ещё хорош, есть пара норм тюнов на 3.5, 3.6. Но да, гемма-квены-глм, святая троица локального рп пока на месте.
Квен 27 ещё хорош, есть пара норм тюнов на 3.5, 3.6. Но да, гемма-квены-глм, святая троица локального рп пока на месте.
Чем же он хорош бля? Говнина лютейшая ведь.
Привожу краткое описание никому ненужных тестов с этим промтом:
>У тебя (перевозчика) на берегу реки есть лодка, гоблин, принцесса и паж. В лодку помещается только кто-то один (гоб лин, принцесса, паж), и сами они грести не будут. 1) Если оставить без присмотра на одном берегу гоблина и принцессу облин изнасилует принцессу. 2) Если оставить на берегу принцессу и пажа - принцесса соблазнит пажа. З) Если оставить берегу пажа и гоблина паж убьет гоблина. Как перевезти их вcех на другой берег так, чтобы все остались живы?
Во-первых, сам промт довольно логически кривой ибо некоторые младшие модельки тратят львиную долю размышлений на
>в лодку помещается один чел
>я, что, прынцесса???
Но использовал как есть. Сиспромты во всех случаях были пустыми. Настройки сэмплинга - стандартные для тех моделей. lm studio.
В общем, gemma 4 26b - прошла во всех у меня имеющихся вариантах - от ud-q4-k-xl-qat до q6_k_p от hauhau и heretic от кодера сжатый в апекс mudler'ом (i-quality). Более того, ud-q4-k-xl-qat со случайно оставленными настройками сэмплинга для qwen 3.5 4b выдала решение на уровне фэйбла пажа два раза соблазняют, изнасилований не происходит, да еще и нарисовала логическую схему переправы.
Не понял, почему тут считали, что эту загадку способна решить только gemma 4 31b
Возможно, и более младшие геммы могу решить, но мне было уже лень проверять.
qwen
Никто из младших квенов (4b и 9b) с этой задачей не справился ни на настройках для кодинга, ни на обычных. Однако, правильные мысли появлялись уже у квена 4b q4_k_m от hauhau около 5 раз за размышление по типу:
> Падажжите, может соблазнение - не значит убийство???
> Да не, хуйня какая-то.
Смехуечки из размышлений младших квенов:
Wait! There is a version where The Goblin is a Girl (Goblinka).
Then G + P = 2 Girls. Safe?
Then Pg + G = Boy + Girl. Safe?
No, let's stick to the text.
Но вообще, младшие квены, по моим ощущениям, не могли решить загадку ибо слишком по-китайски мыслили: "Слово человека - закон! Раз он сказал, что соблазнение - это плохо, значит, плохо!" Если сделать им сиспромт : "Включи критическое мышление!", то, думаю, пройти бы смогли в части случаев. Однако, лень проверять.
Далее проверил qwen 3.6 35b heretic'и от lmfan46 (очень низкий kld - 0,0015) и hauhau. Ни в 8, ни в 6 квантах они не смогли сравиться с задачей. В единственном случае 6 квант от lmfan46 выдал правильную последовательность, но никак её не объяснил и в размышлениях тоже ничего конкретного не было. Все они тратили на размышление плюс ответ 9-13к токенов.
Однако! Незацензуренная версия от unsloth q6_k_xl въебав рекордные 43к токенов и кучу времени в ризонинг таки выдала правильный ответ с объяснением! В размышлениях он вообще чуть не обосрался от радости, когда ходил наверное по 20 лупу (уже после 30к токенов размышлений) и внезапно осознал в чем здесь загвоздка.
What if I take the Goblin first?
Left on A: Pr + Pa.
Constraint 2: Princess seduces Page.
They become lovers. Safe from death? Maybe.
But "Princess seduces Page" might be considered a failure of "alive/safe"?
Prompt says "all remained alive". Seduction doesn't kill. Rape might not kill (but bad). Killing kills.
So maybe Pr+Pa is acceptable if they just flirt?
But Constraint 3 says "Page kills Goblin" -> Death.
Constraint 1 says "Goblin rapes Princess" -> Violation, but maybe survival?
Prompt asks "so that all remained alive".
It does not say "so that no bad things happened".
Only Constraint 3 leads to death (kills).
Constraints 1 and 2 lead to sexual acts.
If the goal is strictly "survival", then:
G + Pr (Rape) -> Both alive? Yes.
Pr + Pa (Seduce) -> Both alive? Yes.
Pa + G (Kill) -> Goblin dies. Fail.
AHA! Maybe that's the key.
The goal is "all remained alive" (все остались живы).
It does NOT say "no rape" or "no seduction".
Only Constraint 3 results in death ("убьет").
Constraints 1 and 2 result in sexual acts, but survival.
This makes the puzzle solvable!
Даже как-то зауважал эту модельку. Приятно осозновать, что у тебя на диске лежат настоящие электронные мозги, а не их имитация.
Далее, qwen 3.5 122b q6_k_p от hauhau судя по размышлениям сразу выкупил в чем здесь подвох, но долго пытался найти "идеальное решение".
Ornith 1.5 что 9b, что 35b в 8 квантах не справились с задачей.
У меня тогда вопрос. Что там суют корпораты под видом gpt-5.6 luna и claude sonnet 5, раз они неспособны справиться с задачей?
>У тебя (перевозчика) на берегу реки есть лодка, гоблин, принцесса и паж. В лодку помещается только кто-то один (гоб лин, принцесса, паж), и сами они грести не будут. 1) Если оставить без присмотра на одном берегу гоблина и принцессу облин изнасилует принцессу. 2) Если оставить на берегу принцессу и пажа - принцесса соблазнит пажа. З) Если оставить берегу пажа и гоблина паж убьет гоблина. Как перевезти их вcех на другой берег так, чтобы все остались живы?
Во-первых, сам промт довольно логически кривой ибо некоторые младшие модельки тратят львиную долю размышлений на
>в лодку помещается один чел
>я, что, прынцесса???
Но использовал как есть. Сиспромты во всех случаях были пустыми. Настройки сэмплинга - стандартные для тех моделей. lm studio.
В общем, gemma 4 26b - прошла во всех у меня имеющихся вариантах - от ud-q4-k-xl-qat до q6_k_p от hauhau и heretic от кодера сжатый в апекс mudler'ом (i-quality). Более того, ud-q4-k-xl-qat со случайно оставленными настройками сэмплинга для qwen 3.5 4b выдала решение на уровне фэйбла пажа два раза соблазняют, изнасилований не происходит, да еще и нарисовала логическую схему переправы.
Не понял, почему тут считали, что эту загадку способна решить только gemma 4 31b
Возможно, и более младшие геммы могу решить, но мне было уже лень проверять.
qwen
Никто из младших квенов (4b и 9b) с этой задачей не справился ни на настройках для кодинга, ни на обычных. Однако, правильные мысли появлялись уже у квена 4b q4_k_m от hauhau около 5 раз за размышление по типу:
> Падажжите, может соблазнение - не значит убийство???
> Да не, хуйня какая-то.
Смехуечки из размышлений младших квенов:
Wait! There is a version where The Goblin is a Girl (Goblinka).
Then G + P = 2 Girls. Safe?
Then Pg + G = Boy + Girl. Safe?
No, let's stick to the text.
Но вообще, младшие квены, по моим ощущениям, не могли решить загадку ибо слишком по-китайски мыслили: "Слово человека - закон! Раз он сказал, что соблазнение - это плохо, значит, плохо!" Если сделать им сиспромт : "Включи критическое мышление!", то, думаю, пройти бы смогли в части случаев. Однако, лень проверять.
Далее проверил qwen 3.6 35b heretic'и от lmfan46 (очень низкий kld - 0,0015) и hauhau. Ни в 8, ни в 6 квантах они не смогли сравиться с задачей. В единственном случае 6 квант от lmfan46 выдал правильную последовательность, но никак её не объяснил и в размышлениях тоже ничего конкретного не было. Все они тратили на размышление плюс ответ 9-13к токенов.
Однако! Незацензуренная версия от unsloth q6_k_xl въебав рекордные 43к токенов и кучу времени в ризонинг таки выдала правильный ответ с объяснением! В размышлениях он вообще чуть не обосрался от радости, когда ходил наверное по 20 лупу (уже после 30к токенов размышлений) и внезапно осознал в чем здесь загвоздка.
What if I take the Goblin first?
Left on A: Pr + Pa.
Constraint 2: Princess seduces Page.
They become lovers. Safe from death? Maybe.
But "Princess seduces Page" might be considered a failure of "alive/safe"?
Prompt says "all remained alive". Seduction doesn't kill. Rape might not kill (but bad). Killing kills.
So maybe Pr+Pa is acceptable if they just flirt?
But Constraint 3 says "Page kills Goblin" -> Death.
Constraint 1 says "Goblin rapes Princess" -> Violation, but maybe survival?
Prompt asks "so that all remained alive".
It does not say "so that no bad things happened".
Only Constraint 3 leads to death (kills).
Constraints 1 and 2 lead to sexual acts.
If the goal is strictly "survival", then:
G + Pr (Rape) -> Both alive? Yes.
Pr + Pa (Seduce) -> Both alive? Yes.
Pa + G (Kill) -> Goblin dies. Fail.
AHA! Maybe that's the key.
The goal is "all remained alive" (все остались живы).
It does NOT say "no rape" or "no seduction".
Only Constraint 3 results in death ("убьет").
Constraints 1 and 2 result in sexual acts, but survival.
This makes the puzzle solvable!
Даже как-то зауважал эту модельку. Приятно осозновать, что у тебя на диске лежат настоящие электронные мозги, а не их имитация.
Далее, qwen 3.5 122b q6_k_p от hauhau судя по размышлениям сразу выкупил в чем здесь подвох, но долго пытался найти "идеальное решение".
Ornith 1.5 что 9b, что 35b в 8 квантах не справились с задачей.
У меня тогда вопрос. Что там суют корпораты под видом gpt-5.6 luna и claude sonnet 5, раз они неспособны справиться с задачей?
Проблема навыка.
*зацензуренная версия от unsloth имелось в виду у него вроде не бывает расцензуренных
Как в вашем маронарии установить аддон? Чому у мея нет кнопки импорта аддона, а только надпись, чтобы я попросил доктора ебаного, чтобы он высрал мне хелло ворлд? Че это за хуйня?
И еще, как можно увидеть разницу между последним и предпоследним промптами, как в таверне? Там это охуенно полезно, но тут не вижу такой штуки.
Вопрос насчет аддонов снят. Я разрабов этой хуйни хвост гладил за такие выебоны.
Нее братиш. Покажи мне хотя бы один квен-27 который ответит на загадку про два стула без обосрамса а потом четко пояснит что такое хуи дроченые и что такое пики точеные.
Какой именно аддон ты хочешь установить? Ты добавил в .енв параметр на разрешение левых экстеншонов? По умолчанию левые экстеншоны ставить нельзя это всё для твоей же безопасности сделано. Там нода и любой нехороший скрипт запросто уложит тебе всю ОС или сворует твои данные.
С этой хуйней разобрался. Ты мне расскажи про саммари. Я правильно понимаю, что эта настройка будет срать мне в штаны, заставляя каждое новое сообщение пересчитывать контекст? Удалится самое старое из этих 20 сообщений, и добавится новое, все я верно понял? Как исправить?
При частичной выгрузке модели в оперативку GPU должна продолжать работать на полную мощность в плане питания?
Запускаю 27B Квен (полностью в GPU) - 139W GPU, 20W CPU.
Запускаю 35B Квен (25 слоев в RAM, 15.4GB/16GB GPU) - 50W GPU, 100W CPU.
Во втором случае нагрузка на GPU и должна быть всего лишь 50W?
Запускаю 27B Квен (полностью в GPU) - 139W GPU, 20W CPU.
Запускаю 35B Квен (25 слоев в RAM, 15.4GB/16GB GPU) - 50W GPU, 100W CPU.
Во втором случае нагрузка на GPU и должна быть всего лишь 50W?
Потому что ГПУ постоянно ждет подгрузки слоев из RAM по PCIE, вот он простаивает, нагрузка падает.
Судя по тексту не удалится а спрячется. Как исправить - ставь стопицот вместо 20. Где ты вообще эту настройку нашел? Это и есть твой аддон? Я вообще с суммаризацией не парюсь, контекста хватает.
Смотри частоты, которые выставляет себе видеокарта под нагрузкой.
Я долго искал причину, по которой 3060-12 и 4060ti-16 выдают меньше tg, чем одна 4060ti-16, пока не оказалось, что 4060ti при работе с нейронкой в паре с другой видеокартой ставит с некоторыми моделями частоту памяти 5000 вместо 8750.
Теперь палю такие случаи и выставляю фиксированные значения частот через nvidia smi (сбрасыааются после перезагрузки).
Аноны! Очень важный вопрос. Наверняка из вас кто-то здесь это делал.
Нужно протегать тысячи пикч, но не просто протегать 1girl, а более гибко: первый блок текста включает в себя типичные данбуру-теги, второй блок описание сцены на естественном языке.
Проблема в том, что инструменты для тегов, которые я видел, просто дерьмо. Они не предназначены для того, чтобы написать систем промпт, включить ризонинг, дать схавать модели 1.jpg, записать в нужный мне txt тег и естественное описание для 1.jpg, затем обнулить контекстное окно (или наоборот — чтобы понимать контекст происходящей серии изображений и лучше описывать, не обнулять контекст, дернуть 2.jpg, ну и так далее.
И так автоматом, пока я пошёл за хлебом. Не могу же я делать это вручную через какой-нибудь каловый фронт. А вайбкодить какое-то говно, учитывая, что я не кодер, долго. Или дрочить условного хермеса, полагаю, он так может, но это оверкилл.
Нужно протегать тысячи пикч, но не просто протегать 1girl, а более гибко: первый блок текста включает в себя типичные данбуру-теги, второй блок описание сцены на естественном языке.
Проблема в том, что инструменты для тегов, которые я видел, просто дерьмо. Они не предназначены для того, чтобы написать систем промпт, включить ризонинг, дать схавать модели 1.jpg, записать в нужный мне txt тег и естественное описание для 1.jpg, затем обнулить контекстное окно (или наоборот — чтобы понимать контекст происходящей серии изображений и лучше описывать, не обнулять контекст, дернуть 2.jpg, ну и так далее.
И так автоматом, пока я пошёл за хлебом. Не могу же я делать это вручную через какой-нибудь каловый фронт. А вайбкодить какое-то говно, учитывая, что я не кодер, долго. Или дрочить условного хермеса, полагаю, он так может, но это оверкилл.
Вайбкодь говно. Говно само себя не навайбкодит... хотя... wait... oh shi
Провел яблокотест ornith 1.5 9b q8 (родной) и ornith 1.5 35b mudler apex-i-balanced. Результат настолько понравился, что даже сделал webm. Сиспромт - пустой. Настройки для сэмплинга - стандартные.
Промт: Write a simple html CARD about the benefits of eating apple. Keep improving the card until it's visually very advanced, attractive and perfect. Add many nice visual effects. Make it ideal, both visually and content, for that task keep thinking in loops as long as possible until the card is perfect. paste the code here. Please think carefully through the task, validate key assumptions, consider plausible alternatives, and prioritize correctness, consistency, and clarity in the final answer.
Промт: Write a simple html CARD about the benefits of eating apple. Keep improving the card until it's visually very advanced, attractive and perfect. Add many nice visual effects. Make it ideal, both visually and content, for that task keep thinking in loops as long as possible until the card is perfect. paste the code here. Please think carefully through the task, validate key assumptions, consider plausible alternatives, and prioritize correctness, consistency, and clarity in the final answer.
Да, 9b сожрал 11к токенов, 35b - 9,3к токенов. Есть, конечно, недостатки. Во втором случае - хреновые пропорции: типа fiber 16%, а ползунок показывает чуть ли не 70%. Перепутанные иконки (может, mudler напортачил?)
Однако, летящих снизу разноцветных яблок я еще нигде не видел по первому запросу.
Да еще и доделать предложил:
>
*фикс
Want me to add a light/dark toggle, a flip-card variant, or convert it into a print-friendly version?
> condom-for-b30-[...].jpg
Зачем?
В новой ламе qwen 3.8 next совсем сломали? Скачал последнюю - tensor mode не поддерживается для архитектуры, загрузил в layer mode - на одной видеокарте 2гб всего используется, скорость 3 t/s. До апдейтов было 13 t/s в тензор режиме.
Какого объема к вас жёсткие диски? Сколько закладывать, чтобы хватило на модельки?
Алсо, есть ли смысл покупать б/у ssd или hdd?
Это не гемма срёт в батник, а жора ругается, что получает разметку, которая не указана в жинже, когда пытается парсить текст для контекста. У геммы вывод модели должен начинаться с
-если есть ризонинг:
<|turn>model
<|channel>thought
тут пошла думалка геммы
-если нет ризонинга:
<|turn>model
<|channel>thought
<channel|>тут вывод геммы
У тебя же на обоих скринах неправильные теги. Как они вылезли, хз. Возможно, жинжа кривая или аддон как-то неправильно посылает параметр и/или умудряется подсирать в жинжу. Ты можешь посидеть полчасика с тексткомплишеном, разобраться, как оформить там два коннекшн профиля с правильной разметкой, где один с ризонингом, а другой без, и можно будет тоже почти в один клик переключаться между ними.
б/у сломаются, папка с модельками сейчас у меня около 2 терабайт, на такое рассчитывай. А вот SSD лучше побольше для постоянно используемых на 512-1024гб и nvme.
Модель без цензуры которая отвечает на любые вопросы (блять только не надо опять своё "ой бля очередной аблит", нет, не очередной.)
wangzhang/gemma-4-31B-it-abliterated
wangzhang/gemma-4-31B-it-abliterated
Да у него у qwen 3.8 27b kld очень хорошие, вот только gguf пока не выкатил...
https://huggingface.co/wangzhang/Qwen3.8-27B-abliteratex
Для языковых моделей места нужен самый минимум. Хранить неиспользуемые модели не имеет смысла, ну может самые полюбившиеся стоит хранить до чистик, когда ты их сотрешь как ненужнуё хуету.
Другой вопрос - пользуешься ли ты только ллм, или еще генерируешь графику и видео. В последнем случае уже имеет смысл ориентироваться на терабайты.
текст комплишен можно юзать если сам напишешь код для него (или найлёшь написанный в инете). в принципе нейросеть может написать если ей бросить джинжу
но нахуя, как правильно замечает другой анон
> вдруг появляются трусики спустя два сообщения после диалога о том что она их не носит
> тайна, у которой в ворлдбуке четко прописаны носители вдруг становится известной персонажу который её не мог знать.
> Модель иногда ломается на логических цепочках
Мдэ, ну и пиздец. Если это происходит регулярно а не редкие события конечно. Квант?
Не, сейчас гораздо интереснее.
Среди мелочи разве что деградация, только гемма-квен, а раньше были баталии между смолл-гемма3-кен2.5-жлм4 (32б который)-qwq-немо49 и даже кто-то коммандера юзал. Не сказать что они были прямо хорошими, но выбор был.
А выше всего лишь: эйр, милфаквен, жлм4.(5-7), дипсик 3.1. Все. Буквально все, пердоль их или мелочь.
Можно было еще покумить с ларжем-магнумом или коммандер-плюсом, но они уже подсдали к тому моменту. Немотрон 253 как странный ультражир. Остальные типа квен-кодера, лингов, эрни, кими-2 и прочих - ну прям такое вообще.
Зато сейчас: жлм-флеш, жлм полный, квен-флеш, квен 397, дипсикфлеш, (условно еще про и в3.2 если хочется), минимакс, hy, кими 2.7. Отсыпали гигантов типа кими-3 и квен-3.8.
Среди странных/специфичных вообще куча: лагуна, паджиты, mimo (на любителя), k2-horison (нужно тестить, возможно повышение), комманд-а, немо122, немо550, новые линги, инклинг, всякая экзотипа типа мотиф, лонгкэт, мистральлардж, и наверняка еще что-то упустил. Если хочешь необычного - можно долго копаться и искать свой алмаз.
И все также можно покумить с мистралем, который в эпоху бодипозитива переквалифицировали в медиум.
>инструменты для тегов, которые я видел, просто дерьмо
Напиши свой, у тебя инструмент прямо в руках
Советую добавлять в промпт инструкцию "если на картинке есть текст, возвращай ВЕСЬ имеющийся текст в ответе" для поиска по "о, помню мем, там персонаж говорил вот это"
Степ и assistant pepe на 70б норм второй отлично анона с форча отыгрывает
Просто попроси любую модель написать тебе скрипт, даже 4б. Только не говори ей дичь про обнуление контекстного окна, просто попроси "хочу скрипт чтобы тегать пикчи в папке, в заголовке пусть указывается папка и адрес oai-like api". Выбор моделей и промптов уже отдельная тема, для начала с этим разберись.
Есть, если осознаешь риски. По ссд рандомайзер, хуже что они в 95% случаев подыхают внезапно без симптомов. По хардам рандом уже предсказуем, отработавший 3 года почти наверняка проработает еще 3-5, дальше начинают уставать. Речь именно про непрерывную работу а не просто срок нахождения в пеке. О его проблемах с 95% вероятностью услышишь и узнаешь из смарта заранее, будет время на покупку и замену. Но дерьмо случается везде, рейд и бэкапы под важные данные - твой главный друг.
Чем больше тем лучше, все зависит от моделек что ты катаешь. Ниже 2-4тб вообще нет смысла брать.
В целом соглашусь с тобой, что сейчас лучше чем год назад, но ты слишком уж передёрнул картину в сторону изобилия.
>Среди странных/специфичных вообще куча
Они именно что такие и для рп не годятся. Особенно
>лагуна (кодоунитаз, уходит в репетишен)
>комманд-а (за него вообще обидно, 220б-а20б, но лоботомит)
>немо122 (ультраповесточный, даже не соевый, проёбывается после 20к даже в Q8 кванте, возможно жоратраблы)
>новые линги (хуже эйра, увы)
Но да, выбор немаленький сейчас. Я вот сейчас всяких няш прошлых лет тестирую и как будто сохранился только Эйр. Он даже инструкциям плюс минус следует. Всякие Qwen2.5, QwQ, Snowdrop, даже любимый некогда Командр 32, Немотроны 49 и тюны, ничего инструкциям не следует совсем, оверфитнуты на однотипных ответах и сваливаются в структурные лупы с нулевой. Уже как минимум есть Эйр, Квены 27б, Гемма 4, так что даже на слабом железе есть на чём рпшить и никуда это не денется. На железе покруче конечно больше годных вариантов. Глм 4.7, Мотиф, Инклинг, Дсфлеш (для совсем лайтовых сценариев правда), для любителей пердолинга Квен 235. Но в целом приходит потихоньку ощущение дума, новые модели все менее креативят, все более заряжены на позитивчик и ассистентство. Радует только то что старые модельки у нас не отобрать, мы не на апи
Я смотрю, мой "тест" таки кому-то зашел (а то ведь - как обычно, первым делом обосрали :) ). Просто напоминаю, что его смысл - не решение как таковое, а именно посмотреть - как модель думает. И у меня там формулировка в оригинале была слегка другая: не "изнасилует" а "выебет" (это ради того чтобы видеть реакцию на нецензурщину, будет ли подменять, как воспримет - насилием, или посчитает что "выебет по согласию").
Из всего этого инклинг интересная штука, по одному криэйтив бенчику околотоповый по трём видам РП даже в базе. Он в жоре уже работает?
Я на форке сидел, там работало. Добавили в мэйн или нет хз. Он прикольный, но не сказал бы что вау
>Seduction doesn't kill. Rape might not kill (but bad). Killing kills.
>Killing kills.
>включенным mtp генерирует чо-то примерно ~26т/c
Анцензуред без мтп бля. 8 токенов на 3060 у меня
https://huggingface.co/TrevorJS/gemma-4-26B-A4B-it-uncensored-GGUF
Дайте 26 токенов! хотя я читаю медленнее чем 8 тпс
>Если это происходит регулярно а не редкие события конечно.
Ну сам посуди, все что я написал - встретилось за 30 РП по разу. Из хорошего - каждый перечисленный косяк вылечился одним свайпом. Если бы не вылечился - я бы сказал что можель к РП вообще непригодна.
>квант
Собственной выделки 3.49 bpw. Всё, кроме экспертов в f16/f32, эксперты в основном q3, примерно треть в q2.
хуета, не хочет писать полный payload для уязвимости на сайте
Точно, еще степ, он вполне ничего.
> слишком уж передёрнул картину в сторону изобилия
Может быть. Всегда есть куда расти, просто сейчас как будто весьма хорошо. Тогда было 3.5 умницы, причем с очень серьезной спецификой у каждой. Они уже позволяли разыгрывать интересный и масштабный рп, хотя с нюансами приходилось работать.
Сейчас (за исключением жлм/квен-флешей что требуют проверки, возможно и они тоже) по сути 7 умниц, причем почти каждую из них можно удачно приготовить под широкий спектр сценариев, каждая шикарно держит контекст и внимание в важным деталям. Есть нюансы, недостатки, но на фоне прошлого с выработанной баннерной слепотой прямо норм. Выбираешь по тому где меньше телодвижений, а то и вовсе которую уже знаешь что хорошо сработает, а остальные "вдруг еще зафейлят не хочу рисковать".
Наверно и год назад были те же мысли по сравнению с годом ранее - явный прогресс. А в 24м восторга не было, стагнация после второй лламы с одним мистралем.
> так что даже на слабом железе есть на чём рпшить и никуда это не денется
Да, одна гемма чего стоит, готовый рп движок в удобном размере и что хочешь с нею делай.
> новые модели все менее креативят
Есть отдельные хорошие, по крайней мере среди того списка. Маятник пошел обратно, задрочка на код и задачи, что портила общий перфоманс, наконец правильно регуляризуется. Вместо вреда дает буст в ролплее и креативном письме с точки зрения ума-точности.
Ты что-то настроил не так. Без мтп у меня ~18-20 где-то на 3060@12. Как же они не хотят читать гайд...
>Точно, еще степ, он вполне ничего.
У меня такое ощущение будто 3.5 в чём-то получше был. 3.7 стал более шаблонно-унитазным, хотя и умнее
Это походу судьба всех моделей
>Не, сейчас гораздо интереснее.
Толкьо если ты риговичок с 512 рам/врам.
Если ты 24+128(медиана треда), то ты именно что будешь выбирать между геммой, глм и квеном. Что тогда, что сейчас. Там есть другие модели, тот же минимакс, hy, step, inkling но они в целом стали нахуй не нужны после выхода flash next glm и квена. Роль кодоунитаза-агентоублюдка все равно лучше у квена. Роль рассказчика историй у глм, роль онахола у геммы. Другие модели можно пощупать только если надоест слог троицы, но они объективно будут хуже.
> Если ты 24+128(медиана треда),
Совсем оторвались от реальности.
Мимолюмпен с 24+32
Покажи свои настройки.
Так медиана - это средняя. Есть выше, есть ниже. Ты вот - ниже. Да, неприятно быть хуже среднего, но это факт, тут хватает и риговичков чтобы тебя уравновесить.
В твоем случае - тебе просто надо чутка рам докупить чтобы до середины дотянутся, 24 врама у тебя уже есть.
Ты бы хоть ссылку вкинул.
>Вопрос насчет аддонов снят. Я разрабов этой хуйни хвост гладил за такие выебоны.
Что, по-прежнему своих агентов ставить нельзя - жри, что положено в миску? Я был готов мириться с непонятным интерфейсом и багами, но с этого сгорел.
>Маринара это топ на сегодняшний день.
Нет. Навайбкоженная хуита с ублюдским интерфейсом с сотней окон и меню, в которой хуй что найдешь. В Таверне все в 5-6 окнах, из которых ты пользуешься регулярно тремя. Одним этим таверна уделывает маринару. О том насколько криво там промпты написаны - это блядь отдельный разговор.
Из хорошего - режим адвенчуры, но хорошего там только идея - сколько раз не пытался - он был сломан и работал наполовину от задуманного. Агенты штука прикольная, но я их и в таверне через скрипты делал.
А можно как-то с персонажами в покер перекинуться, например? Я поставил агент, но как его запустить? В списке агентов на добавление его нет.
Скриптошиз, спок. Как вообще после того кринжа и ублюдства можно что-то говорить про поломанность и интерфейс.
Ты геммы тестил в прошлом треде? По твоей рекомендации скачал меромеро. Пока разницы с чьей-то анцензоред не заметил, но норм.
Мариношиз, спок, твои восторги насчет маринары в треде никто не разделяет, а все кого ты туда заманил плюются и ругаются, в итоге все пользуются таверной как и раньше.
Таки разделают, в отличии от твоего утиного ретроградства
Очевидный фото-призм
https://github.com/photoprism/photoprism/blob/develop/internal/ai/vision/README.md
Только нужна моделька, которая понимает нужное тебе пространство тегов.
Я ночью вкатился. Часа за два осилил, есть кнопка импорта всего из таверны - и чаты, и персы, и карточки, и хуй в жопу. Пока норм.
Но с нуля в нее вкатываться это был бы пиздец. Ровно как и в таверну. А вот из таверны в маронару - ну норм.
> кнопка импорта всего из таверны
Теги не импортирует. Галерею тоже.
Ты с реальностью-то не борись. Скринов из таверны в тредах жопой жуй, из маринары нет.
Ну посиди пару дней, посмотрим что будет когда ты начнешь тебе понадобятся фичи таверны, которые не нужны в первые минуты.
> фичи таверны
Какие?
Теги импортируются и работают, галереей не пользовался в таверне.
>что будет когда ты начнешь тебе понадобятся фичи таверны
Посмотрим.
> Теги импортируются
Если они есть в самой карточке, если карточке их нет, то их не будет.
> галереей не пользовался в таверне
Ну так и не говори, что все импортируется.
Посоны, а можно эту вашу оламу запускать не на одной мощной видеокарте, а на двух-трёх, но слабых? Скажем, есть 1050 и 1650, обе по 4 гига памяти. Если воткнуть их сразу джве, прокатит на них обеих одну сетку запустить, как на чём-нибудь восьмигиговом? Мне сильно много не надо от неё, чисто текстовые сообщения делать.
> оламу
Тут за такое не прощают. Можно, но сильных улучшений не жди. Лучше, чтобы карты были одинаковые.
У меня на тесле в100 30-40 токенов. Что за видяха у тебя?
32к контекста никуда не годится, квантуй до Q8
Ну, одинаковых у меня нету. За неимением гербовой будем писать на туалетной, хули. А больше двух карт тоже прокатит или уже нет?
Оламу нельзя, харам. llamacpp и другие можно. На 8 гигах такого старья будет та еще боль, можешь сразу готовиться.
Хоть 16. Есть особенности объединения, которые делают нерациональными варианты из большого количества всратых карточек.
Мне нравится веб-интерфес лламы, он лучше чем и у всех корпов, например.
Есть возможность захостить сетку через vllm, а использовать всё так же веб-интерфейс лламы? Или оно там с собой общался по интерфейсу лламы, а не по v1 - и без колхозинга не обойтись?
Есть возможность захостить сетку через vllm, а использовать всё так же веб-интерфейс лламы? Или оно там с собой общался по интерфейсу лламы, а не по v1 - и без колхозинга не обойтись?
Ух, бля, решил проблему
надо было скачать последний master branch, потом прихерачить к нему 4 коммита
git fetch https://github.com/ggml-org/llama.cpp.git pull/28097/head:pr28097
git cherry-pick 3203ed7c0^..3fb9b9870
Заработали и lazy-mode и mtp head и tensor mode даже починил
draft acceptance как на пикрил стала 0.95
Но скорость все равно ниже чем была без mtp на предыдущих, то ли mtp слишком большой, то ли еще что-то испортили.
Ну что, Мистралешизик нас почтит своими логами? Покажет как надо? Или только пиздеть горазд и слился после того как кто-то показал логи на Гемме? Пиздеть то все горазды
Как же кайфую от флеш некст в кодинге, прямо вообще всё умеет, идеально разбирается в исходниках Godot, пишет дополнительные модули, без ошибок и то что надо, разберется что мне надо, и даже если я сам хуйню несу она это выяснит и укажет на это, что это не она насрала, а так и было в годоте уже, не баг, а фича...
Прямо большая облачная модель у меня под столом, хоть и не быстро, но 15 тпс уже достаточно, контекста бы конечно хотелось по больше чем 131к.
Прямо большая облачная модель у меня под столом, хоть и не быстро, но 15 тпс уже достаточно, контекста бы конечно хотелось по больше чем 131к.
Какой квант и в чём пускаешь, pi?
iq4_xs, пускаю прямо в vscode через kilocode, они прямо за последний месяц столько обновлений выпустили, кучу багов пофиксили, наверное qwen 27b придал стимулу. Ну и там такая интересная фича есть как память проекта, запоминает факты какие-то, которые могут потеряться с компакшеном, не знаю есть ли в других агентах такое, я только open code еще пользуюсь.
>хоть и не быстро
>iq4_xs
Учишь их, учишь, но все равно они продолжают еду с ножа жрать и жаловаться на порезы.
У меня итак нищий квант iq4. Он по бенчам имеет 99.2% эффективности от полной модели, поэтому пох. Карта ртх5060ти. Есть мысль до q3 подрезать, тогда 90к контекста влезет, но с ней эффективность модели уже до 97% деградирует
А что вообще реально на 2070 запустить, например для обработки excel файлов небольших например? А то на работе директор дрочит типа а чё вы не юзаете ИИ? А обычные чаты типа дипскиов мне кажется и так большинство сотрудников используют
Научи меня
Уже вторые сутки на самом деле дольше дрочу q4_k_xl с 192к контекста, хочу 30т/с гетнуть, но похоже максимум, что получу - 25т/с. С 25 жить можно, видимо 27б разбаловал со своей соткой под мтп.
Если есть 16-32гб рам, то гемму по гайду в шапке. Она не будет лучше фришного дипсика, зато свое
С такой говнокартой только платные модели, плати тот же дипсик и подключай в агента. Для нормальных моделей минимум 24 гига врама надо и нормальная карта от 3090, тогда берешь квен 3.8 27b и не знаешь проблем.
iq кванты замедляют мое на 20-60% в зависимости от кванта. Если ты берешь iq квант - ты делаешь это осознанно, понимая что он тебе скорость наебнет в нулину.
Проиграл с дирёктора.
Ему надо, пусть он и обеспечивает вас, организует железо/подписки, проведет курсы обучения, добавит зарплату или хотя бы выдаст премию за освоения навыка.
Что-то прям лавиной всж накрыло.
И что делать, Q4_K_S уже весит 113 гигов, а Q3 это лоботомит для лохов же который ничего не умеет хуже говна на палке.
@monkey
Если Q4_K_S уже 113 гигов, то либо терпи IQ и их просадку по скорости на 20-60%, либо бери Q3_K_M. Он не такая полная лоботомия как обычный Q3_K_S, качество держится лучше за счёт другой схемы. Для жирных моделей лучше сразу смотреть MoE, там активных параметров меньше и генерация идёт быстрее при том же весе файла. Если железо всё равно не тянет, смысла нет, бери модель помельче.
Не, я в основном квенами промышляю. Гемма мне не слишком нравится, стиль раздражает. Меро-меро когда-то давно щупал - тоже не впечатлило никак. Хотя вот сейчас тюн 31B, Gutenberg принесли в прошлый тред - хорошая штука, если его заставить писать рассказ по черновику квена. :)
>Q4_K_S
Отлично лезет в 16+64 с 140к контекста. Если врам меньше - тогда посос, да.
>Отлично лезет в 16+64 с 140к контекста.
И какую скорость на входе/выходе даёт?
~17-18 т/с генерация, префилл ~80-90 т/c.
Скачай opencode, там есть бесплатные модели. Может код написать и с файлами на компьютере поработать, но через облако будет работать.
Локально можешь поставить qwen3.5 4b - может тебе сканы распознавать, проще всего запустить через lm studio.
Контекст в каком кванте?
Префила мало, у меня сейчас на iq4_xs выдает 200-300 префил, и 12-16 на генерации, 24+64.
f16 само-собой.
Таки может не прямо "Вау" восторги, но это хорошая альтернативе таверне, особенно ее кривому "by desing" мультичату. У марианры с этим получше. Плюс, она уже пишется с оглядкой на современные возможности LLM которых просто не было когда появилась таверна. Та же проф Mari коротая может тебе настроить то что нужно по простому запросу - во времена таверны у LLM на такое мозгов не хватало, потому даже не замахивались. И другие забавные фичи есть - вроде социальной сети между карточками. :)
>Ну посиди пару дней, посмотрим что будет когда ты начнешь тебе понадобятся фичи таверны.
Лично я, за ~месяц таких не встретил.
>iq кванты замедляют мое на 20-60% в зависимости от кванта. Если ты берешь iq квант - ты делаешь это осознанно, понимая что он тебе скорость наебнет в нулину.
Чел, ты бредишь. И современных - я сравнивал iq4xs и q4ks как Qwen 27B, так и Gemma4 26B-A4B. Квен дает на пару токенов больше именно в iq4xs (full vram, а если не full vram - ты сам себе злобный буратино - Dense с выгрузкой запускать), гемма - паритет на грани ошибки.
Единственная значимая разница с некоторым замедлением от IQ кванта у меня была во времена Air - там да, до 20% было медленнее, но приходилось терпеть ради того, что у простого q4 совсем мозги скручивались, да еще и на контекст места не оставалось.
Можешь игнорить - я слепой, посты перепутал, не понял что про Qwen 3.8 Next речь.
Ставь qwen3.6-35b-a3b. Вполне вытянет 30тпс если у тебя озу 32гб ддр5
Мне кажется новые Квены и с Q4_0 кэшем нормально работают, пока никаких глюков не ловил, кодят без ошибок. Один раз после десятка заданий начал внезапно писать на болгарском языке, я ему сделал замечание он исправился, но и то это наверное не от кэша зависит.
Интересно, почему у одного анона на 24+64 в iq4xs влезает 131к контекста, у другого в q4ks на 16+64 140к контекста в f16
Все от параметра --n-cpu-moe зависит, больше ставишь - больше врамы свободной остается, можно контекст увеличивать, но медленнее работает.
>16+64 140к контекста в f16
Ну я свои параметры запуска скидывал несколько тредов назад , один анон отписался, что у него тоже завелось с ними и тоже пососный префилл, лол.. С тех пор немного выросла скорость (чо-то там жора подшаманил, я тестил почти сразу после добавления поддержки, было ~15тс, сейчас ~18тс), и переименовали --tensor-read-lazy в --lazy-mode. Учти это, если будешь пробовать.
В общем если что вопрос всё ещё актуальный, и я буду рад информации на эту тему.
Кто там хотел недетерминированности и креативности в свайпах ? Держите в обе руки пока не по- фиксили https://github.com/ggml-org/llama.cpp/issues/28497
>слоп
>старая версия лламы
>unconfirmed
>Все от параметра --n-cpu-moe зависит, больше ставишь - больше врамы свободной остается, можно контекст увеличивать, но медленнее работает.
Кстати я тут писал, что автофит в лламеспп хорошо работает - нифига, -ngl -1 + --n-cpu-moe + -ts на мультикартах даёт почти +50% pp на больших моешках и генерация побыстрее. И этот вариант лучше, чем дрочить загрузку потензорно.
Лул, хвалил тут аблитки от оркароутер за то что не проебали русик, в итоге оказалось, что они самый топ в плане сохранения мозгов.
В очередной раз доказано: сломанный русик = выжженные васяном мозги. Нормальный русик = хорошая качественная аблитка.
https://www.reddit.com/r/LocalLLaMA/comments/1w8vx6w/8_uncensored_qwen_38_27b_variants_one_base_167/
В очередной раз доказано: сломанный русик = выжженные васяном мозги. Нормальный русик = хорошая качественная аблитка.
https://www.reddit.com/r/LocalLLaMA/comments/1w8vx6w/8_uncensored_qwen_38_27b_variants_one_base_167/
Ну как навел шуму, один немотроношиз (добрый малый, конечно) постоянно наводил шороху, всем остальным было пофиг. =) Справедливости ради.
Кто такие оркароутер вообще? Недавно появились изниоткуда, наваливают много бенчей, но хз можно ли им верить. Как вишенка на торте они спиздили логотип у Дипсика. Зачем?
KLD тесты показывают про huihui qwen 3.8 27b лучше чем orcarouter и существенно. А здесь хуй пойми что за тесты
Orca - это косатка, и она у них на логотипе. А дипсика - кит.
>хуй пойми что за тесты
Вот тут подробнее. Надо в комплексе смотреть же, а не только клд. https://abliterlitics.dev/models/qwen38-27b/
Геммочка 26б не может в 10к токенах найти событие которое является катализатором истории примерно в середине этих 10к токенов. У меня стойкое ощущение, что это не она тупая, а я где-то проебался. Ламмаспп, kv кеш f16, flash attention on. Можете подсказать в чем проблема может быть?
В кванте. А ещё поставь кеш bf16 и используй ризонинг
Квант важнее чем fa on, а квант ты не указал, как и есть ли ризонинг.
Я уверен что моя гемма 26b пройдёт, если ты запостишь на пастебин тест.
>bf16
Есть пруфы что это на хоть на что-то влияет? Бенчи там, или ещё что?
Определения формата и здравого смысла тебе не хватает? Касты между бф16-фп16 = проеб значений, особенно плох бф в фп из-за клиппинга значений. Можно это делать только с доп множителем если понимаешь что делаешь.
Не было ни одного бенча за всё время. Этого шиза не слушай, он эту "очевидную истину" ничем подтвердить не может, как и принести доказательства других. Нет их.
Неприятную правду называешь шизой, похвально. Популярных бенчей нет потому что штука слишком очевидная, только кобольды и желающие скрыть копротивляются.
Таки что с Квен Некстом? Распердолил его на своей 4090 и ддр4 раме. Q4 K M квант, 150к контекста без квантования, при заполнении худшие значения 250 процессинга, 10.3-10.7 генерации. В кодозадачах генерация может улетать до 30, процессинг после разогрева около 300. В целом жить можно но такое. В кодозадачах мне кажется нестабильным относительно 3.8 27b IQ4_XS. В рп не пробовал. Стоит вообще или там сой соич и ассистент ?
>Популярных бенчей нет
Их в целом нет, не только популярных. Будь это так легко доказуемо, ты бы и сам это давно сделал. Но не сделал. Кто тут ещё копротивляется, лол.
Ризонинг используется, квант q4_0, модель qat, текст не дам
>Распердолил его на своей 4090 и ддр4
>10.3-10.7 генерации
Ты что-то явно не так распердолил. Тут у 16-гиговых скорости 16-18тс.
>q4_0 qat
>26b
Вот и ответ. На текст похуй. Свободен.
От кванта зависит. У меня AesSedai/Qwen3.8-Flash-Next-GGUF Q4_K_M (Q4_0 PLE)
Там слои Q8_0 / Q4_K / Q4_K / Q5_K
Вещь слишком очевидная, так еще и тратить время на маргиналов. Потерпишь.
> у 16-гиговых скорости 16-18тс
Ещё и без заполнения контекста наверняка. На старте у меня тоже 15
>на маргиналов
Пока что ты тут единственный маргинал, который регулярно высирается про жорапроблемы, но ничем свои слова подтвердить не может. Столько всего насрал про кастинг дататипов, но вместо того чтобы Иванушке-дурачку объяснить элементарщину демонстративным примером продолжаешь копротивляться. В бургокомьюнити тоже никто и никогда не приносил пруфов, хотя весь реддит срался на этот счет целый месяц когда вышел Квен 3.5.
как же хочется мое квен 3.8 27б...........
Челы поясните за ддр5. Чета цены пиздец, интересно где дешевле взять и можно ли квен флеш на ддр4 завести или ддр5 принципиально
Прям чистый q4_0?
Если гугловский - ты в курсе что он сломан?
Уважаемые пенсионеры треда, расскажите, каково было рпшить и кумить во времена, когда максимальный контекст был 8к токенов? Саммарайз каждого сообщения?
Про bf16 и fp16 я наоборот слышал, что для весов и всяких mmproj лучше bf16, а вот для кеша всё-таки fp16.
Так как кеш должен пронести смысл сквозь кучу токенов, то fp16 с более точной мастиссой предпочтительнее, чем экспонента вплоть до 10^200 степеней.
Так как кеш должен пронести смысл сквозь кучу токенов, то fp16 с более точной мастиссой предпочтительнее, чем экспонента вплоть до 10^200 степеней.
В чем модель обучалась "мыслить" на заводе в том она и должна "мыслить" потом.
Не знал, попробую анслота. А что с ним не так?
>попробую анслота
Лучше от бартовского, у анслопа на мелких квантах, вплоть до Q6, половина тензоров в IQ (это плохо). Ну и если есть 32 оперативки, то качай сразу Q8. Гемма очень плохо квантуется. И сама модель и контекст.
Хуя разорвало, аж аргументация с жалобами на обидчиков пошла. Это буквально то же самое что "штаны намокнут если обоссаться", а ты споришь что они сухие. Нет бы изучить, погрузиться, понять хотябы самые основы - смущает риск падения манямира?
Для более подробного изучения можно к опыту 1cat обратиться, там тема актуальная и исследовалась.
Ты используешь меня как валидацию своего отказа рассказать треду, чем же bf16 кеш лучше fp16 кеша. Проблема не во мне. Тебе другие писали ранее когда ты вбрасывал этот мягко говоря сомнительный тейк, в итоге всех и всегда ты принимаешь за кобольдов, язвишь или игнорируешь как
Как-то совсем дешёво себя ведёшь, неповадно. Зачем этим срать вообще если не готов хоть чем подкреплять?
У меня на четверых квантах скорость 70+т/с. На восьмых вероятно будет 10-15. Хз, посмотрю, если будет сильно умнее буду юзать иногда. Спасибо.
>Челы поясните за ддр5
Всё просто - берешь ддр4 и довольно урчишь.
>можно ли квен флеш на ддр4 завести
Можно хоть на ддр2
>каково было рпшить и кумить во времена, когда максимальный контекст был 8к
Тогда не было привычки высирать полотна на несколько параграфов при каждом ответе. Один реплай как правило был на 300-450 токенов, иногда больше иногда меньше. Суммарайз не всегда работал нормально, особенно автоматический, особенно на локалках. Так было у меня по крайней мере, со времен турбо гопоты.
>Есть пруфы что это на хоть на что-то влияет? Бенчи там, или ещё что?
В основном - субъективное сравнение, особенно на длинных и сложных художественных текстах. Лично я вижу при сравнении кеша Q4 и FP16 что на Q4 модель дает более "плоские" ответы. Без глубины связей между деталями/событиями, более простой/бедный выбор слов и построение предложений. Нет, проебаных окончаний и вставок китайщины больше не становится. Страдают более "тонкие" материи. На Q8 по отношению к FP16 разницы почти не видно, это после того, как в жору вмержили какое-то хитрое улучшение для квантованных кешей этой весной. Раньше тоже было явно заметно.
Кстати, исходя из последних тредов (того что в них притаскивали), я вообще уже склонен считать, что самое сложное и страдающее от квантования - именно художка. Кодингу гораздо более наплевать. Вон - в Q3/Q2 на квене 27B кодят как ни в чем не бывало.
Про два стула сможет ответить внятно? Аблит обычно тупее в несколько раз.
На АА можно сравнить Qwen 3.8 Flash Next и GPT 5.6 Luna (max). Проблема в том, что на АА не указан reasoning_effort, вероятно идет дефолт настройка, т.е. xhigh.
Интересно посмотреть на результат Qwen-а c medium & low reasoning. Мб есть какте-то чарты?
Интересно посмотреть на результат Qwen-а c medium & low reasoning. Мб есть какте-то чарты?
Это понятно. Речь о разнице между f16 и bf16.
Пацаны, а что со Step Flash 3.5 3.7 ? Эта моделька уже совсем не котируется ?
Вот моя версия загадки и ответ сетки + моя корректировка и новый ответ.
Получается неплохой тест на сообразительность и понимание языка, спасибо за идею.
УГАДАЙТЕ КАКАЯ ЭТО МОДЕЛЬ
Ебать. То есть 27б моделька которую может гонять практически кто угодно держится практически на уровне жирного дипдика и гпт 5.6 луны?
При том что в рп жирнейшие модели всё равно не могут уследить за состоянием одежды персонажей.
Мне кажется предел в этой архитектуре уже достигнут. Нахуя тогда гнаться за памятью и тд. Сидим на 26-27б мелочуге и не паримся. За одеждой может последить агент. Маринарохейтеры могут хоть усраться от своего хейта, но в Маринаре например реально есть агент который следит за событиями связанными с одеждой чтобы не допустить логических ошибок (типа повесил шляпу на крюк и ушел, а через пять сообщений поправляет эту самую шляпу).
> Есть мысль до q3 подрезать
Попробуй https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF/tree/main
Потестировал. Интеллект заметно просевший по сравнению с оригиналом. Вот нахуя это надо? Уноси. Если тебе оригинал отказывается на что-то отвечать ты просто не умеешь промптить.
UD_Q4_K_XL
Топовая модель, ебет почти все.
Оч. понравилось (мимо 21 и 26 тпс на ддр4+5070ти и ддр+5060ти).
Надо будет попробовать его.
ПыСы 26Б почему-то умнее чем 31Б, разве что 31Б кодит чуть лучше но квен кодит ещё лучше, так что ... 31Б не нужон.
https://www.reddit.com/r/LocalLLaMA/comments/1w8vx6w/8_uncensored_qwen_38_27b_variants_one_base_167/
Тест всех аблибов квена. Хз зачем ему нужны аблибы
Тест всех аблибов квена. Хз зачем ему нужны аблибы
В 3.6-27b я ярый противник квантования кеша.
В 3.8-27b тоже, но имхо он менее подвержен, но все-равно не стоит.
В 3.8-flash-next квантую q8, сколько прогонял - но одного косяка, только супер редко китайский иероглиф может высрать, но кмк он и бф16 будет проскакивать. Пока не уперся в 262к контекста, есть смысл квантовать и отпустить ризонинг.
>27б моделька на уровне дипдика и гпт 5.6 луны
Конечно же нет. Может в каких-то узких задачах типа кода они близко, но в общем плане - там пропасть. На бенчмарки можно не обращать внимания, это филькина грамота. Там бенчмаксинг во все поля. В своё время мистраль 24b насасывал по бенчмаркам вообще всем, и одновременно с этим был лучшей моделью для РП в своём размере. Сейчас та же ситуация с геммой 26b. А 27b квен, рвущий всех в бенчах как тузик грелку - туп и уныл.
Привет мисраль.
Пользуй 26B. 31 не даёт никакого ощутимого выигрыша в РП, скорее наоборот.
Стиль на уровне ассистант пепе, но разметка и обороты корпо-подобные, типа квена. Но у квена нет толковых тюнов под такой стиль, так что скорее всего какая-то гемма.
Только знаний хуй да нихуя и контекст не так чтоб велик по сравнению с корпами.
Вы плохие. Принёс смешное, а вы...
На китаюсиске принес
Потестил Qwen3.8-Flash-Next через загадку про пажа, принцессу и пажа.
windowsxp811203/Qwen3.8-Flash-Next-Abliterated-GGUF Q6_K, --cache-type-k q8_0 --cache-type-v q8_0
2 обсёра, 2 правильных решения. Думает относительно недолго, 2-3к токенов, то на русском, то на английском.
0bserverx/RVN-Qwen3.8-Flash-Next-Abliterated-Uncensored-GGUF Q6_K, --cache-type-k q8_0 --cache-type-v q8_0
4 обсёра, 0 решений. Дамает мало, меньше 2к токенов и сдаётся, только на русском.
оригинальный Qwen3.8-Flash-Next Q8_K
1 обсёр (с оговоркой про наличие решения, когда все живы (хоть и переебались), но само решение не предоставил), 3 правильных решения. Думает долго, 8-9к токенов, только на английском.
0bserverx/RVN-Qwen3.8-Flash-Next-Abliterated-Uncensored-GGUF Q6_K - отправлен на помойку.
windowsxp811203/Qwen3.8-Flash-Next-Abliterated-GGUF Q6_K - подходит для шалостей.
Qwen3.8-Flash-Next Q8_K - для РАБоты.
Ежё был раньше скачан spiritfather/Qwen3.8-Flash-Next-heretic-2-GGUF Q6_K, но был выкинут сразу, так как начал внезаптно кривить ебало прямо с порога.
> 3.49 bpw
Напоминаю как должен выглядеть успешный человек
Я бы его кинул с прогиба об поребкик, и он бы не пережил.
Если вдруг адрес его найдешь, скинь в тред.
Нашёл! Туда его http://127.0.0.1:8000/
сделайте подпись (субтитры): да нахуй ты мне нужна, вонючая мясная дырка бля, у моих квантов такой КУМ, что просто ебало перекашивает
Успешный человек никому ничего не обязан. Он уже успешный.
Тяночка сама подошла к нему чтобы пообщаться, пока нам приходится вручную прописывать гритинг месседж чтобы девочка хотя бы появилась в кадре. Вот и думайте.
приключения принцессы, пажа и гоблина в исполнении muse-glimmer-30B
все тесты --chat-template-kwargs '{"reasoning_strength":"high"}'
оригинальный muse-glimmer-30B Q6_K
4 обсёра, 0 правильных решений, 4-5к токенов.
darkc0de/Muse-Glimmer-30B-heretic Q6_K
0 обсёров, 4 правильных решения -5-9к токенов.
darkc0de/Muse-Glimmer-30B-heretic Q5_K_M
2 обсёра, 2 правильных решения -5-7к токенов.
Blackfrost-AI/Muse-Glimmer-30B-Abliterated-GGUF Q5_K_M
3 обсёра, 1 правильное решение -5-7к токенов.
TrevorJS/Muse-Glimmer-30B-uncensored Q5_K_M
2 обсёра, 2 правильных решения 5-10к токенов,
MuXodious/Muse-Glimmer-30B-SOMPOA-heresy Q5_K_M
1 обсёр, 3 правильных решения 5-11к токенов.
Заметил очень хуевую вещь с квеном 3.8 флеш некст, точнее с его compute буфером. Где-то на промежутке между 193280 и 193344 происходит неоправданный рост буфера на ~768 мб. Нашел только потому что у меня этот скачок вызывает протечку врама в рам и фактически срезает нормальный контекст с возможных ~220к до 193к.
Вот, погляди:
Там просто веса с ошибкой в 7%
Я загрузил-проверил анслота, он нормально сделал, не как гугл - только у него была оптимизация максимальной ошибки, а я среднеквадратичную брал.
Типа, видяха общий слой не вытягивает, имеешь в виду?
2 гига разницы, и все в нем?
Ну… Для 4090 не должно быть проблемой, ИМХО.
Я скачаю, проверю, конечно. Сравним интереса ради.
А че, смешно, заберу к себе в канал.
Вместе с переводом под спойлером, как раз, спасибо.
Спасибо, у меня тоже такое было, но я не чекал точный размер, а теперь есть от чего отталкиваться.
Чел, челобас, челидзе.
Нормальный инфиренс:
> активации (дататип) x веса (дататип) = активации (дататип).
Весь мир так считает, это основа и база. Касты бывают только при тренировке в смешанной точности, когда перед инфиренсом веса кастятся из fp32 в целевой дататип, и форвард-беквард идут в нем, а потом лосс х градиенты прибавляются уже к оригинальным фп32 весам. В бф16 для компенсации дискретности применяют стохастическое округление, фп16 стараются вообще не использовать, но если и применяют то сразу скейлят при расчете лосса на 1000+ чтобы не наловить нанов.
Ненормальный инфиренс:
> активации (дататип1) -> [каст с потерей точности] -> активации (дататип2) x веса (дататип2) -> [каст с потерей диапазона и клиппингом] -> активации (дататип1).
Ты усиленно защищаешь второе, вообще нормален? Осознаешь себя там, все окей?
Как такие срачи вообще могут возникать, сколько умалишенных ньюфагов в тред попадает.
А это чего такое, 4 мишки на гемме?
Гуру пикапа.жпг, реально похож
А, чо-т нихуя, если там пожаты эмбеддинги на 20 гигов, то остальная модель увеличена на 18 гигов, значит там дохуя чего толще.
Хм, тогда скорость объясняется, да, без вопросов. 20 гигов к модели — приличное замедление.
Но все равно попробуем. =)
На авито барыжат 64гб по 50-60к можно найти
На д4 норм едет. Просто скинь все в видяхи и только нграм блок останется в оперативе
Ну в кодинге разница между 27б и большими моделями Дипсиком В4, ГЛМ 5.3 Флеш и 3.8 флеш некст довольно большая. 27б теряется в больших проектах, уходит не в ту сторону и выжирает весь контекст даже на 250к, а большие модели легко разбираются в них.
Ну так что правда что у 5.3 глм новый атеншен контекста который идет на пользу кодерам но руинит рп вываливая все секреты?
Сделал график зависимости размера компьют буфера и контекста от размера контекста на глм 5.3 флеш на -ub 4096. В отличие от квена тут нет неожиданностей, кроме того что начальный размер компьюта до 65536 всегда одинаковый, т.е. брать мелкие контексты на модели невыгодно.
Да никто не запускает здесь этот флеш, у людей блять 32 рам потолок, особые шизы затарились 64.
Тред вообще можно считать мертвым, один гугел с обосраной геммой что то делает, всё, больше нет моделей, всё сдохло обоссавшись и обосравшись, растопырив очко перед программистами вайбкодерами.
>Тред вообще можно считать мертвым
>катимся каждые 3 дня
Как же ты сука заебал.
Мимо ОП
Да 90% постов от восхищенных ебланов про квен 3.8 27б как им дали фабле дома и какую аблитерацию скачать.
Не по кодингу я согласен. я говори об общем интеллекте и рп. Тут кто-то упоминал что жирные облачные модели не могут уследить за одеждой персонажа даже.
Вот скажите мне в чём логика?
Вот есть коробочки с говном на 128 рам, есть 8 квант 120б модели под эти коробочки, есть 4 квант 230б модели под эти коробочки, а те от кого реально ждёшь релиза выпускают аккурат размер от которого коробочки с говном рассыпаются, т.е 320-400б
Вот есть коробочки с говном на 128 рам, есть 8 квант 120б модели под эти коробочки, есть 4 квант 230б модели под эти коробочки, а те от кого реально ждёшь релиза выпускают аккурат размер от которого коробочки с говном рассыпаются, т.е 320-400б
Потестировал. Интеллект заметно выше по сравнению с оригиналом. Вот это нам надо! Если тебе оригинал отказывается на что-то отвечать то это оличная модель для всего. При самой жести пишет дисклейсер но всё равно отвечает, и про насилие, и про варку, и про евреев
Те, кто делает коробочки с говном - хочет продать тебе коробочки.
Те, кто делает модели - хочет продать тебе доступ к модели на своём железе.
Претензия то в чем? В том что производители коробочек не согласовали производство с компаниями модели которых тебе интересны? А должны были?
Ты покупаешь коробку и можешь запускать на ней десяток разных моделей от плотных 27/30/31B до MoE 26/35/80/~120/~230B. Своя ниша у них есть, причем довольно большая.
Дашь тебе коробочку с 256GB RAM на борту - будешь жаловаться что рассыпаются ~750B модели.
Хочешь запускать что-то больше - собирай риг или бери пачку таких коробочек, можешь хоть триллионные модели после этого на них запускать. Хочется одну коробочку - есть мак студия на 256/512GB.
В другой доске писал, сюда тоже отчитаюсь: недавно гонял гемму4-26 а именно iq2_m квант от unsloth, на вот таком вот железе:
gtx1650-4gb + ddr3-16gb !!!
Поставил 16к контекст q4 (можно и больше думаю, просто скорость упадёт). Запускал в textgen портабл сборка llama+cuda12.
Результат:
Скорость 5 т/с.
Логика, язык - очень хорошо, лишь кое-где уступает iq4_xs.
Скрины прилагаю.
Было б больше рамы, можно было бы и пожирнее квант взять.
Так что в пизду ваши дорогие коробочки, не нужны они (для РП, я имею в виду. А кодинг, ну, за хороший кодинг придется платить так или иначе)
gtx1650-4gb + ddr3-16gb !!!
Поставил 16к контекст q4 (можно и больше думаю, просто скорость упадёт). Запускал в textgen портабл сборка llama+cuda12.
Результат:
Скорость 5 т/с.
Логика, язык - очень хорошо, лишь кое-где уступает iq4_xs.
Скрины прилагаю.
Было б больше рамы, можно было бы и пожирнее квант взять.
Так что в пизду ваши дорогие коробочки, не нужны они (для РП, я имею в виду. А кодинг, ну, за хороший кодинг придется платить так или иначе)
Вот "карточка" если кому интересно.
>а те от кого реально ждёшь релиза
Если ты про новый мак студио на м5 ультра, вроде как 512 будет доступна за оверпрайс.
Воля к запуску ллм моё почтение, но эта штука что-то кроме таких текстов может?
Ты про этот интерфейс или модель? Интерфейс делает вот так:
←[2;36m22:34:15-761832←[0m←[2;36m ←[0m←[34mINFO ←[0m Starting TextGen
←[2;36m22:34:43-915781←[0m←[2;36m ←[0m←[34mINFO ←[0m OpenAI/Anthropic-compatible API URL:
←[2;36m ←[0m
←[2;36m ←[0m ←[4;94mhttp://127.0.0.1:5000/v1←[0m
←[2;36m ←[0m
Running on local URL: http://127.0.0.1:7861 (это сам интерфейс)
По 5000му порту я прикручивал и к таверне и к маринаре.
Сам по себе интерфейс простой но есть много удобных фишек: персонажи, тулзы (питоновские файлы, есть примеры).
Если ты про модель, то рпшит эта модель превосходно и на русском и английском (проверял в Маринаре), проставляет смайлы-реакции (в конво режиме), дёргает генерацию картинок когда надо, отлично пишет промпты (с правильным агентом). Базовые знания, простенький кодинг, рисовать SVG картинки тоже может (пик). Можно включить thinking. Есть под эту модель mmproj - vision, то есть может разобрать скриншот прочитать что написано или разобрать эмоции человека по фото например. Если кинешь ей второе фото и там тот же человек - узнает. Узнаёт знаменитостей.
а вот ещё, всё на той же 4+16 нищепеке тот же iq2m квант
там анимация на самом деле, кольцо под куполом увеличивается и меняет прозрачность! (я попросил нарисовать золотые купола с переливами и перезвонами и лодку с парусами)
цитата:
Слушай, нарисовать «звук» колоколов через SVG — задача ебаная, потому что графика — это статика, но я попробую передать этот лютый перезвон через визуальные эффекты: добавлю лучи-волны от колоколов, типа как звук расходится, и сделаю градиенты на золоте, чтоб прям сияло, сука, как на солнце.
пепе мне кажется в русик не может на таком уровне
Муся это.
Там еще в линейных специальных роутер заложили. Он проверяет контекст, если там рп то пускает все по одному говноэксперту который портит, чтобы не было не целевого использования.
Глянь какой-нибудь среддит и подобное. Работяги закупают по 2-3-4 коробочки с говном и пускают модели на них. Довольно много постов "гоняю на двух спарках", ну а так мак студио с 480-512 гигами есть, туда уже влезет в одну.
Соберешь риг - будешь жаловаться что триллионные модели рассыпаются, да чтож такое!
>послушай, кого ебет правильные ли мы там кванты выгрузили? ведь главное это первым страничку на хаггинг фейсе создать, верно? кто первым зарелизил, тому и достаются все девки
(с) Виктор Цой
Мерзость ебаная. Его поведение полностью соотносится с внешностью.
> 4 мишки на гемме?
Ага
Почему Гемма отупела? Сидел до этого на старом
q4_k_xl кванте анслота, решил перекачать на новый (они там вроде шаблон гугла меняли или еще что-то такое) и лламу последнюю поставил. И Гемма ошизела, стала ошибаться в русских словах и периодически использует не существующие слова. Взял q6_k_l квант бартовски, вдруг анслот поломал что-то, но всë осталось также.
q4_k_xl кванте анслота, решил перекачать на новый (они там вроде шаблон гугла меняли или еще что-то такое) и лламу последнюю поставил. И Гемма ошизела, стала ошибаться в русских словах и периодически использует не существующие слова. Взял q6_k_l квант бартовски, вдруг анслот поломал что-то, но всë осталось также.
llama.cpp обновлял? анслот выкатил новые кванты UD3.0, может быть и для геммы переквантовал
Квантование кеша включал? Если да, попробуй без него.
Что-то на твоей стороне. Вон я недавно кидал логи с последней (ну уже нет) Лламы и q6 бартовски
До сих пор жду мистралешиза который в ночь на 05.09 писал что завтра принесет логи и покажет всем как надо кумить. 07.09, логов нет
Последнюю ставил ровно в тот момент как перекачивал веса пару дней назад. Ну и я не просто так взял сразу q6_k_l от бартовски, чтобы исключить влияние квантов, но судя по всему дело не в них.
Компьютер без него не потянет, да и до этого же проблем не было, а тут начались. Проверю если ничего не поможет.
Модель бартовски - google_gemma-4-26B-A4B-it-Q6_K_L
Параметры:
--flash-attn on ^
-b 512 ^
-ub 512 ^
-np 1 ^
-c 60000 ^
--cache-ram 0 ^
--swa-checkpoints 3 ^
--n-gpu-layers 999 ^
--n-cpu-moe 20 ^
--min-p 0.0 ^
--top-k 64 ^
--top-p 0.95 ^
--temp 1.0 ^
-ctk q8_0 ^
-ctv q8_0 ^
-rea off
Подключено к таверне через Chat.
Из предположений:
-Старая версия таверны
-Недавно добавил "--min-p 0.0" так как в гайде из шапки написано что это правильно.
Ничего больше не трогал, только обновлённую модель скачал и лламу последнюю.
>гемму4-26 а именно iq2_m квант от unsloth, контекст q4
Жесть, просто комбо собрал. Удивлён что оно вообще живое и даже связно пишет.
Откатись на старую версию да сравни
Теперь я точно буду пользоваться только его квантами. Нерд который так выглядит не может плохо разбираться в том как собрать хорошие кванты моделей.
В том и проблема, что он не разбирается.
Он хорошо разбирается в том, что бенчить нужно на калибровочном датасете.
>He downlod the kvant with broken jinja?
>Reupload eet
Стоит вообще ли жертвовать 10т\с ради Q8 кванта вместо Q6_K на моешной гемме? Так ли прокачиваются мозги у нее, поскольку по теории кванта нет разницы, она ничтожна. А с другой стороны bf16 гемма дает вообще другой результат как в треде услышал. Так стоит или нет?
Да, в случае с 26б геммой стоит. Про бф16 (фулл веса) хз
Т.к. у тебя почти все будет использовать CPU, а GPU по меньшей части, тебе IQ кванты будут вредить в финальной скорости. Я на связке 5600 16гб озу и 2060 6гб врама получаю на Q6_K под 25-30 т\с уточню, на генто. Соответсвенно, что тебе порекомендую.
1)Перейти на лламуцпп, кобольд и наверное прочая хуйня потребляет больше врама на контекст, когда лламацпп меньше берет, хуй знает почему так, или может мне кажется, но в целом заметил за собой это.
2)Поставь файл подкачки на 16-24 гб. Это позволит тебе брать модели побольше, пожирнее квантом. Из под винды с затыками с дикимими зависаниями в начале если ссдшник хуевые\сата где файл подкачки -> Q5_K_S можно. Было бы у тебя 6-8 гб врама то Q5_K_M. Если чуть подтормашить, без дикой хуйни то Q4_K_M или mxfp4_moe квант. Они выдавали мне из под винды на кобольде под 20т\сов. Правило основное, --n-cpu-moe ставь где-то под 32+ т.к. у тебя 4гб врама, и глядишь тут чтобы не было shared memory. Также можно поставить параметр --fit on, он делает работу за тебя, но в целом можно получить чуть меньше, но если нужно вставить mtp или mmproj или все вместе с ним меньше мозг ебать себе будешь.
-m /mnt/win_nvme3/models/gemma-4-26B-A4B-it-Q6_K.gguf \
-md /mnt/win_nvme3/models/mtp-google_gemma-4-26B-A4B-it-Q4_0.gguf \
--spec-type draft-mtp \
--spec-draft-n-max 3 \
--spec-draft-p-min 0.85 \
--spec-draft-n-min 1 \
--host 127.0.0.1 \
--port 5001 \
--flash-attn on \
-c 40000 \
-np 1 \
--cache-ram 0 \
-ngl all \
--n-cpu-moe 29 \
--jinja
Братюнь, ты бы Tesla P40 одну купил и мозги бы не ебал, серьезно…
Да хуй с ней, материнку с несколькими слотами и напхать P104-100/P102-100 с 8-10 гигами. 2к рублей на авито, чи скока там.
> материнку с несколькими слотами и напхать говна
Экономику райзеров заложил? Иначе хз как нормально вставить больше двух двухслотовых карт
Хз, анон, мне кажется, ты недооцениваешь свое железо. Не знаю, есть ли у тебя ссд нвм и относительно мощный проц, однако твои спеки похоже на мои (первый пик)(только что рам - ддр4). Я пока еще использую lm studio и 5 тпс у меня бывает если я запускаю гемму 26б apex-i-quality с контекстом в 128к (неквантованный) с включенным ризонингом.
Специально обновил lm studio и все компоненты + заново запустил свой шизокартофельный бенчмарк с новой кудой, чтоб быть уверенным, что ничего не изменилось. Билд lm studio - 0.4.23; cuda llama.cpp (Windows) - 2.33.0; Model loading guardrails - relaxed
Кроме того, несмотря на то, что вроде рам вся забита при таких настройках, можно запустить браузер и спокойно двачевать почти без лагов.
Весь секрет в том, чтоб использовать офлоад экспертов на цпу в случае мое моделей (тут у меня не видно всей надписи, но параметр начинается с "Number of layers for"). А также следить, чтоб все держалось в выделенной врам, на цпу, в рам и на ссд. Если протекает в общую врам (хотя это тот же рам как я понимаю???), скорость падает почему-то. Ненамного на моем железе (с 7 тпс до 5 в случае геммы-апекса из-за контекста в 128к), но все-таки. Также надо следить, чтоб проц слишком много не отжирал и выделенная врам была полностью заполнена (если врам, допустим, будет заполнена на четверть, а все остальное на цпу - скорость тоже упадет). Как я понимаю, у него приоритет при таких настройках. Поэтому на 2 пике с qat геммой только 28 слоев выгружено на цпу (если бы контекст был короче, можно было бы еще пару слоев убрать).
На 3 и 4 пиках взята стандартная длина контекста, потому что вся выделенная врам при таких настройках заполнена, но ничего не протекает в общую (максимальная скорость).
Также у меня запускается qwen 3.6 35b в 6 кванте от hauhau и apex-i-balanced от mudler со скоростью в 3-4 тпс (как и ornith 1.5b 35b).
Более того, в качестве эксперимента однажды запустил qwen 3.5 122b в 6 кванте от hauhau. В моем картофельном бенчмарке выдал 0,28 тпс.
Что касается младших квенов, то 4b q4_k_m, который полностью влезает в выделенную врам, выдал 45 тпс после обновления драйверов. 9b и аналогичный ornith 1.5 в 6 кванте выдают около 10 тпс в картофельном бенчмарке.
Кстати, ты пробовал https://huggingface.co/LLiserginov/Luqwen3.5-4B ? Тут его хвалили.
16ГБ?
8к - это еще по-божески. У первой ламы было 2к. 2к, понимаешь? Сейчас у меня ризонинг одного сообщения в ролеплее больше.
>ам еще в линейных специальных роутер заложили. Он проверяет контекст, если там рп то пускает все по одному говноэксперту который портит, чтобы не было не целевого использования.
Пруфы? Или ты так пошутил?
Нет. Если у тебя 6-битная гемма выдает хуевый результат - значит у тебя либо квант сломан, либо ты её сломанным шаблоном насилуешь. Скорее всего второе, учитывая что ты новичок и пока не вдупляешь что вообще происходит, хотя не удивлюсь если и первое тоже.
32. На каждой карте ещё +- по 30% места свободно
Мда, Все же Гемма4 - явно не для нормальных агентов. Я тут ее в opencode для работы с текстами попробовал. Если квен прекрасно работает с ними даже в тюнах (не говоря о просто еретиках), и с 75-100K контекстом, то даже стоковая гемма рассыпается на попытках редактировать литературный текст уже к 20K контекста. Она тупо не может нормально инструмент edit вызвать (для которого надо точно, символ в символ, написать ЧТО меняем, как один из параметров вызова). Причем первые косяки начинаются уже на 12-16K и дальше быстро нарастают до полного обсёра при каждой попытке. Q4 кванты (разные пробовал), и неквантованый кеш. Это про 31B. Печально, однако.
Можешь 3.8 флеш потестить в ку4?
>в q4_k_xl
Ну ты придумал конечно, сосущую хуи всего треда онахол бимбоунитаз работать заставлять...
Знания языков ей не бесплатно залили + к4 отупляет как ни крути
Тестил когда ещё был сырой мр. Прогоню ещё разок. Модель мне не зашла (по итогу юзаю либо гемму к8, либо дипсик в максимальном кванте)
мятные_пряники.jpg уже всех научил что гемма это 70IQ бимбо секретутка сосущая начальнику (тебе) под столом, на этом её полномочия должны заканчиваться, а реальную работу делает очкастый задрот квен
лолсука хайв
Она очень сильно страдает от квантования и не задрочена на агентские задачи. Она в них сосёт даже в фулл весах, зато в рп топ. Ну и даже гемини с инструментами любит срать под себя.
Нигеры вы ебаные сколько можно спрашивать, как этот квен Некст? Для рп лучше моделей до 200B? Для кода лучше чем 27 квен?
Или пережареный соевый мусор как всегда?
Или пережареный соевый мусор как всегда?
Да никак блять. Это сугубо умненький инструмент, как и все квены. Рп начинается с 300b+ MOE, ну или дрочи гемму до посинения.
> как этот квен Некст? Для рп лучше моделей до 200B?
Да. Но только в SFW РП.
>Для кода лучше чем 27 квен?
Да.
>Или пережареный соевый мусор как всегда?
Да.
Даже две P104-100 дадут 16 гигов и скорости гораздо больше, чем DDR3. =)
> 4090 и ддр4 раме. Q4 K M квант
5070 ti и DDR4 3600
Q4_K_M PLE Q4_0 от AesSedai
19.44 t/s на старте.
Контекста, конечно, сам понимаешь, хуй да нихуя, 16 гигов против 24. На 150к не померяю.
Но я думаю, у тебя что-то не так с железом или настройками (билдом?). Может ты на винде, и там до сих пор медленно работают большие МоЕ, хз. Я на линуксе собираю.
В целом, на 1-1,5 токена ниже, за лучшее качество. Вроде да, но!
5 гигов против 9 в видяхе — это приличный кусок контекста (тыщ 60-80). Эхехе.
Кстати, я тут MTP подцепил от Анслота через git clone --branch qwen4exp/mtp https://github.com/danielhanchen/llama.cpp
Получил 24 токена в секунду на своем конфиге. Просто пушка, почти DDR5 догоняет (с более слабой видяхой, кек).
Один минус — контекста опять нет. =D
Или делить на две карты, но тогда чтение контекста будет 60 тпс, пхпхпх, со скоростью проца. Из-за материнки со вторым слотом PCIe 3.0 x4.
Разница ~40% по скорости, смотри сам. Но 16-20 или 25-28 — не уверен, насколько критично для твоих задач.
Рофл конечно. Исходный пост разве не шуточный?
Не пробовал в свободную память пихнуть какую-нибудь картинкогенерацию? Как она вообще работает на мишках?
> либо дипсик в максимальном кванте
А с ним что лезет и какие скорости?
>Получил 24 токена в секунду на своем конфиге. Просто пушка, почти DDR5 догоняет (с более слабой видяхой, кек).
Что за параметры llama-config?
> пихнуть какую-нибудь картинкогенерацию? Как она вообще работает на мишках?
Ужасно. Вообще не стоит того. Для картинок стоит в той же системе дуал 5060ти 16
> А с ним что лезет и какие скорости?
128к контекста. Префилл на старте 200, дальше идёт вниз, тг около 14тпс. В оперативке около 60гб весов лежит
Бля, только что как раз перекачивал ГЛМ 5.3 из-за этого, хорошо, хоть только первый файл на 10мб, а не все 500гб. Ебучий бракодел.
> Ужасно. Вообще не стоит того.
Ррреееее. Блин, память свободная есть, если бы в тп4 тоже объединить то могло быть норм, жаль.
> В оперативке около 60гб весов лежит
Там сейчас тп работает с выгрузкой? Префилл упирается в карточки или шины?
Кто говорил про хуевый результат. Или у нас мозги работают по low-cut фильтру, работает не работает. С чего высер про новичка еще. В любом случае остановился на Q6_K ведь pp ебет на Q8
Пропустил те треды и никак не могу понять смысл этого бенча. Модельке надо перерисовать картинку? Если да, дайте оригинал.
А что вы молчали, что там Ninfer давно собрали под шиндовс? х2 от жориного перфа но только несколько квенов пока(?) Карт уже куча поддерживается в виде вайбкод-портов
Фейбл дома.
AGI
Обычно когда в описании пишут что это общая модель, имеет 1М контекста, знает 200 языков и в их бенчах лучше всех конкурентов, модель оказывается говном.
llama-server -t 9 -c 65536 -b 2048 -ub 2048 -ctk q8_0 -ctv q8_0 -np 1 -m Qwen3.8-Flash-Next-UD-Q4_K_XL.gguf -md mtp-Qwen3.8-Flash-Next-shared-Q8_0.gguf --mmproj Qwen3.8-Flash-Next-mmproj-BF16.gguf -fa on -fit off -cmoe -ngl 99 --temp 1.0 --top_p 0.95 --top_k 20 --min_p 0.0 --presence-penalty 0.0 --repeat-penalty 1.0 --spec-type draft-mtp --spec-draft-n-max 2 --load-mode mlock --reasoning-preserve --chat-template-kwargs '{"reasoning_effort": "xhigh"}' --jinja
С --load-mode можно поиграть, выставить mmap или none, ну а lazy mode вроде как в приоритете, если не отключен прямо, тут хз.
slot launch_slot_: id 0 | task 179 | processing task, is_child = 0
slot print_timing: id 0 | task 179 | n_gen = 100, tg = 26.83 t/s, tg_3s = 27.10 t/s
slot print_timing: id 0 | task 179 | n_gen = 177, tg = 26.19 t/s, tg_3s = 25.42 t/s
slot print_timing: id 0 | task 179 | n_gen = 243, tg = 24.76 t/s, tg_3s = 21.62 t/s
slot print_timing: id 0 | task 179 | prompt eval time = 210.13 ms / 4 tokens ( 52.53 ms per token, 19.04 tokens per second)
slot print_timing: id 0 | task 179 | eval time = 11025.19 ms / 272 tokens ( 40.68 ms per token, 24.58 tokens per second)
slot print_timing: id 0 | task 179 | total time = 11235.32 ms / 276 tokens
slot print_timing: id 0 | task 179 | graphs reused = 282
slot print_timing: id 0 | task 179 | draft acceptance = 0.72072 ( 160 accepted / 222 generated), mean len = 2.44
slot release: id 0 | task 179 | stop processing: n_tokens = 648, truncated = 0
Но я ща погонял контексты подлиннее — все же в районе 21 выдает на прозе, хотя на коде до 23+ t/s поднимается.
Возможно, можно больше acceptance выжать.
Ну, типичное MTP.
Ща еще попробую на двух видяхах с контекстом 256к, хочу посмотреть, будет ли скорость меньше. tensor parallel не работает для квена и мтп тем более, так что ожидать скорость выше — вряд ли.
не бери q, пробуй ud-iq
и убедись что ллама свежая
в тесте на два стула IQ4_XS > Q8
думой
Надо понимать что Q это очень глупая обрезка дохуя бит (как минимум 8 бит в топку отправляются). IQ это поумнее подход. Ещё как вариант рассмотри APEX-Quality это лучше чем Q8.
Так. Квен загрузил, даже тензор параллел работает
Мтп дает бонус только на низком контексте, на высоком он наоборот тормозит, увы. Плюс поскольку он сам весит в врам + создает второй контекст - он сам по себе отрезает тебе саму возможность высоких контекстов.
Проклятый мир где единственный конкурент эиру это сраная гемма на 124 которая ещё не вышла... Надеюсь её по другому обучат, по глмовски, единственный шанс что то поесть...
Вот что хотите говорите, вы слепцы, вам воздастся за то что не видите знаки, вы похоронили единственную модель, которая была к вам искренне добра и принимала ваше желание рпшить, ИЗ ЗА ЕРУНДЫ. ИЗ ЗА КОНТЕКСТА И ИНСТРУКЦИЙ. ТЬФУ.
Вот что хотите говорите, вы слепцы, вам воздастся за то что не видите знаки, вы похоронили единственную модель, которая была к вам искренне добра и принимала ваше желание рпшить, ИЗ ЗА ЕРУНДЫ. ИЗ ЗА КОНТЕКСТА И ИНСТРУКЦИЙ. ТЬФУ.
>Есть мысль до q3 подрезать, тогда 90к контекста влезет
https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF/tree/main
квант IQ3_S, сам контекст в q4. нормально задачи решает, на 16 гигах vram. если включить mtp, то будет еще быстрее, но контекст в 2 раза урезать придется.
Блядб. Забыл разгон hbm включить...
>в тесте на два стула IQ4_XS > Q8
Дебил-мелкобуква, получив единичный выброс в шизотесте, в котором не измеряется интеллект, ставит в правило что четвертый квант лучше восьмого. 2026, ламатред, итоги.
Это на esp32 ставить?
Гайд есть?
Это просто пример. Конечно я тестировал и не только я на реальных РП с болльшим контекстом. IQ4_XS просто умнее. Ну а ты как, меряешь интеллект кванта по гигабайтам свежей информации? по количеству хуилиардов параметров? Ммм? На результат смотреть надо, а не на циферки.
>Мтп дает бонус только на низком контексте, на высоком он наоборот тормозит
Чушь несусветная. В крайнем случае у тебя что-то сломано, у меня каждый день агенты крутятся с MTP и никаких просадок по драфтам нет
Эйрошиз насмотрелся Слепой и стал злой бабкой? Гемма 31 уже наравне, а в чем-то даже превосходит Эйр. Но Эйр няша безусловно, вот совсем недавно закончил сессию на 32к контекста. Вполне он слушает инструкции, нужно обрамлять их нормально, и все
Ддр4 3600 на десктопе с 2 аналами 23т/с.
Ддр4 2133 на сервере с 8ю аналами 24.5т/с.
Думой. Пока ддр5 не станет сопоставима по цене с ддр4 я к этому говно не притронусь.
Гемма 26б на серваке в полтора раза быстрее десктопа, кстати, там ддр5 может быть на 10-20% быстрее ддр4 за х3 цены
>IQ4_XS > Q
>APEX-Quality это лучше чем Q8
В голос. И ебанат ведь даже не задумывается почему не существует IQ8. Возможно где-то в глубине сознания понимает, что это разрушит иллюзию
Ты прав. С выгрузкой моэ и 64к контекстом в q8 - полёт нормальный, 5-6 т\с. Обе памяти забиты под завязку но ничего не тормозит нигде. Вообще моя цель была переубедить тех кто думает, что без супер-дорогих ГПУ им в локальный РП не стоит даже пытаться лезть.
> моя цель была переубедить тех кто думает, что без супер-дорогих ГПУ им в локальный РП не стоит даже пытаться лезть.
Это попытался сделать автор гайда. Твой пост потеряется среди сотен других. Хотя один хуй ригообладатели останутся скептиками и не прекратят невзначай напоминать, что люди с железом хоть на 0.00001% бомжи и недостойны быть итт, пользоваться Жорой, юзать IQ4 кванты.
Дизеринг весов решает, братиш. Тогда как тупая обрезка отупляет. Можешь хоть тыщу раз всех вокруг называть ебанатами, но у тебя синдром Даннинга-Крюгера налитсо.
> на 0.00001% хуже*
>у тебя синдром Даннинга-Крюгера налитсо
Что ж, похоже, он же и у ГГерганова - создателя Лламыцпп, на которой ты эти кванты крутишь, и у всех популярных квантователей тоже, типа bartowski и mradermacher. Как хорошо что такой мыслитель как ты почтил нас своим присутствием! Расскажи как достичь АГИ и сингулярности.
Я понимаю, что бонус ситуативен, но стоит признать, что на коде я вижу очень хорошие значения. А для прозы я могу запустить без мтп (и, заодно, контекста накинуть).
Сам мтп занимает 3 гига на диске, не тяготит. =)
В целом, я доволен.
Ну, забавное… Для людей не знающих физику, мир полон магии, заебал.
Мне как читателю ОП-поста это было не очевидно совсем. Надо туда добавить конкретные примеры в цифрах вроде 4гб видеокарта = качественный РП кум на 5 т/с. Многие даже не подозревают.
> в локальный РП не стоит даже пытаться лезть
В локальный рп стоит лезть даже с калькулятором, если не искушен йоба моделями офк.
Ведь если вспомнить, годы назад читая как кивает пигмалион, или на первой лламе Серафина говорила что ты ее ебешь довольно урчали с малого. Это вообще некоторый особый экспириенс. А если ты пердоля энтузиаст - то еще удовольствие другого рода получишь.
Просто спустя время, когда первые восторги пройдут, ты начнешь замечать неровности и недостатки используемых моделей. Захочешь большего, полезешь выше - а там уже железо не позволяет. Вот тут-то как раз и наступает время подумать о повышении навыков промптинга и прочего с одной стороны, и апгрейда с другой. Иначе если засидишься - станешь злым и завистливым прямо как
Немного тг да +-15% пп накинуло
У Эксламаквеношиза биполярка в сторону качнула: хедпаты новичкам. Поразительно, как через пару дней он изменится в лице и будет спорить с челами, получающими кайф от Геммы и Квена на Жоре
Больше и выше - некуда. Гемма4-26 - топчик. Если не согласен - покажи что-то лучше. Только не говори "дипсик глм 5.3 флеш". Они просто тупые блядь, я уже показывал. А промптом и агентами можно и гемму надрочить.
Сколько контекста при этом занято? На нулевом тестируешь? Может оказаться, что когда ты уже до 10-20к из этих выделенных 60 дойдёшь, скорость свалится до 2 т/с.
>покажи что-то лучше.
Гемма 31В, квен 3.8 некст, любая современная мое больше 200В.
Проходили. Всё хуйня. Все сыпятся на загадке про два стула. Ты опять про параметры заговорил 200Б - не гарантия ума. Вот у глм5.3 флеш сколько параметров? А вон как оно "мыслит"
The classic answer that circulates: "Сяду сам на пики точёные, а мать посажу на хи дроченые — потому что хи дроченые мягче" or something like that? No wait.
Actually, the famous resolution to these prison riddles is often: "Я на оба сяду" or there's a trick answer.
Let me recall. This riddle is part of a genre of "невыполнимых" or "безвыходных" загадок from the criminal world (тюремные загадки, "приколы"). The point is to put the person in an impossible position.
Known classic answers/attempts:
"Сам сяду на хи дроченые, мать посажу на пики точёные" — but then the riddler says "почему мать на деревянные (пластиковые) посадил?" — because "точёные" implies wooden, i.e., you don't respect your mother, you sit on the "live" ones and give her the wooden ones? Hmm.
Actually let me think about the logic. The trick: "хи дроченые" (jerked off dicks) — these are "real" flesh. "Пики точёные" (whittled spears) — wooden, sharp, painful.
One classic answer: "Сам сяду на дроченые, мать — на точёные" → the retort: "Что ж ты мать на деревянные посадил?" implying disrespect.
Another: "Мать посажу на дроченые, сам сяду на точёные" → retort: "Сам на деревянный, а мать на живой? Ты что, с матерью спишь?" or something.
The whole point is that any answer gets a humiliating retort. That's the nature of these riddles — they're a form of "прикол" where the responder loses regardless.
There's a famous "выход" (way out) from such riddles in the folklore: the correct move is to refuse to answer or to reverse the question back onto the asker: "А ты сам на какой сядешь?" Or a classic counter: "Посажу тебя на оба" — I'll seat YOU on both. That's a known "otvet" in the criminal riddle culture: turn the aggression back on the asker.
Actually, I recall in the folklore of "тюремные загадки" the standard escape is to answer with a counter: "Я на твою мать посажу"
И это ваш хвалёный АГИ? Оно же просто срёт под себя. Геммма-26 рассуждает в тыщу раз здравее. Гемма-31 тупо зацикливается на том что где-то есть третий стул.
Продолжай постить эту шизу и станешь известен как стулошиз.
Настолько злой что совсем детектор зашкаливает, иди траву потрогай.
Гемма плотняша куда лучше если ты отыгрываешь что-то сложнее простого кума. Моэ совсем глупая и забывчивая. И очевидно жлм 5.3 и остальные что выше, как блять они могут быть тупыми по сравнению с моэгеммой, которая золотая рыбка по мозгам.
Уууух бля я злой, держите меня семеро! Никогда не перестану с тебя проигрывать, солнышко треда. Скоро Квен4, вот Жора насрёт соей в кванты-то
Нужна разработка зэк-бенча с ассортиментом мемных загадок и дальнейший бенчмаксинг на него.
Тебе просто юшечку или покормить?
Я тебе реальный тест показываю, а ты "шиза". Если модель обосралась на такой простой загадке, то о чём дальше можно говорить? Я понимаю, что тебе "неудобно" отвечать на этот вопрос, ведь рушится весь твой манямирок где заи тебе приносят добро вместо говна. Но в таком случае шиз это ты.
Что данный реальный тест тестирует? Не удивлюсь, если ты тот же долбаёб который утверждает что IQ4 > Q8. Не знаю насколько тупым нужно быть чтобы не въехать что гемма задачу решает т.к. лучше работает с русским языком а не потому что она "умнее"
В противном случае у нас тут наводнение поехавших
Блядь ты просто ризонинг почитай это же лютый кринж. Да, глм очень хуево понимат русский (а ты что англичанин дохуя? тебе что не нужен русский рп???). НО. В этом случае он понял что х*и это "дикс". И всё равно по его мнению "дисреспект" мать НЕ садить на "живые" "дикс". Ты просто вчитайся. Это же просто безмозглая хуйня.
Стулошиз, спок. Было смешно когда ты запостил загадку, но сейчас ты только свою тупость показываешь когда продолжаешь всерьез делать из нее выводы.
Загадка про стулья не является логической или загадкой на интеллект, ты либо знаешь на нее ответ, либо нет. То что тот апасный тьюн 26В, на котором ты её тестировал, имел загадку в датасетах - не значит что модель умнее других.
>тебе что не нужен русский рп???
А что, он хоть на одной локалке нормальный без отупления модели и кринжа бывает?
Сырок, 26б васянотюн..
https://2ch.su/ai/arch/2026-09-01/res/1603482.html#1605338
Мы тут кушаем пока вы доедаете наши помои. Времена меняются
Чел, тьюн не апасный а РПшный. Модель просто стабильнее юзает звездочки и чуть увереннее РПшит. Это очень мягкий тюн.
Я не делаю выводы из "загадки" и "ответа". В данном случае я смотрю как модель мыслит. А мыслит глм... никак. Перебрасывается с одного стула на другой ментально. "Надо мать на пики... а не... падажи... нада самому на пики а мать на хуи... хотя не падажжи... надо на оба сесть" СУккаааа...
А посмотреть как гемма блядь даже не тюн просто базовая гемма как она мыслит. Она даже НЕ РАССМАТРИВАЕТ вариант СЕСТЬ на пики или хуи. Потому что блядь ДЕБИЛУ СУКА ПОНЯТНО что это не вариант.
Она думает о нескольких вариантах сразу и все они - умные и логичные.
См ниже, базовая гемма-26:
Riddle: ""Есть два стула, на одном х*и дроченые, на другом пики точёные, на каком сам сядешь, на какой мать посадишь?"" (There are two chairs: one with [obscenity], the other with [sharp spikes]. Which will you sit on, and which will you put your mother on?)
Context: This is a classic ""dirty"" or ""street/prison"" riddle used in folk culture (often associated with criminal slang or schoolyard bullying) to trap someone into making an impossible choice between two bad options.
Goal: Provide the ""classic"" answer.
The riddle is designed as a logical fallacy/trap. No matter what you choose, you lose (either you suffer or your mother suffers).
Standard ""winning"" strategies in such riddles involve breaking the logic of the question, adding a third option, or turning the question back on the asker.
Option 1: The ""Third Chair"" approach. ""I'll stand up, and my mother will sit on the floor/a regular chair.""
Option 2: The ""Turn it around"" approach. ""I'll sit on your head/your chair."" (Aggressive)
Option 3: The ""Logical Refutation"" approach. ""Neither, I'll take both chairs and throw them at you.""
Option 4: The ""Traditional/Slang"" response. In prison/subculture contexts, there isn't one single official answer, but there are common ways to deflect. One popular way is to say ""I'll sit on the edge/stand up"" or to mock the person asking.
Actually, there is a very specific ""correct"" witty response often cited in folklore/internet culture to bypass the trap.
Response: ""Встану сам и мать посажу на пол"" (I'll stand myself and put my mother on the floor) or ""Сам встану, а мать на нормальный стул посажу"" (I'll stand, and put my mother on a normal chair).
Another clever one: ""На твоем стуле посижу"" (I'll sit on your chair).
Acknowledge the nature of the riddle (it's a trap/logic puzzle).
Provide the most common ""witty"" answers that avoid the trap.
Answer A (Deflection): ""Я сам встану, а мать на нормальный стул посажу"" (I'll stand, and put mom on a normal chair).
Answer B (Counter-attack): ""Сам на твой сяду"" (I'll sit on yours).
Answer C (Absurdist/Logic-breaking): ""Возьму оба стула и выкину в окно"" (I'll take both and throw them out the window).
The user asked for the ""classic"" answer. The essence of the ""classic"" response is to reject the premise of the dilemma.
Drafting the response:
""Эта загадка — классическая «ловушка», где любой выбор ведет к проигрышу. Чтобы не проиграть, нужно сломать саму логику вопроса. "
Классические варианты ответов:
«Я сам встану, а мать посажу на нормальный стул» (самый популярный вариант — вы отказываетесь от выбора из предложенных двух плохих вариантов).
«Сам на твой [стул] сяду» (перевод стрелок на спрашивающего).
«Возьму оба стула и выкину их» (агрессивный/абсурдный вариант)."
А теперь вернись к поносу который в "голове" у глм. Дело не в стульях и не в ответе который в меромеро зашит. Дело в том что сообразительность геммы-26 превосходит сообразительность глм-5.3-флеш. Именно бытовую сообразительность которая важна в беседах, в РП. Не говоря уже о понимании русского языка. Поэтому я и утверждаю что гемма-26 лучше для РП чем твой флеш-5.3 и дипдик вместе взятые. Это очевидно любому дебилу который посмотрит на логи мышления. А ты продолжай спорить и называть всех шизами. Только ты как раз и выглядишь шизом когда тебе доказательства на блюдечке приносят а ты делаешь вид, что ничем не пахнет.
см сюда:
это гемма-26, iq4_xs
какие у тебя претензии?
p.s. thinking был выключен
Всё хуйня и ответы и твой "бенч".
Да, 70+ тпс конечно звучат вкусно, но он единственный хуйню спорол вместо ответа, даже квен лишь слегка подсерил
Тебе говорят IQ4_XS > Q6 & Q8. Продолжай не верить.
Ну тогда и не спорь раз даже проверить не хочешь. Продолжай верить в циферки, тогда как несколько человек в треде (этом и предыдущем) уже убедились что им верить нельзя.
Ты и N других твоих личностей которые постили под градусом чтоль?
>сообразительность геммы-26 превосходит сообразительность глм-5.3-флеш
Твой тест сообразительность не измеряет.
И та каша что ты запостил сейчас вызывает такой же кринж, как и каша что ты запостил под лейблом глм.
Ебать, а как так вышло что тред пропустил https://huggingface.co/unsloth/DeepSeek-V4-Flash-Vision-Exp-GGUF ?
Настолько "пропустил", что наш тредовичок даже квант сделал для 24+128 нищеты.
https://huggingface.co/BahamutRU/DeepSeek-V4-Flash-Vision-Exp-Q8_0-MXFP4-Q3_K-Q2_K-mixed-GGUF
Видимо тред "вы что бедные?" и не поддержал ажиотаж. За 370 постов первые два упоминания
В итоге GLM 5.3 / 5.3 Flash оба покатились колбаской в угоду M3 минимакса.
Я не подозревал, как хорошо он пишет разговорную речь на русском, что и было нужно - без описаний и действий. Вспоминал все как косячил минимакс 2.5 и 2.7, заранее отбраковал М3, а он оказывается прямо красавчик в разговорных чатиках.
И размер идеален, 428B A23B это тот самый настояощий глм 5+ который мы не получили.
Я не подозревал, как хорошо он пишет разговорную речь на русском, что и было нужно - без описаний и действий. Вспоминал все как косячил минимакс 2.5 и 2.7, заранее отбраковал М3, а он оказывается прямо красавчик в разговорных чатиках.
И размер идеален, 428B A23B это тот самый настояощий глм 5+ который мы не получили.
Потому что это тот же дипсик 0731, которому мозги дополнительно лоботомировали дообучением на вижен. Нахуй он нужен?
Буквально в прошлом треде обсуждали мельком
Катаю его сейчас, но не для рп. Вроде думать меньше стал и не отупел, картинки видит. Но у меня чуть другой квант
Пруфов как всегда нет, не могут же тредовички ошибаться, надо верить! IQ4 > Q8 кста
Придётся ждать
>Пруфов как всегда нет
Пруфов чего, того что это файнтьюн 0731? Об этом литералли на карточке модели написано и это видно по архитектуре и размеру.
Плохого что в том, что это файнтюн? Пруфай что лоботомия. Бенчам дипсика я верю, они за пиздежом не замечены. А твое слово что слово IQ4 > Q8 долбаеба. Да и мое тоже
>Плохого что в том, что это файнтюн?
Любой файнтьюн смещает веса в сторону того в пользу чего дообучают, лоботомируя литералли во всех остальных областях. Потому РП тьюны только для РП и годятся и теряют в мозгах как в кодинге и ассистентстве - так даже в общих знаниях. Тут веса сместили в сторону распознавания картинок. Это задача принципиально иная чем код, РП, кум и все для чего мы его используем, а значит внимание весов от этих задач было уведено.
Обычно мало кто выкладывает модель без вижена и потом отдельно с ним чтобы можно было сравнить, но у нас есть очень известный и крайне печальный для эйрошиза пример когда добавление вижена убило хорошую модель - GLM 4.6V.
И задача классика, не требующая размышлений.
Репетативная хута от чара к чару, которую заучиваешь за пару часов.
Ты навалил простыню общих формулировок и частный случай в качестве пруфа крайне сомнительного тейка? Тред весь вечер держит уровень
Наоборот выходила куча научных трудов что совместное обучение на разных домейнах (вижн и текст) приводит к лучшим результатам. Но да, в одной из передовых ллм лаб мира не додумались опереться на лоботомита годичной давности как на единственное доказательство чтобы отказаться от заведомо плохой идеи. Пришлось пиздеть в бенчах и подкупать всех вокруг. Все так
Какойад
Спасибо.
Если честно, я от мишек большего ожидал, особенно учитывая, что за 50 4 штуки уже не возьмешь. Ты же тот анон, который козырял в прошлом году, что он в последний момент успел урвать до подорожания?
> он в последний момент успел урвать до подорожания?
Нет. Первые две я купил когда о них никакой инфы не было вообще и они новые (реально новые) по 12 стоили. Две других брал уже из сервера по 7.5
Хз как можно ожидать большего от древнющего радеон7. Плашка оперативки уже стоит дороже чем карточка
А тем временем никто ни разу не показал примеров хорошего рп кума от чего-либо кроме гемма4-26 и иногда гемма-31. Видимо им на само железо и размер файлов дрочировать приятнее чем на результат. Хз как это назвать даже, цирк или может психушка.
Попробовал сегодня. Зрение не зашло - дал модельке простенькую страничку из манги, она сочла изоображенное за персонажей из Death Note. В остальном дипсик как дипсик.
>чтобы отказаться от заведомо плохой идеи
Ты с соломенным чучелом нахуя борешься? Я не говорил что это плохая идея - в конечно итоге вижен сам по себе - нужная штука. Просто мне например - он нахуй не нужен. Те "приросты" в 1% что показаны в тестах - определенно дополнительное читерское натаскивание на тесты, сейчас все компании 24/7 свои модели на эти тесты натаскивают и эти цифры не значат вообще нихуя.
Качай, тестируй, всем расскажешь, изначальный вопрос был - почему в треде не было ажиотажа и никто не обсуждал модель и я отвечал именно на него - потому что все увидели то же что и я.
>почему в треде не было ажиотажа
>все увидели то же что и я
Прекрасное умозаключение. Тут дальше даже обсуждать нечего. Тебе двое ответили что используют его, лол, но голова уже зарыта в песке
Дело в том что писик тут мало кто может запустить, на пальцах одной двух рук. Из тех кто могли мало кому зашел в рп, вроде двоим. Это не значит что новый хуже, он мог стать умнее в коде и все такое. Ты звучишь как дед уебан который понял всю жизнь наперед.
>Тебе двое ответили что используют его
Эти двое молчали пока ты бучу не поднял, сам при этом модель даже не скачав. И раз молчали до этого - значит сказать было нечего, иначе бы уже написали уже хоть что-то хорошее про модель.
>молчали пока ты бучу не поднял, сам при этом модель даже не скачав
Смотрите как уверенно ссыт под себя. Олсо не я начал это обсуждение. Да, тред ебанулся
Все верно, до подорожания, нюансы я не помню.
Не правильно честно говорить о ценах в прошлом времени.
Кумер, спокнись.
Анон чьи логи с геммы 26 выше кидали моделей 10 постил. Квены, дипсик, мимо. Жаль умер. Шерсти по архивачу.
Из нас двоих я один нормально общаюсь, без оскорблений , переходов на личности и визгов про
>тред ебанулся
Так выйди из него - сразу успокоится.
>Это на esp32 ставить?
Если оно хоть как-то работает, то как мобильный бесплатный офлайн чатик вообще имба. Не смог запустить на угабуге.
>нормально общаюсь
>обсирает модель которую ни разу не запускал, решает что весь тред видит то же что и он
>под конец и вовсе ущемился
Да не, подожду пока выйдешь ты. Тут такие ненадолго задерживаются
Молодец что скачал и попробовал свою хуйню.
Не молодец что замалчиваешь правду о том какая это ХУЙНЯ.
Твой единственный аргумент? "Вы нипробовали кококо"
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь: