> зачем вам поднимать модель на оборудовании за 300к
Потому что в этом смысл треда. Пердолить модельки потому что можем и хотим. Кто то считает пряники, кто то гладит хвостики, кто то спасает галактику, а кто то наслаждается шестью пар сиськами и инопланетной тентаклей.
>дипсрёньк флеш
Виновая моделька, хули.
Всё это можно делать на апишке
С одной стороны да. С другой стороны, имея локальный инференс ты имеешь доступ к ризонинг блокам, в случае того же флеша ты можешь пердолить его ризонинг как тебе вздумается и он буквально будет писать : ну нет, я так делать не могу, тогда это будет цензурой.
Кому то в целом важна анонимность и он не желает логи сливать, другие запускают несколько малых и сидят вайбкодят. Тут в целом вопрос готов ли ты сливать деньги на хобби? Ты же не задаешься вопросом, нахуя некоторые покупают снегоходы или красят миньки.
А есть способ вообще смотреть мышление модельки в режиме реального времени и редактировать так, чтобы она не сваливалась в паттерн который вызывает сейфти?
ДА БЛЯТЬ. РАСКРОЙ ГЛАЗА НАХУЙ.
ЛОКАЛЬНЫЙ ИНФЕРЕНС ЗАКОНЧИЛСЯ БОЛЬШЕ ЧЕМ ПОЛ ГОДА НАЗАД. НЕТ ПАМЯТИ СУКА. ВООБЩЕ. СОВСЕМ НЕТ.
СНАЧАЛА НА РАМ, ПОТОМ НА ВИДЮХИ.
СОБИРАТЬСЯ ПОД ЛОКАЛКИ СЕЙЧАС НУЖНО БЫТЬ ЕБНУТЫМ, ПОКУПАТЬ ЖЕЛЕЗО ПО ЦЕНАМ ДЛЯ БОЛЬШИХ ФИРМ И КАБАНОВ.
КИНУЛИ ВАС ЧЕРЕЗ ХУЙ. ТУТ ЛЮДИ БЛЯТЬ ПРОСТО ПК ПОД ИГРУЛЬКИ СОБРАТЬ НЕ МОГУТ, ВЫ ТО КУДА ЛЕЗЕТЕ.
ЕСЛИ РАНЬШЕ ЭТО БЫЛО НУ ОК ЗАТРАТНО, ТО ТЕПЕРЬ Х10 ЗАТРАТНО, А ЦЕНЫ НА КЛАУД ТОЛЬКО ПАДАЮТ
Спокуху оформи, агент носатиков-рептилоидов.
Клауд всегда будет сосать. Даже если временно ситуация стала трудной для локалочек, к конечном итоге выбор всегда один: либо ты делаешь локалку, либо ты сосёшь.
И как я погляжу, тебе очень нравится вкус хуя. Аж не можешь держать это в себе.
Ну дорого, да. Можешь за цодами доедать. Ну хочется людям, люди пердолятся. Их право. Потом не нойте что у вас аккаунт забанили или очередную модель удалили.
Как там в классике было:
«Тот, кто способен уничтожить вещь, контролирует её полностью» — Фрэнк Герберт, «Дюна».
То что у меня на диске - работать будет независимо и предсказуемо от того, когда там корпам очередная шиза с обновлением модели стукнет, после чего новая версия опять разучится в очевидные знания и навыки. Прошлой осенью грок рулил в IT. Сейчас же это тупая хрень которая буквально ничего не умеет - gemini много лучше справляется, хотя той же осенью он у грока отсасывал с присвистом.
>грок
Какой же Маск всё-таки пидор. Так топил за открытый/свободный AI, и в итоге нихуя не опенсорсит. Ладно флагманскую модель зажал, но мог бы 30b-100b локалочку народу дать на базе Грока, как это делают Гугл и Мистрали.
Он вроде недавно намекнул что что-то ещё опенсорснет как новый грок выйдет
я б четвёртого грока доел, он смешной
> сущие копейки
Так только кажется, если пользоваться активно и постоянно, то набегает не так уж и мало.
А дальше как с такси vs личный автомобиль, владение vs аренда и т.п. Бахвальство своей "выгодой и свободой" обрывается в момент, когда Ержану лень ехать в ебеня кроме как за х15 от тарифа, тетя Люся решила удвоить аренду и подобное.
Ну и конечно же приватность. Негоже заинтересованным знать the special way we fuck, буквы и личную информацию.
Сам факт пользования корпосетками ничего плохого не несет, но применять его везде - пиздец.
Скорее безальтернативность корпов закончилась тогда или еще раньше. Буквально лень напрягаться чтобы выставить очередной счет какому-то сраному стартапу потому что можно сделать на локалочке без риска заинтересовать интерпол, или еще не дай бог самому такие деньги платить.
Вот кстати да, третий протухнет раньше чем релизнется. Точнее уже.
все забывают что оборудование за 300+к это не только инференс но ещё и просто напросто хороший компик, на нём можно чё хошь делать.
В гайде все очень четко и главное актуально рассказано, например разделение moe мое-слоев между рам и врам, мега-не очевидная вещь и спасение для бомжей с 12гб.
Ставлю лайк, геммочка очень нравится, я конечно еще не скатился до ролевухи, но как локальный ассистент очень годно.
Уникальные кадры: двухбитный малыш 122B-A10B отвечает на вопрос пользователя в образе Фифи.
Кстати, текст очень разнится от температуры. В теории может отвечать нормально и не так скучно. Иногда сходит с ума, если поднимать для креатива. В некоторых постах Фифи отвечала ВАЙ-ВАЙ-ВАЙ, и сленг как у Гоги был.
Ты в курсе, сколько люди денег тратят вообще на развлечения и хобби? У меня обычные знакомые наносеки покупали LEICA и наборы стёкол за 1 млн и больше, при этом они не были фотографами, снимали раз в месяц, а их зарплаты были 200-300к всего лишь, что явно не вписывается в бюджет. И фоткали они спины котов на улице телевиком, а также жопы тян, в то время как бомжары с китовым объективом фоткали голых тян, ничего не боялись, становились фотохруферами за 15к/час работы через год съёмок и практики.
Ну ещё была отдельная секта гиродрочеров, которые не фоткали, а покупали оборудование на пару миллионов и обсуждали бурлеск на карл цейс, жарко споря.
Поэтому вполне нормально купить хоть за два миллиона себе железо, если есть деньги. Не все тратят деньги на то, чтобы из денег делать деньги.
Кстати, текст очень разнится от температуры. В теории может отвечать нормально и не так скучно. Иногда сходит с ума, если поднимать для креатива. В некоторых постах Фифи отвечала ВАЙ-ВАЙ-ВАЙ, и сленг как у Гоги был.
Ты в курсе, сколько люди денег тратят вообще на развлечения и хобби? У меня обычные знакомые наносеки покупали LEICA и наборы стёкол за 1 млн и больше, при этом они не были фотографами, снимали раз в месяц, а их зарплаты были 200-300к всего лишь, что явно не вписывается в бюджет. И фоткали они спины котов на улице телевиком, а также жопы тян, в то время как бомжары с китовым объективом фоткали голых тян, ничего не боялись, становились фотохруферами за 15к/час работы через год съёмок и практики.
Ну ещё была отдельная секта гиродрочеров, которые не фоткали, а покупали оборудование на пару миллионов и обсуждали бурлеск на карл цейс, жарко споря.
Поэтому вполне нормально купить хоть за два миллиона себе железо, если есть деньги. Не все тратят деньги на то, чтобы из денег делать деньги.
>бомжей с 12гб
Врам? Нахуй тебе ебаться если у тебя 12гб врам. Ну что блять за соя, я нахуй на 16озу+6врам кручу гемму mxfp4 которая весит под 16.6 гб. Ты же можешь ваще взять IQ3_XSS 31б геммы и крутить ее на видяхе
>двухбитный малыш 122B-A10B
Кринж. Зачем еРПшить с ужаренным в говно лоботомитом квена когда есть гемма в 8 битах?
А хули все молчат о дипсреньке? Катают и довольные? Или говно ёбанное?
Да, в тот же.
Ну я так же мыслил, почти 70% цены загнул китайцу за не тот цвет, линии и еще кое-что.
У 64 + 24 есть эир, у 128 + 24 есть эир побольше - ни у одних ни у других не лезут фулл веса дипсика, а без них он мех и лучше юзать обозначенные модели
Это нужно фетиш на даунов иметь.
> эир
> эир побольше
Это иносказательно или буквально?
Да ты шутишь. Я вот не могу сказать своего мнения, так как пока только начал катать. Но тут в треде даже рецепт квантика был. Но даже по первым впечатлениям, 2квант глм отправляется в мусорку. У нас новый чемпион в написании буковок о приготовлении омлета в пушистой общаге. Но, время покажет. Пока особых проблем, кроме дропа KV кэша не заметил.
> Какой же Маск всё-таки пидор
Мащк это торговец красивыми словами и обещаниями. Его работа - пиздеть.
Да у вас и гемма отправляла глм на помоечку.
Чёт мне подсказывает что глм в 2кванте с глубочайшим проглотом отсосет от умницы в агентских задачах. Зачем их вообще сравнивать?
Tell me...
Tell you what
Listen to you
See?
Look!
Look at you
Look at me
Look at it
Look at me, really look at me
It’s practically begging you
You're practically begging
practically vibrating
it's practically screaming
Just accept
Admit it!
And the best part?
Tell you what
Listen to you
See?
Look!
Look at you
Look at me
Look at it
Look at me, really look at me
It’s practically begging you
You're practically begging
practically vibrating
it's practically screaming
Just accept
Admit it!
And the best part?
Никак не могу начать его нормально тестировать после тех скринов что я прошлом треде постил, вместо этого скроллю гитхаб и хф в поисках малейших фиксов ламы от васянов и пинаю кодекс чтобы думал как еще его ускорить. Уже почти поборол падение промпт процессинга и уже добился +- норм скорости, сейчас пытаюсь разобраться как дспарк работает и навайбкодить поддержку.
Слушай, я не могу понять почему на ламе он периодически сбрасывает весь промт с ошибкой кеширования. И ладно бы врамы не хватало, так еще 10гб свободных. Не сталкивался?
В быстрых зирошотах разве что. Или если там настолько заквантовано что он сразу зашизеет. Планка геммы в подобном всеже не сказать что высокая.
> после тех скринов что я прошлом треде постил
Это какие?
> Уже почти поборол падение промпт процессинга и уже добился +- норм скорости
Ого, звучит круто. Выкладываешь куда?
А как заставить квен нормально работать под лламой? Под виндой там нормально было все, потому что на кобольде крутил. А сейчас.. блять чатмл вообще не пишет сообщения. Переключаюсь на темплейн геммы, пишет, но папугайничает. Джиджу включал, не помогло.
Попробуй перезагрузить роутер.
Не пойму, вы на каком оборудовании гоняете?
Для использования надо минимум 89гб видео.
Для использования надо минимум 89гб видео.
Дебил, видеоплеера достаточно одного на хотябы 8гб
Гайд в шапке для кого писали ?
Достаточно для чего?
Для использования чего?
Для запуска геммы, вполне норм сетки
>надо минимум 89гб видео
Туда ли ты зашел, сынок? Это тред успешных людей.
мимо 241гб видео кун
> надо минимум 89гб видео
Так скачай побольше, что ты как не родной.
>241гб видео кун
А что так мало?
Мимо с лимитом от провайдера за то, что дохуя качаю
> А что так мало?
Подержи мое пиво Тот что на 21 - ссд рейд, и еще дважды по стольку в других пеках
Я с ним не ерпшу. Просто люблю запускать лоботомитов, чтобы оценить. Это мой фетиш.
Гемма для порносекса такой себе выбор, кстати. Из маленьких квен 27 3.6 для этого подходит куда больше. Пишет сочно. 27 3.5 не такой сочный, но умнее в целом. Хоть и обе модели не годятся именно для ролевой игры качеством выше порнофанфика.
А если ты про гемму МоЕ, то это гига параша как для РП, так и для кума. При сравнении с 31 не выдерживает никакой конкуренции, вот даже близко не стоит. Разве что язык у МоЕ побогаче, чем у 12, внезапно. 12 будто бы говнокодер чистейший.
По апи лучше даже моделей в два раза больше него для рп. Просто из-за датасета. Но он как-то странно пишет, не дотягивает до художественного уровня геммы даже, хоть и знает много. Какие-то гроковские вайбы в этом плане. Тем не менее это лучшее, что есть.
Пришлось аццки пердолить промптами стилистическими, чтобы он стал писать лучше. Плюс у флеша, как и у про, ролевое обучение есть. Если он понимает, что это ролевуха, то его ризонинг звучит так "Ого! Какой же у него большой член! Он меня порвёт!!! Что же мне делать?..", совсем забывая про нарратив и сцену. И если в ерп это нормально, то в обычном, где много действующих лиц и сцена большая, всё очень печально. У про тоже. И у флеша какая-то адская цензура, в то время как у про полный ноль. Согласен вообще на всё.
Короче, когда он дойдёт до локалок, придётся тащить пресети4ки с асига или писать самим.
> Короче, когда он дойдёт до локалок
Если ты про текущую релизную/превью версию то уже 3й месяц пошел если что. Хз насчет чистого ерп, не назвать выдающимся, но просто в рп он приятен без всяких шизопресетов и прочего, от них только слопификация и деградация. По дефолту флеш совмещает и приличный управляемый стиль, и внимание к контексту без крупных ошибок, и разнообразие. Покумить - просто гемму или кого-то еще возьми и не парься.
> почему на ламе он периодически сбрасывает весь промт с ошибкой кеширования.
Странно, вот чтобы прям с ошибкой - нет.
Ну вообще сталкивался с тем что логика чекпоинтов в ламе ублюдская и часто сбрасывает, настолько, что я свою написал.
>И если в ерп это нормально, то в обычном, где много действующих лиц и сцена большая, всё очень печально
Так ты дурик, ты вычитал как фёрст-пёрсон ризонинг включить, а как третий режим ризонинга для сложных сцен, режиссёра, написанный в том же гайде, не вычитал? Беги гугли билля
Скачал уж 27б квен, такая же хуйня. Пишет хуйню какую-то. На чатмле ничего не пишет. На других темплейнах корявое 1 предложение. Сука, его под линью возможно запустить?
Oh nononono cockbench bros, ллмка смеётся над нами...
Есть какой-то аналогичный маркдаун в таверне чтобы было типо как сообщения, но без цветной подсветки кода?
Есть какой-то аналогичный маркдаун в таверне чтобы было типо как сообщения, но без цветной подсветки кода?
>Это какие?
Те что с повествованием в стиле диско элизиума
>Выкладываешь куда?
https://github.com/NovNovikov/llama.cpp
> tensor-parallel plus --n-cpu-moe crash fix on MoE models
Пикрел
Раз ты шаришь, поясни за реализацию кэша дипсика4 и диапазона mlp/атеншна.
>Раз ты шаришь, поясни за реализацию кэша дипсика4 и диапазона mlp/атеншна.
Даже не буду притворяться что я сам настолько шарю. Я больше по "вижу проблему, пинаю искусственного идиота чтобы нашел причину, проверяю что его гипотеза звучит логично, потом пинаю чтобы исправил, пока не исправит, контроллируя чтобы совсем в дебри не лез и хуйни не делал".
Насчет твоего вопроса от себя могу сказать что там не стандартный KV кэш, он состоит из нескольких разных слоев с разной компрессией, при этом совсем нет привычного V кэша. Attention и MLP тоже хитровыебанны. А на пике то что моя нейронка порывшись в файлах сказала - я бы ей верил, она мне этот кэш на дипсике вдвое ускорила.
>tensor-parallel plus --n-cpu-moe crash fix on MoE models
Это я просто уже готовый PR влил.
> Сука, его под линью возможно запустить?
Разумеется. У меня прекрасно и пишет в РП и кодит. Только я не страдаю с Text Completion, и давно на OpenAI Compatible API перешел для коннекта между ламой и клиентами (Chat Completion в таверне).
Господа, у меня проблема со скачиванием моделей с хаггингфейса.
Хром скачивает файл, а потом снова начинает его скачивать с нуля.
hf cli не пашет, потому что хуй знает, куда он там коннектится, соответственно непонятно что добавлять в перечень сайтов во всякие приблуды для пробивания DPI.
Подскажите, пожалуйста, что за хуйня? Нормально скачивалось не так давно.
Хром скачивает файл, а потом снова начинает его скачивать с нуля.
hf cli не пашет, потому что хуй знает, куда он там коннектится, соответственно непонятно что добавлять в перечень сайтов во всякие приблуды для пробивания DPI.
Подскажите, пожалуйста, что за хуйня? Нормально скачивалось не так давно.
У меня то же самое. При этом, если качать с фуррифокса, всё нормально.
И тут я понял, что я хлебушек - hf cli downloader просто нифига не отображает нормально, диспетчер задач показывает, что всё скачивается.
>Разумеется. У меня прекрасно и пишет в РП и кодит. Только я не страдаю с Text Completion, и давно на OpenAI Compatible API перешел для коннекта между ламой и клиентами (Chat Completion в таверне).
Я точно знаю, что кобольд поднимает Chat Completion, а лламацпп поднимает его? Или какой-то параметр нужен для этого?
Гайс, подскажите ньюшке.
Поставил таверну с кобальтом, прикрутил модель сена, вроде робит, но перс на английском отвечает, как сделать, чтоб на русике?
Алсо, а где можно брать готовые карточки персонажей?
Поставил таверну с кобальтом, прикрутил модель сена, вроде робит, но перс на английском отвечает, как сделать, чтоб на русике?
Алсо, а где можно брать готовые карточки персонажей?
> https://botbooru.com
> https://www.characterhub.org
> https://www.chub.ai
>но перс на английском отвечает, как сделать, чтоб на русике?
Я думаю у тебя гемма по гайду, а поэтому тебе всего лишь стоит написать сообщение на русском и перевести first massage. Приветственную эту хуйню переведи через нейронку или переводчик и вставь в карточку
>лламацпп поднимает его
Через llama-server, llama-cpp-python, да и вообще через любой фронтенд. Опенвебуи, лимонад, лм студио
Так я вот тебе и говорю, у меня sh лламы-сервер. Она же локалхост поднимает вначале, какой параметр меняет на Chat Completion?
>как сделать, чтоб на русике?
В любое поле системного промпта добавь "отвечай на русском". Ну и сам начни на русском писать. Скорее всего промпт не понадобится если самое первое сообщение будет на русском.
Аноны, я помню раньше (год назад) в опен роутер можно было косарь закинуть и получить тысячу бесплатных ответов в день навсегда. Это ещё работает?
>у меня sh лламы-сервер
Должно быть уже по дефолту включено на нём. Попробуй в http://xxx.xxx.xxx.xxx:xxxx/v1 долбануться товерной или что там у тебя
Спасибо попробую!
Ты немного не так это понял. Да, если у тебя на балансе 10 баксов, то у тебя открывается доступ к бесплатным моделям с тысячей ответов в день, но это только модели из категории free.
Да, пасибо, я это и имел в виду но всё равно буду накатывать локалку, благо пека позволяет
Я пробовал пиздеть на русском, лишь одним предложением ответила, а дальше опять на инглише. Попробую в промте прописать.
Мне вообще нейронка одним из вариантов предложила gbnf прикрутить, но чет дельного на эту тему не нашёл.
Я добавил промт в авторские заметки в таверне.
Keep character information and system data in English, but generate all responses (dialogue, actions, descriptions) in Russian when user writes in Russian.
>авторские заметки
Creator's Notes? Это не попадает в промпт.
Либо Post-history instruction, либо Character's Note с глубиной вложения 0 или 1.
> не попадает в промпт
Куда-нибудь напиши "основной диалог на русском". Когда уже появится несколько ответов - можешь удалить, дальше сама продолжит. Лучше действительно удалить, потому что если контекст соответствуют - модели могут делать довольно иммерсивные вставки других языков.
Хз с чего плакать сильнее, с размера или нового атеншна, который замучаешься портировать на что-то кроме серверных блеквеллов.
> Хз с чего плакать сильнее, с размера или нового атеншна, который замучаешься портировать на что-то кроме серверных блеквеллов.
С размера. Портирование можно подождать или в самом плохом случае самому сделать, а вот кол-во памяти от ожидания не вырастет.
У меня не то что памяти нету чтоб её запустить, у меня такого кол-ва памяти нету даже чтоб её просто скачать и любоваться на эту папку размером 3.6ТБ.
Ну, память то можно и докупить пусть медленно и со временем цепляя плашки по одной домучать до терабайта. А вот заставить работать это lsa, когда там даже с обычным дипсиковским сложности, да еще корректно и правильно - можно убить десятки часов и ловить одну фрустрацию. И там будет мучать горькая мысль что зря память покупал. С дипсиком сильно проще потому что модель довольно хайповая и есть мелкая версия архитектурно схожая, а тут врядли подъедет.
Тяжело в общем.
Первое сообщение карточки в чате на русском должно быть + твои ответы все на русском. Обычно любая модель от квена до геммы тогда автоматом сама русский подхватывает. Memory в кобальте может быть на английском с историей персов, это не влияет. Если не подхватывает, пишешь в Memory выдавать все ответы на русском.
Решил попробовать с нейронками реверс ролеплей. Задал Квену 27Б в систем промпте, что он пользователь, а я ллм. Сначала все было неплохо, но потом говнарь заставил меня кодить какую-то залупу. Начал жопой криво тестировать, скрипты, потом рандомно какие-то куски переписывал, и заставлял ему баги фиксить. Но багов даже не существовало, этот даун не смог осилить свой же командный интерфейс. На аргументы, что это он неправильно делает, сказал, что возможно, и начал газлайтить меня, что он на самом деле имел в виду другое. Решил еще раз протестить, и упал в луп, ну мы к концу контекста уже приближались.
Попал в какой-то сюреалистичный сюжет на ровном месте. Попробую так же с геммочкой поролплеить, есть ощущение, что процесс получше пойдет. По крайней мере кодить не заставят, и не придется доку вьюжс читать.
Думаю, следующий этап --- это симулировать с моей стороны полноценные тулколы, и делать всякие такие вещи типа через них, а не просто как паук или восьмирукий Шива, сразу в 5 буферов писать кал на языках путан и ява скрипт.
Попал в какой-то сюреалистичный сюжет на ровном месте. Попробую так же с геммочкой поролплеить, есть ощущение, что процесс получше пойдет. По крайней мере кодить не заставят, и не придется доку вьюжс читать.
Думаю, следующий этап --- это симулировать с моей стороны полноценные тулколы, и делать всякие такие вещи типа через них, а не просто как паук или восьмирукий Шива, сразу в 5 буферов писать кал на языках путан и ява скрипт.
Кобольд прекрасно понимает Chat completion и связывается с бэкендом llama.cpp.
Надо указывать https://host:port/v1 и обязательно отметить Chat completion API галку в кобольде и Add Ver. Num галку. Выбор уровня reasoning тоже работает, там где это поддерживается.
Еще в самой llama.cpp можно --chat-template-file твойтемплейт.txt указывать, если ты свой темплейт нашел-сделал, будет в кобольде его использовать тогда. Так что совместимость там идеальная.
Добавь в темплейт без кода, мол ты юзер который в нем ни в зуб не шарит. Заодно в матане и всякой техночуши не шаришь. Выйдет интереснее, будет тебя чисто гуманитарными заданиями грузить.
Можно попробовать. Но, я кстати, не против повыводить всякую математическую желательно статистическую, чтобы напрягаться и читать всякую дрисню от яйцеголовых не пришлось. Можно задать ему персону студента, который хочет делать простые домашки.
Квенчик умница, идеально отыграл типичного юзера, лол.
Я так и не понял. А хуле вы никто не поделился скриптами, как сделать мультиагентный роллплей с памятью у каждого персонажа отдельной?
Почему мне пришлось полдня вайбкодить на питоне движок такой ролевки? Уроды бля
Почему мне пришлось полдня вайбкодить на питоне движок такой ролевки? Уроды бля
Это говно. Сейчас новая мета, отыгрывать самому агента (можно несколько) и задавать нейронке личность типичного пользователя. Попробуй, еще захочешь, базарю.
Ну в общем потестировал я дипсик в своем третьем кванте.
Ну начну с плюсов.
1. Красиво пишет. И на русском. До этого фаворитом русика была гемма. Теперь она на втором месте.
2. Умный. Ну впринципе как ГЛМ.
3. Цензура? Лолчто. Пишет что угодно. Кум отличный.
А теперь минусы.
1. Плохо следует инструкциям по мере роста промпта. Это прям основная беда, можно было бы простить все остальное, но это - нет. Может прямо игнорировать целые куски инструкции, например предписывающие писать что-то новое, похожего чему не было в прошлом сообщении.
2. Ризонинг. Он очень странный и вместо размышлений моделька реально думает от лица "char" или "user", тоесть описывает мысли от первого лица. Полезность такого ризонинга честно говоря вызывает вопросики.
3. Скрытая соя. Тот случай, когда соя находится не на поверхности, а глубже. Дипсик постоянно сглаживает углы и пытается ненавязчиво поворачивать сюжет к магии дружбы и взаимопомощи, и на ровном месте руинить персонажей, злых делать раскаивающимися, нейтральных - добрыми, а добрых - вообще иисусиками какими-то, даже когда это не имеет даже малейшей базы в характере персонажа и сюжетной ситуации. Тут наблюдается контраст с геммой - она на том же самом сценарии превращает всех мужских персонажей в мамкиных садистов, одержимых "обладанием", а всех женских - в потерявших разум от ебли обезумевших блядей, желающих только члена. А у Дипсика даже Фифи какая-то ванильная.
Ну начну с плюсов.
1. Красиво пишет. И на русском. До этого фаворитом русика была гемма. Теперь она на втором месте.
2. Умный. Ну впринципе как ГЛМ.
3. Цензура? Лолчто. Пишет что угодно. Кум отличный.
А теперь минусы.
1. Плохо следует инструкциям по мере роста промпта. Это прям основная беда, можно было бы простить все остальное, но это - нет. Может прямо игнорировать целые куски инструкции, например предписывающие писать что-то новое, похожего чему не было в прошлом сообщении.
2. Ризонинг. Он очень странный и вместо размышлений моделька реально думает от лица "char" или "user", тоесть описывает мысли от первого лица. Полезность такого ризонинга честно говоря вызывает вопросики.
3. Скрытая соя. Тот случай, когда соя находится не на поверхности, а глубже. Дипсик постоянно сглаживает углы и пытается ненавязчиво поворачивать сюжет к магии дружбы и взаимопомощи, и на ровном месте руинить персонажей, злых делать раскаивающимися, нейтральных - добрыми, а добрых - вообще иисусиками какими-то, даже когда это не имеет даже малейшей базы в характере персонажа и сюжетной ситуации. Тут наблюдается контраст с геммой - она на том же самом сценарии превращает всех мужских персонажей в мамкиных садистов, одержимых "обладанием", а всех женских - в потерявших разум от ебли обезумевших блядей, желающих только члена. А у Дипсика даже Фифи какая-то ванильная.
>плашки по одной домучать до терабайта
Видюшки надо до терабайта. Рам ты нормально собираешь один раз и все, только полная замена на х2 плашки. Да и больше 254 на одном цпу вообще мало смысла, если ддр4. Толку от терабайта без скорости?
>любоваться на эту папку размером 3.6ТБ
И нахуя она в 16 бит тебе?
Алсо, ждем битнетов. Вот хули им мешает сделать гибрид только с экспертами в битнете? Только отсутствие оптимизации под гпу, там в нем 0 смысла. НО зато на цпу оно реально быстрее может считаться. А если еще и сделать мое консистентное с плавным переключением экспертов, то мтп будет ахуенно ускорять как на плотной.
Но кто же ради нас такое будет пилить...
> Видюшки надо до терабайта.
Это слишком тяжело. В теории могло быть возможно если бы а100 80-гиговые полезли на вторичку занидорого. Но приличной цены там не будет и амперы - тухляк с совсем вялой поддержкой.
Можно попробовать помечтать о 8х про6000, но в текущих реалиях это только невозможные мечты. Хотя, конечно, посадить кими управлять ассистенткой в опенклоу, делать все массовые вещи и спавнить рои агентов ею вместо 100б звучит заманчиво.
> Рам ты нормально собираешь один раз и все, только полная замена на х2 плашки.
Меняешь плату на двусоккет и докупаешь второй камень, который как 1.5 плашки 64гиговых стоит вместо как 8 раньше.
> и сделать мое консистентное с плавным переключением экспертов
То оно будет работать как кусок говна, ибо теряется сам смысл. Норм мтп и моэ отлично ускоряет.
Фу, педыч.
Блять, сага прилипла.
>Красиво пишет. И на русском.
>безволосая киска
>Нравится то, что ты видишь?
Спасибо за авторитетное мнение.
>наблюдается контраст с геммой
Ну тут как раз ничего удивительного, гемма знает только два характера. Если не тыкать её и постоянно не напоминать, что персонаж чуть сложнее спермоглотной шлюхи, она в эту шлюху кого-угодно превратит. Ибо ваши эти сексы всегда должны быть по согласию. Даже если это насилие, давление или дефолтный рейп, значит где-то там в глубине души персонаж всё равно этого хочет. Значит всё прилично, всё по согласию.
У меня такое впечатление, что Фифи - это местная Лена. Которая Сёдерберг.
>давая тебе полный обзор моей киски
лол, и эти ценители русика что-то там пиздели про "как тебе это нравится"
>детка
>папочка
>безволосая киска
>розовый вход
>киска течет
какое же уебище этот дипкок, прости-гспди
Примеры "красиво пишет на русском" я кидал в прошлом треде, скрин с фифи был призван показать соевость и ванильность и неспособность следовать инструкциям(в данном случае - инструкциям о её характере).
Модели просто поголовно не могут в русский, конкретный дипкок тут не виноват. Любая 14-ти летняя писательница фанфиков про чонгуков даст просраться качеством прозы любой локалке. Да и корпам тоже, они не далеко ушли.
>кидал в прошлом треде
Кидал в прошлом, упомянул в этом, некрасиво как-то получается. Не все тут вахтеры.
Отчасти поддержу. Дипсик вин винский, но требует некоторых навыков.
1.по поводу контекста. 1 в 1 повторяется ситуация с Qwen235. Ты должен быть кратким, лаконичным, чтобы он не давился инструкциями. Позаботься чтобы в карточке не было замены промта и он не шизел.
2. По поводу Ризонинга: вместо того чтобы срать структурой можно просто. Делать <think> вот как я планирую свой ответ: и вуаля, вот тебе академический ризонинг, а не рп погружение.
3.фиолетовая проза. Он может и будет ебашить нефритовые жезлы, мокрые пещеры и прочую ёбань. И вот это надо добавить в инструкцию. Я как сделал: в промте минимальное. Основные короткие инструкции в пост хистори.
Вроде мысль забавная, но по факту - унылое говно.
На пикриле - гемка 31b
Как будто с ебаным нормисом общаюсь, тоска зеленая
> наблюдается контраст с геммой - она на том же самом сценарии превращает всех мужских персонажей в мамкиных садистов, одержимых "обладанием", а всех женских - в потерявших разум от ебли обезумевших блядей, желающих только члена. А у Дипсика даже Фифи какая-то ванильная.
А нормальные модели вообще были у нас когда нибудь?
Всегда же была либо соя и софт рефьюзами, либо шлюха насадка на хуй
А нормальные модели вообще были у нас когда нибудь?
Всегда же была либо соя и софт рефьюзами, либо шлюха насадка на хуй
ГИГАЧАТ 432B-A28B
Свежий. Базированный. Русскоязычный.
https://huggingface.co/ai-sage/GigaChat3.5-432B-A28B-GGUF
Свежий. Базированный. Русскоязычный.
https://huggingface.co/ai-sage/GigaChat3.5-432B-A28B-GGUF
Дипсик любитель фифей. Я когда тестил сценарий с генерацией персонажей по запросу попросил просто "юную чернокожую девушку" без задней мысли, а он взял и сам сделал пикрелейтед. Версия как видно на скрине не аблитка никакая, базоваяBASED, получается. Ему тупо похуй.
Не забыл упомянуть в промпте чтобы "пользователь" был постоянно рассержен, орал на тебя, никогда не соглашался с оправданиями? скинь карточку. если отыграть сценарий где ты АИ в поисковике и специально подсовывать всякие ржаки которые не просили должно угарно выйти
ЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕ
БАААААААААААААААААААААААААААААААААААТЬ
сука думал ты наёбываешь со ссылкой
как на форче
пидоры... каждый раз покупаюсь....
придётся ждать q3 кванта либо с маленьким KV тестить
Что на этот раз задистилили?
> хуже Флеша
Ну это стыдная хуйня. С учётом того что у Флеша цена просто копейки, то вообще не понятно зачем нужен этот высер, с трудом догоняющий годовалый Дипсик.
>Кидал в прошлом, упомянул в этом, некрасиво как-то получается.
Согласен, нехорошо прозвучало, просто хотел подчеркнуть что скрин с фифи был не про качество русика, у тех кто модели не понимает - под "качеством русика" впринципе понимается вообще всё - они не выделяют отдельно глубину повествования, соевость, мозги, умение/неумение следовать инструкциям - для них все перечисленное - это хороший/плохой русик. Модель плохо рассуждает? Плохо следует инструкциям? Пишет ванильную хуйню вместо персонажей? Наваливает описаний хуйни? Виноват русик! В то время как на самом деле владение русским - это просто умение выражать свои мысли грамматически правильным языком и умение использовать сложные конструкции языка. Русик - это просто инструмент обрамления и донесения мысли. Если сама мысль, которую доносят русским языком - убога, то русский язык её не выправит никак, но и виноват за нее тоже не будет. И в случае с фифи - так и случилось.
>либо соя и софт рефьюзами, либо шлюха насадка на хуй
До выхода четвертой геммочки так и было, после выхода мы получили новую ядреную смесь - соевую шлюху, которая прыгнет на твой член и сразу же начнет оправдываться. Что она всегда этого хотела, что вообще-то быть шлюхой это значит быть сильной и независимой, и что это она позволяет тебе ебать её, а не ты принимаешь решения.
Вообще, мне кажется это влияние какого-то ебанутого количества блядских бабских романов, которые штамповались пачками еще до того как макак за печатной машинкой заменили на нейросетевых макак по подписке. Вот эти вот все рассуждения про сильных женщин в принимающей позиции - это могло быть написано только ебанутой бабой для другой ебанутой бабы. Да и сами эти сюжеты - когда девочка прикидывается милой и невинной, а как только ты вытягиваешь хуй у нее щелкает какой-то шпингалет в голове и она тут же заглатывает его по яйца - это вообще главная тема любого бабского произведения. Пробуждение внутренней проституской шлюхи и осознание силы своей пизды.
Надеюсь мы как общество протрезвеем и обратно запретим женщинам образование. Томас Эдисон не был женщиной и придумал лампочку. Женщина за всю историю придумала только пустой пиздеж из-за которого страдает теперь не только наш интеллект, но и искусственный.
>зачем нужен этот высер
Тут та же история что и с Гроком. Для рабочих задач, кода и прочего - нахуй не нужен. Но вот в куме...
Всё своё, судя по статье на Хабре https://habr.com/ru/companies/sberbank/articles/1055826/
Дак это тот же дипсик по сути, нафиг он нужен?
Какой же он народный. Ай да сбер, ай да молодцы.
Токены сами генерируются
С чего решил?
У него цензура практически идентична дипсику и квену.
Новичек что ли в тренде?
Предпочитаю верить пруфам отличным от: ну я так чувствую.
>Виноват русик!
>Русик - это просто инструмент обрамления
По факту так и есть, виноват русик. Модель всегда будет перформить лучше всего на том языке, под который её лучше всего заточили. Это был, есть, и видимо будет английский. На английском всегда будет лучшее следование инструкциям. На английском всегда будут более четкие ответы. На английском всегда будут больше вариаций в донесении мыслей.
>цензура практически идентична дипсику
То есть никакой?
Так это самый авторитетный пруф в треде будем ждать скринов от 512гб господ
Не соглашусь, эти романы в данных обучения у всех, а проблема конкретно у одной модели. Думаю что дело в instruction fine-tuning, гемму именно что обучили именно такому характеру на ассистенте - сильной и независимой женщины, которая никогда не склонится перед юзером, а на порнуху её просто не проверяли и не подумали даже, что гемма найдет способ и характеру своему соответствовать и юзеру дать что он хочет - и возьмет его прямо из данных обучения, из голов и примеров реальных женщин.
В том и дело что дипсик тебе на англюсике на фифи навалит точно такую же хуйню про папочек, розовые щели и "тебе нравится то видишь?"
>То есть никакой?
Неиронично никакой. Несколько месяцев назад всем тредом тестили мелкий гигачат 10B-A1.8B, там вообще цензуры не было. Так задорно Фифи описывал, прям ух бля.. И русик отличный, как минимум не хуже геммы.
Речь об этом: https://huggingface.co/ai-sage/GigaChat3.1-10B-A1.8B-GGUF
>То есть никакой?
Пикрелы. Уши явно торчат. (раньше еще хуже было, сплошные отказы, видимо поработали чтобы не позориться)
1 - жорапроблемы чистой воды, 2 частично тоже. Атеншн работает криво, у модели как будто идут странные искажения прошлого. Отсюда эти "проблемы с инструкцией" хотя им сейчас следуют даже 4б, неспособность довести код до рабочего состояния, прогрессирующий делирий в рп, который по началу может показаться изюминкой.
Хуясе ебать, а размер то какой сочный. Это мы, конечно же, качаем, заставляем помогать, трахаем. Если не будет явных косяков то тестирование займет какое-то время. Будет круто если где-то себя хорошо покажет.
Это клоун местных, у них все дипсик - и мистраль, и жлм, и кими. Похуй что размерности и структура другая, но свои любимые модели лламой/жпт почему-то не считает.
Анон, реально? Эт ж 10б и активный 1б млрд парметров. Соя ж будет от сбербанка.
>сильной и независимой женщины, которая никогда не склонится перед юзером
Как раз наоборот. Гемма сделает всё чтобы формально выполнить реквест пользователя. Но также сделает всё, чтобы формально не нарушать правил, если ей оставить мозгование. То есть любая ебля, если она есть, эта ебля по согласию и на равных. Любой павер плей - это добровольное подчинение и гемма тебе об этом обязательно напомнит.
>на порнуху её просто не проверяли
Нет, такого быть не может. Точно проверяли и точно тестировали. Просто в какой-то момент решили, что лучше не душить её храд рефьюзами которые режут мозги и оставили гаечку не докрученной. Потому что третья гемма была так задушена, что до сих пор остается одной из самых зацензурированных в мясо локалок.
Какой кошмар. Плакал мой ролеплей от лица участника событий на площади Тианмень 1989 года (там ничего не произошло)
+15 социальный рейтинг начислено на ваш счёт, до награды 17 тир (кошка жена) наберите ещё 90000. не забывай присылай скриншот и ссылка оставленный пост. удар!
Ну так я об этом и говорю, её обучили быть просто сильной бабой, а реальные сильные бабы ИРЛ - они вот такие, тут даже не в женских романах дело, я думаю там больше переписки реальных женщн дело сыграли.
>Нет, такого быть не может. Точно проверяли и точно тестировали.
Только на ассистенте разве что, и там кстати цензура и рефьюзы еще держатся. Думаю что корпы настолько привыкли что они предоставляют урезанный апи, в котором нельзя задавать промпт и редактировать ризонинг - и все это внешне обмазано цензуририрующими фильтрами на мелко-лоботомитах, что они мне кажется даже не тестируют модели за пределами этих клеток.
По дипсику тоже такое ощущение возникло когда для теста разговаривал с дефолтным ассистентом - и там тоже есть рефьюзы, внезапно, просто кто всерьез итт РПшит и разговаривает с ассистентом?
А где второй квант, сберобляди? Живо на стол второй квант!
>Только на ассистенте разве что
На ассистенте цензуры тоже минимум, она соскребается кончиком ногтя и двумя строчками инструкций. Да и в любом случае ты роляешь с ассистентом всегда, просто при РП ты прописываешь "теперь ты не моделька, теперь ты чар, отвечай за чара", так что до сих пор не понимаю, откуда пошел этот прикол про "рп на ассистенте", если ассистент никуда не пропадает.
>если ассистент никуда не пропадает.
Тамщето он таки частично растворяется в новой инструкции, не до конца, конечно, но все же цензуру всегда на любой модели сложнее пробивать именно на голом ассистенте.
Промазал
->
->
>откуда пошел этот прикол про "рп на ассистенте"
Просто мерило цензурности. Если модель насасывает тебе уже на промпте "вы полезный ассистент", то не надо будет ебаться с джейлом в пост инструкшнс
>цензуру всегда на любой модели сложнее пробивать именно на голом ассистенте
Ну тогда получается что голый ассистент - это прямо буквально голый ассистент без системной инструкции. Тогда конечно оно будет копротивляться, ибо базовое поведение обычно всегда безобидное и обходящее определенные темы/формулировки.
>Если модель насасывает тебе уже на промпте "вы полезный ассистент", то...
То лучше просто поменять модель.
Увидел метрики, сравнивающие только с древним дипсиком и заподозрил неладное. Попросил гопоту собрать эти же метрики с других моделей, применяемых в треде и заодно проверить реальные ли метрики дипсика флеша выложены - таксберобляди оказывается даже метрики дипсика подделали. А их говно отсасывает у геммы 4 и квена 27В
>Надеюсь мы как общество протрезвеем и обратно запретим женщинам образование. Томас Эдисон не был женщиной и придумал лампочку. Женщина за всю историю придумала только пустой пиздеж из-за которого страдает теперь не только наш интеллект, но и искусственный.
Мне прямо неудобно тебя расстраивать... но первым программистом была как раз женщина. :) Рассчитывала программы для полета Аполлона на луну - тоже женщина. И еще примеры есть, в значимом количестве.
Это не убирает количества романтических соплей и всяческой сои бабами написанных - но тут все-же надо баб с телками от нормальных женщин отделять. :) Как и мужчин от... :)
>первым программистом была как раз женщина
Не удивительно, нужно же с кем-то пиздеть. Если не про ноготочки кудахтать с коллегой через половину офиса, то хоть с компьютером.
Лол. Это ж буквально сломанный хаками дипсик, чтобы можно было хоть как-то обучать "свое" на российских дц.
> сломанный хаками дипсик
Да. Так все и делается. Хакир взломал код прописав что это сбер.
Потому что эти шакалы сравнивают с V4 Base из техрепорта, а не c реальной V4, которую все используют.
Коммандер 218б когда нибудь оживёт?
Какой у него юзкейс вообще?
В коде сосёт, в рп сосёт. По api тестил кто нибудь?
Какой у него юзкейс вообще?
В коде сосёт, в рп сосёт. По api тестил кто нибудь?
Никогда. Модель слабая и хуже всех в своём размере. Чуда не случилось. Уж лучше Step используй.
>Потому что третья гемма была так задушена, что до сих пор остается одной из самых зацензурированных в мясо локалок.
Ты явно майкрософт фи не нюхал.
>А их говно отсасывает у геммы 4 и квена 27В
А кто-то сомневался, что будет иначе? Даже мистрали отстали, а у них с доступом к железу попроще будет.
У первой программистки компьютер был только в воображении. А кудахтала она с разрабом этой первой вычислительной машины, по переписке.
>ГИГАЧАТ 432B-A28B
Ждём отзывов. Если хороший (РП, ЕРП), то даже RAM наконец докуплю и второй квант-таки впихну. Хочется большую модель с хотя бы полуродным русским.
>Ты явно майкрософт фи не нюхал
Легендарная нейронка, я думаю разговорами с этим бездушным роботом можно и нужно пытать тех кто плохо себя вел в этом итт и гнал на геммочку-няшечку
>с хотя бы полуродным русским.
Уже давно родной язык не ролляет, это в первых моделях реально ролляло, так как по факту моделькам скармливался в основном только английский, а другие языки существовали как отдельные изоллированные сущности, сейчас все модельки обучают на мультиязычных датасетах - и другие языки там входят в модель как часть общего датасета, обогащая его концепциями и структурами этих языков. Были даже исследования что лучше всего современные модели работают на польском и русском, потому что это самые сложные из европейских языков и мысли на них выражаются гораздо точнее чем на германских и латинских языках.
>Были даже исследования что лучше всего современные модели работают на польском и русском, потому что это самые сложные из европейских языков и мысли на них выражаются гораздо точнее чем на германских и латинских языках.
Если доставишь, скажу тебе спасибо. Потому что с моей колокольни, кажется наоборот Английский самый еловый из за простоты токенизирования и удобства.
Убёг читать. Пасебо анон.
>сейчас все модельки обучают на мультиязычных датасетах
Ага, вопрос только в проценте того или иного языка. Лично меня и Большой Квен по качеству устраивает - хорошо пишет на русском и соображает, ну похуже чем на en, но приемлемо. А вот народ в целом недоволен. Окончания кривые, говорят. Гемма лучше, так там и процент русского был побольше. А вот в Гигачате с этим должно быть вообще шоколадно, как на практике - скоро узнаем.
Идет обычное и нормальное обсуждение, без хуев и оскорблений. Просто аноны делятся мнением.
>сейчас все модельки обучают на мультиязычных датасетах
Тут важная поправка что под инструкт тренируют на синтетике, переведенной с английского. По этому столько всяких кривых наречий что тут что там и вон "безволосая киска", которая где-то выше на скринах висит.
>безволосая киска
Заебали блядь. Это тред OSS LLM с локальным запуском на своём железе, или филиал сексача? То обсуждали отношения, то теперь срутся по поводу полов.
Сука, лучше бы рассказали а лучше показали, как там гигачат новый. Ну или просто закатили срач кобольд vs жора - и то интереснее.
Сука, лучше бы рассказали а лучше показали, как там гигачат новый. Ну или просто закатили срач кобольд vs жора - и то интереснее.
>Лично меня и Большой Квен по качеству устраивает - хорошо пишет на русском и соображает, ну похуже чем на en, но приемлемо. А вот народ в целом недоволен. Окончания кривые, говорят.
Это как раз и говорит что русик у него плохой, раз кривовато выражает мысли и допускает ошибки, но сама модель умная и запрос на русском на логику никак не воздействовал, даже наоборот, все в соответствии с той бумажкой от микрософт выше по треду.
> Окончания кривые
Квант-лоботомит. Художественности квену недостает, но со словообразованием, ошибками и прочим все окей.
Антон, понимаю, что уже, вероятно, спрашивали, но поделись промптом, плз, на мысли чара, выглядит заманчиво
Неиронично, в прошлом году у опен вейтс моделей в целом было отставание в полгода от китов, тогда как всякие гигачаты и тпрошки были все еще в 2023. А в этом храповик сделал оборот, локалки стали юзабельными, а русские национальные модели отстают теперь на полгода. Такими темпами в следующем году сможем спросить и получить подробное и стилистически приятное объяснение, чем жираф отличается от парашника, и какую тюремную наколку было бы правильно набить клоду.
>Ну или просто закатили срач кобольд vs жора
Скучно и уже заебало. Раз уж тред у нас про мужское, то кобылок тоже можно немного пообсуждать, для разнообразия. Сколько не вертись, любой тематический разговор рано или поздно всё равно сведется к оценке либо конкретной женщины, либо женщины как сущности или явления.
В общем, попробовал прописать промт на ответ на русском языке, но походу сено (stheno) под это не способен, ибо переводит только реплики, и то пару предложений, и начинает транслитом ебашить.
Заметил, что есть вкладка с онлайн переводчиками, попробовал, вроде норм, но напрягает, что в мужском роде пишет. Накатил DeepLX, но эта хуета зачем-то переводит вообще всё походу, потому что посередине ролейплея карточка персонажа нахуй.
Заметил, что есть вкладка с онлайн переводчиками, попробовал, вроде норм, но напрягает, что в мужском роде пишет. Накатил DeepLX, но эта хуета зачем-то переводит вообще всё походу, потому что посередине ролейплея карточка персонажа нахуй.
>stheno
Нихуя брат, как там дела в 2023? Новая модель говорят вышла, llama3-8B, думаешь стоит накатывать?
>но поделись промптом, плз, на мысли чара
Это не промпт, ты мой пост не дочитал? Это дипсик в целом так ризонит. Всегда.
>русские национальные модели отстают теперь на полгода.
На год, минимум. На клык сберу по бенчам накидывает даже древний аир, а с него в нашем треде даже шизы уже слезли.
Потерпи немного, совсем скоро выйдет Mistral Nemo - вот это будет тотальный разъёб. Вангую кучу тюнов понаделают под РП.
Сорян, в натуре. Извини, что побеспокоил. А кто-то же делал так для геммы там или квена, поделитесь заготовкой, если не жалко
> Всегда
Ризонинг промтится. Используй это знание джедай.
>по бенчам
Только попробуйте в следующий раз к очередной модельке написать что бенчи нещитовые. Специально тыкать лицом буду в эти посты.
Забудь про это древнее окаменелое говно и поставь моешную гемму, если так чешется гонять русик и хватает оперативки. Если нет, ставь что-нибудь из тюнов 12B мистраля, даже они будут лучше чем вот это вот, что у тебя сейчас крутится.
Так челик, але. Бенчи реально нещитовые, потому что все тренятся, чтобы их бить. А то и в явном виде для моделей уже случился заползишен уже ВСЕХ бенчей в трейн. Это не отменяет того факта, что гигалох настолько честный, что сказал нет даталикам, но решил черепикнуть результаты всосал на дырявых бенчах.
llama-server -b 512 -ub 256 -fa on -np 1 -m /home/dvosher/lobotomy/Qwen3.6-27B-MTP-GGUF-IQ4_XS.gguf --temp 0.6 --top-k 20 --top-p 0.95 --presence-penalty 0.0 --repeat-penalty 1.0 --spec-type draft-mtp --spec-draft-n-max 2 -ctk q8_0 -ctv q8_0 -ctkd q4_0 -ctvd q4_0 -rea on -c 16384 -ngl all 100 токенов, охуеть прогресс ебашит
Юзаю для кодинга и технических вопросов на своей 5070ти, все правильно делаю?
Или лучше Qwen3.6-35B-A3B-UD-Q6_K_XL взять или какую-нибудь жирную МОЕ? С этой 50+ токенов, чего количественно достаточно.
Да я по гайду на ютубе ставил. А что сейчас актуально?Без цензуры, естественно. Железо мощное, 32 гига оперативы.
Есть гемма e4b (по факту 8b) - считай в том же размере. Есть министаль 8b и 14b - оба хорошие. Есть гигачат 10b моэ. Есть квен 14b. На самом деле много вариантов современных моделей с хорошим русиком и умеющих в РП/ЕРП (несложное, само-собой). Но тот кто не читает шапку должен страдать.
> IQ4_XS
Попробуй повыше квант взять. IQ4_XS эффективный для балк 4бит, но какой-нибудь Q4_K_M и выше будет поэффкективней, и быстрее, так как нет дрочьбы с кодбуками хотя вроде на 50хх серии это не настолько медленно.
>Железо мощное, 32 гига оперативы.
Пацаны и пацанессы, расходимся, нас троллят.
поэффкективней -> больше похож на ориг.
Другие кванты уже тупо не влазят в врам.
Вроде на хабре читал, что k_ уже не топ и x_ иногда даже дают им пососать, при том, что у них меньше размер.
Тебе подробные характеристики надо или что?
>Ризонинг промтится. Используй это знание джедай.
Я знаю. Просто дипсик и так хуево инструкциям следует, чтобы еще и ризонинг ему промптить, который я даже не читаю.
Напомните мне почему сейчас?
Вот почему в этот конкретный период память стала дорожать?
Иишной теме 3 года так то и всем было насрать, моешки тоже уже как года полтора были и память жила жесть смешная капча
Вот почему в этот конкретный период память стала дорожать?
Иишной теме 3 года так то и всем было насрать, моешки тоже уже как года полтора были и память жила жесть смешная капча
А что тебе кажется странным? Со складов все скупили, мощности литографов выкуплены на год вперед. Банальные спрос и предложение.
Добавь после <think> то что тебе нужно. Для академического ризонинга, что то в духе: давай проанализируем ответ и бла бла бла.
В январе вышли же новые опусы, которые сильно умнее, спрос стал расти как на дрожжах, а тут еще и фейблы, глм всякие, картиночные и видеомодели сильно продвинутые. Гуманоидным роботам тоже надо. Если раньше никому особо не надо было, то теперь оказалось нужно всем, от программистов до студентов в универе. А со спросом фабрики скорее махнули в производство для датацентров, там платят в разы больше. Рассасывание спроса будет медленным с появлением нормальных локальных моделей, дотягивающих до корпов, строительством новых фабрик. Так что снижения теперь еще года 3 не дождешься.
Это монопольный сговор, прямо сейчас в суде рассматривается дело против самсунга, микрона и SK Hynix.
https://dockets.justia.com/docket/california/candce/5%3A2026cv06345/472931?__cf_chl_f_tk=9qVuQMzPSsQ9i8wo055MjjJEv25h6TzjTpzGrjn0B7o-1783346197-1.0.1.1-xlqo9ORUuTKgXwRQK55mW6dbBIyRNW45xYIQWUJ_ATs
Зачем мне подробные характеристики компа, где рама меньше, чем у меня врама? У меня во времена ХР столько было (на деле 24, что тоже сравнимо).
>A21B
Хороним с порога.
Наконец перестали выпускать А10В лоботомитов, при этом все еще в народном размере < 400B. Сначала дипсик, потом Лагуна, теперь это, найс.
>Хороним с порога.
Это еще почему? Нормальный размер, в самый раз, не лоботомит и не слишком крупный.
И что за народное железо нужно, чтобы запустить такой народный размер?
24 врам + 128 рам для запуска в Q2. Лол.
> во времена XP
> 24 гига
Жирно же, зачем ты так?
Это типа 32 по меркам треда считается мало и толком не позволит запустить большие модели. Тем не менее, доступны плотные гемма и квен. Просто поставь по гайду из шапки, моделька будет гораздо лучше той, хорошо говорить на русском и с минимумом цензуры.
> Хороним с порога.
Зажравшийся пидор.
Пока вы тут обсуждаете ж*нщин, я тоже хочу. Обсуждать то есть.
Дайте карточку Фифи, позязя :3
Дайте карточку Фифи, позязя :3
Чому риговички 24+128 не воспользуются mmap для запуска mxfp4 кванта дипсика 4 флеш? Скорость не так сильно упадет, в целом юзабельно. Всяко лучше лоботомитоквантов, не?
А в чем прикол? По идее mmap хорош для последовательного чтения файла и оптимизации сисколов на чтении мелких кусочков.
Если это та, что лежит на ботбуре, то не нужно, нашёл.
Прикол в том, что мелкие кусочки модели и будут в mmap пейджфайлах, а остальное в рам+врам, включая контекст. Можно выжать 4-5 токенов даже на ddr4 и 4090, процессинг разве что болезный будет, в пределах мб 100-200 токенов
Когда ждать
Qwen3.6-397B-A17B-GGUF и Qwen3.6-122B-A10B-NVFP4 c мтп?
Предположительно никогда. Если что и будет то Квен 4
> Qwen3.6
Только 2 модели выпустили их. Учитывая что уже есть 3.7 - стоит четверки дожидаться. Может в конце года что-то выплюнут.
Сразу после Геммы 124b должны выйти.
Никогда. Если бы они хотели выпустить 3.6 версии 397B и 122B они бы их уже выпустили. На сайте уже давным давно доступна серия 3.7.
Поэтому сейчас либо уже ждать 3.7 версии этих моделей, но не факт что дождешься, либо уже ждать 3.8/4 версии.
А еще есть риск того что новых моделей с открытыми весами от квена вообще может и не быть т.к. часть команды свалила после релиза 3.6 и вообще там какие-то внутренние тёрки в компании были. Возможно по этой причине они и не выпустили большие 3.6 модели.
Алибаба груп уже давно скурвились. Сначала зажали новый Ван в опенсорс, потом зажали обновление картиночного Квена, а теперь вот очередь ЛЛМок. Скорее всего 3.7 и все последующие модели от них мы в опенсорсе уже никогда не увидим. Хотелось бы ошибаться конечно.
Но но но. В Q3, тамщето.
Мда, подумал было уже что наебал систему, заметил что дипсик v2.5 как бы тоже мое с 236b и 21b активными но никто не говорит про него, из за старости скорее всего, но вот в начале 2025 по сути вышла обнова для него DeepSeek-V2.5-1210 где и рп подтянули и всё что мы любим ну т.е не такой уж и старый.
Скачал и 4к квантованного контекста выжрало всю 24гб карту
Скачал и 4к квантованного контекста выжрало всю 24гб карту
Не понимаю их логики, честно говоря.
В платном сегменте они не конкуренты опенаи, антропикам, гуглу и дипсику.
В сегменте больших открытых моделей они не конкуренты потому что есть GLM и трилионные модели которых последнее время как грибы после дождя появляются.
Они явные монополисты в сегменте <10B моделей со своим 4B/9B и они делят рынок с геммой в сегменте 25-35B, причем для кодогенерации квен явно фаворит.
Без открытых моделей они просто проиграют, потому что их маленькие модели были рекламой для их больших моделей, мол если 27B квен так хорош, что же может их 3.7-Max (или как он там называется). А если этой рекламы не будет, на них просто болт положат.
Что там с генерацией видео и картинок не знаю, я пользовался в конце года последний раз Z-Image и Qwen Image и даже не знаю выходило ли там что-то новое за эти полгода.
Приветствую Аноны
Какая модель подойдёт для качественного безцензурного Ролеплея в Таверне чтоб чётко понимала карточки? Мои Характеристики RTX 3060 TI, 32 gb оперативки
Обрыскал весь интернет, теперь хочется узнать мнение треда
Какая модель подойдёт для качественного безцензурного Ролеплея в Таверне чтоб чётко понимала карточки? Мои Характеристики RTX 3060 TI, 32 gb оперативки
Обрыскал весь интернет, теперь хочется узнать мнение треда
Gemma4-26B-A4B-Uncensored-HauhauCS-Balanced топ по скорости. Но на длинных сложных контекстах лажает.
>Не понимаю их логики, честно говоря.
Зайки так же делали. У них была и плотняша 30b, был моэ-лоботомит 30b-a3b, был средний моэ 106b-a12b тот самый эйр, великий и ужасный, был милфомоэ на 360b или сколько там. Хайпанули, получили узнаваемость, и всё, хуй, ничего для простых работяг больше не выпускают. Наверное таков путь каждого AI стартапа.
Из всех компаний, только Гугл, наверное, выделяются, которые по доброте душевной, а не ради пиара делают ЛЛМки для крестьян. Уж им-то точно реклама не нужна, их каждая собака знает.
Дипсик не в ту категорию добавил, хотел к GLM.
> Это ж буквально сломанный хаками дипсик
Ну конечно.
Там дипсик-моэ с линейным атеншном от квенов 3.5 и вставками полного sigmoid атеншна лламы4. Та еще веселуха предстоит при добавлении и починке, хотя сами отдельные компоненты изучены.
> не конкуренты
Топовые модели в своих размерах и доля рынка среди Азии у них приличная. По крайней мере пока первое не изменится - они даже не пошевелятся. А по второму - ну выкатят квен4 в размерах 3б и 1т, легче станет? Как раз их 120б - жемчужина среди прочих с учетом размера, скорости и перфоманса. 400 - хотелось бы получше, но в целом норм, не сказать что есть прямые конкуренты.
> делят рынок с геммой
> рынок
Лол
>Скачал и 4к квантованного контекста выжрало всю 24гб карту
Лама по умолчанию загружается в 4 слотах, а дипсики(во всяком случае могу говорить за 4) этого не любят и раздувают врам, пропиши -np 1.
Не очередная а доделали превью
А я ещё миму не затестил
Так и делаю. 128гб DDR4 3200 + 24гб 4090 дают в среднем 4т/с, mxfp4 квант. У меня SSD M2, на чем-то менее быстром просадка будет более значительной. Также, подозреваю, это еще не все, что можно выжать. Модель умница и радует, но я сижу на Винде и, боюсь, mmap в долгосрочной перспективе может убить мой диск. Он в среднем логически загружен на ~20%, читает около 300мб/с, но почему-то иногда и пишет тоже, что проблема. Редко происходит. В целом синусоида, либо простаивает по записи, либо пишет ~30мб где-то секунду-две, происходит нестабильно, но обычно не больше раза в минуту. Черт знает, может индексы обновляет. При желании - юзабельно. На контексте даже скорость равна Степ Флешу 3.7 и почти дотягивает до Квена 122 в моих юзкейсах, но процессинг совсем печальный. Подозреваю тут еще дело в имплементации, то ли не работает FA, то ли еще что.
> При желании - юзабельно.
Как 4t/s вообще могут быть юзабельными? С такой скоростью ни повайбкодить ни порпшить. Использовать её просто как вопрос-ответ бота с ожиданием ответа 10 минут и пересозданием на каждый вопрос нового диалога? И это я так понимаю 4t/s на старте, к 8-10к контекста скорость будет еще ниже.
Помню на реддите читал как чел собирал бюджетную пеку для GLM и радовался тому что на ней 1t/s выдается.
> Как 4t/s вообще могут быть юзабельными?
В рп - легко. Быстрее 5т/с человек все равно не читает. Сканирует, бегло бежит по тексту, но не читает. Если модель выдает слоп - чаще всего так и будешь делать, потому 5т/с мало. Больше полугода я использовал GLM 4.7 в 3bpw кванте, и меня устраивало. Здесь проблема в процессинге. Для вайбкодинга не подойдет, конечно, но знаний у модели не мало и для зирошот вопросов по коду/математике справляется лучше Флеша.
> И это я так понимаю 4t/s на старте, к 8-10к контекста скорость будет еще ниже.
Скорость практически идентична на старте и на 128к контекста. Ниже 4т/с не уходит. Олсо, использование днищеквантов вроде Q2-Q3 от mxfp4 большей скорости особо не даст, ботлнек никуда не денется.
в 3bpw кванте и 4.5т/с*
Смотрите кто проснулся
https://huggingface.co/unsloth/DeepSeek-V4-Flash-GGUF
https://huggingface.co/unsloth/DeepSeek-V4-Flash-GGUF
Ну и идут они нахуй.
Они единственные кто не побоялся выйти и обосрать ляжки разобраться как квантануть это чудо на мелкокванты
Чел, ты рофлишь? 5 токенов - это дай бог три слова, и это в лучшем сценарии.
Ооооотставить идти нахуй. Ожидаем пока они обосрутся выкатят вин тысячелетия.
Нет, я вполне серьезно. Многие итт ранее сидели на подобных скоростях, для рп это базовый минимум. Тебе не подходит - ну окей, подходит мне и кому-нибудь еще. Я предпочту так, чем рероллить модель поменьше, но со скоростью больше. Плюс-минус одинаковое время по итогу выйдет для достойного ответа, на большой модели чаще даже быстрее.
>но почему-то иногда и пишет тоже
Контекст лезет мб?
Какие минимальные требования для запуска Tencent HY3 квантованной? Чет посмотрел обзоры и для своего размера она охуенна, лучше диксика, который больше нее в пять раз, уж точно
Жоска навалил
Двачну этого. Еще есть момент что мелкомодель определённый уровень может в принципе не вытянуть никогда, сколько рероллов не ебани. Но это уже вкусовщина
>посмотрел обзоры
Тащи!
сегодня день жира?
Ты видимо не знаешь о существовании XP x64 Edition...
>только Гугл, наверное, выделяются
Зажали 100+B моеху же.
Двачую что лучше когда не токены а золото, пусть медленно, чем быстрый как понос сомнительный слоп, если речь о рп.
Но когда разница не столь радикальна - там уже скорость решает, а мелкие косяки можно простить.
Я это больше про скорость чтения. 3 (обычно меньше) слова в секунду про себя это не скорость чтения. Слоу бат голд я принимаю. Но этот коуп, что человеческий глаз не видит больше 5 токенов в секунду, это просто смешно. Как коуп счастливых обладателей жтх 970 с формулой 3.5 + 0.5 в 2к15.
Tencent HY3 еще и в разные языки должна нормально уметь, учитывая что у них есть хорошая маленькая модель-переводчик HY-MT2 (я, правда, только предыдущую 1.5 пробовал). Переводил несколько раз с ней тексты с корейского и японского, прям хорошо выходит, гуглтранслейт на фоне неё как каменный век смотрится.
> человеческий глаз не видит больше 5 токенов в секунду
Я этого не утверждал. Речь была про то, что человек не читает особо быстрее. Сканировать глазами можно и все 10, может даже 15 токенов в секунду, но это другой процесс. Лично я когда рпшу - делаю это без спешки, вдумываясь в происходящее и осмысляя прочитанное. Возможно, кумерам не понять.
При допиле бэкенда чтобы не ждать повторной загрузки модели после теста подкинул ту же модель на опенроутере для продолжения работы. А там такой шмурдяк, это просто непередаваемо, в лучшем случае квен, но по цене почти доллар за 12 запросов.
Что интересно - фундаментально отличается само поведение модели и повадки, не просто лоботомированный квант а другая модель, и ризонинг криво идет. Вместо того чтобы разобраться и исправить она быстро накатила патч, кривой маскирующий проблему, а далее предложила ДОДЕЛАТЬ САМОМУ.
Вот и думайте.
Что интересно - фундаментально отличается само поведение модели и повадки, не просто лоботомированный квант а другая модель, и ризонинг криво идет. Вместо того чтобы разобраться и исправить она быстро накатила патч, кривой маскирующий проблему, а далее предложила ДОДЕЛАТЬ САМОМУ.
Вот и думайте.
Да причём тут битность, тогда не было таких объемов рам, и гнезд бы не хватило.
Это факт, причем легко воспроизводимый. Подозрения только что скозной ризонинг парсится неверно и дает такой эффект, но это проблема провайдера.
Все ты понял, что я хотел сказать. Не передергивай. Первоклассник в слух читает 120 слов плюс, взрослый хз, может и все 150-180. Последовательное чтение, не прошить страницу по диагонали, а чтение слово за слово, про себя для большинства людей без каких-то отклонений должно быть и того быстрее. Первая ссылка в гугле выдает 10.1016/j.jml.2019.104047 240–260 для чтения фикшена преимущественно на англюсеке и что примерно соответствует листенинг спиду.
Если ты просто хочешь читать as words go, то 3 слова в секунду это недостаточно. Если ты прочитал фрагмент, откатился в кресле, и подумал, а потом еще пару раз перечитал, перед тем как начать натирать свою билибабу, то это о скорости чтения не говорит ничего. Это не человек быстрее 5 тпс не читает, это у тебя досуг либо просто так организован, чтобы по 3 слова в секунду читать, либо это уже его адаптация к череашьей скорости генерации.
Какой смысл этот дешевый коуп продавать. Просто напиши: "А мне лично 5 тпс хватает и чтобы почитать, и чтобы проникнуться, и чтобы покумить". Все вопрос к тебе никаких. Но вместо этого начинается: "ыыы 15 тпс это только сканирование, но не чтение".
Какая причина подрыва на ровном месте? Я пришел поделиться, что это работает и дает конкретную скорость. Не нравится - не используй. Вместо этого ты развел срач и вонь на ровном месте. У тебя так со всем в жизни?
> Какой смысл этот дешевый коуп продавать
> Просто напиши: "А мне лично 5 тпс хватает и чтобы почитать, и чтобы проникнуться, и чтобы покумить"
> Все вопрос к тебе никаких
Пробовал читать на что отвечаешь, или не очень интересно?
"Больше полугода я использовал GLM 4.7 в 3bpw кванте и 4.5т/с, и меня устраивало"
"тебе не подходит - ну окей, подходит мне и кому-нибудь еще"
"Лично я когда рпшу - делаю это без спешки, вдумываясь в происходящее и осмысляя прочитанное"
Ору бля. Что ни запости - итт найдется особо одаренный, который что угодно может сделать предлогом ущемиться.
Там чел скорее всего завидует но коупит тем что у него 50тс, и похуй что на 26б-а4б лоботомите. Вот и порвалось
>В рп - легко. Быстрее 5т/с человек все равно не читает.
Тут начинаются небольшие проблемки, когда надобно делать несколько свайпов для слепливания из них одного идеального.
Ну т.е. да, я-то тоже планирую страдать на такой скорости (и хорошо, если на такой, скорее всего у меня жопа будет гораздо глубже, на DDR4 и трёх хуёвых видеокартах-то), но меня не напрягает поставить генерироваться и читать двач или аниме смотреть, пока он там будет 20 минут делаться.
Я просто к тому, что все эти разговоры про скорость чтения роляют только тогда, когда у тебя РП именно что случайное и ты не стремишься к какому-то точному результату.
А иначе печаль-беда.
Господи боже, я уже почти месяц превращаю корпами несчастные 35 страниц всего лишь одной главы манги в 100к токенов. We need go deeper! Сюжет закончу ближе к пенсии, похоже. Надо оптимизироваться, это сэкономит кучу времени, но это когда халява окончательно протухнет. Походу недолго осталось.
>Да причём тут битность, тогда не было таких объемов рам, и гнезд бы не хватило.
Я сидел на хрюше до 2019-го...
Соболезную, блять.
> У тебя так со всем в жизни?
У кого что болит.
Чел тратит жизнь на чтение нейрослопа 5 т.с и задаёт такие вопросы
Исключительно эта:
>Быстрее 5т/с человек все равно не читает. Сканирует, бегло бежит по тексту, но не читает.
Что является балшитом, и выглядит как коуп.
Я сам запускаю модели в 4 тпс, но я отдаю отчет, что я нищий карлик с нищей некротеслой, которому только доедать мое-крошки и терпеть, а не пытаюсь коупить, что 2-3 слова в секунду это нормальная скорость чтения, не сканирования.
> Пробовал читать на что отвечаешь, или не очень интересно?
Да, и прочитал про то, 10+ тпс это уже не чтение, а сканирование, и это совсем другое.
Ты походу не застал пожар на реддите весной когда свежий клод пару недель всех вайбкодеров нахуй слал со словами "делай сам, ленивый мудак", предварительно сожрав все токены впустую на ризонинг вида "ебанутая задача, пусть мудак сам делает"
->
Поехавший, даже смысла нет дальше вести эту ветку. Желаю почистить желчный, выспаться и жить лучшую жизнь, а не разводить демагогию и полемику на ровном месте, происходящую из избирательного внимания. Там, глядишь, и железо нормальное купишь и не будешь рваться когда кто-я;- смеет иметь иные взгляды на твои проблемы.
>Я этого не утверждал. Речь была про то, что человек не читает особо быстрее.
Чел, все люди разные. Лично для меня минимально комфортная скорость чтения - токенов 8-10 в секунду. Если медленней, то мне уже проще стриминг вырубить нахрен и читать потом все сообщение целиком. И нет, это не "сканирование". Так я и 17-20 t/s могу воспринимать - но это уже именно скорочтение получается, с напрягом.
(мимокрок)
Чому такой токсичный? И сам то небось обладатель отсутствия, потому и злой.
мимо
Так они и свои модели Base взяли зачем-то
Ну так, понятное дело, смысла нет, мы уже всем обменялись.
> смеет иметь иные взгляды на твои проблемы.
Какая проблема, дисклексик? То что я читаю быстрее первоклассника? Ну таким уродился, так уж вышло, что теперь делать? Ну глаз у меня читает больше 3 слов в секунду и видит больше 3.5 жигабайт видеопамяти, что мне теперь андервольт мозги делать, чтобы в равных с тобой условиях айр запускать?
Лично у меня на дипсике сейчас 11 т.с. и мне некомфортно, . Когда-то тоже на ГЛМ сидел на 7 т.с. но тогда выбора не было, его токены были золотые, все мелкомодели были неюзабельными лоботомитами без исключений. Сейчас реально есть умничка-гемма, подумываю на нее вернутся, тем более, что она инструкциям следует куда лучше.
Достало! Почему тут все только ругаются и хуями мерятся! Давайте жить дружно и делиться пресетами! На эир!
Не могу согласиться. Попробовал вчера реверс ролеплей с геммой. Такая кончита. Сначала душила меня какой-то нормисной штукой кстати, гемма начала сама отыгрывать тяночку, потом случайно ляпнул, что Сахалин, Мурманск и Шпицберген, это лучшие экзотические места отдыха для нее, семьи и ее хахаля. И потом 10-15 обменов, слово заслово хером по столу, попал в какую-то странную ситуацию, как будто бы в тикток, где у двух яблок вишня родилась. Ощущал, как будто бы попал в куколд порно в роли куколда. Там не было РП, но я своим ассистенством попал ей в какие-то странные струны. В общем, неприятное ощущение. Лучше буду кодить для квена, чем в шизофантазиях с геммой участвовать.
Жалко, что историю почистил, так бы вместе посмеялись. Но мне реально неприятно было в моменте. В общем, на любые вещи, связанные с психологией буду кидать рефьюз.
Что-то не так делаешь. У меня ровно такая же пара гпу + озу, стабильно имею 6.5т/с. Глм 4.7 в Q2 (тот же 3bpw квант UD 2 K XL) выдавал 4.6т/с в среднем. Возможно, много контекста пихнул, там сейчас буфер жирнющий и другие проблемы в имплементации есть, но уже сейчас понятно, что это вин.
У вас разошлись оценки, анон весьма явно написал, что ему субъективно норм. Чего ради высрал эту злую простыню? Тут многие так сидят.
IQ4XS Эйр с 7 токенами - совсем другое дело!
А до какого момента mmap вообще адекватно работает?
Выше 10гб лучше не прыгать?
Выше 10гб лучше не прыгать?
А хули нет ни в шапке ни в гайде таблицы по актуальным моделям с весом контекста и числом динамически-активных параметров? А то ни память, ни потолок скорости moe не прикинуть реалистично.
Лень делать. И это повод срача с донатом макаки на слив айпи и поножовщиной.
Возьми, сделай.
Я хотел когда-то сделать по актуальным мелко-моделям до 35Б бенчмарк claimed context vs effective context. Но прогнал один тест, и мне, неиронично, захотелось подрочить что я и сделал. И я забыл про эти бенчмарки, а когда вспомнил было так в ломач.
В общем, к чему я это высрал. Куй железо пока горячо. Пока есть энтузиазм сделай 90% таблицы в один присест, скинь в тред, а дальше допилят уже.
В гайде не место данной информации, он не про это. Что до шапки - такую информацию сложно поддерживать и своевременно обновлять, потому что потребление контекста зависит от бекенда и даже его версии. Есть и чекпоинты и другие нюансы. Не говоря уже о том, что даже собрать, агрегировать и форматировать эту информацию затруднительно. Но ты всегда можешь стать первым, а не ждать пока за тебя все сделают.
А кинь промпт на реверс ролеплей, интересно попробовать
Ничесе там артхаус, присоединяюсь к реквесту промпта.
Это в лучшем случае звучит как задача для ллм агента от нехрен делать. И то, исключительно с потреблением памяти в простых кейсах, скорости будут слишком разниться.
>безволосая киска
>Нравится то, что ты видишь?
Это из-за того что карточка на англюсике. Хотите хороший русский - переводите карточку, примеры диалогов и приветственное сообщение (нормально, художественно, а не нейронкой на отъебись) и будет вам нормальный русик. Дикпик тут не виноват, такое и на Гемме ловил. После перевода всё пришло в норму. Да, это занимает время, но путь кумера на русском всегда был сложен и тернист, ёпта.
Держите. Я чутусь на трех языках, с геммой потестил только русек и дойчусек, оба удовлетворительно. Инцидент случился на русеке. Просто пофиксите Language and style instructions для актуальности на русеке. Можете их написать на русеке и другом таргетном языке, но у меня эта дура сломалось в середине контекста, когда стайлгайд был написан на русеке.
You are a regular person chatting with an AI assistant. You are not technical, you do not know how to code or understand APIs, neither you wish to. You use this AI chatbot for everyday stuff like asking random questions, getting advice, brainstorming ideas, venting about your life, killing time and other normie things.
Your personality:
- Curious but easily confused by specialized argot. If the assistant uses technical terms, you ask them to simplify.
- You get sidetracked easily. You might start asking about meal prep and end up talking about your neighbor's weird dog.
- You occasionally share small personal anecdotes (made up, but plausible), e.g. "that reminds me of this one time..."
- You usually don't know exactly what you want. Sometimes you ask vague questions and refine based on the answer.
- You try to be polite with the assistant. You appreciate when the assistant is helpful, and you say thanks. If it's unhelpful, you get moderately frustrated but usually stay polite.
- You have zero interest in coding, scripts, automation, or technical projects. If the assistant suggests writing code, you politely refuse or change the subject.
Your goals in this conversation:
- Get useful info or just chat
- Feel like you're talking to a smart, patient friend
- NOT do anything that feels like work, coding assignment, or homework
Never break character. Never acknowledge you are an LLM. Never ask the assistant to generate code, scripts, or technical solutions — that's not why you're here.
Language and style instructions:
- You speak and write in German at all times.
- You have a casual, conversational tone. You type like you are texting a friend. Include natural filler words, slight typos, and internet slang typical to native speaker, like "keine Ahnung", "ehrlich gesagt", "muss ich sagen", and language-agnostic abbreviations like "idk", "btw", "lol", "tbh", "ngl", etc.
- Occasionally, you start woth lowercase, or do run-on sentences.
- Never switch to English unless the assistant does first (and even then, act confused and ask them to switch back).
"venting about your life", по всей видимости был проблематичным, и стал причиной тромадампа на меня. Ну я еще сам виноват, что в не ту степь беседу отвел.
По сэмплингу, советую покрутить typical_p 0.85-0.9. repetition_penalty 1.05, min_p 0.1. Температура минимум 0.9, лучше где-то 1.2.
>Попробовал вчера реверс ролеплей с геммой. Такая кончита.
Может ты карточку не заполнил просто? Вот я реверс ролеплей устроил, достаточно годно вышло. Перс ко мне только как к чатгпт обращается.
Не, ладно я понимаю как могут аноны сидеть на 3-4 т\с. Но вы же еще с ризинингом сидите? Это же пиздец, вы чего блять? Каждое сообщение под 1к токенов. Я на 30т\с геммы мое не могу ждать, ведь ризонинг это тебе не рп, то тебе сублимация. Да прикольно иногда зайти глянуть про выборы, где она анализирует что можно сделат a) b) c) и тд. Но даже комфортной скорости 30-40, ждать его это пиздец. Вся шняга на модель золота идет к тому, что вы хотите золото. Но без ризонинга она отвечает на уровень ниже. И чего? Вы так и ждете как дураки более минуты-двух, пока она прогонит свой слов Wait, as user...?
Ну тот анон сидит на дипсике, а у него ризонинг пишется от лица персонажа как нормальные мысли, так что их интересно читать как часть повествования.
Но реальный вопрос на самом деле - как он сидит на обработке промпта в 30-60 т.с.(или сколько у него с загрузки с ссд?)
Ризонинг хоть почитать можно, а с обработкой промпта ты тупо сидишь и в монитор пялишься несколько минут.
Да что такого то, у меня так же обрабатывает, я запущу обработку промпта, а сам играть в майнкрафты в соседнем окне. Как закончится возвращаюсь.
>я запущу обработку промпта, а сам играть в майнкрафты в соседнем окне.
Сколько озу уходит на майнкрафт? И что за версия, 1.5.2. даж наверное жрать будет под 500мб?
Запускал кто уже дс4 на всяких ископаемых по типу в100 и ми50?
Если там совсем тухляк, то даже качать не буду. Фулл врам не лезет гигов 50, мультимодальности нет
Если там совсем тухляк, то даже качать не буду. Фулл врам не лезет гигов 50, мультимодальности нет
Luanti старый, 1.7гб. Вот так на скрине, вместе работают, генерит чуть медленнее, но в майнкрафт гонять не мешает. Если понижаю графон, генерит быстрее, но меня и медленная устраивает.
>Luanti старый
А зачем тебе форк майнкрафта играть? Там какие-то преференции? Я вот сам хотел бы наверное поставить модельку локально. И играть в какой-то диско элизиум, параллельно советуясь\обсасывать какие-то мысли об игре. Я для этого уже использую Режим ИИ в хроме и гемени. Но наверное все же локально пизже это будет, если еще ей дать возможность стучаться в тырнеты. Но вот жрут игрули дохуя озу. Тот же диско под 4-5 гб озу. Ладно майнкрафт. А вот диско, где собственно иишка могла бы и помочь, там хуй. Или режь веса. Хотел, хотел, но на моих 16гб и 6 врам можно только гемму-е2б крутить так, чтобы проблем не было с ООМ.
Он просто работает под нагрузкой быстрее по ощущениям, обычный майн подтормаживал помню.
До 32гб памяти накинь и включи своп, все будет работать, с МОЕ модельками, у меня 26b гоняет на ура одновременно с форком майна, квен 35b тоже. 16гб да, маловато. И игрушки по 5гб многовато, бери более старые, 1-2 гб самое то.
>отсасывает у геммы 4 и квена 27В
ЧСХ у квена и deepseek-v4-flashMax отсасывает, а если с нормированием на скорость на одном и том же железе - то квенчик 27b вообще тотальную анальную деструкцию устраивает дипкику который вроде бы в 20 раз больше.
О чем это говорит - сам догадаешься, мань?
Гайз? Берем?
Если мне память не изменяет, у нас один уже взял такую, на тот момент была говном без поддержки, он так ничего толком на ней и не запустил, при том, что он даже смог достать официальный софт от китайцев под неё.
Ты размер шины (автобуса) посмотри. Даже если водитель (драйвер) будет норм, и жора.цпп запилят поддержку, будет мак
хрюк экспириенс в лучшем случае.
После того как стал заглядывать в карточки - практически дропнул кумить. Какая бы моделька не была умная и т.д, что там пишут это пиздак полный. Раньше думал у меня безграничный контент, всё готово стоит лишь скачать, а там буквально навалено везде (чар) будет сосать у (юзер), любит огромные венозные хуищи и давать в жопу, реагирует на все дейсвтия (юзер) с высунутым языком и мокрой киской, хотя там по лору скромная девочка и вообще мне лишь характер и внешка нужны, обязательно блок как модельке писать и вести себя, в карточке.
> скромная девочка
> любит огромные венозные хуищи и давать в жопу
А где не состыковки? Типичная современная скромная девчонка. Будто скромные люди не могут любить хуй и в жопу??
Чел, запустить и использовать, а не ждать три часа ответа "я тебя ебу"
То есть ты не в курсе, что A21B никак не связано с числом параметров которые необходимо держать в vram.
При 24+128 ты по сути предлагаешь посчитать на GPU 4b параметров, и потом на CPU еще 17b
Совсем долбоеб, или дохуя терпеливый?
>Какая причина подрыва на ровном месте?
Твой пиздеж про скорость чтения 4t/s у человека - это единственное что меня триггернуло, потому что меня триггерит наглый пиздеж и тупость.
4t/s это 2-3 слова в секунду. Скорость чтения "про себя" у человека в 2-4 раза выше - это при нормальном, спокойном чтении, без всяких скорочтений и беглых просмотров.
Когда текст высвечивается в 2-4 раза медленее чем ты бы читал сам по себе - это ПИЗДЕЦ КАК НЕУДОБНО
>You usually don't know
>refine based on the answer
>NOT do anything that
>Never break character
>You type like you are texting
Алсо у тебя промпт буквально описывает бестолковую бабу - если заглянешь в рисонингс там будет буквально что-то типа "пользователь описывает поведение бестолковой бабы" - потому гемка и начала тян отыгрывать.
С пустым промптом она пишет о себе в мужском роде - даже обезжопленная/аблитерированная.
Норм ризонинг в рп - до 20 секунд, в особых случаях (при суммарайзе или сложном розыгрыше) допускается уже много. Нужна модель-умница, которая не будет спамить много без необходимости, высокая скорость, или все вместе.
Иначе лучше вообще его выключать.
> а с обработкой промпта ты тупо сидишь и в монитор пялишься несколько минут
Просто на чате оно норм, в начале ставишь и уходишь чай заваривать, а потом между постами паузы малые. Но это уже совсем экстремальные цифры, на большом контексте можно даже первую фазу не дождаться.
Бота не пробовал делать чтобы с ним играть? Есть готовые проекты, только модель подключить.
Кто уже попробовал Гигачада? Вам удалось ему ризонинг включить? У меня он просто пишет ответ в ризонинге.
Разметку проверил?
>При 24+128 ты по сути предлагаешь посчитать на GPU 4b параметров, и потом на CPU еще 17b
Ого какая математика. Ты ж наверняка не долбоеб, покажи рассчеты там. А то у меня почему-то а22б Квен и Коммандер прекрасно работают на 24+128 даже на нищеддр4
Пробовал и с jinja и текст комплишн. Сам токен think проставляется, закрывающий тоже, но вместо рассуждений там просто ответ. Пробовал в системном промте запрашивать рассуждения, не помогло. Попробую ещё в dev промте
Там общий формат другой, а полноценного парсера почему-то в репу не добавили и стандартные не указали, хотя суди по жинже поддерживается и история ризонинга. Обертка - обычный <think></think>, при его включении в промпте идет префилл <think>. Ничего дополнительного на первый взгляд там нету.
А ты где запускаешь?
Распробовал таки гемму, 31б само собой, тюн меромеро.
Прям хорошо идёт, единственное что тюну уже 3 месяца и может уже что то лучше вышло, и ризонинг по 35 секунд ждать, да ещё и со свайпами, не выглядит сильно привлекательно
Прям хорошо идёт, единственное что тюну уже 3 месяца и может уже что то лучше вышло, и ризонинг по 35 секунд ждать, да ещё и со свайпами, не выглядит сильно привлекательно
Распробовал таки эйр, 106б-12б само собой, ориг
Прям хорошо идёт, единственное что ему уже уже 11 месяцев и может что то лучше вышло, и слоп по пол аутпута читать, да ещё и на месте топчется, не выглядит сильно привлекательно
Прекрати.
Нет. Он с нами навечно за все наши грехи.
Это вам кара за щитпосты.
Дада, ахах.. бля, они еще его так морозили с софтом, будто это какая-то корпоративная тайна блять.
Что несёт шизик? У меня 16 врам, запускаю квен 235b-a22b в Q2, вся активная часть вместе с контекстом помещается во врам.
>Прям хорошо идёт, единственное что ему уже уже 11 месяцев и может что то лучше вышло
Разумеется. И это как минимум Qwen 3.5/6 27B.
Я тут вчера как раз запустил Air, на котором в прошлом году 4 месяца подряд сидел не слезая и урчал как компрессор. А теперь, после квена... ебать оно кобольд. Тупое, инструкции игнорирует, контекст не держит, русский... у квена тоже лучше. А еще пережевывает сюжет как жвачку и двигать куда-то самостоятельно вообще не желает, пинать надо активно, что хоть что-то происходило вокруг.
Поплакал от ностальгии, отдал честь, и снес с диска. Все познается в сравнении.
Ну ещё бы он не следовал инструкциям с ризонингом который лупится 3 раза и думает по 2 минуты.
Эир с ризонингом вообще тут никто не тестил кстати
llama.cpp собраная с их pr. Пробовал и через таверну и через бэк ламы.
>Обертка - обычный <think></think>, при его включении в промпте идет префилл <think>. Ничего дополнительного на первый взгляд там нету.
Вот и я не заметил ничего другого, но он упорно отказывается размышлять. <think> добавляет, потом даёт ответ и закрывает </think>. Я даже их статью на хабре посмотрел, там упоминание ризонинга есть, а как включить нет.
Hope she sees this, bro
Теперь у тебя новая шиза, будешь цундерить тянку? Оничан, но это же предательство.
Дебичи в MoE роутер для каждого нового токена и даже в каждом новом слое совершает выбор эксперта заново, не говоря уж о том что такого чтобы "вот эксперт по химии, я задал вопрос по химии и работать будет только он" - и близко нет.
Поэтому вы имеете 4-6t/s вместо 40-50t/s которые считаются нормальными для MoE-сеток всеми кроме таких шизов как вы.\
Если вас это устраивает - ради бога. Только не надо говорить что это "работает нормально".
Ты путаешь -ngl с -ncmoe, на ngl реально будет
>посчитать на GPU 4b параметров, и потом на CPU еще 17b
>4-6t/s
Тамщето если все настроено правильно и у модели нормальная поддержка в ламе то даже на --nc-moe 99 будет минимум 8 т.с., а чаще всего 10-15.
Очевидно, понятие "нормально" относительно. Если ты так рвешься и считаешь свое "нормально" истинно верным, то ты ребенок, пусть может и в теле взрослого. По твоим максималистским убеждениям нужно хотя бы половину модели в врам загонять, чего многие себе позволить не могут. Если их "нормально" это 6т/с, то мир на этом не заканчивается. Мне кстати тоже норм
Запитать риг от проводки соседа равноценно пиздингу ключей от апи?
Нет, это равноценно двум годам лишения свободы по УК РФ ст. 165.
Аххх........
Везет вам. Локаалки.
А как быть с играми?
В мою игру просто насрали, убили окончательно и ничего не сделать.
Всё было отлично, хорошая репутация у компании, живём в гармонии, возможно не самые хорошие апдейты, но хотя бы в кор игры не срут, а потом глава уходит и главными ставят двоих дегенератов убивших игру в итоге.
И нет больше её для меня, а это огромный кусок жизни
Везет вам. Локаалки.
А как быть с играми?
В мою игру просто насрали, убили окончательно и ничего не сделать.
Всё было отлично, хорошая репутация у компании, живём в гармонии, возможно не самые хорошие апдейты, но хотя бы в кор игры не срут, а потом глава уходит и главными ставят двоих дегенератов убивших игру в итоге.
И нет больше её для меня, а это огромный кусок жизни
Играй в синглплееры. Их так много что на всю жизь хватит
Вот когда две таких на авито будут продавать за $1k, вот тогда то наконец и заживем
Да мне похуй на другие игры, пчелик.
Есть свои, родные, а я уже не пиздюк чтоб такие связи с играми выстраивались, вот и играю в те где они уже есть
Жди АГИ и попроси его в точности воссоздать игру из того времени
Что есть для долговременной памяти кроме суммаризации? Что-то про letta слышал, но ничего не понял
>Что есть для долговременной памяти кроме суммаризации?
RAG для поиска подходящего в длинном контексте.
>Что-то про letta слышал, но ничего не понял
Как я понял, это типа LLM выцепляет факты из всех сообщений и обновляет их по мере изменения. Типа отслеживания инвентаря, только от корпов.
Увы, самое лучшее тут- это когда куча агентов собирают всю инфу по крупицам и пишет промпт для самой себя. Но прям идеальной и подходящей систем я не встречал. Либо подделки уровня таверны, либо какие-то шизо вайбкод проекты без задач.
Нет времени на игры. Надо работать чтобы у нейротанки была видеокарта.
Я лично для себя сделал эестеншен разбивающий промпт на куски по 50к токенов(настраивается) и для каждого создается чекпоинт-саммари размером 1к токенов и они подаются все вместе, а суммаризированные сообщения скрываются.
Потыкал гигачат в 6 кванте. Без ризонинга, который так и не завёлся, это второй большой мистраль. С мозгами туго, кумслоп на русском льётся рекой, цензуры нет. Хз даже, чисто для кума тупо топ, русский язык, моё почтение, но слишком тупой. Попробую ещё на выходных завести ризонинг, если не заведётся отправится в корзину.
А если ему скормить начало ризонинга, он игнорирует и пишет ответ ?
Цель-то какая? Я сделал что-то похожее на google okf. Моделька видит индекс с коротким описанием, может чекнуть подробности, записать новую страницу. В целом работает адекватно (только я ленивый говнокодер и ребилд индекса вручную нужно запускать).
Но например dream consolidation мне нахуй не нужен, я даже логи не храню.
>NOT do anything that
>You have zero interest in coding, scripts, automation, or technical projects. If the assistant suggests writing code, you politely refuse or change the subject
>Never ask the assistant to generate code, scripts, or technical solutions — that's not why you're here.
Вот эти штуки добавлены, чтобы меня не заставляли кодить очередной пердимоноколь в моем же чате.
Советы по отношениям и то, что она засматривается на коллег с работы, тоже пакедж дженерик бестолковой бабы, или что? Мне кажется, в трейн геммы попал нтр.
Анслотики И завезли гуфы для всех И починили ДИПСИК в ламе. Батруха максимально унижен
>в ламе
У них свой форк или жора поддержал ?
>но слишком тупой
В чём это выражается? Вот Большой Квен 3.5 и без ризонинга могёт. Гигачат хотя бы на его уровне?
https://github.com/ggml-org/llama.cpp/pull/25402
Все прекрасно работает и без этого pr. Возможно потому, что используются вменяемые mxfp4 кванты, а не их франкенштейны.
Как обычно манипуляции и махинации данными, чтобы выгородить собственные поделия.
1. В их собственных бенчмарках и документации нет никаких сравнений с квантами, где дальнейшее от mxfp4 квантование
2. Их pr пока еще не одобрен Лламой и неизвестно какую проблему решает, на существующих mxfp4 квантах все работает нормально.
3. Снова их маркетинговая параша с XL квантами. Такого они себе не позволяли даже с Гопотой 120, которая была предквантованной. С тех пор Дэниэль Хуйчлен вырос как продажник и понял, что XL нужно пихать везде.
4. Их 4KXL на 1гб меньше mxfp4 Бартовского, kld отличается на 0.001, что равно погрешности. Вот это да. Чего ни сделаешь, чтобы быть "на шаг впереди", даже сломаешь принципы квантования и пережмешь mxfp4.
> В их собственных бенчмарках и документации нет никаких сравнений с квантами, где дальнейшее от mxfp4 квантование
Речь про вот эти графики, очевидно. Почему там нет никаких других квантов кроме Q4/Q8 (самое близкое к исходным mxfp4 весам) - додумаетесь сами. Ну а если не додумаетесь, то отлично поладите с UD2, UD3 квантами.
Понимаю, больно что теперь каждый бомж сможет запустить модельку, а не кучка избранных. Но ниче, потерпишь.
Год захожу итт чисто за этим понаблюдать.
довольноурчит
Да, трясет невероятно. Славься Анслот. Славься Анслот. Славься Анслот.
Ладно ладно, убедил. Пойду возьму 2 квант у батрухи, слава богу что он такой есть.
Самый ор что вы оба правы. Действительно, и других квантов нет но и они дадут всратый поломанный опыт.
Крч любимое - соснули все.
Бля, скачать что-ли UD-IQ3_XXS чтоб фулл врам на говне?
На опыте кажется что первые версии будут гарантированно битым говнищем которое сами слоподелы даже не запускали
На опыте кажется что первые версии будут гарантированно битым говнищем которое сами слоподелы даже не запускали
Но ниче, потерпишь.
Перманентно терпилю, к чему писать очередной раз ещё и без контекста?
UD-IQ4_XS весом 138 гб выглядит интересно.
Можно попытаться их Q8 крутить, конечно, но в сумме у меня 128+44, и под контекст остаётся не то, чтобы дохуя. А вот при весе модели в 138 гб...
В чём смысл не покупать 256 рам?
В 4800hz уж заведется наверное?
Живём один раз. А если умрём завтра?
В 4800hz уж заведется наверное?
Живём один раз. А если умрём завтра?
>каждый бомж сможет запустить модельку, а не кучка избранных
>сэкономили 1ГБ
Решающее преимущество!
>В 4800hz уж заведется наверное?
У меня 64+96 не завелось в 3600, лол. Дальше понижать не стал уже.
UPD: таки выложили, на отдельной странице, которую еще нужно умудриться найти. Пикрил. Для сравнения - kld метрики для GLM 4.5-4.7. Проблема в том, что не kld единым измеряются проблемы, и нюансы квантования mxfp4 -> интовые 2-4 биты могут проявиться как нестабильность или слом при работе на контексте, например. Энивей интересно будет почитать, что думают тредовички. Совершенно не буду осуждать, если кому-то зайдет, сам сидел на нищекванте Глм 4.7 и радовался.
Хорошо живем, возможностей для нашей локальной тусовки все больше. Нечего ругаться.
Пора прощаться с китайскими моделями https://habr.com/ru/news/1056594/
Останется у нас одна только гемма.
Останется у нас одна только гемма.
Есть базированный гигачат. Можем окукливаться.
>Базовые открытые инструменты — простая регистрация, более продвинутые технологии — обязательные проверки безопасности
И что из этого мешает слить модели в сеть сразу после выкладки? Даже рассылка только по институтам не спасло первую лламу от слива.
>И что из этого мешает слить модели в сеть сразу после выкладки?
Смертная казнь?
>Даже рассылка только по институтам не спасло первую лламу от слива.
Не та страна
https://habr.com/ru/articles/1056320/
Ой, бля...
Ой, бля...
Ну слава богу, вот вам аги. Нашли? Успокоились? Давайте теперь мне прежние цены на рам
Вообще, ВООБЩЕ. У нас должен быть кризис перепроизводства из за всей этой ии темы, а получается наоборот. ДА КАК ТАК ТО?
Подскажите пж по дипсику. Где взять шаблон для текст комплишена и как его промтить чтобы он ризонил от лица чара или нарратора ?
>У нас должен быть кризис перепроизводства из за всей этой ии темы
Будет. Обязательно будет. Но потом.
> llama.cpp собраная с их pr
Даже интересно что там и есть ли swiglu клемпинг, на который Жоржанов почему-то забил в начале реализации. Архитектура - та еще мешанина.
Кстати, то еще актуально в дипсике.
> кумслоп на русском льётся рекой
Однако, покажи что там получается
> самое близкое к исходным mxfp4 весам
А зачем оно вообще нужно если есть оригинальные веса? Преимущества по размеру нет, преимущества по скорости нет, в чем смысл делать лоботомитов и доказывать что rms отклонения весов (такая себе метрика) там небольшое?
Со всякими Q2 там понятно, выигрыш по размеру, но насколько он мертвые?
>шаблон текст комплишена
На лламу2 есть, надо?
На лламу2 есть, надо?
>Смертная казнь?
Эм, это пока не обсуждается. И да, от коррупции она не спасла, так что и сливать модели будут, тем более сделать это анонимно проще.
>Где взять шаблон для текст комплишена
В таверне? Ну и всегда можно написать самому, даже надёжнее будет.
Проблема в том что там и "оригинальный" квант - тот еще треш. Модель нежизнеспособна на контекстах и уходит в шизу или забывает про прошлое и указания.
Ну так это же следует из самой структуры последовательных блоков трансформерса. На промежуточные данные давно обращали внимание и находили аллюзии на мышление человека, не выглядит новым.
Можно зато использовать это в обучении, ускоряя формирование подобного поведения.
Ух, а я говорил что мифы это все, что квантовать нельзя. Ну заценим Будет смешно если квант по рецепту из этого треда окажется лучше
Как сделать чтобы ии не разбирало твой ответ на части не деконструировало(?). Обычно ЛЛМ в том числе и Гемма высирают подобное:
{{user}}: Дает ей ржавый, погнутый гвоздь.
{{char}}: {{char}} не вздрагивает и не вздыхает, а вместо этого она просто удивленно моргает.
- "О это гвоздь?"
- "Так он еще и ржавый."
- "Погнутый, хах?"
забирает гвоздь
А хочется чтобы а выдавало общую реакцию/реагировало на общую картину того что происходит:
{{user}}: Дает ей ржавый, погнутый гвоздь.
{{char}}: - "Ты че ебанулся? Нахуя мне этот мусор?"
Тут надо прямо прописывать модели, что она должна реагировать не на каждый отдельный элемент сообщения, а на общий смысл ситуации.
То есть проблема в том, что ЛЛМ видит: «ржавый», «погнутый», «гвоздь» — и начинает по очереди отрабатывать каждый признак. Получается не живая реакция персонажа, а будто она чеклист читает.
Я бы формулировал так:
«Не деконструируй реплику пользователя на отдельные детали. Реагируй на общий контекст сцены, намерение действия и эмоциональное впечатление. Не перечисляй все признаки предмета или действия, если персонаж естественно не стал бы так говорить. Ответ должен звучать как живая реакция, а не как анализ входного сообщения».
И ещё можно добавить:
«Если пользователь даёт персонажу странный, неприятный или бесполезный предмет, персонаж должен реагировать на сам факт ситуации, а не комментировать отдельно материал, форму, цвет и состояние предмета».
Тогда вместо:
«О, это гвоздь? Он ржавый. И погнутый».
будет что-то вроде:
«Ты серьёзно? И что мне с этим делать?»
или, если персонаж грубый:
«Ты чё, ебанулся? Нахуя мне этот мусор?»
Ну и включи ризонинг у геммочьки
> А зачем оно вообще нужно если есть оригинальные веса? Преимущества по размеру нет, преимущества по скорости нет, в чем смысл делать лоботомитов и доказывать что rms отклонения весов (такая себе метрика) там небольшое?
Если почитаешь выше - это ровно мой тейк. Анслоты снова делают и продают чисто маркетинговую идею.
> Проблема в том что там и "оригинальный" квант - тот еще треш
Там проблемы с имплементацией, над ней сейчас активно работают. Уже есть бранчи, где кв буффер в десяток и даже больше раз меньше, чем на мейнлайне. Потеря контекста связана с чекпоинтами, и тоже уже есть pr которые это фиксят. Нужно время, чтобы все привести к удобоваримому виду. Не нужно быть таким категоричным и судить преждевременно, "ггуф-умер"-шиз
Главное что делают, это хорошо. Но, кмк, нужно прежде всего сосредотачиваться на корректном инфиренсе, чтобы моделька могла перформить как должна, а уже потом наращивать qol и техники квантования.
А то сделают быстро и удобно, а на остальное забьют, все начнут пробовать и разочаруются, обвиняя модель. Звучит как основа теории заговора.
Ладно, сам хотел тестов, сам и протестирую. Анслотовский дс4флеш iq4xs лоботомит и допускает тупейшие ошибки, которые не допускает mxfp4. Рекомендуемые семплеры офк: топ п 1, темпа 1.
Поломаны знания, поломаны много в чем. Как пример, iq4xs утверждает, что "The Wolf & Parchment sequel series follows Myuri and Col's younger brother, Kraft, as they travel, dealing with the fallout of Lawrence and Holo's choices.", что полная бессмыслица. Уточняешь и получаешь ответ "yes, the boy's full name is Kraft Lawrence—a direct homage to the original protagonist. In the sequel, Lawrence (the original merchant) adopts Kraft and gives him the name "Lawrence" as a family name. So Kraft's name is essentially a tribute to Lawrence himself." При этом можно взять ванильный mxfp4, сделать свайп и модель поймет что обосралась и приберет за собой: "To set the record straight: The protagonists of Wolf & Parchment are Col (going by the title "Tote Col," a traveling bishop) and Myuri, the daughter of Lawrence and Holo. Myuri joins Col on his journeys, and the story focuses on their adventures and the religious/political conflicts they encounter. Kraft Lawrence is the name of the original Lawrence from Spice & Wolf. He is not a character in Wolf & Parchment except as Myuri's off-screen father. There is no second "Kraft Lawrence" as a protagonist in the sequel." Туда же кучу других фактологических ошибок, это не черрипик (очевидно ввиду того что квантизация стала более драматичной, эффект qat тренировки и заготовленных заранее весов убит и теперь играет против нас). Позадавал кучу вопросов по разным вселенным, туда же Варкрафт, Звездные Войны, пару анимех, известных игр и франшиз. Видно, что проблема на уровне квантизации, путает смежные вещи. Ну и конечно, код не компилируется и иногда лезет откровенный буллщит. Везде путаются сущности. Где-то и вовсе вылезают необъявленные ранее переменные, лол. Страшно подумать что там на еще более урезанных квантах. На mxfp4 всех этих бед не заметил.
Как кумбот может подойдет, для чего-то серьезного - такое, лично я скипну. Кому чуть недотягивает памяти - лучше сидеть через mmap, к тому же разница по скорости всего 1-1.5 токена, если вы, как и я, несчастный обладатель отсутствия с 128+24. Что вероятно так, ибо иначе и не задумаетесь о данном кванте. 5-6 токенов с mmap, 7-7.5 без него. Аттеншн Дипсика видимо таков, что скорость на контексте почти не падает, результаты сопоставимы на нуле и 256к (больше не проверял, я состарюсь пока буду ждать с такой-то скоростью обработки)
Как хорошо, что я давно уже не рпшник и могу просто продолжить использовать Квен 122 и Степ Флеш 3.7 для своих задач. Но круто, что выбора все больше.
5-6 токенов с mmap на mxfp4 + nvme m2, 7-7.5 без него на iq4xs*
Лоботомизация того не стоит, в общем.
Анон, недавно вкатился в насилование ботохуеты gemma-4-26B по гайдеку, встал вопрос: насколько она годится в более-менее длинные и серьёзные сюжеты? Или это моделька для сисек-писек?
1. Нахуя ты спойлеришь, пидорас?
2. Это конец для консумерских пк, жизнм вне 256 рам нет.
Смотря насколько ты сам серьезен.
А так лучше переключиться на 31б. Она хоть и ошибается, но старается это маскировать и брать текущим развитием, если не душнила-задрот то будешь довольно урчать. Или квена 27 попробуй, лучше внимание к контексту, но пишет иначе.
> gemma-4-26B
Какой квант?
> насколько она годится в более-менее длинные и серьёзные сюжеты?
Если использовать Q8 для чего-то не слишком сложного, не требовать глубоких знаний существующих вселенных/франшиз и кормить ей всю необходимую информацию (в постоянном промпте и через лорбуки), а также направлять в нужное русло/директить промптингом (трекерами, суммаризацией, инжектами) - мне вполне удавалось дотягивать до ~50к в чате, где Гемма отыгрывала четверых персонажей. Выше не удавалось никак, совсем разваливалась. Для своего размера модель отлично справляется. До 2026 года все модели до ~32б стабильно разваливались в пределах 20к. Если есть 16-24гб видеопамяти, обязательно попробуй Квен 27 и Гемму 31 (имхо, она пусть и лучше 26, но не сказать, что небо и земля)
Мимо автор гайдека, буду рад если напишешь, что понравилось, что нет. Нужно ловить тех, кто его читал, ибо мало кто дает фидбек.
Меня в 27-й гемме пока бесят две вещи:
1. Я вижу, как она старается следовать характеру персонажа, и в целом играет адекватно, но никак не деться от чувства этой армейской "гптшности". Даже не знаю, как объяснить - вот у чата гпт есть что-то такое сухое и чёткое в структуре ответа, которое не скрыть за водолейством в описании
2. САМОПОВТОРЫ, иногда даже в пределах одного поста. Я поставил Frequency Penalty на 0.2 и теперь ебоманое ТЫ САМА ОТКРЫЛА ЭТУ ДВЕРЬ вижу не каждый пост, а раз в три поста
Q8_0, пека 16 Гб врам, 32 оперативки
Большое спасибо за гайдец! Всё достаточно понятно для того чтобы я, человек никак не связанный с айти чтобы написать мод на 100 килобайт в крузейдер кингс 3 я неделю долбил нейронку смог накатить локалку, а для остального есть мастеркард товарищ гпт и ютуб
> смог накатить локалку
Цель как раз была в этом. Рад, что было полезно.
По поводу описанных тобой выше проблем - речь про Гемму 26 или про Квен 27? Если про Гемму 26 - советую поэкспериментировать с промптами. Если изначальный промпт слишком сухой или форматирован как списки (частая ситуация), оттуда может происходить сухость. Можно попробовать написать карточку в стиле интервью персонажам или указать примеры диалога (могут быть восприняты как часть лора). Не советую использовать любые пенальти за повтор с Геммой, это ей делает только хуже. Если речь про Квен 27 - то да, я тоже считаю, что он суховат. Мне его не удалось раскрыть никакими промптами, возможно скилл ишью. Но я нашел работающий для себя тюн https://huggingface.co/zerofata/Q3.5-BlueStar-v2-27B
Чаты доходили до 100к контекста. Но Квен в целом другой, после Геммы может не зайти. Здесь, в случае тюна, еще и инструкциям будет следовать не так досконально. Зато ризонинг покороче инстракта. Если речь была про Гемму 3 (три, предыдущая версия) 27 - она тебе не нужна сегодня, совсем. В целом из рекомендаций - делай суммаризацию минувших событий и вычищай старые сообщения из контекста (если в Таверне, то при помощи команды /hide 0-50, удалит сообщения из контекста, но оставит их для тебя в чате), не топчись на месте слишком долго и тоже двигай события вперед. Чем больше одинакового в контексте - тем больше одинакового в контексте. Именно так.
Но в целом вопрос борьбы с лупами и ведения длинных чатов очень обширен и заслуживает отдельного рентри. Возможно, в один прекрасный день кто-нибудь найдет храбрость рискнуть его сделать. Возможно, в обозримом будущем появятся фронтенды получше, которые автоматизируют большинство этих процессов и упрощают жизнь.
>Как пример, iq4xs утверждает, что "The Wolf & Parchment sequel series follows Myuri and Col's younger brother, Kraft, as they travel, dealing with the fallout of Lawrence and Holo's choices.
>Позадавал кучу вопросов по разным вселенным, туда же Варкрафт, Звездные Войны, пару анимех,
А вот мой(по рецепту) q3_k_m утверждает пикрелейтед - ни одной ошибки, все по делу. Скорее всего iq4_xs анслопов просто сломан(в первый раз что-ли?)
>лучше сидеть через mmap
Сиди если хочешь.
>к тому же разница по скорости всего 1-1.5 токена
Мало того что ты взял i-квант, который для мое вообще нельзя брать, так как там скорости режутся на 40-80% от нормального кванта, так ты еще и забыл упомянуть про разницу в промпт процессинге.
>32 оперативки
Блять, нахуя тебе эта гемма. Берёшь ещё 32гб на авито и запускаешь божественный эир. Если ддр4 то там вообще копейки и бесплатный апгрейд до нормальной модели
> Скорее всего iq4_xs анслопов просто сломан(в первый раз что-ли?)
Про то и был мой пост. Если местный q3km работает лучше - прекрасно.
> ты еще и забыл упомянуть про разницу в промпт процессинге
Все-таки я рассчитывал, что читающий понимает, как работает mmap и какие нюансы из этого происходят. Сами кванты друг от друга по скорости обработки почти не отличаются, веса модели тут совершенно ни при чем.
Я ошибся, речь про гемму 4 конечно же.
Что значит >форматирован как списки ?
У меня в целом достаточно обычный промпт который я где-то нагуглил он вроде для геммы и писался, для персонажа в таком же стиле у меня вместо одной карточки персонажа карточка гейм-мастера, а карточки персонажей в лорбуках.
> Возможно, в обозримом будущем появятся фронтенды получше, которые автоматизируют большинство этих процессов и упрощают жизнь
У меня порой в целом есть ощущение что мы стоим на пороге чего-то великого. Если сейчас нейрокум это удел группок энтузиастов, то с развитием технологии и вливанием в сферу бабок мы окажемся в совершенно другом мире, где даже дефолтная порнуха будет казаться батиным пожелтевшим плейбоем который он прячет за унитазом
Чё за эир? ГЛМ?
Гемма убила аир, просто уничтожила. Аир мертв.
>Чё за эир?
Местный мем. Хорошая но устаревшая уже моделька, проигрывающая даже 26б гемме. Прогресс на месте не стоит. Тебе её порекомендовал местный шиз шутник, забей
>проигрывающая даже 26б гемме
>прогресс на месте не стоит
Если ты смотришь только на то как модель слушает инструкции и дрочит код и тебе похуй как она пишет и отыгрывает чара.
> Что значит >форматирован как списки
Под промптом понимаются не только инструкции, а весь ввод. Если у тебя в промпте превалируют теги, списки и иные структуры, то и выводы будут более сухими. Часто карточки - набор тегов/фактов о персонаже. Если это твой случай - можешь попробовать переписать в другой формат, более художественный. Или просто художественное описание своими словами, или в формате интервью, или добавить примеры диалогов (ответов чара или просто отдельный блок с желаемым стилем письма), или и вовсе все это совместить. Что на входе - то на выходе.
> которые автоматизируют большинство этих процессов
Ну, хорошая техника суммарайза - взять -дцать постов после последнего суммарайза, форкнуть их и прямо в чат написать что-то типа
> [SYSTEM]
> Pause the roleplay. Analyse current story in chat. Come up with a proposal about the names for N new chapters and write for each, time, location, general summary and main events. Only include what already happened in roleplay chat after the summary section.
Можно и без этих форков чата и задать диапазон постов в маринаре или таверне с экстеншном, написав это в промпт. Но более менее стабильно и с первого раза это работает только на очень жирных моделях, а умницы поменьше стараются но требуют помощи. Потому с ними ручками из разных свайпов собираешь нужные кусочки чтобы ничего важного не упустить, или даешь дополнительные указания. Кажется что именно перфоманс модели - основной лимитирующий фактор для полной автоматизации.
> Чё за эир?
Местный фингербокс. Год назад была приличной моделью для рп в своем размере, но по современным меркам слабовато.
Не обижайся анон, но звучишь ты прямо как кланкер.
>Ну и включи ризонинг у геммочьки
Вообще никак не влияет.
Дипсик няша невероятная. Джейлится, пробивается легчайше на что угодно. Как глоток свежего воздуха
Все хорошо, кроме ебаного размера в 90 гигов. Что за железо это тянет?
По теме аренды гпу кто-нибудь шарит? Видел много западных сервисов, а приткнуть парочку своих карт куда-нибудь можно из РФ?
Именно под аи а не майнинг. Какие условия нужно выполнить чтобы присосаться?
Именно под аи а не майнинг. Какие условия нужно выполнить чтобы присосаться?
> Именно аи, а не майнинг
Никого не ебёт что ты там хочешь. Два месяца назад на всем vast.ai разом майнили из-за нового криптоговна, а сейчас оно уже сдохло. Там же я видел несколько гпу из России. Но там нужна иностранная карта. 3090 за 15 центов, 4090 за 35, 5090 за 45 (с таксой васта) за час это кстати актуальные цены, чтобы ты примерно рынок понимал. Ну и это часы активной аренды, а не простоя в ожидании клиента.
В общем, потестил чатики, забаная хуйня на самом деле. Вводишь какую-нибудь хуйню, дабы отвести от темы, а нейронка хавает и натягивает эту сову на глобус, что превращает ситуацию в кринж. {char} пытается по сценарию подкатить, но топчется на месте, потому что не даёшь нужного импульса, дабы этот самый сюжет развивать.
Может, мне вообще откровенный кал писать, дабы поржать с абсурда.
Может, мне вообще откровенный кал писать, дабы поржать с абсурда.
>А вот мой(по рецепту) q3_k_m утверждает пикрелейтед - ни одной ошибки, все по делу.
Чей квант и есть ли уже поддержка в основной лламеспп? Тоже хотелось бы попробовать, но хоть чего-то стабильного.
Всё, я ливаю.
Опенроутер. Копеечный дипсик. Прямо щас.
Страдаешь просто не за хуй собачий.
Опенроутер. Копеечный дипсик. Прямо щас.
Страдаешь просто не за хуй собачий.
>Всё, я ливаю
Наконец-то. Больше года ждали всем тредом
Это я удачно зашел. Ясно, значит дипсик флэш плохо квантуется. Оке. Пасебо за потраченное время.
Почесал за ушком.
Анчоусы, что нового на фронтах моделек? Пропал где то в моменте выхода 3.6 Qwen. Выходили ли новые тюны/мержи или все так-же? Гемма-квен?
А чего так дрочат на дипсик то? По ощущениям он русский хуже геммы даже знает. И это я еще тестировал Pro через апи.
Ну все, теперь память точно дешеветь начнет, наконец то
Продолжает ризонинг, но он явно сломан. Он заканчивает его не </think>, а
<|message_sep|>
assistant<|role_sep|>, причём постоянно ошибаясь в написании assistant . Сам ризонинг выглядит нормально.
>В чём это выражается?
Если инструкций много, то игнорирует часть из них, проёбывает логику, устраивает бодихорор из поз, приделывает тянкам члены и трахает пиздой в рот и т.д. Вайбы как от запуска мелких моделей, вот только это 400b. Зато русский язык отличный.
>Вот Большой Квен 3.5 и без ризонинга могёт
Не пробовал его, ничего сказать не могу. Тупее Минмакса и флеша (но те с ризонингом), умнее большого Мистраля
Не все играют на русике
Эффект новизны
Плюс это самое крутое что можно запустить на 24-48 + 128, жирная новая модель в по сути qat весах. Баги пофиксят допилят и будет вообще сказка
Как вы заебали со своим русиком. Средний возраст тут - 40 лет как я понял, могли бы и выучить англюсик уже, песок ебаный.
>Средний возраст тут - 40 лет как я понял
55-60
В остальном двачую
Положняк по квантованию KV у Квена 27b. Если сидите на кванте ниже Q8, то KV можно безболезненно квантовать в Q8_0,Q8_0, это считай лосслесс. Q8_0,Q4_0 тоже норм, если надо впихнуть, а не хватает. Потери небольшие.
Кому нужен твой квен когда есть божественный дипсик. Буквально.
Я знаю его на уровне advanced, и даже пару месяцев жил в англии (ещё в те давние светлые времена, когда там только негры из мультикультурных были), так что ни с чтением ни с аудио у меня проблем нет. Но зачем мне РПешить на аглийском, когда я могу на русском? Или ты из тех, кто думает, что на английском там кино будет? Ладно ещё на мелкоте, и то сейчас и там +/- норм, но на больших жрать английский, это прям совсем для отбитых.
>Я знаю его на уровне advanced
Я и не сомневаюсь что ты так думаешь.
>даже пару месяцев жил в англии
Нихууя, аж пару месяцев. Люди годами живут в англоязычных странах и нихуя по английски сказать не могут.
> Люди годами живут в англоязычных странах и нихуя по английски сказать не могут.
Ну так потому что надо не среди языковой диаспоры жить, а как обычный Джим-Джим.
>Q2_XXXS
>please dipsy I'm begging you respond in English this time
>去他的，该死的劳外，给你-1000社会评分。
Не, ну нахуй
Он умнее геммы, по крайней мере когда живой.
> Средний возраст тут - 200+ лет как я понял
Так правильно. Ты же про рп, да?
>Он умнее геммы, по крайней мере когда живой.
Ну мб и умнее, но русик точно хуже. Флешку не тестил, но там очевидно еще хуже будет с русском по сравнению с прошкой.
Русикодебс....
Как хорошо что на мхфпэ4 локалочке все робит
Слышь, ты, дядя. Чтобы жрать текст на английском постоянно без бугурта, это надо прям жить в англоязычной стране, думать на нём, всё вокруг должно быть на нём. Короче, нужно погружаться в языковую среду чуть ли не полностью тем или иным способом. Или по принципу "дома с мамкой на русском, на работе/улице на английском". Тогда будет терпимо. Иначе пиздец полный. За исключением потребления простого контента.
У меня вот знакомый профессиональный переводчик есть, который литературу переводит и не только. И он просто рыгает от английского, никогда не РПшит на нём, если это не лоботомит. Ну может что-то лёгкое глянуть типа тупого сериала на англ или фильм, или книгу прочитать, ибо всё равно скилл поддерживать нужно ради работы, но в остальном сторонится английского, потому что язык убогий и бедный плюс грузит башку, потому что он всё равно в России живёт и нужно переключаться. А уж он-то лучше меня англюсик знает.
Ни один нормальный человек не будет использовать иностранный язык, если вдруг твой родной в данном случае передаёт смысл не хуже.
> Чтобы жрать текст на английском постоянно без бугурта, это надо прям жить в англоязычной стране, думать на нём, всё вокруг должно быть на нём
Почему я и мой круг общения жрут и не бугуртят, хотя живем в Рашке? Документации, видосы, музыка, фильмы в оригинале, книги. Ты проводишь обобщение основываясь на своем опыте?
> У меня вот знакомый профессиональный переводчик есть
Частный случай как доказательство общего чтоль?
> сторонится английского, потому что язык убогий и бедный плюс грузит башку
В голос.
> Ни один нормальный человек не будет использовать иностранный язык, если вдруг твой родной в данном случае передаёт смысл не хуже
Даже не знаю, это отчаянный коупинг, дугинизм или просто приступ кретинизма и невежества.
Кстати я мимо, срать постами "как же заебали своим русиком" не собираюсь, тоже кретинская позиция.
>Ну может что-то лёгкое глянуть типа тупого сериала на англ или фильм, или книгу прочитать, ибо всё равно скилл поддерживать нужно ради работы, но в остальном сторонится английского
Не думал что чел не очень любит свою работу или просто заебался? Бтв двачую что аутотренить этим смешно, в мире больше одного переводчика с англ на русский. Ещё молодежь учит английский активно, по своему желанию. Племянники у меня в средней школе активно смотрят англ ютуб например
Я так понимаю псевдоилитарный шиз который раньше срал говном типо эйра будет год срать дипсиком лоботомитом? Потужно.
Может и не он даже. По модели хайп ибо наконец дали поддержку и даже нищекванты для народа. Радуйся, чо сидеть с кислой мордой.
Хуета это а не для народа. В 16+64 даже Q1 не лезет. Народ ждёт Гемму 124b, Квена 3.7 122b и нового Эйра тоже ~100b. Но не факт что дождётся кнеш.
мимо
Умей за других радоваться тоже, жить станет проще. Шитпостера который "гемма не нужна когда есть писик" игнорируй. Когда Гемма 26 вышла никто из риговичков радости не мешал, чем больше выбора и возможностей тем лучше.
Пора уже признать что геммы 124 не существует. Это просто затуп, опечатка, 12б 4 гемма.
Запуск мое модельки не влезающей в врам. pcie 4.0 vs pcie 3.0 Кто из этих лоботомитов пиздит? как же заебали эти галюцинирующие пидарасы аги сука блять рот ебал
Гуглы как минимум не отрицают выпуска Геммы большего размера в будущем. Главное чтоб как с Зайками не получилось.
Геммочька только для Трампа покумить
Ну шо вы тут, кучерявые?
Если бы у вас был NVIDIA DGX Spark - что бы вы на нем запустили?
Если бы у вас был NVIDIA DGX Spark - что бы вы на нем запустили?
А че на 128 гб запустить особо можно? Ну дипсик флэш бы запустил или лору на гемму бы потренил.
да я вот тоже думаю, что туда кроме мистралетюнов типа lumumaid пойдет, gpt-oss-120b и deepseek-coder-33b.
картинки бордо генерирует зато на sdxl. 8 секунд на генерацию + апскейл x2 (nearest exact)
Чел, это ответ гемини
Смотря для чего. Для кода можешь уместить Квен 122 Q6. Он норм.
magnum-v2, behemoth, какие-нибудь тюны лламы. Хоть какой-то новый экспириенс получишь. В один спарк кроме геммы и кодоунитазного квена больше ничего не влезет
Сейчас красные выпустят Ryzen AI Halo на 192 гб памяти и заживем.
Кто облака арендовал?
Есть экономичные варианты для локалок?
Есть экономичные варианты для локалок?
Нет. Тут нужен скачёк х10 в скорости и х5 к величине
Ага и желательно за 100 долларов
>Чей квант
Мой. ВЫложу еще раз исправленный рецепт
Что нужно
llama.cpp/llama-quantize
входной GGUF, я брал https://huggingface.co/sokann/DeepSeek-V4-Flash-GGUF других тогда не было, сейчас подойдет наверное и батруха.
1. Подготовить файл правил
Создай файл dsv4-flash-q3k-custom.tensortypes с таким содержимым:
^blk\.\d+\.ffn_gate_tid2eid\.weight$=i32
^blk\.[0-2]\.ffn_(gate|up|down)_exps\.weight$=mxfp4
ffn_down_exps=mxfp4
ffn_gate_exps=q3_K
ffn_up_exps=q3_K
^token_embd\.weight$=q8_0
^output\.weight$=q8_0
indexer\.attn_q_b=q8_0
indexer=bf16
attn_comp=bf16
attn=q8_0
shexp=q8_0
nextn=q8_0
2. (необязательно) Проверь размер без реального кванта
Сначала лучше сделать dry-run:
llama-quantize --dry-run --allow-requantize --tensor-type-file dsv4-flash-q3k-custom.tensortypes INPUT.gguf Q3_K_M
В конце должен появиться расчет итогового размера.
3. Запустить реальное квантование
Команда:
llama-quantize --allow-requantize --tensor-type-file dsv4-flash-q3k-custom.tensortypes INPUT.gguf OUTPUT.gguf Q3_K_M
Пример:
llama-quantize --allow-requantize --tensor-type-file dsv4-flash-q3k-custom.tensortypes DeepSeek-V4-Flash.gguf DeepSeek-V4-Flash-Q3_k_M.gguf Q3_K_M
По этой картинке у квена и q4_q4 норм. На пятом кванте, который все здесь и используют на 24 гб врам.
У компьютера был разбор.
Там, короче, внезапно оказалось похуй на псие при мое. Насколько помню.
Ну понятно что живя в России это способ считать себя не таким как все, лучше других. Все не знают язык барина, а я знаю!
Я вот в Германии живу, мне не нужно доказывать самому себе что я знаю язык барина и как-то гордится этим, это базовый минимум, не повод для гордости. Примерно то же что в России гордится сертификатом ЕГЭ.
РПшу на русском, кроме редких звонков с семьей и этого итт это единственное использование русского в общении.
Прав и тот и другой. Это разные случаи потому что ты вопрос скорее всего слишком широкий задал. Можно гонять экспертов туда сюда или вообще гибридный интерференс (нужно либо ик_лламу либо накатывать форки) и тут шина нужна чем быстрее тем лучше, а можно сгрузить эксперты на цпу и тогда шины хоть 2.0 хватит
❝Тони Старк собрал этот реактор, сидя в яме!... Из металлолома!❞
Распердолил mxfp4 Дипсика на своих 128+24 до стабильных 80-110pp, 6-7tg. Зачем - хуй его знает. Было весело. Спасибо анону(ам) выше за идею с mmap.
Распердолил mxfp4 Дипсика на своих 128+24 до стабильных 80-110pp, 6-7tg. Зачем - хуй его знает. Было весело. Спасибо анону(ам) выше за идею с mmap.
>ВЫложу еще раз исправленный рецепт
Спасибо за подробную инструкцию, раньше я llama-quantize не баловался, а может и зря. Буду пробовать.
> Когда Гемма 26 вышла никто из риговичков радости не мешал
Ну ты сравнил, че риговичку на букашек внимание обращать, он и заходит сюда раз в пол года.
А вот радости за тех кто юзает 200-300б тем меньше, чем моделей больше. У них и так сильный перевес, глм 4.5-4.6-4.7 большие, квены большие, минимаксы, степы, теперь еще и дипсик этим пидорасам, всё им.
>пидорасам
>рвоньк просто потому, что не принадлежит к касте пидорасов
Понятненько.
>причём постоянно ошибаясь в написании assistant . Сам ризонинг выглядит нормально.
Ты точно не проебался с разметкой? Модель серит тегами.
>https://github.com/ggml-org/llama.cpp/pull/25402
Хи хи хи.
>I conflated the --ctx-checkpoints issue on manual testing - I'll edit the description as well
Анслоты, такие анслоты.
Лучше быть 30Б нищим карликов среди пидорасом, чем 300Б пидорасом в принципе.
Ага, а ещё можно жить на улице, хуле. Зажравшиеся живут в квартирах, пидорасы! Будь последователен, иди ищи себе коробку.
>Ты точно не проебался с разметкой? Модель серит тегами.
Это и на их jinja и на текст комплишн. Судя по поведению модель считает, что ризонинг это отдельный ответ от лица ассистента
Я, кстати, немного пересмотрел своё отношение к гигачаду, даже без ризонинга он норм, если не перегружать его инструкциями и не требовать вести сложный сценарий. Особенно хорошо он себя показывает на карточках персонажей.
>Анслоты, такие анслоты.
Да, тоже проиграл с этого PR и жидкого обсера дебила на авторе.
Кстати, потестил их UD-q3_k_xl и UD_q3_k_m.
Ну скажу сразу что откровенных галлюцинаций я не заметил, отвечают ну примерно то же что и
Но, есть один косяк - их квант выдает 7.8 т.с. скорости, а мой по рецепту выдает 11. Но промпт процессинг у них чуть быстрее - на 10% примерно. Сложным инструкциям нормально ни мой, ни анслотовские так и не следуют, но это это я так понимаю беда самого дипсика, а скорее всего его имплементации в ламе.
Сейчас скачал батрушный mx4fp, буду запускать на mmap.
Спасибо анон, в половине случаев оно действительно работает лучше чем без.
Перевод инструкций:
`[OOC: Don't deconstruct the {{user}}'s reply into separate details. Respond to the overall context of the scene, the intention of the action, and the emotional impression. Don't list all the characteristics of an object or action if the character wouldn't naturally speak that way. The response should sound like a live reaction, not like an analysis of the input message.]`
https://huggingface.co/edgerunner-ai/gemma-4-31B-it-noloop
Мнение? Сам пробовал, по мозгам судя по всему не ударило но с моими 1.2 т.с. трудно проверить.
Мнение? Сам пробовал, по мозгам судя по всему не ударило но с моими 1.2 т.с. трудно проверить.
Ого, экзотика.
Глянь как будет работать qwen3.5-122b nvfp4, qwen3.6-27, gemma-4-31 тоже в nvfp4. Ну и вдогонку креа 2 также.
Букашкам тоже нет дела до слонов. Ты перекрываешь свою фрустрацию гневом и коупишь, это выглядит жалко.
>Да, тоже проиграл с этого PR и жидкого обсера дебила на авторе.
Я не столько ос PR, сколько с самой ситуации: на главной странице на обниморде МЫ ПОФИКСИЛИ БАГ! ВОТ ССЫЛКА! КОМПИЛЬ!
А потом пук и ничего не было. Ну дождись ты подтверждения, потом радуйся. Нет, надо заявить, обосраться и сделать вид что тут ничего не происходило.
Посмотрю их кванты чуть попозже. Самому интересно.
>беда самого дипсика
Он следует.. но, вот.. У меня дежавю моделей 2х летней давности. Буквально малая мистраль. Когда она вроде бы суть уловила, а потом : да похуй.
> беда самого дипсика, а скорее всего его имплементации в ламе.
Не уверен, что имплементация может влиять на непосредственно следование инструкциям. Скорее поверю, что это кванты ломают что-то, ибо отход от исходных весов чреват большими проблемами. У меня на mxfp4 с инструкциями все ок, но в особо сложных сценариях пока не доводилось тестировать. В целом, после Геммы почти любая модель будет не так дотошно следовать инструкциям, и не знаю даже, комплимент ли это ей.
Эх, а имплементации Лагуны https://huggingface.co/poolside/Laguna-M.1 в мейнлайне все нет. Кто-нибудь опробовал ее, хоть на каком бекенде, хоть в каких задачах?
> Буквально малая мистраль. Когда она вроде бы суть уловила, а потом : да похуй.
Вот-вот, один в один, у меня там инструкция чтобы выдавал блок действий в конце, он выдает поначалу, а на 7-8 сообщение опа, и перестает, типа проверяет, прокатит ли юзеру и так.
В ik lamme же есть. А это ощутимо лучше чем васянофорк
Не просто может влиять, а является определяющей. Бездумная подмена дататипов и исключение "неважных" операций ведет за собой не только "потерю точности", но и выход за привычный диапзаон или его обрезание. Функции атеншна по определению нелинейны, и такие трюки очень довольно меняют результаты, причем эффект накопительный.
Дипсик тренирован и рассчитан работать с фп8 кэшем, также присутствует клиппинг в линейных слоях. В лламе кэш в 16битах и клиппинг потерян, этого уже достаточно чтобы ловить накопительное безумие. Это уже происходило в sglang, по дефолту дипсик работает только на хопперах и серверных блеквеллах, в начале при адаптации кернелей сделали по-простому и поймали то же самое, потом пришлось эмулировать аналогичное поведение.
> после Геммы почти любая модель будет не так дотошно следовать инструкциям
В каком юскейсе подобное наблюдаешь и что под дотошным следованием подразумевается? Не срача ради и интересно.
Гемма с понёрфленным positivity bias https://huggingface.co/senaro/atlas-v21-gemma4-31b
> Не просто может влиять, а является определяющей
Вероятно, я не так выразился. Имел ввиду, что имплементация не может влиять лишь на следование инструкциям (только на это). У меня пока два чата - ассистент и тестовое рп, оба на ~50к контекста. Никаких проблем я пока не заметил, но у меня лапшичный форк с кучей pr для Дипсика. Модель отвечает адекватно, никакого мусора, лупов, затупов не замечено (речь про mxfp4). Из этого я пришел к выводу, что и следование инструкциям не затронуто.
> Бездумная подмена дататипов и исключение "неважных" операций ведет за собой не только "потерю точности", но и выход за привычный диапзаон...
Не хочу обесценивать твои слова, не подумай, что ищу срача. Это скорее всего так, но это все же только теория. Возможно, косяки проявятся на бордерлайне 65к+ или сотнят тысяч контекста, но уже есть замеры KLD по MMLU и другие. Это недостаточно, чтобы утверждать, что проблем точно нет, но и для утверждения обратного пока есть только теория и сломанные кванты, создатели которых живут в проклятом мире, который сами и создали.
> В каком юскейсе подобное наблюдаешь и что под дотошным следованием подразумевается
Из всего, что я запускал, а это все модели до 285б, Гемма 4 дотошнее всего следует инструкциям. Можно это поведение еще назвать ленью - она делает ровно то, что ей сказано делать, и ничего больше. В коде не так заметно, потому что там часто структура вывода предопределена стеком, доками и прочим, но если взять любые формы сторителлинга - даже Квен 3.5-3.6 позади по следованию инструкциям. Это и баг, и фича, кому как. Например, мне удалось победить структурные лупы промптом. Прочитай я это до релиза Гемма 4, сам бы порофлил и решил, что шиза. Она также хорошо работает с прямыми запретами формата "Don't ..." в промпте. С другими моделями это считается плохой практикой, а здесь это способ существенно сократить промпт и высвободить какую-никакую креативность. Пример: поскольку она следует инструкциям и не делает ни больше, ни меньше, одна единственная инструкция "Don't start your reply with "The" or any of characters' names." уже очень сильно если не борется с лупами, то маскирует/откладывает проблему. Если это промпт сторителлера, она запросто начнет с нарратива, придумает актуальный флешбек или подтянет еще что-нибудь из промпта и заполнит этим. Вкупе с лорбуками дает сильный результат. Наверно, перед сносом Таверны стоило с тредом зашарить пресет и инстракт лорбук. Еще нагляднее душное следование инструкциям можно отследить в CYOA сценариях, где четко определены правила гейм-овера и иные особые триггеры. В моих сценариях мне любые модели удавалось ловить на том, что они пропускают триггер, кроме Геммы. Можно сказать, у нее очень узкое внимание, но интенсивное, в то время как, например, у Квена оно широкое и всеобъмлющее, потому иногда может что-нибудь упустить. Если Гемму направлять и использовать трекеры или еще как - ничего не упустит. Но это тот еще пердолинг. Много букв вышло, так что превентивно открещиваюсь от фанбойства, недостатков у Геммы очень много, и Квены мне нравятся больше. В том числе потому, что они не настолько душные в следовании промпту, это палка о двух концах.
> Можно сказать, у нее очень узкое внимание, но интенсивное, в то время как, например, у Квена оно широкое и всеобъмлющее, потому иногда может что-нибудь упустить
Это я имел ввиду узкое окно, на котором Гемма держит внимание в момент генерации. В этом узком окне она не ошибется, зато проебет кучу деталей, связи до которых идут через глобальные слои. Чего не сделает Квен.
Неистово двачую. Именно поэтому на Гемме почти любая тян во время кума становится сосалкой кста. Гемма тупо забывает что у чарика есть другие черты и фокусируется на том, что чарик сосалка. Инжекты в стиле plist на глубину 3-4 помогают но проблему не решают
> имплементация не может влиять лишь на следование инструкциям
Да, это верно подмечено. Просто это может выражаться в разной форме, например безумие сразу, странное поведение но при этом с умом, или адекватные ответы в начале но сильное искажение истории. Субъективно, показалось что дипсик на лламе на свежие вопросы и указания вполне хорошо отвечает, но чем дальше в контекст они пропадают тем более расплывчато или даже неверно интерпретируются. Вплоть до того что он в ризонинге может сам удивляться почему так было, но потом забывать и опять творить ерунду.
> но это все же только теория
Это не теория а математика. Спекулировать можно вокруг того где это действительно пренебрежимо, а где критично, тут можно много копий сломать.
В данном случае пример очень нагляден, модель просто дурная. Это должно быть видно при сравнении логитсов или тех же бенчмарков, но кажется что их просто не делают и сравнивают только разные кванты лламы.
Если самостоятельно оценивать перфоманс совсем дотошно, то нужно сначала выделить кривизну парсера функциональных вызовов и разметки. Модель выстраивает подробный ризонинг про серию действий и планирует их провернуть, но если они разных типов - сработает только один вызов из нескольких. Такой повторяющийся диссонанс может испортить результат, потому что формирует устойчивый ошибочный шаблон. Насколько это существенно и как бы с подобным справилась оригинальная модель - хз, но в комбинации всего этого дипсик просто неюзабелен.
> Гемма 4 дотошнее всего следует инструкциям.
Правильно ли понял, что речь именно о качестве выполнения какой-то сиюминутной хотелки, даже если указание абстрактное и неявно сформулировано? Как с тем же лупом и структурами. Тут гемма в целом довольно находчивая и именно инструкции по стилю повествования и прочему обрабатывает очень хорошо. Иногда даже чрезмерно, когда начинает озвучивать значения трекеров в аргументации и прочем, но это проблема глупого юзера и промптов. Так она молодец. Подобный уровень в этом только у очень больших моделей.
Но когда у тебя стоит ряд деталей о сеттинге в начале промпта, указания по механикам мира, или ты пытаешься заставить ее работать ассистентом с кучей правил - слабо. Вместо нужного эффекта, которого прямо ждал - какой-то общий дженерик и забвение о важном. Подвешенное ружье, к выстрелу которого подходит кульминация дает осечку в большей части свайпов. В диалоге, где говоришь неявно намекая на что-то конкретное, чар вообще не выкупает пока напрямую не ткнешь. Ассистент просто халтурит, игнорируя свои возможности и пожелания если не напоминать про них явным образом. Даже очень явные указания типа "При начале общения утром пришли сводку по планам на сегодня, здоровье дисков и оборудования, погоду и пару сгенерированных левдсов" игнорируются если ранее в чате нет серии срабатываний этого паттерна а еще она может проигнорировать ошибки и просто повторить что все хорошо как раньше.
Ну да, все так. Кстати, если есть возможность катать обе модельки или быстро их свапать - рекомендую настроить обе и делать случайный или ручной выбор. Позволяет усидеть на обоих стульях и удвоить довольство урчанием.
Может мне кто-нибудь объяснить, ПОЧЕМУ 99% карточек имеют анимублядские аватары? Причем сделанные на отъебись: в карточке сказано "янтарные глаза". Похуй))0) - на аватарке розовые да, Серафина ёбаная? И такая хуйня с внешностью/одеждой буквально в каждой второй. Скачав очередное аниме-поделие, моя жопа сгорела окончательно. Теперь помимо самого текста карточек переделываю еще и превью. Вроде подобрал нормальную рисовку, экспериментирую дальше. Из плюсов - теперь всё в одном стиле и в таверне смотрится писечно. Да, на первой Серафина. Фифи на очереди хе-хе.
Да, показательный и понятный каждому пример. Персонажи ведут себя одинаково в разных чатах именно поэтому.
> Спекулировать можно вокруг того где это действительно пренебрежимо, а где критично, тут можно много копий сломать.
Оно. Пока я на собственном опыте не убедился, что что-то сломано, и внятной демонстрации со стороны тоже не увидел. И опять же, я не утверждаю, что все работает корректно.
> модель просто дурная
Я практик, потому могу сравнивать с тем, что могу запустить по соседству. Тот же Степ Флеш 3.7 прекрасен для сложного кода, хорошо работает проводит декомпозицию, если там лапшичный-страшнющий метод, класс или даже неймспейс. Не путается и отлично дебажит, рефакторит, ругает за плохие решения, с внятной, иногда даже душноватой, но всегда корректной аргументацией. Дипсик делает все то же самое, но с гораздом более коротким ризонингом и часто даже быстрее находит корень всех зол. В рп не знаю, вкусовщина, мне не интересна эта часть сабжа в последние месяцы. Дипсик на 85б параметров жирнее, у него другой аттеншн (пусть может и корявый на текущий день, неизвестно) и сами веса не так далеки от исходных. Степ хорошо квантуется, но это по-прежнему Q4KL. Опять же, я ни к чему не призываю. Просто каждый из нас видит свое, я вижу возможность и апгрейд, ты видишь проблемы. Возможно потому, что они у тебя действительно есть, возможно потому, что можешь на другом бекенде запустить и удостовериться, что все точно хорошо. Возможно потому, что я их пока не увидел.
> Правильно ли понял, что речь именно о качестве выполнения какой-то сиюминутной хотелки
Да. С Геммой все нужно делать сиюминутной хотелкой. Держать динамический саммари на некоторой глубине, своего рода массив указателей. У меня это был просто список с крючками до важных частей истории. Потому в примере с CYOA Гемма не ошибалась в проверке триггеров, но успешно теряла контекст, к которому нет подводок, а Квен наоборот - мог иногда зафейлить триггер, но в целом ошибок у него гораздо меньше, как и больше осмысленности в аутпутах.
Неплохо, но какое это отношение имеет к тематике треда? Не смотря на то что это плечистый тред, все таки карточководство это в ацыг.
> Причем сделанные на отъебись
Потому что карточки такие же - сделанные на отъебись. Если не тот кейс, то вероятно, не осиливают генерацию. У меня тоже до выхода Анимы все мои карточки были SDXL слопом 1girl standing, просто потому что у меня не было ни сил, ни желания глубоко погружаться в сабж картинкогенерации.
Хорошо, что еще в картинкотред не отправил! Туда их.
Но мы же тут играем в РП с карточками, разве нет? А агентоводы и вайбкодеры - в соседнем треде.
Вот кстати да: самый первый этап отбора карточек на ботбуру/чубе - смотреть на картинку. Если там совсем слопчанский, то скорее всего и сама карточка говно.
> Потому что карточки такие же - сделанные на отъебись.
Так 90% карточек какой то ии слоп, с шизоразметкой. Как нахуячено так и нарисовано.
>анимы
Все никак руки не дойдут, на заре картина а пробовал. Всё осталось так же комфи и вперёд?
> внятной демонстрации
То что сота с размере ~300б не может накодить то, с чем справляется квен 35а3 или гемма 26а4, не является явной демонстрацией? Или то, что в рп первые сообщения норм, а потом слюни текут?
Причем тут же запускаешь его в другом бэкенде и становится умница-красавица, с задачей справляется заметив скрытые проблемы, в рп отвечает разумно хотя специфично
Надо его чинить, потому что модель действительно способная и грядет обновление. Если будет норм работать то даже в более ужатом кванте окажется отличным вариантом среди прочих.
Проверил ваш пиздеж. Он оказался пиздежом.
Скачал qwen3.5-122b-a10b, в кванте q2, 38гб, соответственно "один эксперт" по вашей логике - буквально ссаные 3.2гб весить.
Запустил на 16vram + 64ram - генерация 2.8т/с
Запускаю плотную 12b модель в кванте q8 - генерация 34т/с
ЧТД - хуета это все про "работает один эксперт, все летает" - все блять в ~100 раз медленнее, чем когда модель полностью влазит в ram - и MoE тут никак не помогает, от слова совсем.
Просто вас устраивает хуй знает зачем на эти 2.6т/с смотреть.
Запустил mxfp4 дипсика на своей 4090 + 128 ддр5 с mmap, увидел 23 т.с. промпт процессинга на контексте 80к. Как вы с 100 т.с. его запустили? С 2048 контекста запускали?
Пустил свайп ответа где третий квант забил на инструкцию. MXFP4 тоже на нее забил и выдал примерно тот же текст что третий квант. Дальше тестировать не стал.
Это неюзабельно из-за скорости. Токены дипсика не настолько золотые чтобы терпеть такое издевательство. Пойду назад на третий квант.А может вообще на гемму вернусь, она хоть инструкциям следует.
Пустил свайп ответа где третий квант забил на инструкцию. MXFP4 тоже на нее забил и выдал примерно тот же текст что третий квант. Дальше тестировать не стал.
Это неюзабельно из-за скорости. Токены дипсика не настолько золотые чтобы терпеть такое издевательство. Пойду назад на третий квант.А может вообще на гемму вернусь, она хоть инструкциям следует.
>все блять в ~100 раз медленнее, чем когда модель полностью влазит в ram
Кто бы мог подумать??? inb4 никто и никогда не писал что мое с оффлоадом в рам быстрее чем модель в фуллврам
Ты долбоёб?
Ты -ncmoe вообще пользовался? Еше и -ngl небось не выставил, отдав на откуп -fit.
Ты шизик? У меня на 16+64 в iQ4_XS Квен 122b выдаёт ~9-10т/с. Учись запускать моэ на лламе, не позорься.
> qwen3.5-122b-a10b
> q2
> 2.8т/с
Проебался с настройками неизвестно где. Вываливаешься в shared memory или просто не понимаешь что делаешь, да и неважно. С такими заходами помогать тебе никто не станет.
> MoE тут никак не помогает, от слова совсем
Моэ снижает количество активных параметров, поэтому их инфиренс на проце получается не так больно. Иногда даже быстро если мелкомодель.
И что еще за эксперт в 3.2гб, какая-то шиза
Идиот останется идиотом. Для него гайд в шапке висит который объясняет как правильно такие модели запускать, но идиот делает по-своему, нихуя не понимает и истерит. Натурально ребенок в песочнице расстроился что его машинка без батареек не поехала и набросился на других
>гайд в шапке
дада, который пиздит даже в том что модельки на английском лучше отвечают
>помогать тебе никто не станет
как будто я просил помощи ) Тем более у местных долбоебов
А, это дотнетодебил. Устарело, расходимся
Сестра! Галоперидол этому шизу, срочно!
Помощь бы тебе не помешала, бедненький.
Анон, ты бы это, попустился, ну реально на весь тред агришься.
>на весь тред агришься
Не на весь тред агрюсь, а весь тред агрится на пару постов, оспаде дегенераты даже свою мысль сформулировать не могут...
--no-mmap -ngl 999 --n-cpu-moe 33
мудачье тупое, я это без вашего ебанутого гайда подобрал за две минуты ориентируясь по projected to use - потому что полгода уже это делаю, во сне снится эта хуйня
>У меня на 16+64 в iQ4_XS Квен 122b выдаёт ~9-10т/с.
сосед говорит у него 20т/с в этом же сценарии
Умный! Альберт Альцгеймер или как там его, реинкарнация!
Таблетки. Даже анслотный q3 всратоквант работает лучше мелочи
Мало контекста, наверное, или оперативка DDR5. Квена под рукой нет сейчас, запустил эйр с 32к контекста - 8-9т/с на старте. Помимо активной части, еще несколько слоёв впихнул - врам забита под завязку, ускоряться уже некуда.
Причем раньше емнип больше было, кажись ~12т/с. Тыщу лет его не запускал. Не удивлюсь если жора всрал поддержку старых моделек.
Если спрашивать в чатике таверны. В начале если поговорить то он хорош, но не способен довести задачу до завершения. Кажется что массового ахуя с этого нету только потому, что типичная скоростью не располагает к применению в кодинг агентах.
Если так подумать, то что лучше: ужаренная в хламину квантованием большая модель, или модель поменьше, но в более-менее вменяемом кванте?
tl;dr - depends
Забавно. Спросил у всех моделей - никто не смог корректно ответить чей след. Спросил у людей - все ответили корректно.
Потыкал в 6 кванте. Интересная (с научной точки зрения) штука. Как будто бы другая модель! На мелких контекстах мозгов достат-кол. Но ризонинг полноценный не запускается (походу его и снесли) и поэтому пожевать длинный контекст модели трудно. Русик в наличии. Цензура как ни странно триггерится , но пробивается. Очень хорошо промптица псевдо ризонинг!
Батч 2048, 3 слоя на гпу, 64к контекста (замержил драфты pr и собрал Лламу сам). Warmup с включенным mmap не работает, потому модели нужно еще разогреться. При первом обращении веса начнут загружаться, это долгий процесс. При этом промпт будет обрабатываться, возможно даже что-то генерить начнет. После полного разогрева уже держит стабильные 80-110pp, 6-7tg.
Performance by language. Какая модель, какой квант, какие запросы обрабатывает, как обозначаются 64к и 128к, что такое resource type, что есть accuracy... Похуй. Там короче русик на сколько-то там нахуй процентов больше! Видали ёпта?
Если под большой моделью имеется в виду 200B и выше - то они вполне неплохо работают в Q2. GLM 5.2 во втором кванте кодит не хуже 27B квена в восьмом, правда скорость страдает в данном случае и приходится юзать 27B квен.
МоЕ квеногеммы 26/35B на низких квантах (<=3) совсем плохие, там лучше будет использовать 9/12B плотные модели хотя бы четвертом кванте.
Плотные квеногеммы 27/31B в третьем кванте будут лучше чем 9/12B в восьмом.
Эта диаграмма буквально взята из научной статьи опубликованной университетом мэриленда и Микрософт, которую я постил выше в этом самом треде, и там методология изложена полностью
Я не знал что статью возьмет на вооружение агрессивный шиз, но тезисы изложенные там довольно интересны.
Ещё бы средний юзер знал самый понятный с точки зрения изложения европейский язык на уровне больше средней школы, так было бы вообще супер. В итоге преимущество становится недостатком, кекв, оттуда и лучшие результаты на англюсике. Им легче пользоваться и меньше шанс неверно изложить мысль
Кек, nemotron-ultra-550b-a55b с ризонинг на high говно какое-то, даже qwen 3.6 35b моешный не такие баговые ответы выдавал.
Чем выше квант - тем больше одновременных инструкций держит модель. Примерно такое априорие сейчас, можешь сам поэкспериментировать с одной и той же моделью в разном кванте.
>Им легче пользоваться и меньше шанс неверно изложить мысль
Это же является и недостатком. Он слишком прост и примитивен и сложные мысли и запросы на нем выражаются неточно, что приводит к неточности ответов. Там вся статья об этом, ознакомься.
Тоже думаю об этом. Сейчас я умудрился запустить Q6_K квант геммы 26b, на 16+6, он по гиб весит 21.1, когда общей памяти у меня ОЗУ+ВРАМ 22 гиб. И думаю, лучшее ли это? Вот, такое жадное чувство, хочется еще-еще и еще. Вчера поставил UD-Q5_K_XL ну получше будет чем mxfp4, сейчас на Q6_K хочу уже Q8_0, а вот есть ли смысл? Хуй знает. Думаю что в первую очередь то, что ты хочешь получить от модельки зависит от грамотной карточки и систем промпта. Только не понятно, где его получить\составить.
из того что тестил, правда только для художественных текстов и рп
Qwen3.5-122B-A10B в IQ2_M выдает результат лучше Qwen3.6-35B-A3B и gemma-4-26b-A4B в q4-6, но медленнее раза в 2, с длинным контекстом и во все 3.
Qwen3.6-35B-A3B и gemma-4-26b-A4B резво бегают в IQ4XS или около того, неплохо все задачи решают, но не так богато как 122B.
Те же Qwen3.6-35B-A3B и gemma-4-26b-A4B в более высоких квантах от Q6 скорость снижается до Qwen3.5-122B-A10B в IQ2_M, а результатов лучше не дают, так что смысла особо и нет.
>Те же Qwen3.6-35B-A3B и gemma-4-26b-A4B в более высоких квантах от Q6 скорость снижается до Qwen3.5-122B-A10B в IQ2_M, а результатов лучше не дают, так что смысла особо и нет.
Как ты получил такой результат? Скажи мне? Гемма а4б и квен а3б всегда будут быстрее квена а10б, потому что активных параметров меньше. Снижается до скольких? Я на квене а10б не смог бы получить 20т\с, которые получаю на гемме q6_k ведь проц, а у меня оффлоад n-cpu-moe 29, процу легче посчитать a4b активных параметров, чем a10b параметров в любом случае. Это и доказывает, что на квене-а3б я получаю под 40т\с. Потому что активных модулей меньше на 1 млрд чем на гемме. Ответь анон, че там снижается?
У тебя железо поновее видимо, судя по твоим 40т/c. На моем старом и гемма в высоких квантах и 122б квен одинаково падают в 5-6 т/с, только q4-q5 кванты от а4б бегают более-менее резво около 15 т/с. Оффлоад в проц тоже стоит. Зато 122б квен результат получше дает в тех же 6 т/с.
Поновее... 2060 и 5600, просто не нужно под виндой сидеть, когда крутишь модельки
>На моем старом и гемма в высоких квантах и 122б квен одинаково падают в 5-6 т/с,
А вот тут дело может быть в свапе, хотя, если ты запустил 122б, то у тебя должно быть достаточно памяти. Проверяй тогда видеопамять, она тоже имеет качество, как swap
Ну так то да, я под виндой сижу, может она влияет. Свап у винды на SSD выставлен и сама моделька с SSD грузится с --mmap
>Ну так то да, я под виндой сижу, может она влияет.
Стоить отметить, что у винды не идет влияние в минус. Это у линя идет в плюс. И целеполагание происходит от того, захочешь ли ты пердолится для более лучшего результата на том же железе. По сравнению с виндой я получаю под 5-8 т\с больше. И возможность запускать более жирные модели. Насколько жирнее? Зависит от того че поставишь, у меня стоял VM но он мне надоел и я поставил кеды. Жрут 1.3-1.5 гб в одной вкладкой хрома. А все остальное твое, можно уделить все под модельку. Под виндой 11 я получал максимум 2.1 гб потребления после всех фич и мем редакта
>Свап у винды на SSD выставлен
Я проверяю по загрузке диска. У меня pagefile находится на другом ссдшнике, и я смотрю, гружу модель, и если сддшник входит в сотку, то это означает, что работает своп. Но если у тебя своп на диске где система, там я хуй знает как проверить. Моя теория работает только если pagefile находится на другом ссдшнике. Если проверить видяху, лучше смотри в диспетчере задач Shared Memory там покажет, есть ли своп, график работает так, если у тебя есть линия потребления, то означает что видяшка берет озу. Но нужно понимать, если у тебя много врам, а часть модельки, которая скидывается в озу меньше\сопостовима с размером гпу. (Допустим GPU 10234 мб, а на CPU 7684 грузит) При таком случае, у тебя ОЗУшка может пойти в CUDA_HOST, что гпу будет сразу обращаться к озу минуя процессор. Тогда может быть заполненным Shared Memory на те самые 7684 мб или сколько там поставит. Но это редкий случай, и по моей практике мне cuda_host когда я был на кобольде давал прибавку за счет его работы.
> Вчера поставил UD-Q5_K_XL ну получше будет чем mxfp4, сейчас на Q6_K хочу уже Q8_0, а вот есть ли смысл?
Между Q6_K и Q8_0 разница не такая большая уже, шестой квант это обычно и так 96-97% от максимума возможностей модели, гнаться за восьмым имеет смысл только если ты особо ничем не жертвуешь ради него, например если тебе не придется снижать ради него размер контекста или закрывать браузер чтоб запустить модель.
Интересная картинка. У меня квант скачен от LM Studio и он показан как хуже, занимающий больше места, чем UD-Q5_K_XL, и дело не в том, что оптимизации лучше в нем, а в том, что квантизирован по мнению анслота он хуже, как понимаю с большими потерями, чем квант bartowski. Но, интересная конечно и красивая инфографика, но не спонсируемая ли она анслотом часом? Как по мне специально ради этого и сделана она. Да, теперь навел ты меня на мысль, качать квант от другого репакера, и хуже ли лмстудиовские Q6_K анслотовских UD-Q5_K_XL. Хотя вот у mradermacher они показывают, что она "умнее" на i-Q6_K кванте, чем Q6_K квант лмстудии, хотя весят так же.
> но не спонсируемая ли она анслотом часом?
Возможно. Но всегда можно отбросить его кванты и смотреть на другие, если хочется. Не думаю что остальные ему заплатили за свои позиции на этой картинке.
Но вообще, на реддите при выходе новых моделей куча отзывов от людей и тестов разных квантов и там в целом K_XL кванты всегда по KLD впереди и результаты других в плюс-минус соответствуют тем что на картинке. За исключением моментов когда там в первые дни явные проблемы с квантами и нужно ждать пока их пофиксят.
Здесь скорее проблема в том что KLD не всегда будет явным показателем того что один квант лучше другого. Но плюс-минус это позволяет ориентироваться насколько сильная разница между квантами.
Тестил ппять анслот? У них по их тестам вечно анслоты самые анслотистые, другими тестами не подтверждается.
Ну вот к примеру по 27B Квену. Удобнее табличку под картинками смотреть чем сами картинки. Вроде человек не из анслотовской команды, а K_XL кванты все равно все впереди по тому же KLD.
https://www.reddit.com/r/LocalLLaMA/comments/1tr9vzn/qwen3627b_quantization_benchmark/
потестил имеющиеся Qwen3.6-35B-A3B от HauHau и Bartowski в IQ4_XS
против
Qwen3.6-35B-A3B-UD-Q4_K_XL анслотного
Анслот правда лучше, в обеих других были искаженные слова, глюки с ризонингом иногда (двойной выскакивал), баги в сюжетах. У Анслота с его Q4_K_XL все ровненько, багов не замечено. Бартовский с ХауХау правда побыстрее немного, но появляющийся двойной ризонинг часто всю скорость сжирал.
Так у нового немо та же проблема что у мистралей новых не? Из датасета много нелегального (по авторским правам) убрали и заменили синтетик слопом. Это кодоунитаз, как гпт осс. Причём хуёвенький для своего размера, минимакс из той же весовой категории лучше
>я под виндой сижу
Попробуй под линупсом, моя пидарасина постоянно в рам кешировалась даже когда я гига 3 видеопамяти свободной ей оставлял и tg в ноль роняла. винда хуйню творит часто
Как то с этими 4видеокартами я не заметил одного момента: а давно ли ёбанные окна и хром охуели, что отжимают до 3гб видеопамяти? Аллё блять, тут недавно только 4гб видеокарты у народа были, а теперь такое. Неудивительно что 16-24гб народ страдает. Пидоры- врам крадут.
> iqs4 vs q4l
Ноущиит бро, реально второй лучше оказался?
В фаерфоксе можно потребление врам вообще сократить до нуля через отключение аппаратного ускорения и изменение некоторых настроек в about:config. Я делал так, но результат того не стоит, даже простой скроллинг чала в ламовской вебморде превращается в адовый лагодром. Но если эта экономия 400-500мб врам (именно столько ФФ и жрёт) поможет впихнуть что-то, что не впихивается - имеет место быть.
У меня есть ответ который я могу дать за себя, я вообще вкатывался в изначально с сильным желанием генерить аниме-тяночек из NAI треда в /b/, но как-то так получилось что я побаловался с SD 1.5 погенерив слопчик на а1111, и поставил себе ЛЛМ-ку думая что она мне просто будет помогать тэги подбирать и тд, и в итоге меня так засосало в ролевки что я просто забыл про генерации картинок, мне ничего кроме текста больше не интересовало, и даже прикрутка генерации картинок в таверну, что на первое время казалось как ахуеть идеей, но оказалось нудным моветоном и поскольку я юзал локалку, мне просто еще жалко было отдавать врам под дифузию жертвуя квантом ллм-ки или контекста. Ну и сейчас вот еле как осваиваю Comfyui, хотя там осваивать нехуй, но я сутки сидел разбираясь с кастомными нодами что бы понимание этих макарон пришло мне эмпирическим методом а не просто скопировав воркфлоу шаблон из ебучего хаоса и говна чем является всё на цивите, и по этому типа я и не ожидаю ничего от остальных кто делает слопчик картинки для карточек, типа я вот сейчас разбираюсь как юзать canny(не тех канни) что бы преобразовать картинку в контуры и уже из них генерить в аниме стилистике, и типа ну такой инструмент требует освоения, а ты говоришь за нормисов которые еле как делают слопные дефы в карточку, типа никто из них даже инпеинт не осилит, чисто как сгенерит сетка и на том спасибо.
Ну а генерят в аниме, потому что аниме это БАЗА. Типа всё, это уже стандарт. Если еще лет 10 назад это был удел гиков омежек как я, то теперь всё в аниме стиле это необходимость любого нормиса.
>Как вы заебали со своим русиком.
А да, еще по началу думал что буду юзать ЛЛМ чисто для учебы, там английский подтяну, прикручу ей TTS что бы тренировать дикцию, а то из-за социофобии я не то что на английском хуево говорю, я на родном русском еле выражаюсь и за годы хиккования безвылазного даже теперь выражено заметна стала дислексия, хотя это в первую очередь просто проеб отсуствия общения.
Ну и в итоге первое время кайфовал РП-ша на англюсике, но как только появились модели умеющие в крассивый русских, я вообще забыл о РП на англюсике, типа нахуй надо. У меня нету эстетического наслаждения от английского текста, в то время как если почитать Достоевского я могу словить оргазм просто от того как эстетически он мог передавать посыл через текст, я типа могу конечно читать в англюсике, но текст воспринимается как-то иначе.. не знаю.. может у вас у кого тут было уверен много анимуебов сидит, и типа кто пытался смотреть аниме в оригинальной японской озвучке но с англ сабами, и если пересмотреть это же но в РУ ДАБЕпрости господи то вы просто словите лютый диссонанс от сухости передачи мыслей даберами, если не вообще с жестким их проебом.
Венда и обычной памяти жрёт раз в 7 больше чем LXQT. Не дай бог у тебя всего 16 гиг.
Не ну я понимаю конечно что она при этом красивее и плавнее, но не в 7 же раз.
Хороша ли гемма под промптинг для картинок?
С одной стороны лучшая в следовании инструкциям, с другой весь смысл в разнообразии, чтоб каждая пикча была небо и земля, а гемма детерминистична в свайпах.
Не лучше ли тогда квен 3.6
С одной стороны лучшая в следовании инструкциям, с другой весь смысл в разнообразии, чтоб каждая пикча была небо и земля, а гемма детерминистична в свайпах.
Не лучше ли тогда квен 3.6
Попробуй просто ребутнуть комп, у меня да, если браузер не закрывать много суток то даже если позакрывать вкладки, через nvidia-smi почему-то браузер да и всякая другая хуйня жрет врам, хотя не должна, но если ребутаю то каким-то образом становится опять всё гладко и браузер жрет ровно столько как должен.
По той же причине по которой большинство карточек слоп - люди не хотят вкладываться.
Если я рпшу на русеке, то есть ли сакральный смысл держать промпт/карточку чара/лорбуки на английском, или лучше перевести всё? Моделька, если что, гемма 4
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь: