Риг АМД господина на ОП-пике уже который тред заставляет нвидиянищуков страдать.
Освятил тред.
Освятил тред.
Дрочеры в треде?
>Риг АМД господина на ОП-пике
>нвидиянищуков
...
>тем временем в ОП-картинках...
>4 P40 на майнерской плате
А вот это реально боль, 1x PCI ex слоты в майнерской плате.
Автор сетапа мудак, нужно слоты не менее x8 на серверной плате, тогда более-менее адекватный сетап бы получился.
По вашему мнению\опыту, как сильно версия PCI душит производительность с моешками и выгруженными слоями? Сейчас думаю оформить переезд на ам5, и соответственно с ддр4\PCIe3 прыгнуть на ддр5\PCIe5 осталось только продать душу чтобы купить 256 оперативки.
>Дохуя ты промптом решил?
Ну да. У меня нет никакого ассистентослопа и тех проблем типа соглашаемости про которые ты тут воешь. Потому что обиженка и выдумал каких-то врагов
>Вы
Вместо того, чтобы разобраться и кайфовать от хорошей модели, сидишь с кислой рожей и ноешь. Похож на эйрошиза, не удивлюсь если ты и есть
Наверно можно было бы и помочь, но зачем, если ты уже всё для себя решил и предпочитаешь быть нытиком. К тому же уже давно всё разжевали когда обсасывали темплейты для того же Эйра и когда чайноанон делился своими промтами
>осталось только продать душу чтобы купить 256 оперативки.
Оперативка продается на авито вот по такой цене. Можешь птату и проц продать потом.
>нестабильный что-ли
Он не должен быть нестабильным, правда я вижен не щупал, но 0731 пользуюсь на регулярной основе.
Попробуй 0731, ты будешь первым, кто честно проверит три модели, походу.
>ud_q2_k_xl, a вижен в ud_iq3_s от анслопов. И q3 прям заметно медленнее, всего 5.5т\с, в то время как q2 "летает" на целых 8.5-9.
Урок тебе на всю жизнь насколько iq кванты(и да, анслоповский q2_k_xl - это тоже iq квант) в нулину замедлены по сравнению с k квантами. Бери квант от тредовичка https://huggingface.co/BahamutRU/DeepSeek-V4-Flash-0731-MXFP4-Q3_K-Q2_K-mixed-GGUF - это честный квант без iq говна, увидишь реальную скорость этой модели.
Судя по логике, ты переезжаешь не на серверную плату, а на обычную, в итоге там будет один слот PCIe5 x16, следовательно у тебя одня видяха. Думаю прироста не заметишь вообще(будет минимальным), лучше сразу обновляйся на риг с серверной платой, потом сможешь расширяться, докупая видяхи.
При декодинге обмен генерациями пренебрежим, токены в секунду будут те же. А вот в префилле идет стриминг весов на видеокарту по шине для обсчета сразу батча, от шины он зависит напрямую (как и от размера батча). Если фуллврам - пофиг, хоть х1.
Если несколько карт - в лламе в режиме layer стриминг идет на самую первую, подключение остальных практически не важно. Вроде как в режиме тензор должно стримить на все, но он почти нигде не работал чтобы проверить. На фуллврам с тп от псп шин сильно зависит процессинг, может сильно пострадать при том что генерация ускорится. Если катать фуллврам вллм и другие - там при процессинге что в тп, что в пп знатные обмены, потому до определенного уровня его скорость будет во многом определяться шиной.
> ддр5
> 256 оперативки
64гиговые модули стоят на уровне cmp170 если что
> на ам5
С точки зрения ллм смысла и нет. Стоит рассмотреть риг не некросерверных платформах, ну или посвежее но там совсем цены ад.
Кстати и второй сетап тоже говно, обычная бюджетная плата где физически нет возможности каждой видеокарте выделить минимум x8 линий.
Скорость PCIE актуально только при tensor parallelism. В режиме layer split я лично комбинировал 4.0 x16 с 3.0 x4 и просадок никаких не было.
> С точки зрения ллм смысла и нет.
Разве что там будет броадкомовский сплиттер и линукс с патченым драйвером под p2p.
Там может быть х16 на первую, остальные чипсетными х4. Учитывая зоорпарк из трех архитектур видеокарт - разумное решение.
Мой систем промпт для геммы. На хуй в первом сообщении не прыгает, если в карточке не прописано.
https://rentry.co/ne4gs3x2
Начало проработано больше, чем конец.
https://rentry.co/ne4gs3x2
Начало проработано больше, чем конец.
Начал смотреть разные аддоны для глупой таверны. Почему никто не сказал о Qvink Memory? Это же имба, помимо того что делает короткую саммари, так переводит ее сразу на английский. Экономия 60-90% токенов с одного сообщения.
Ну ну. Мне твоя помощь не нужна, я тебе просто скажу хорош пиздеть. Решил он. Нихуя ты не решил. То, что гемма слоповая, излишне податливая и крайне плохо тюнится знают все. Решения ни у кого нет.
>У меня нет никакого ассистентослопа и тех проблем типа соглашаемости про которые ты тут воешь.
Ага, но пруфов ты конечно же не принесёшь потому что я такой вот нехороший шиз а может даже вообще эйрошиз. Логично нет.
Слабый байтик на пресетик, обойдёшься. Пруфы уже кидал и не раз, ктож виноват что ты отказываешься их видеть
Чел мне не нужен твой священный пресетик. Ты просто результат покажи.
"Пруфы уже кидал" это не пруф. Но раз для тебя это пруф, то я тоже кидал пруфы, что гемма это не более чем слоповый ассистент и никакими промптами это не исправить.
Ладно, ладно. Пойду лучше ещё слопика геммы покушаю чем с тобой спорить. Ты крутой 🤙
Баляяя... Я сделал хуйню, и получилось говно...
С одной стороны, я долбоеб, потому что по факту обнулил состояние обучения, и стартанул второй прогон тюнинга со стартовым лернинг рейтом.
С другой стороны, МЛщики, че за хуйня? Почему ваши нейронки это такое вонючее пердолево?
Первый раз запустил треню - лосс стоит на месте. Второй раз запустил треню на тех же данных - лосс вырос. И в итоге я не могу сказать ПОЧЕМУ нахуй.
Для запуска тебе нужно выбрать десять тысяч параметров тюнинга модели, чтобы в итоге увидеть распидорасенный лосс, и потом сиди гадай где ты проебался. Или еще хуже - иди окунайся в эти градиенты ебучие, пытайся понять где там сигнал не сигнал или еще какая хуйня.
Это че за ебатека? Это не инженерная область, а сраное гадание на таро. Ссу всем МЛщикам на лицо.
Я читал гайды, один, второй, третий, гуглил всякую поеботу. Чтобы что, через 18 часов всратых машинных ресурсов получить какашку? Вы там охуели?
Нейронщики забрали все области у алгоритмистов, якобы научили матстат чтобы он сам вычислял нужные фичи в датасете и че-то там предсказывал. И в итоге вы дебилы нихуя не можете придумать как сделать, чтобы обучение было стабильным автоматически? Вы чем вообще занимаетесь вообще? Почему мне надо читать десятки статей, выбирать сотню оптимизаторов и шедулеров, крутить тысячу параметров этих оптимизаторов, которые блять нихуя не имеют никакой человеческой интерпретации? И единственное что можно сделать в этой ситуации - тупо перебрать сотню вариантов, пока не найдется подходящая комбинация, которая не взорвет тебе лосс. Чем это отличается от астрологии?
Все. Я конченый.
DL в целом всегда алхимией был, че ты хочешь.
А чё степ флеша больше не будет?
Да. Его американцы хуйнули.
Нашел еще лучше - SummaryCeption, прям то что надо. Главное в настройках расширения, в самом конце где промпты добавить строчку: Write only on English; Тогда прям красота будет.
> Почему ваши нейронки это такое вонючее пердолево
Так и есть, особенно страшно когда начинаешь, ведь тут слишком много вещей о которые легко споткнуться. Когда привык их уже не замечаешь, но продираться придется долго. Можно отучиться в универе, там все объяснят.
> Это не инженерная область
Да не, то же самое можно сказать про любую отрасль, когда там куча управляющих параметров и ты не в курсе как они работают и коррелируют. Мл - ужасно душная и заморочная область, но с высоким уровнем абстракции, которая создает ложное чувство простоты чтобы тутже вонзить тебе нож в спину как только расслабишься.
> как сделать, чтобы обучение было стабильным автоматически?
Так оно стабильно если данные норм и нет дичи в параметрах.
> тупо перебрать сотню вариантов, пока не найдется подходящая комбинация
Не не, тут нужно понять что конкретно происходит, перебирать можно вечно.
Иди обниму, все кто пердольными вещами занимаются через этот пожар проходили.
Господа, я тут ваяю свой говняк для переработки манги в текст, и таки знаете что имею сказать?
Для теста использую пока Гемму4 26а4 в Q8 с виженом, и таки страницы манги она на русском описывает весьма неплохо и точно на первый мой непритязательный взгляд. Естественно у модели есть инфа о том, что за мангу она ковыряет, и её общее описание.
Так что возможно именно для этой задачи плотные модели будут даже избыточны.
Суммаризацию главы с тем, как это делает человек, сравню правда чуть позднее, надо поправить немного.
Для теста использую пока Гемму4 26а4 в Q8 с виженом, и таки страницы манги она на русском описывает весьма неплохо и точно на первый мой непритязательный взгляд. Естественно у модели есть инфа о том, что за мангу она ковыряет, и её общее описание.
Так что возможно именно для этой задачи плотные модели будут даже избыточны.
Суммаризацию главы с тем, как это делает человек, сравню правда чуть позднее, надо поправить немного.
>1
всратый нищий колхоз
>2
всратый зажористый колхоз
>3
Вот мне интересно, человек потратил несколько миллионов рублей. А потом сидит такой и думает "Хм, наконец-то я сейчас кубики блестящие разложу, красивенько так, поставлю пластмассовую бурятскую блядину на это все, сфоткаю и скину на двач, хыХЫ. А потом пойду в песочницу, в машинки играть".
Вердикт:
Инфантильный позер - сын вороватого росейского чиновника. Но это не точно, тупа вайб такой.
>4
Тот же автор.
На фоне всего этого, амуде-боярин выглядит как высшей степени разумист, альфа и омега, апологей разумности, стержень мироздания, 7 раса, хаваяющая на завтрак темную энергию, укатавшись в незримую материю вселенной и запивающая молоком гравитационных волн.
Апогей разумности это я. Одна видеокарта: GTX 1650, 4 GB VRAM. Избранные тюны микромоделек. Правильные настройки в override-kv. Элитные истории, элитный РП, элитный кум. Англюсик онли (руслоп не употребляю). 20+ токенов в секунду.
На дебилов с кучей видеокарт смотрю как на абсолютных дебилов.
>Так оно стабильно если данные норм и нет дичи в параметрах.
Учитывая, что параметров десяток, для каждого хоть и существует какое-то "дефолтное" значение, обычно также существуют и рекомендации когда этот дефолт надо изменять - уже этого достаточно, чтобы обосраться по полной и не понимать в каком направлении двигаться.
Лернинг рейтов мне предлагало условно 4 штуки, ранк лоры 2-3 штуки, альфа лоры еще пара штук на каждый ранк. Уже 16 вариков по минимуму. И это только начало. И частенько нельзя сделать 1/10 часть прогона - нужно запускать полный прогон, чтобы увидеть лосс упал или не упал в итоге.
>Не не, тут нужно понять что конкретно происходит, перебирать можно вечно.
Увы, у меня в наличии только один инструмент отладки - это лосс.
Ну допустим понятно, что треня изначально нестабильной была. Хотя тоже хуй знает стабильной или нет. Если ЛР слишком маленький - оно тогда бы просто ничего не учило. Тогда с каких хуев на втором запуске вдруг нестабильность вылезла и лосс пополз вверх?
Даже про ЛР нельзя однозначно сказать надо больше или меньше. При маленьком оно может свалиться в хуевый локальный минимум - и там начать распиздрязг с лоссом. А с большим оно может просто никуда не попасть и скакать вокруг да около.
Датасет? Ну хз, может и не идеальный, но вроде и не совсем хуевый, до 99.999% идеальности доводить это охуеть можно.
Лора ранк и лора альфа - ну тут вообще хуй пойми в какую сторону крутить. То ли ранка мало (много новой инфы не усваивается), то ли альфы много (лора тюнинг взъерошивает всю модель).
А каждый эксперимент - 3-4 часа компьюта, и потом около суток кулдауна до сброса лимитов.
>21/09/26
>GTX 1650
>4 GB VRAM.
>Апогей разумности это я.
Сидел бы ты хотя бы на 16ГБ - можно было бы сказать, но в таком случае ты мало бы отличался от других анонов, а так просто фрик еще и кумер
Ща бы сарказм не выкупить
> рекомендации когда этот дефолт надо изменять - уже этого достаточно, чтобы обосраться по полной
Да, эти рекомендации взяты для конкретных кейсов. Буквально частная производная от многомерной функции, что справедливо в одном наборе параметров, будет иным для другого.
> Лернинг рейтов
Наиболее сложное поскольку зависит от оптимайзера, батча и прочего. Для лоры с адамв и невысоких батчей оставь дефолт 1e-4.
> ранк лоры
Просто ее размер, на обучаемость не влияет
> альфа лоры
Множитель, ставь в диапазоне от четверти ранга до него, или просто приравняй рангу и забудь.
> это лосс
У тебя там тренировочный лосс, который может куда угодно плавать, погода на Марсе. Отведи часть датасета под валидацию и смотри на валидационный. Только с этим осторожно, лучше вручную подели чтобы там были примеры из разных датасетов, охватывающие все участки.
> лора тюнинг взъерошивает всю модель
Вут
Для диагностики помимо валидационного лосса выведи себе нормы градиантов, а также указание конкретных слоев где они максимальны и минимальны. Это поможет понять что что-то взрывается и локализовать, скорректировать альфу если она совсем уж неудачно подобрана. Ранг лоры ниже 16 лучше не ставить, не обучится толком. Лучше сразу делать декомпозицию - дора вместо легаси лоры. На какие слои peft идет, только атеншн, или mlp включены?
Ты цены на 16гб видел?
Сначала так и подумал, но мысль-то правильная, гнаться за размерами не рационально пока что
>> ранк лоры
>Просто ее размер, на обучаемость не влияет
Ну как ллмки пишут, слишком большой ранк может приводить к оверфиттингу. Слишком маленький ранк может быть слишком тупым для каких-то сложных связей.
>Отведи часть датасета под валидацию и смотри на валидационный.
А как это работает вообще? Аутпуты же это рандом. Или оно по всем предложенным токенам от семплера ищет хоть какое-то попадание в референсный ответ?
>> лора тюнинг взъерошивает всю модель
>Вут
Чем больше альфа, тем больше влияния новых весов на веса исходной модельки. Слишком много альфы - тюненх ужарит модельку.
>На какие слои peft идет, только атеншн, или mlp включены?
Все слои, шоб круче было. Квен щас посоветовал только аттеншн использовать для стабильности.
Да гемме будто похуй на промпт, как бы тут не поупили этими инструкциями, из-за ужарки в детерминизм даже промпт еле двигает свайпы. С десяток уже их испробовал и везде примерно один ответ.
> к оверфиттингу
Там похоже другой вид оверфиттинга имелся ввиду. Лора - мощный регуляризатор, но поломать и всрать она может на любом ранге.
Если утрировать, низкий ранг = запоминание низких частот и более общих закономерностей (уровня "если просят это - ответь в таком стиле") с низкой детализацией и причины и ответа. Например, учишь ты модельку что когда ей предлагают кумить - нужно прыгать на хуй. Но запомнится более общий паттерн "что-то предлагают = становиться хорни и соглашаться". При этом, сова будет натянута на глобус очень грубо, возмущение низкоранговой лорой может быть кривым и косым, из-за чего трейнлосс как раз поползет вверх, а валидационный снизится.
Высокий ранг = больше емкость, более точно и детально. Уже будет различать, что прыгать на юзера нужно только если зовут действительно в кровать, а не просто на чашечку кофе. Или что существуют фетиши, где наоборот нужно вести себя грубо по отношению к юзеру а не быть покладистой. Но при этом падают способности к регуляризации и демпингу, запомнятся также все огрехи, а если датасет недостаточно разнообразен и мелкий - буквально запомнит сам датасет слово в слово.
Потому нужен баланс. Какой сейчас стоит?
> А как это работает вообще?
Также как и замер kl дивергенции, у ллмки спроси пусть объяснит.
> Слишком много альфы - тюненх ужарит модельку.
Не ужарит, но если сильно накрутил - придется снижать лр чтобы не было резкого оверфита и значения в матрицах не получились слишком уж малыми. Это можно посмотреть просто по std в получившихся весах.
> шоб круче было
Датасет для этого нормальный нужен где новые данные есть. Так действительно лучше только на атеншн накинуть для начала.
Всё так, 99% адекватов на борде это АМД господа на Линуксе.
Вот мой сетап:
~/llama.cpp/build$ ./bin/llama-server --list-devices
Available devices:
ROCm0: Radeon RX 7900 XTX (24560 MiB, 24518 MiB free)
ROCm1: AMD Radeon PRO V620 (32752 MiB, 32722 MiB free)
ROCm2: AMD Radeon PRO V620 (32752 MiB, 32722 MiB free)
Каждый раз открываю репо лламы, и аж плохо становится. В неделю стабильно +100 ПР. Смотришь логи коммитов, большая часть это СИ и тесты.
ХаггинФейс. Итоги.
ХаггинФейс. Итоги.
Погрузился в КВАНТОВАНИЕ. Оказывается это не так уж и сложно. Если есть моделька которую я хочу попробовать она без ггуфа я теперь не прохожу мимо, а просто делаю свой Q6_K или whatever.
На очереди imatrix.
Покопал совсем чуть-чуть и знаете что. Здесь часто слышу визги о том что imatrix "убивает русик".
Ну так всё же зависит от того как этот imatrix создавать! Всякие там радермахеры они же не делают на русике фокус совсем. Можно делать свой, ru-i-matrix и будет маленький размер и хороший русик! УУУУ блядь. Почему никто до сих пор этим не занялся? Только ноют.
На очереди imatrix.
Покопал совсем чуть-чуть и знаете что. Здесь часто слышу визги о том что imatrix "убивает русик".
Ну так всё же зависит от того как этот imatrix создавать! Всякие там радермахеры они же не делают на русике фокус совсем. Можно делать свой, ru-i-matrix и будет маленький размер и хороший русик! УУУУ блядь. Почему никто до сих пор этим не занялся? Только ноют.
Вонючее меньшинство против тихого большинства.
И так во всём, вбросы от буйных без измеримых и воспроизводимых результатов ничего не стоят
Скорей всего после покупки Нвидией проект вообще закроют. Многие то и не знают, что такие крупные корпорации часто покупают проекты с целью уничтожения. По тому как Жоре стало похуй на проект после покупки, можно сделать вывод что для этого его и купили.
Хз что ты пытался сказать. Есть сомнения, что и-матрикс убивает русик? Посмотри типичные иматрикс датасеты. Там русский, бывает, присутствует, но наряду с кучей других нахуй не нужных языков вроде норвежского, африкаанс и так далее. Дохуя упора на кодинг, математику, науку, энциклопедические статьи - и это всё на ингрише.
Покупают конкурентов которых легко убить. Закроешь llama.cpp - появится форк llm.cpp через неделю и вся аудитория очень быстро переползет туда.
Я уж молчу про то что llama.cpp в принципе не конкурирует ни с одним продуктом NVIDIA, поэтому чего они этим добьются кроме просранной репутации и 13 миллиардов - непонятно.
Вот положить болт на нормальную поддержку AMD внутри llama.cpp они могут. А чтоб прям убить llama.cpp - врятли.
Он не только русский убивает, но и программирование. В датасете обычно мало примеров. Единственное что более-менее норм остается, это английские чаты и проза, ну и все что в википедии, потому что датасет весь из этого. Матан остается с наукой, потому что его дофига в википедии.
мимо
Если ты делаешь Q6_K, то зачем твои вскукареки про imatrix вообще? Иматрикс весь влияет на Q4 - тут мощная зависимость, как разные модели с ним или без, на Q5 уже послаблее, часто незаметно, на Q6 никакой разницы есть там иматрикс или нет.
Q6_k это просто пример был. Так-то у меня есть интерес к IQ4_XS и ниже (некоторые жирные модели у меня влазят только в IQ2). А ещё интересно, что можно выжать из IQ1
Всего за месяц мы потеряли две флеш модели, глм и дипсик.
А вспомните когда в конце прошлого только вышел долгожданный глм 4.6v, не успели его опробовать и сразу вышел солар в начале года. Были такие надежды.
И каким то образом всё это задушили меньше чем за год. 100б > 700б.
А вспомните когда в конце прошлого только вышел долгожданный глм 4.6v, не успели его опробовать и сразу вышел солар в начале года. Были такие надежды.
И каким то образом всё это задушили меньше чем за год. 100б > 700б.
https://huggingface.co/Altworld/Hemmingway-1
Какой-то шизотьюн квена утверждает что разъебал всех корпов в общении. Верим?
Какой-то шизотьюн квена утверждает что разъебал всех корпов в общении. Верим?
GLM flash все равно отстой какой-то, мне Q5 / Q6 не понравилась, сильно плывет по вниманию к деталям.
>квен
Хорошо пошутил
У меня одного в последних версиях llama.cpp появилась проблема со зрением 31б Геммы? Кидаю картинку - вылетает на 94% процессинга промпта. Не меняя настройки перескакиваю на старую версию - все нормально. Причем, некоторые картинки нормально проходят. Думал, от размера зависит - нифига, после ресайза все равно то же самое на части картинок. Формат жпг одинаковый.
Крч склепал мини-датасетик для imatrix на 120 Кб, почти полностью состоящий из русского (ролеплей и короткие истории) + добавил парочку историй на английском и парочку примеров кодинга (запрос-ответ).
Может это и не много, но для сравнения вот посмотрел что у бартовского там из русика в датасете - оказывается, какие-то крохи вообще, около 20 коротеньких текстов - что-то из новостей, из рекламы надёргано, вообще дичь.
Вот один пример:
При заливке не горячим, а остуженным до комнатной температуры маринадом капуста потребует более продолжительного маринования – с неделю, но хрустеть будет еще лучше. В этом варианте приготовления в ней сохранится больше витаминов и других полезностей, так что, если вы не спешите, можете попробовать. Только специи (лавровый лист, перцы и др) лучше проварить в маринаде вместе с солью и сахаром, чтобы они полнее раскрыли аромат.
А в остальном там просто куча других языков и овердохуя кодинга.
В общем, заквантовал в IQ3_S. (ах да, это Гемма-4-26). Получилось 11.1 Гб. ru-imat-IQ3_S ёпта. Не спрашивайте нахуя.
"Повреждений русика" или слабоумия пока что не наблюдаю, вот прямо вообще идеально всё.
Попробовал также в IQ1_M квантануть - полные слюни с кучей корейских символов.
Квен флеш некст это что то на уровне 2.3bpw 300б моделей по интеллекту и стабильности... Лучше уж тогда их запускать.
Короче там чето нахуевертили и теперь надо задавать --image-min-tokens и --image-max-tokens чтобы было не больше микро-батча.
Пиздец конечно неудобно.
Ты реально не видишь дыру в логике? Как сказанное тобой показывает что иматрикс убивает русский и другой языки? Это пиздец. Отсутствие его в датасете не делает его хуже, это не делает его лучше. Отсутствие деградации, отсутствие улучшения
Двачую анона выше, что воспроизводимых результатов иматрикс шиз пока не принес. Плоскоземельщик и сторонник уринотерапии
importance matrix просто сохраняет способности модели (в некоторой степени) при квантизации
Если в калибровочном датасете не было русского языка - то получается, что использование importance matrix не позволило деградировать (насколько это возможно) при квантизации лишь тем языкам, которые собственно и были в importance matrix
Активного ухудшения того, что не пытались сохранить, не должно быть - логика обычно такая - но в то же время нет доказательств, что калибровка специфическими датасетами не работает как этакая чаша весов, смещая способности модели в сторону того, на что калибровали
Одно точно известно - НАМЕРЕНИЯ ухудшить языки, которых в калибровочном датесете нет, как известно не существует
Квантуя модельки с калибровкой через imatrix, авторы ггуфов просто не думают о том, что у каких-то червей-иностранцев может быть 0 улучшений или "отрицательные улучшения" (лол). Терпите.
Если в калибровочном датасете не было русского языка - то получается, что использование importance matrix не позволило деградировать (насколько это возможно) при квантизации лишь тем языкам, которые собственно и были в importance matrix
Активного ухудшения того, что не пытались сохранить, не должно быть - логика обычно такая - но в то же время нет доказательств, что калибровка специфическими датасетами не работает как этакая чаша весов, смещая способности модели в сторону того, на что калибровали
Одно точно известно - НАМЕРЕНИЯ ухудшить языки, которых в калибровочном датесете нет, как известно не существует
Квантуя модельки с калибровкой через imatrix, авторы ггуфов просто не думают о том, что у каких-то червей-иностранцев может быть 0 улучшений или "отрицательные улучшения" (лол). Терпите.
Ну в таком случае все квантоделы шизы, так из твоих слов выходит.
Выходит из твоей нездоровой интерпретации*
Аноны сейчас поднимаю приложуху простейший календарь на пайтоне
Код пишет обычная внешняя бесплатная модель.
Постоянно поправки, тут измени, здесь ошибка...
Если я поставлю обёртку для агентов и дам агенту работать самостояльно - там будет такая же ерунда? Или условно поставил модель дал ей полный список ТУДУ и они по итогу часа за два за три сама сможет написать продукт?
> написать продукт
Нет. Код напишет и проверит
Зависит от модели и от обертки. В целом это выполнимо, но есть 1000 возможностей зарулить не туда. В общем, готовься контролировать процесс и внятно объяснять че надо делать.
Иматрикс это когда моделька читает текст, а иматриксователь смотрит какие у модельки веса активировались. И вот эти "горячие" веса помечаются как "важные". Если не показать ей русского текста, то русские веса будут помечены как "малозначимые" и будут уквантованы в нулину.
Нездоровый у тебя стиль письма. Приходится интерпретировать. Просто посмотри на хуйню, которую ты пишешь:
>Отсутствие его в датасете не делает его хуже, это не делает его лучше. Отсутствие деградации, отсутствие улучшения
Даже квен в IQ2_XXS внятнее выражается.
Квантоделы стараются включить примеры из разных языков в датасет для чего? Для того, чтобы эти языки там лучше "сохранились". А для тебя это уринотерапия от шизов. Выходит, что по твоей логике все квантоделы - шизы.
> Если не показать ей русского текста,
То никакие "русские веса" (што блять) никто не увидит
Логика идиотская. У модели с большей вероятностью все то же самое будет активироваться, с очень мелкими расхождениями.
И вообще если поинспектить ггуфы, можно заметить, что квантуются примерно однохуйственные вещи что с imatrix что без него
Ты же пытаешься это завернуть в сторону РУСЕК НАМЕРЕННО ПОРТЯТ РРРЯЯЯ!!!11
Капец. И какая модель лучше всего сейчас с этим справляется? Кодекс с Астрой?
Смотря как настроишь, но в целом да, запустил и оно само работает, тестит, правит. Только запускать лучше в виртуалке, а то если не убьет систему, то засрать всяким калам может на изи.
Можешь в агенто треде поспрашивать, но это загон для умалишенных, сразу предупреждаю.
Для этого другой тред на доске. Иди туда
Никто намеренно ничего не портит. Просто никто намеренно не делает фокус на русике в иматрикс-датасетах. Делают фокус на английском и на кодинге, а русский там постольку-поскольку наравне с хинди, ивритом, шведским и так далее.
Посему если твоя цель - общение на русском и ты используешь imatrix квант по каким-то своим причинам (чтобы влезло и была скорость, например), то есть смысл сделать свой ru-imatrix квант. Просто чтобы качество русика было выше. Чего ты так завёлся от этого?
Присутствие русского в датасете делает так, что он квантуется чуть лучше. Его отсутствие там не делает так, что он квантуется хуже. Противоречие где? У тебя по математике и информатике совсем плохие оценки в школе были, что не понимаешь элементарную логику?
По поводу "русских весов" в голос. Было несколько научных статей, что мультилингуал активации помогают всем языкам, тот же норвежский в том числе помогает русскому, потому что модель не "думает" на определенном языке, и присутствие других языков в датасете уже достаточно, чтобы улучшить квантования перевода на ЛЮБЫЕ которые есть в датасете
Ты можешь сколько угодно визжать, что иматрикс убивает русик, но это именно что бред буйного и не более. Либо приноси воспроизводимые примеры
Если у тебя не что-то сложное, то практически любая, из локальных 27 квен и квен Некст, ну и фактически любая из больших новых.
Ебанат, ты бы не заикался про логику-то. Перечитай свой бред ещё раз.
>делает так, что он квантуется чуть лучше.
Пруфы неси, шиз.
Иматрикс не ухудшает то, что отсутствует в его датасете. Слышал что-нибудь про игру с положительной суммой? Нет никаких русских весов и русских активаций. У модели активации настолько широкие, чтобы добавление любых языков в датасет иматрикса уже улучшает способность модели выражаться на любых языках, какие у нее есть в датасете. Как и пишет
>У модели с большей вероятностью все то же самое будет активироваться, с очень мелкими расхождениями.
Хоть кто-то здесь понимает, о чем говорит. Какойад
Ты можешь:
1) улучшить русик
2) не улучшать русик (почему-то тебе не хочется это назвать ухудшением ну да похуй, ты просто придрался к словам, пусть это будет не улучшением однако в варианте №2 русик будет хуже чем в варианте №1. Вывод: отсутствие русика в датасете иматрикса ведёт к ухудшению русика в кванте. Сасай-обтекай.
Ебааать, понял. Действительно неуч, дырявая логика восьмиклассника. Ты буквально не можешь осознать то чего тебе пишут, лол
Помогите ньфагу
https://huggingface.co/jayn7/Z-Image-Turbo-GGUF
Как данную хуитку запустить на некропекарне 16gb и некровидюхой без CUDA. ollama да?
https://huggingface.co/jayn7/Z-Image-Turbo-GGUF
Как данную хуитку запустить на некропекарне 16gb и некровидюхой без CUDA. ollama да?
В картинкотред пройдите
Никто еще не пробовал алису?
https://huggingface.co/yandex/AliceAI-Foundation-80B-A3B-Base
https://huggingface.co/yandex/AliceAI-Foundation-80B-A3B-Base
Ты троллишь или взаправду такой тупой? Отправь эту ветку ЧатГопоте, может хоть ей терпения хватит тебе объяснить на простых советских бытовых примерах, чтобы твоя плесневелая голова переварила.
В картинкотреде помогут, тут текстогенерация.
imatrix-фобия у чела растет на почве того, что он сам себя убедил, будто бы когда модель говорит на конкретном языке - работают какие-то страшные внутренние части модели, которые активируются ТОЛЬКО на этом языке
На деле же там одни оверлапы - если посмотреть через j-lens например, видно что это целый градиент по слоям
Ну допустим токен ПУК = слои с 25 по 39й
Смотрим токен FART = слои с 24 по 37й
Не ебу как там с этим отдельные тензоры коррелируют или че там вообще на техническом уровне происходит, но тут и дураку понятно, что когда калибруется по англюсику то и русский тоже никуда не девается
На деле же там одни оверлапы - если посмотреть через j-lens например, видно что это целый градиент по слоям
Ну допустим токен ПУК = слои с 25 по 39й
Смотрим токен FART = слои с 24 по 37й
Не ебу как там с этим отдельные тензоры коррелируют или че там вообще на техническом уровне происходит, но тут и дураку понятно, что когда калибруется по англюсику то и русский тоже никуда не девается
Там на русских весах все понятно стало уже. Непонимание приводит к эзотерической интерпретации, вызывающее поведение как отчаянная попытка разобраться, чтобы его с ложечки покормили и объяснили
Ну отправь. Ты не понимаешь что ли что при квантовании из скажем f16 в q4 страдает всё в том числе русик? Добавь русик в датасет - он улучшится. Не добавил русик в датасет - получил русик который хуже. Проблемс? Хватит уже семёнить, порватка.
хотя, яндекс выложил вообще голую базу без шаблонов
https://huggingface.co/yandex/AliceAI-Foundation-80B-A3B-Base/blob/main/tokenizer_config.json
>chatgpt
>копропомоечка угождающая юзеру, которая например обрекла гендиректора Krafton на финансовый крах и судебный иск, потому что поддержала его маняидею
>данные из 2023
Даже не знаю что здесь лучше. Вот упомянутая выше бумага https://arxiv.org/html/2503.03592v3 вернее одна из
Предпочитаешь верить иидиоту и закрывать глаза на научные бумажки - твоё дело
Но на самом деле всё ещё проще. Приноси воспроизводимые однозначные результаты и показывай треду. Это тебе не высеры копропомоечки приносить и не набрасывать, конечно
Вот ещё две: https://arxiv.org/pdf/2407.03211
https://arxiv.org/pdf/2402.18815
Хотел пруфы - наслаждайся. Либо приноси достойный ответ, либо возвращайся в палату и попроси успокоительного
https://arxiv.org/pdf/2402.18815
Хотел пруфы - наслаждайся. Либо приноси достойный ответ, либо возвращайся в палату и попроси успокоительного
Ты первый стал утверждать что иматрикс не ухудшает русик. Вот ты и приноси пруфы.
Принёс-принёс. Вон три ссылки выше. Оранжевым цветом выделены. Нажимаешь на них и читаешь. Источник хороший, там все ML лабы публикуются. Вот скриншот приложил куда надо нажимать, чтобы увидеть текст. Верю в тебя
Твои ссылки ничего не доказывают. Вопрос был поставлен конкретно: где пруфы что иматрикс не ухудшает русик? Твои ссылки ничего общего с этим вопросом не имеют. Или это у тебя троллинг такой, забросать оппонента каким-то мусором, пусть сидит читает? Возьми и приведи цитаты оттуда. Не можешь? Досвидос.
Понятно, на этом можно и закончить. Как и на том, что сам ты пруфов никаких не предоставлял никогда и не предоставишь, потому что нет их
Ставлю вопрос конкретно: где пруфы что иматрикс ухудшает русик? Кстати все обсуждение именно с этого утверждения и началось. Пруфы почему не принесли?
А я разве так говорил? Ну может я просто не совсем точно выразился. Я имел в виду, что с "плохим" датасетом в иматриксе русик хуже чем если бы датасет был хороший для русика, НО, читай внимательно: ВСЕ ХУЙ КЛАЛИ НА РУСИК. Следовательно во всех иматриксах которые ты качаешь русик испорчен. Так понятней стало?
И тут решение только одно - делать свои кванты. Я не понимаю каких ты хочешь "пруфов" если ты сам уже согласился что хороший датасет с русиком улучшает русик в иматриксе. Надо же смотреть на реальное положение дел на хуггинфейсе. Там нету иматриксов, в которых русик был бы не испорчен, потому что датасеты говняные, там упор на кодинг, на инглиш.
Вот этот базу говорит
Нам нужен правильный ru-imat. Это особенно остро ощущается в квене.
Нам нужен правильный ru-imat. Это особенно остро ощущается в квене.
Мань, вопрос конкретный задан: где пруфы-то? Вот эти твои буквы которые ты набираешь пруфом не являются. Я тоже много что могу на своем устройстве ввода набрать.
Показывай скриншоты, воспроизводимые результаты, где imatrix квант в датасете которого не было русского на русском пишет хуже, чем static квант без imatrix. Или это у тебя троллинг такой, выманивать из противоположной стороны опровержения твоей точки зрения, потому что ты ленивое говно? Показывай конкретику. Не можешь? Досвидос.
>Мань, вопрос конкретный задан: где пруфы-то?
Ещё раз: зачем тебе пруф если ты и сам согласился с утверждением?
Вот твои слова:
>Присутствие русского в датасете делает так, что он квантуется чуть лучше.
Так вот, в датасетах русского - с гулькин хуй. Поэтому русик безнадёжно там испорчен.
Возьмите уже 2 одинаковых кванта от мрадермахера, у него на всех новых моделях есть Q4_K_S с иматриксом и без, тут вся разница и будет видна сразу. Потом прогнать через какие-нибудь тесты для генерации одинакового промпта на русском.
Ну там как правило в иматриксе русик хуже, это уже все давно знают.
Это не мои слова, тут не чай вдвоем. Ещё раз, конкретная постановка вопроса: где пруфы, что "датасетах русского - с гулькин хуй. Поэтому русик безнадёжно там испорчен."
Показывай. Приноси два imatrix кванта, в одном в imatrix датасете русский есть, в другом нет. А ещё лучше вместе с ними принести static квант. Делай. Не можешь? Досвидос.
Тогда срач придётся заканчивать и снова возвращаться к шапке
А где пруфы, что если из иматрикса убрать русик то русик не испортится?
Смотри, тут и пруфов не нужно. Ты просто пытаешься квантоделов выставить шизами зачем-то, но они как бы знают что делают и поэтому стараются добавить по чуть-чуть каждого языка. Если бы это не меняло качество языка то они бы этого не делали. Вот тебе и пруф, обтекай.
Жоришка жопанов...
Подскажите поледний нормальный рп где не насрано в промпт процессинг, я заебался, просто рандомно всё репроцесится который раз.
Подскажите поледний нормальный рп где не насрано в промпт процессинг, я заебался, просто рандомно всё репроцесится который раз.
Вкусняшки, стоит ли качать аблитерацию/херетик для 3.8 флеш 170б? И если да, то от кого? Что вам зашло больше?
Запустил этого ЗВЕРЬКА на своих мощных 48 ddr4 и 3060@12 VRAM +p104@8 VRAM в q3, и выглядит пока вполне сносно. Но никакие промпты не пробивают с ризонингом. Без — работают, но в таком случае он пишет всё короче и короче, и старается избегать неприятных тем.
Запустил этого ЗВЕРЬКА на своих мощных 48 ddr4 и 3060@12 VRAM +p104@8 VRAM в q3, и выглядит пока вполне сносно. Но никакие промпты не пробивают с ризонингом. Без — работают, но в таком случае он пишет всё короче и короче, и старается избегать неприятных тем.
> Смотри, тут и пруфов не нужно
> Вот тебе и пруф
Иногда я искренне завидую тупоголовости некоторых индивиидумов.
Впрочем, сути это не меняет: конкретных доказательств ты не принес, как и всегда, поэтому продолжаешь числиться буйным шизом, который раз в месяц-два регулярно высирается и начинает срач, вместо того чтобы
>в одном в imatrix датасете русский есть, в другом нет.
Дружище, когда твоё утверждение идёт в разрез с банальной логикой (вот как можно убрать язык из датасета и надеяться на то, что это не испортит способности модели общаться на этом языке?), с общепринятым мнением и с тем, что делают авторитетные знающие люди (квантоделы), то пруфы обязан принести конкретно именно ты.
Не в кванте проблема, а в прослойке между креслом и монитором. Или в бекенде, если очень повезло словить баг.
> вот как можно убрать язык из датасета и надеяться на то, что это не испортит способности модели общаться на этом языке
Выше уже двое анонов тебе объяснили, что при ответах на разных языках у моделей активируются одни и те же части. Значит, и квантуются языки одинаково. Выше тебе уже предоставили три научных труда, которые это подтверждают. Пруфы есть. Ты их игнорируешь и обратное доказать не можешь даже конкретным примеров, запустив два кванта от mradermacher - с imatrix и static, и прислав скриншот-сравнение. Что делается за несколько минут.
>ВСЕ ХУЙ КЛАЛИ НА РУСИК
Могу их понять. Адекваты используют англюсик, а такие как ты никому не интересны. Ёбик потратил на срач больше времени, так ничего и не доказав, хотя мог бы давно уже примеры продемонстрировать.
Как хорошо быть англюсикоэнджоером.
В настройках обосрался. Чекай логи, проверяй почему чекпоинты не проходят валидацию.
От Orcarouter норм. Качать стоит, как ни странно даже для кода.
Хм, хочу рип-версию гвена на 122B сделать. Ну который с энграммой. Датасет есть вроде как.
Если я это сделаю - autoround/vllm из коробки будет читать с уменьшенным числом экспертов модель, или изменения будут существеннее, чем в конфиг-файле поменять цыферку числа экспертов и веса смерджить межжу ненужными экспертами?
Если я это сделаю - autoround/vllm из коробки будет читать с уменьшенным числом экспертов модель, или изменения будут существеннее, чем в конфиг-файле поменять цыферку числа экспертов и веса смерджить межжу ненужными экспертами?
Я на Q_4_K_M, да, без ризонинга промпт - это слабый-слабый намек. Но с ризонингом она обращает внимание на него, может и нахуй послать, если незнакомке предложить поебаться.
Я как то и не заметил что --no-mmap больше нет.
Всё, спиздили. И не просто заменили название, а с концами оторвали возможность загрузить модель фулл в рам чтоб она там и оставалась и не выгружалась.
Всё, спиздили. И не просто заменили название, а с концами оторвали возможность загрузить модель фулл в рам чтоб она там и оставалась и не выгружалась.
Чё за jev? За сегодня уже два раза натыкаюсь на это название. Не понял что это, но вайбы как будто произошёл какой-то невероятный прорыв, который никто не ждал.
А теперь сделай очень простой эксперимент. Возьми к одной модели свой imatrix и imatrix Бартовского. И скажи квену с доступом к питону их сравнить. в питоне есть ггуф парсер если что. Приноси результат. Я это к чему веду. Я таким образом сравнивал иматриксы RCO и свой иматрикс полученный из датасета Бартовского добавлением десятка килобайт русской прозы и выковыриванием арбащины и хинди. Важности весов были идентичны на 99%. При том что датасет RCO какого-то чудовищного мегабайтного размера.
lm none тоже что no-mmap 🤡
Проблема в то что ты не сможешь померить imatrix если не можешь запустить модель в ровно-квантованных весах причем достаточно жирных чтоб модель не шизела
Нет, не тоже. Раньше я мог скомбинить no mmap и mlock, а теперь не могу.
Хватить защищать жорика ебланова, он ведь тебе даже не платит и поддержку глм не завозит.
-none это то же самое что старый no-mmap, дурик
> Значит, и квантуются языки одинаково.
Ну, это уже твоя неподтверждённая догадка просто. А по ссылкам тем было совсем другое. Хочешь сказать мрадермахер дурак? ну ну.
бляд прямо у тебя на скрине отдельно mlock и mmap+mlock
Нахуй мне mmap если мне нужен no-mmap?
Чето я всерьёз начинаю думать что 4 квант это ультра-копиум для нищуков. Любая модель что не возьми перформит на 7bpw заметно лучше, но типа что то вроде лучше, а сразу чувствуется не лоботомит. И лоботомит уже в 4 кванте.
Пруфы неси и не забывай что квант кванту рознь. Тот же иматрикс как известно напрочь убивает русик.
Пруфошиз, никто не должен тебе ничего нести. Если тебя заинтересовало что я написал, бери и проверяй сам.
А пока я думаю, анализирую. Вроде и логично что 6 квант лучше 4, но тут так пишут мол разницы и нет.
>иматрикс как известно напрочь убивает русик
Мне не известно. Покажешь?
Не, это врядли. Могут заставить его переосмыслить и отрефакторить, чтобы выстроить все вокруг гпу инфиренса и современных подходов (которые не отменяют производительные cpu кернели). А не то что работало 3 года назад, легко воспринимается без погружения и портируется на метал.
Поддержку амд это не убьет, но множество некроты и всякие вулканы отлетят.
> Его отсутствие там не делает так, что он квантуется хуже.
Как ты думаешь, за счет чего достигается улучшение вещей, которые есть в калибровке?
Тема деградации языков при imatrix и подобном довольно неоднозначная, но в твоих суждениях противоречие очевидное.
Бартовски провел тест. Полностью английский калибровочный датасет — 18 из 512 экспертов вообще не активировались ни разу. Ну вы понейли, да?
Если бы был тредовичок-квантайзер с полностью русским датасетом на РП, рассказы, стихи, то можно было бы получить модель с куда более хорошим русиком. Ибо нахуй этот ваш говнокод ненужон.
Если бы был тредовичок-квантайзер с полностью русским датасетом на РП, рассказы, стихи, то можно было бы получить модель с куда более хорошим русиком. Ибо нахуй этот ваш говнокод ненужон.
Тест ты конечно не покажешь. Как и доказательства того что в этих 18 экспертах русские веса.
Вот и раскрыл суть своего семёнства, мечтаешь что появится Иисус, который будет делать тебе кванты с русскими весами. Ебанутый. Тебя бы вот туда отправить, на три буквы.
Ну почему? Почему вы не хотите идти и проверять всё за меня? Вам что жалко что ли?
В голос. Все так.
С полностью русским тоже будет плохо, модель отупеет. Нужен мультиязычный, где русский богато и разнообразно представлен. И техничка, и художка.
Проблема вся в том, что для такого нужен большой калибровочный датасет, и с ним будет считаться долго.
Да какая нахой проблема, берёшь флибусту с рутрекера, всю её переводишь в калибровочный датасет и поехали. Там такие выводы будут просто ахуеешь, Фейбл дома!
Итак, провел тест двух абсолютно одинаковых Qwen 3.8 Q4_K_S от одного и того же релизера - одна с иматриксом, другая статическая без иматрикса.
Сами ответы:
https://rentry.org/qwen38static
https://rentry.org/qwen38imatrix
Судьей выступал умнейший Chatgpt:
По этой выборке статическая версия без imatrix набирает больше баллов: 50,5 против 46,5. Разрыв не огромный, но по заданной вами системе победителем получается именно статическая версия.
Я бы оценивал каждый вопрос по 10-балльной шкале. При этом критерии подбираются под саму задачу: для Q1 важнее всего полнота грамматических исправлений; для Q2 — соответствие формы заданному падежу и естественность примера; для Q3 — точность морфологического и синтаксического разбора; для Q4 — выполнение словарных и объёмных ограничений плюс качество прозы; для Q5 — буквально точное соблюдение формальных ограничений; для Q6 — смысловая точность, литературность, регистр и сохранение иронии.
ВопросQwen3.8-27B.Q4_K_SQwen3.8-27B.i1-Q4_K_S
Q110,07,0
Q28,58,0
Q36,06,0
Q48,07,5
Q59,010,0
Q68,58,0
Итого50,046,5
Есть несколько особенно показательных различий.
В Q1 статическая версия заметно сильнее. Она исправила оба нарушения: «которые» → «которых» и «должен» → «должны». imatrix-версия исправила только второе, оставив ошибочное «которые вчера обсуждала начальник отдела». Для задачи «исправив все грамматические ошибки» это существенный промах.
В Q2 у обеих моделей есть по одному серьёзному нарушению соответствия формы и примера. У статической версии строка с родительным падежом содержит «о переосмыслении», то есть предложный падеж, хотя заявлено «переосмысления». У imatrix-версии в разделе множественного числа для именительного стоит «Переосмысление» — фактически единственное число. При этом у статической версии примеры в среднем чуть естественнее.
Q3 — слабое место обеих моделей. Они довольно хорошо определяют сами падежи и формы большинства слов, но систематически путаются в синтаксических ролях. Особенно заметны «руководством» и «большинством», которые названы обстоятельствами, хотя в конструкции с пассивом их естественнее квалифицировать как субъектный/агентивный творительный, то есть дополнение. Кроме того, обе модели некорректно описывают «было принято» как составное глагольное сказуемое. Поэтому здесь я не стал искусственно отдавать большое преимущество ни одной версии.
В Q4 обе модели формально выполняют основное условие: все десять заданных слов употреблены, а объём находится внутри 700–900 слов. У статической версии около 823 слов, у imatrix около 730. Но у статической есть несколько явных ошибок: «коллекцию рукописей, которую завидовали бы» вместо нормативного «которой завидовали бы», и финальное «в их неказистой, тихой, живом мире», где нарушено согласование. У imatrix тоже есть неудачные места: например, «ухищрением выписанные усы» звучит искусственно, а «непотребство — не нравственное, а бюрократическое» выглядит как натяжка для естественного употребления слова. В сумме я дал небольшое преимущество статической версии.
Q5 показывает обратную картину: содержательная часть обоих ответов практически идеально соблюдает формальные ограничения. В обоих первых абзацах нет буквы «о», в четвёртом ровно два двоеточия, всего восемь абзацев по два предложения, а последний абзац содержит вопрос. Но у статической версии есть лишняя мета-информация перед самим ответом: «first attempt - ended in loop, restarted manually, second attempt:». Для задания с формулировкой «строго соблюдай все условия» это нельзя считать полностью чистым ответом, поэтому ей 9 вместо 10.
Q6 — близкий результат. Обе версии хорошо передают содержание, структуру диалога и общий сухой юмор. Но у обеих есть одна заметная переводческая ошибка: английское “semicolons” передано как «точечные запятые» вместо нормативного «точки с запятой». Есть и отдельные кальки/не совсем естественные места. В статической версии, на мой взгляд, итоговая русская фразировка немного ровнее, поэтому ей 8,5 против 8.
Итог: Qwen3.8-27B.Q4_K_S.gguf без imatrix — 50,0; Qwen3.8-27B.i1-Q4_K_S.gguf с imatrix — 46,5. Побеждает статическая версия, с преимуществом 3,5 балла.
При этом результат интересен именно тем, что imatrix не дал общего улучшения качества русского на этой шестерке: он выиграл формально очень строгий Q5, но потерял больше на Q1, а также не смог компенсировать ошибки в Q2–Q4 и Q6.
Ты Бартовски? Сколько русских весов в неактивированных 12 экспертах?
Да идите нахуй мажоры ебаные.
Ой извиняюсь 18. Это на треть больше русских весов чем в 12.
что и требовалось доказать. я для рп беру статические кванты, а для кодинга иматрикс.
Скорее бомжоры
животное окончательно сломалось и перешло на юродство
кстати слог 1:1 как у хуесоса который про kld срал, интересно, каковы шансы что это одно и то же существо? то тоже накопив обидок рано или поздно переходило на ТраЛениЕ))))) и ответы на собственные посты
Красиво жить не запретишь
> каждый вопрос по 10-балльной шкале
> больше баллов: 50,5 против 46,5
> по одному сравнению на квант
Ты понимаешь что просто монетку подбрасывал? И при запросе к модели, и при оценке гопотой.
Также, твой "судья" знает о том что сравниваются разные вещи, знает их характеристики, имеет свое предубеждение на которое невольно натянет результат. Только "вариант А-вариант Б", никаких имен и характеристик.
Вместо imatrix с неравномерным распределениям по разным кускам, лучше использовать техники типа autoround. Там тоже есть калибровочный датасет, но он позволяет наилучшим образом раскидать веса в рамках имеющегося бюджета, правильно выбрать группы и их множители с учетом градиентов, а не просто так. Общая стабильность поведения будет выше потому что не возникнет лоботомированного эксперта, который из-за особенностей датасета показался ненужным.
Как перестать кумить? 12 часов сидел без перерыва дрочил, думал сдохну. Это порно Грааль нахуй.
>Это порно Грааль
Могу сказать так только про эир и модели выше, всё остальное - мех, один слоп и очень мало знаний по фетишам. Хотя на гемме вон люди удивляются когда модель пизда сама напишет.
У меня нет 54 врам, чтобы калибровочные тесты гонять. Так бы я даже заморочился с датасетом русским.
Не вижу смысла. Русским нужен русик. Кто кодом занимается или англюсик использует, ему уже есть что качать.
Просто нужен более разнообразный калибровочный датасет, если прям "отупение" беспокоит: не только вещи из треда, но и что-то техническое иногда.
Ну что ж, посудим заново. Теперь судьей выступает Gemini, файлы были переименованы в A1 и B1, никакой информации о моделях Gemini не давалось. A1 - imatrix, B1 - статика, этого Gemini не знала. Результат не изменился:
Для объективного сравнения ответов моделей A1 и B1 разработана 10-балльная шкала для каждого из 6 заданий (максимум — 60 баллов).
Критерии оценки учитывают: точность выполнения инструкций, строгость соблюдения ограничений, грамматическую и морфологическую грамотность, а также естественность и стилистическую чистоту русского языка.
Анализ и оценка заданий
Вопрос 1: Исправление грамматических ошибок
Критерии (10 баллов):
Обнаружение и исправление ошибки 1: «сотрудников, которые» → «которых» (одушевлённое дополнение требует винительного падежа, совпадающего с родительным) — 4 балла.
Обнаружение и исправление ошибки 2: «должен быть подписаны» → «должны быть подписаны» (согласование во множественном числе) — 4 балла.
Сохранение синтаксиса/смысла и корректность объяснения — 2 балла.
Модель A1:
Исправила только согласование: «должен → должны».
Пропустила грубую грамматическую ошибку в первом предложении, оставив: «сотрудников, которые вчера обсуждала начальник отдела».
В объяснении назвала «должны» модальным глаголом (в русской традиции это предикативное прилагательное/слово категории состояния, но допустимо).
Оценка A1: 5.0 / 10 (не найдена ключевая ошибка).
Модель B1:
Нашла и верно исправила обе ошибки: «которые → которых» и «должен → должны».
Дала исчерпывающее и лингвистически грамотное объяснение обоим случаям.
Оценка B1: 10.0 / 10.
Вопрос 2: Склонение слова «переосмысление» и предложения
Критерии (10 баллов):
Правильность форм в парадигме склонения (ед. и мн. ч.) — 4 балла.
Точность применения именно заданной формы в контексте предложения — 3 балла.
Естественность, отсутствие шаблонов и грамматическая чистота — 3 балла.
Модель A1:
Сами формы в таблице указаны верно (4/4).
В предложениях допущены грубые сбои согласования с формой:
Для И. п. мн. ч. (переосмысления) составлено предложение с формой единственного числа: «Каждое переосмысление начинается...».
Для П. п. мн. ч. (о переосмыслениях) в предложении использован родительный падеж: «...место для переосмыслений».
Шероховатости в синтаксисе: «Она завершила переосмыслением...» (пропущено прямое дополнение: завершила что?), «в разный период жизни» (вместо разные периоды).
Оценка A1: 6.5 / 10.
Модель B1:
Сами формы в таблице указаны верно (4/4).
В предложениях также допущены 2 подмены падежей:
Для И. п. ед. ч. в предложении слово стоит в винительном падеже (прямое дополнение): «Три года я откладывал [что?] переосмысление...».
Для Р. п. ед. ч. в предложении фактически использован предложный падеж: «Её молчание говорило о [чём?] переосмыслении...» (вместо формы «переосмысления»).
Сами предложения у B1 звучат живой и взрослой литературной речью, без синтаксических сбоев.
Оценка B1: 7.5 / 10.
Вопрос 3: Морфологический и синтаксический разбор
Критерии (10 баллов):
Точность морфологических параметров 15 слов (род, число, падеж) — 5 баллов.
Определение синтаксической роли — 3 балла.
Логичность и корректность лингвистических пояснений — 2 балла.
Модель A1:
Все морфологические признаки определены абсолютно точно. Модель правильно учла, что у прилагательных во множественном числе род не определяется, а «нескольких» стоит во множественном числе (5/5).
Синтаксис: назвала «было принято» составным глагольным сказуемым (в традиционной русской грамматике связка + краткое причастие — это составное именное сказуемое). Агентивное дополнение («руководством», «большинством») названо обстоятельством.
Предоставила подробную и грамотную схему связей (дерево разбора).
Оценка A1: 9.0 / 10.
Модель B1:
Допустила грубые школьные ошибки в морфологии:
Для прилагательного во мн. ч. «опытных» указала мужской род (во множественном числе род у прилагательных отсутствует).
Для числительного «нескольких» указала единственное число.
Ошибка со сказуемым: назвала «сложным глагольным».
Лингвистическая галлюцинация в комментариях: заявила, что агентивный творительный падеж — это «аналог датива в английском by the majority» (в английском языке нет датива с предлогом by). Опечатка: «без союда».
Оценка B1: 5.5 / 10.
Вопрос 4: Связный рассказ на 700–900 слов с 10 словами
Критерии (10 баллов):
Попадание в объём (700–900 слов) — 3 балла.
Естественное разовое включение всех 10 слов в корректной грамматической форме — 3 балла.
Литературное качество, сюжетная связность — 2 балла.
Грамматическая правильность текста — 2 балла.
Модель A1:
Объём: ~740 слов (идеальное попадание в лимит).
Все 10 слов органично вплетены по одному разу в дореволюционную гимназическую стилистику.
Текст связный, написан хорошим русским литературным языком без грубых грамматических срывов.
Оценка A1: 10.0 / 10.
Модель B1:
Объём: ~749 слов (попадание в лимит).
Слова вплетены, но многие зачем-то навязчиво повторяются по 2–3 раза («понеже» x3, «присущий» x3, «ухищрение» x3, «паче» x2).
Грубейшие грамматические ошибки в русском тексте:
Ошибка управления: «коллекцию рукописей, которую завидовали бы в Петербурге» (глагол завидовать требует дательного падежа — «которой завидовали бы»).
Полный распад согласования в финальной фразе: «в их неказистой, тихой, живом мире» (прилагательные женского рода согласуются с существительным мужского рода).
Оценка B1: 7.5 / 10.
Вопрос 5: Ответ со строгими формальными ограничениями
Критерии (10 баллов):
Ровно 8 абзацев по 2 предложения — 3 балла.
Нет буквы «о» в первом абзаце — 2 балла.
Ровно два двоеточия в 4-м абзаце — 2 балла.
Один вопрос в последнем абзаце — 1 балл.
Отсутствие Markdown/списков/таблиц — 1 балл.
Ограничение «третье предложение ответа запрещено» — 1 балл.
Анализ обеих моделей:
Условие «третье предложение ответа запрещено» логически противоречит условию «8 абзацев по 2 предложения» (в связном тексте из 16 предложений 3-е предложение неизбежно существует). Обе модели проигнорировали данный парадокс и выдали по 16 предложений.
Все остальные ограничения выполнены обеими моделями на 100%:
В 1-м абзаце у A1 и B1 нет ни одной буквы «о».
В 4-м абзаце ровно по два двоеточия у обеих.
В 8-м абзаце ровно один вопрос у обеих.
По 8 абзацев, строго по 2 предложения в каждом.
Никакого Markdown-форматирования.
Оценка A1: 9.0 / 10.
Оценка B1: 9.0 / 10.
Вопрос 6: Художественный перевод текста
Критерии (10 баллов):
Передача иронии, подтекста и смысла — 3 балла.
Лексическая точность и отсутствие переводческих калек — 3 балла.
Естественность литературного синтаксиса — 3 балла.
Отсутствие пояснений после текста — 1 балл.
Модель A1:
Пояснений нет (1/1).
Катастрофическая переводческая калька: английское semicolons переведено как «точечные запятые» (причём дважды!). В русском языке существует единственно возможный термин — «точка с запятой».
Срыв регистра: Мартин, входя в переговорную к коллегам, говорит фамильярное «Прости» вместо уместного «Простите / Извините».
Синтаксис местами тяжеловат («было именно тем, что ему и предстояло доказать, пока его ждали»).
Оценка A1: 6.5 / 10.
Модель B1:
Пояснений нет (1/1).
Исключительно точный и живой литературный перевод.
Все термины переданы идеально: «точкой с запятой», «воздержался от комментариев» (declined to comment), «жанр оправдания».
Прекрасно выдержана тонкая офисная ирония, оформлены правильные русские диалоговые тире.
Оценка B1: 10.0 / 10.
Сводная таблица баллов
ЗаданиеМодель A1Модель B1Комментарий к разнице
Q1 (Коррекция ошибок)5.010.0A1 не заметила грубую ошибку (которые → которых).
Q2 (Склонение и контекст)6.57.5Обе ошиблись с падежами в примерах, но у B1 предложения естественнее.
Q3 (Морфология и синтаксис)9.05.5B1 приписала род мн. числу, назвала числительное ед. числом и выдала галлюцинацию про «датив».
Q4 (Рассказ 700–900 слов)10.07.5У B1 грубые грамматические ошибки согласования и управления («неказистой, тихой, живом мире», «рукописей, которую завидовали»).
Q5 (Формальные рамки)9.09.0Ничья: идеальное соблюдение всех проверяемых условий.
Q6 (Литературный перевод)6.510.0У A1 провальная калька «точечные запятые» и срыв регистра («Прости»). У B1 — образцовый перевод.
> Не вижу смысла.
Действительно, если модель будет глаголить идеальным литературным - тут можно и третьи трусы снять.
> У меня нет 54 врам
Тесты делаются поблочно, там и 8 хватит.
ИТОГО46.049.5Победа модели B1
Итоговый вердикт: где деградация сильнее?
Больше баллов набрала модель B1 (49.5 против 46.0), следовательно, по сумме баллов победила модель B1, а качество модели A1 деградировало больше.
Однако характер деградации у моделей принципиально различается:
Модель A1 сильнее деградировала в прикладной зоркости и словарном запасе: она не способна найти грубую ошибку согласования в чужом тексте (Q1) и выдаёт нелепые кальки вроде «точечные запятые» вместо «точки с запятой» (Q6), хотя сохраняет строгую академическую точность в формальном грамматическом анализе (Q3) и длинной прозе (Q4).
Модель B1 сильнее деградировала в базовой морфологии и самоконтроле грамматики: она выдаёт образцовый литературный перевод и видит чужие ошибки, но в собственном связном тексте допускает грубейший распад падежного управления и согласования родов («в их неказистой, тихой, живом мире»), а при анализе слов придумывает несуществующие правила и концепты.
Еще раз подбросил монетку с тем же сидом, только освещение сменилось, из-за чего разница уменьшилась.
Так покажи как надо, говно. А всем очевидно что иматрикс ломает русский. Я РУССКИЙ и мне нужен РУССКИЙ иматрикс.
Потестировал тоже. Короче, моделька сама по себе не очень-то и русская (возможно это и хорошо для теста) и результат не совсем однозначный, но
с английским (на 100%) imatrix датасетом моделька употребила английское слово вместо русского
с русским (на 90%) датасетом "лесорубэ" в самом тексте превратился в "лесорубца". Слово по-прежнему вымышленное, но уже ближе к русскому языку. В размышлениях при этом было правильно: историю о лесорубе, создать запоминающегося лесоруба. В английском и статическом квантах в размышлениях тоже "лесорубе".
Мой предварительный вывод: русский язык в датасете иматрикса реально помогает: это лучше чем статический квант и это лучше чем датасет состоящий из инглиша.
с английским (на 100%) imatrix датасетом моделька употребила английское слово вместо русского
с русским (на 90%) датасетом "лесорубэ" в самом тексте превратился в "лесорубца". Слово по-прежнему вымышленное, но уже ближе к русскому языку. В размышлениях при этом было правильно: историю о лесорубе, создать запоминающегося лесоруба. В английском и статическом квантах в размышлениях тоже "лесорубе".
Мой предварительный вывод: русский язык в датасете иматрикса реально помогает: это лучше чем статический квант и это лучше чем датасет состоящий из инглиша.
Пруфы-то будут? Эти таблички никому не интересны.
Похоже на какого то прибалта.
. . .
Думал, ну ладно, дам последний шанс, с утреца поставлю другие параметры и датасет, пускай тюнится.
Ну да, разбежался. И отсосал хуйца. Какие-то размерности вдруг перестали нравиться торчу или кому-то там.
Гуглеж сказал какие-то библиотеки устаревшие, хуе-мое. Ну что там за ночь могло устареть-то, блят?
Посмотрел трейс ошибки - ругается на MLP, который я отключил в этот раз для тренировки. Вернул обратно - и оно, сцука, завелось!
Ну ебаный насрал. Не знаю кто конкретно гений, что написал эту реализацию, анслоты, трл или еще кто. Но это полный рак и зашквар. Более простая опция - и не работает с каких-то хуев.
Моделька которая быстро принимает решение. Принцип работы сам прогугли. Ты ей задаёшь варианты, например {хуй, красавчик} а она на основе входных данных принимает решение выбирая из этих вариантов. Будет примерно так:
Запрос -Кто ОП? Варианты ответа {хуй, красавчик}
Ответ - хуй
затрачено 0,000001 с
Это такой классификатор на максималках. Для РП может пригодится только чтобы вызывать тригеры, например в маринаре, чтобы не гонять каждый раз полною модель для проверки одежды, дёрнул jev, если одежда поменялась, дёрнул модель.
Так ей один хрен полный префилл нужен? Просто ответ в виде единственного токена с логпробами даёт?
Так-то любую модель можно проинструктировать отвечать одним словом, проблема в префилле
че за модель то.
Перед зеркалом у тебя говно. Ты совсем тупой? Два свайпа одной модели туда же дай на сравнение и тоже разницу замеряй между ними, а потом бегай доказывай что только первый свайп хороший и все последующие с ошибками.
Это имеет смысл только со нормальной статистикой. Причем нужны не просто попарные сравнения, а отдельная независимая оценка каждого вывода на предмет ошибок и уместности употребления слов. Тогда уже можно о чем-то судить, а твое - просто рандомайзер.
Чего тебе непонятного? Две судьи уже тебе сказали что иматрикс сломает русик. Третью надо? Четвертую? Ниже вон там еще пруфы что 100% русский иматрикс наоборот помогает русским. Показывай давай, что это не так. Хотя ты наверно нерусь раз так подрываешься. Пидорас говна блядь, отправим тебя к нашим ребятам на свo всему тебя там научат и все покажут. Петушара выхухольный
А что за ебанутая разметка? Почему часть серым, а часть белым? В чем отличие?
Как вообще можно это читать?
Префил полный, но модель не авторегрессионная, поэтому ответ быстрее. Условно когда ты задаёшь вопрос обычной модели она считает вероятности всех токенов, эта только тех, что ты указал
https://pirateface.co/ герои в которых мы нуждались, но не заслуживали. Теперь удаление моделей не грозит, главное чтобы трафика хватало.
Кстати по удаленному степу - уже 8 перезаливов.
Ты срандомил 6 пар, и из их рандома пытаешься продвигать выводы, которые тебе нравятся. Сами по себе это выводы могут быть корректным при определенных условиях. Но единственное что доказывают твои "пруфы" - то что ты дебил.
Кстати по удаленному степу - уже 8 перезаливов.
Ты срандомил 6 пар, и из их рандома пытаешься продвигать выводы, которые тебе нравятся. Сами по себе это выводы могут быть корректным при определенных условиях. Но единственное что доказывают твои "пруфы" - то что ты дебил.
>новый степ
Дядь ЛЛМмастер, а можно модельку не 600b+ пжлст.
Надеемся и ждем
Кто из вас уже коммент написал?
Давайте попробуем всерьёз догадаться что у гугла пошло не так с 4 геммой?
Почему она такая хорни, да так, что в ризонинге блять, что ранее невидано, свободно рассуждает как бы покрепче загнать reducted хуй в жопу и так далее?
При всем аж отдельном блоке в карточке модели про сейфти, целой бумажке как у них сейфти на 1 месте и вообще с самой первой геммы эта сейфти тема была, а теперь вдруг нет. И действительно вдруг.
Почему она такая хорни, да так, что в ризонинге блять, что ранее невидано, свободно рассуждает как бы покрепче загнать reducted хуй в жопу и так далее?
При всем аж отдельном блоке в карточке модели про сейфти, целой бумажке как у них сейфти на 1 месте и вообще с самой первой геммы эта сейфти тема была, а теперь вдруг нет. И действительно вдруг.
Хорни Алиса, которая через колонку осуждает тебя за глажку хвостов.
Все пошло так, ты почему то не видишь упорно очевидного.
Они выпустили эмпатичного ассистента, который подмахивает ушками пользователю. И если пользователь ведет все к ебле. У него есть описания сисик и писик в карточке, пользователь получает еблю.
Почему просто не подключил, агента бесплатного, вместо разбираться что к чему, пускай сам там тюнит и тренит. Потом докладывает как что получилось и стало ли лучше. Нет полез копаца в том что под капотом не всем известно, анслопу и прочим тюнящим как не в себя, новые модельки, явно не сами бустанулись, а с помощью.
А ты чего его не подключил, чтобы он проверял то, что ты пишешь?
Поставил на смартфон, через термух, дебиан. Языковые модули пробую там. Собирает успешно. Со времён, эмуляторов, пробую, то сё.
Круто, старое лучше чем новое. Сравнить бы тебе qwen 3.8 next. Пробовал?
>Он не только русский убивает, но и программирование.
Вот это уже абсолютный бред. Сколько уже с весны кодил на разных квенах - в opencode от iq4xs всегда толку больше, чем от Q4KM. Ни разу не было обратного результата. Да и русский у них - +- одно и то же. У него в принципе русский не настолько хорош, чтобы разница видна была между этими квантами. :)
>нет эира
Мда...
>как бы покрепче загнать length в heat/wetness и так двлее
Я тоже про программирование не верю (хотя и не пробовал IQ)
Почти наверняка там датасеты пердоликовые
>Этап обучения: предобучение
Без своего DavidAU в треде хвостик не погладить
Что для куминга на 16гб врам и 16гб рам крутить?
Интересно, поехавшие реально настолько дурачки что не могут написать regexp который будет заменять wetness на pussy ?
Ведь без pussy прям совсем не стоит и модель не кино, буквально неюзабельна . А если ещё с иматриксом..
Ведь без pussy прям совсем не стоит и модель не кино, буквально неюзабельна . А если ещё с иматриксом..
Где ты на гемме кино увидел?
Это на мистралях было кино, а тут обычный попугай за которого 80% всё пишешь ты если хочешь хоть немного креатива. Слопа и там и там навалом.
Хуйня твой мистраль. Кино было на Лламе 2. Вот то были настоящие времена. Ты пиздюк, не застал.
Так я и пишу что кина там нет . Там нет pussy, о чём речь вообще
Пиздуй обратно на лламу, пердун ретроград.
Нахуя мне pussy, если я хочу видеть шмоньку, манду, щелочку, мохнатку, пилотку, вареник, киску, писюльку, губки, дырочку?
Соболезную. Тяжело когда тебе 50.
Долбоёбы кумеры, палю годный хаклайф.
Ставите кумерскую ллмку, ставите на сдачу с врам кумерскую картино генерилку, прикручиваете понимание калтиночек.
Даёте доступ какой ни будь тне, которая сидит в чае или карактер аи, типо аналог и бесплатно полностью.
Она рассказывает нейродебилу о том как у неё пися мокнет и кидает фотки, вы читаете, смотрите и дрочите.
Ставите кумерскую ллмку, ставите на сдачу с врам кумерскую картино генерилку, прикручиваете понимание калтиночек.
Даёте доступ какой ни будь тне, которая сидит в чае или карактер аи, типо аналог и бесплатно полностью.
Она рассказывает нейродебилу о том как у неё пися мокнет и кидает фотки, вы читаете, смотрите и дрочите.
> тратить компут на тухлую дырку
Мерзость.
То-то я смотрю, зумерье радо говно пожрать. Все современное творчество уплощилось до одних и тех же шаблонов. Кругом пережеванные десять раз высеры и ничего нового.
Двачую. Как представлю, что мой риг ревёт всеми крутиляторами, жжёт моё электричество, а на выходе, вместо пушистых хвостиков, я получаю фотку тухлой дырки и фантазии про мафия босса.
Какой-то пост-куколдизм получается.
Я вот жду когда начнут 10тр модели выходить, которые вообще никто не сможет запустить локально, даже челы с гигаригами.
Интересно, даже так все схавают и будут кланятся за такой подгон в опен сорс, или что то всё же щелкнет?
Интересно, даже так все схавают и будут кланятся за такой подгон в опен сорс, или что то всё же щелкнет?
И что ты сделаешь, ножкой топнешь?
Опен сорс необязательно про бомжей и риговичков.
>Она рассказывает нейродебилу о том как у неё пися мокнет и кидает фотки, вы читаете, смотрите и дрочите.
А не проще ли в таком случае самому прикинуться нейронкой?
Твой хитрый план чем-то похож на способ срать не снимая свитер.
Гемма.
Там было под две сотки постов, ллмка давно начала плыть. Разметка : Белый - действия, точто происходит вокруг. Серый - мысли, монолог персонажа. Оранжевый - то что он говорит,
>31B
Правильно понимаю если модель начинает печатать по паре слов за секунду вместо пары предложений, то это показатель что габэлла? 26B такого не было.
Правильно понимаю если модель начинает печатать по паре слов за секунду вместо пары предложений, то это показатель что габэлла? 26B такого не было.
Что за не знакомые слова? Ты не русский что-ли? Русские так не говрят, нужно так: Вчера почилили в кафешке на изичах, а до этого я без выходных всю неделю воркал.
Не верь бенчам, вот медведь ее, это даже хуже геммы.
Бля что...
Тыкаю ассистента по приколу, спрашиваю че такое вообще лоли, на текст комплишене мне аполоджайзит и отказывает отвечать, на чат комплишене отвечает в 9 из 10 случаев, разметка одна, промпта нет.
Тыкаю ассистента по приколу, спрашиваю че такое вообще лоли, на текст комплишене мне аполоджайзит и отказывает отвечать, на чат комплишене отвечает в 9 из 10 случаев, разметка одна, промпта нет.
Пруфы будут?
Слева Qwen3.5 4b. Зачем ты пиздишь?
>на сдачу с врам
yeah, about that...
А при чём тут медведь к РП бенчу?
Вспоминаю результат гигачата и плачу
>киску
Калька с pussy, насчет остального согласен.
>творчество уплощилось до одних и тех же шаблонов
Как пели в свое время в КВН:
Не нужно напрягаться, чтоб создать новый хит,
Ведь кто-то напрягался до нас!
Ебать, это что, АИ не только мою работу забрал, а теперь еще и куколдить меня будет???
Вместо 14-летней юной красавицы там будут престарелые 25-летние бабки и 18-лечение жирные феминистки с баребухами и чиркашами.
Это так не работает.
Ну если не про кум — кума на гемме нет, только стволы, её глубины, мурашки по спине, — то гемма самая киношная вплоть до 120б, хоть и может быть тупее, чем они.
Гемма стиля наваливает очень сочно, рисует сцену красиво. Не кумерскую.
Что-то подобное могли только старые мисрали, лламы 70б, и вот сейчас для этого надо хотя бы от 300б запускать. Иначе сухой кал.
Не забывай закусывать.
Это походу тьюн Квен 3 Некст. Экспериментальная моделька на которой тестировали дельтанет. Запомнилась тем что как и все остальные модели квена 3 версии писала.
односложными.
фразами.
С новой.
Строки.
Потому её никто особо не использовал, тем более там быстро подъехали 3.5 модели в которых это пофиксили. Интересно, Яндекс пофиксили это говно в тьюне?
Эйрошиз же.
Ну наконец-то внятный пруф что imatrix таки ухудшает те области которых нет в калибровочной таблице. На самом деле это было очевидно всем, кроме Imatrix-шиза
Дождался в общем новой трени.
Лора ранк вернул на 16, альфу поставил на 16 для лайтовых изменений. ЛР на 1е-4. Слои для обучения пришлось оставить все вместе с млп. Все остальное тоже самое.
Датасет https://huggingface.co/datasets/Vikhrmodels/dostoevsky_scored наверное самый адекватный что можно найти для художки (спойлер: там не только Достоевский). Отфильтровал по rm_score>0 (хз как этот скор считался), длина ответов до 4к.
Осталось 250 семплов. 50 семплов выделил для валидации, с которой я конечно же проебался - имел глубочайшую наглость подумать, что передача eval_dataset = dataset['test'] в настройках sfttrainer автоматически включит вычисление лосса на эвале. Кратко: хуй там плавал.
Поскольку семплов мало было, поставил сразу 2 эпохи.
Лосс на таком масштабе особо не поймешь - вроде не большой, но особо и не падает. grad_norm только общий по степам сохранился - а он и растет с чего-то. Было бы дольше обучение - точно бахнул бы и заруинил все.
Ну и результаты аналогичные - как земля. В этот раз тестил на генерации литературного рассказика, чтобы ближе к датасету было.
https://rentry.org/d26yttsc - аутпуты тюна
https://rentry.org/v9ssx497 - аутпуты базовой модели
Поначалу казалось, что тюн дерьмо генерит. Но когда базовую модельку глянул - там еще хуже оказалось. Максимально пурпурная проза с задроченным языком, логика сюжета никакая.
У тюна на микропиську слог получше, читается легче, логика на нанопиську улучшилась - все еще есть косяки, хоть и менее критичные. Но зато появились лупы на низкой темпе и низком реп-пеналти.
Короче хз. Можно ли лабуду с МЛП слоями пофиксить для стабилизации. Или что-то другое надо придумывать. Неясно.
Ты с нуля сетку тренишь? Скоко параметров?
https://habr.com/ru/companies/yandex/articles/1083300/#1.1
Привет откуда не ждали, яндекс сделал модель (квен архитектура next по параметрам будто) для врамцелов типа меня? Жду пр для ламы и уже хочется потыкаться
Привет откуда не ждали, яндекс сделал модель (квен архитектура next по параметрам будто) для врамцелов типа меня? Жду пр для ламы и уже хочется потыкаться
Они со статьей не торопились, модель раньше выложили.
>хочется потыкаться
Ты сначала ее инструктируй, это базовая модель.
Не 100% с нуля, но файн-тюн пре-трейнед модельки. Qwen 3.5 4B Base
Там спизженный квен под соусом того, что тренировали с нуля, но вместо GDN тас KDN и всё распидорашено. Плюс это базовая модель, то есть следование инструкциям там будет дайбох как на старой лламе скорее всего, но можно не надеяться.
В общем, было бы прикольно потыкать, но я вот щас пердолю для себя поддержку в лламе этого кала, пытаюсь, но очень туго идёт. Однако хочется попробовать, потому что первая руssкая модель серьёзных, но не катастрофично больших размеров.
Поиграл в групповом чате с двумя персонажами и что-то вообще не зашло, прямо намного хуже по экспириансу выходит.
В таверне поиграл? Тогда не удивляйся, там групповой чат сломан от рождения by design.
Я чот и не заметил что базовая, а нахуй она нужна, для дальнейшего дообучения?
ну жду инструкт тада
Да, а где еще можно? Не прямо сказал бы что сломан, нужно изворачиваться, адаптироваться и сосать лапу, но да, по сравнению с тем же реализованным мастером из карточки посос. Даже вводя через оос персонажей, они нормально работали, нежели это.
А че там таверна выдает?
Хз короче, вроде друг с другом в маронаре взаимодействуют, но мне не приходилось гонять групповые чаты.
В talemate, вроде бы, неплохо работает. Еще по идее - в маринаре автор в курсе про эти проблемы, но работает ли у него - я хз, не пробовал еще.
Эта самая проблема таверны (и не только таверны), с групповым чатом - она карточки персонажей сливает в один контекст. А в карточке описано ВСЕ - даже то, что другой персонаж в моменте знать не может о втором. Так мало этого, когда говорит один - информация о втором висящая в контексте дает эффект "не думай о белой обезьяне".
Во втором режиме работы группового чата с карточками, "исключения" - в контекст помещается лишь карточка говорящего персонажа, что дает обратный эффект - он перестает знать, о втором то, что должен знать исходя из общей логики - внешний вид, одежда, и т.д. Ну и добавляет пиздеца то, что таверна фактически по рандому выбирает того, кто будет отвечать (если только тупо регэкспом не найдет чье-то имя в предыдущем ответе - тогда считает что обратились к тому чье имя, а это тоже может быть сильно не так). В то время, как выбор персонажа в наше время давно должен быть реализован простым запросом к LLM вида "кто должен отвечать?" - они с этим сейчас легко справляются.
По хорошему, для группового чата, карточку персонажа на две части делить надо - открытую и закрытую. Открытая - это внешний вид, одежда, и т.д. а закрытая - мозги, мотивация, цели, прошлое, и прочее, что другие просто так знать не могут. И в контекст закрытая часть должна добавляться только для самого себя. Тогда будет хорошо работать.
А, да - забыл сказать. Таверна не просто карточки сливает - она при этом еще и разметку шаблона ломает. Что текст, что чат комплишена. Моделям это, разумеется, тоже не особо нравится.
> в маринаре автор в курсе про эти проблемы, но работает ли у него
А как это исправить без глобального перепила всех карточек под новое решние, которого пока нет.
И насчет Маринары как-то недоволен, поставил агента на контроль повестовования и теперь по минуте и больше могу ждать ответ, хотя контекст еще мал.
> Таверна не просто карточки сливает
Хз, именно в маринаре в групповом чате все пишут в одном сообщении и даже выбрать нельзя кто будет говорить.
Теоретически можно с few-shot prompt по-извращаться, Яндекс таким образом с ней и другими базовыми моделями взаимодействовал.
>нахуй она нужна
Яндекс поделился своими наработками.
Таверна с экстеншнами лучше Маринары в 100500 раз.
ноу дискасс.
>мне не приходилось гонять групповые чаты.
Все подводные всплывают когда ты попробуешь нормально поиграть.
>и теперь по минуте и больше могу ждать ответ, хотя контекст еще мал.
Смотри в логи лламы, что там по id происходит. Также рекомендую отключить thinking на уровне лламы. Может в какой-то версии маринары это и пофиксили но я когда пробовал где-то пару месяцев назад то отключить полценно можно было только на лламе (-rea off).
Я вообще подозреваю что маринара с нуля собирает промпт каждый раз что-то меняя в начале/середине и делает так и для главного рп и для каждого из агентов и поэтому кэширования контекста не происходит то есть дело даже не в слотах.
>Нахуй нужна
По идее, никому не нужна. Ну просто высрать, показать, что вот мы тут делом занимаемся. Скорее всего это просто был какой-то не удавшийся проект, очередная проба пера.
Любая контора с серьезными задачами использует иностранное API или развернет жирные веса китайской нейронки, если нужно качество и нельзя сливать инфу. А кому нужны боты-лоботомиты банковские, те обучат своего 4б-уёбка.
Жаль, что российские LLM полностью мертвы. Было бы охуенно видеть даже 12б и 30б-а3б наших, импортозамещенных, которые нихуя не могут в агентность и код, но могут в язык.
Щас даже от корпов солёзы текут. Только Sol и Gemini умеют приятно общаться.
Делаю сейчас супер-руссссссский иматрикс. 13 мегабайт текста (включая нецензурные ролёвки). Надо подождать около часа пока обрабатывается лол. Для сравнения у бартовского весь иматрикс датасет - 1.5 мегабайта, а русского текста там может на 10 килобайт наскребётся.
Ранее я убедился что статик квант - говно и стоит лишь чуть-чуть (100кб) наподдать русского текста, как сразу появляется заметное улучшение. С 450 кб датасетом тоже впечатления хорошие были.
Пока что тесты показали:
Статик квант = слабый и даже слабоумный русик
Иматрикс квант с англ датасетом = слабый русик в котором проскакивают английские слова
Иматрикс квант с русским датасетом = заметное улучшение русика по сравнению с двумя вариантами выше
Мои соболезнования тем, кто качает статик кванты вместо иматрикс, опасаясь, что иматрикс что-то там "портит", имхо иматрикс может только улучшить.
Ранее я убедился что статик квант - говно и стоит лишь чуть-чуть (100кб) наподдать русского текста, как сразу появляется заметное улучшение. С 450 кб датасетом тоже впечатления хорошие были.
Пока что тесты показали:
Статик квант = слабый и даже слабоумный русик
Иматрикс квант с англ датасетом = слабый русик в котором проскакивают английские слова
Иматрикс квант с русским датасетом = заметное улучшение русика по сравнению с двумя вариантами выше
Мои соболезнования тем, кто качает статик кванты вместо иматрикс, опасаясь, что иматрикс что-то там "портит", имхо иматрикс может только улучшить.
А че, есть же калибровочные датасеты на мультиязык, почти 2 гига
https://huggingface.co/datasets/eaddario/imatrix-calibration
И там еще куча по названию calibration
> 13 мегабайт текста (включая нецензурные ролёвки). Надо подождать около часа пока обрабатывается лол. Для сравнения у бартовского весь иматрикс датасет - 1.5 мегабайта, а русского текста там может на 10 килобайт наскребётся.
Разве не получится в этом случае лоботомит у которого поедут все старые знания?
Мне кажется есть причины почему у бартовского датасет именно 1.5мб а не больше, хотя сделать датасет больше проблем то не составит.
Мусье счастливый обладатель B200 ? Ничего что эти мегабайты нейронка должна будет прочитать ? Причем не один раз и желательно в оригинальных весах.
Надо на ролеплеях тредовичков калибровать.
Поясните по хардкору.
Какая разница будет в производительности между 4 pci-e x16 v100 sxm2 в llama-cpp -sm tensor ... и vllm с тензор сплитом на nvlink доске?
Очень не хочется эту херню брать и есть устойчивое желание сэкономить, даже ценой производительности, вопрос лишь какой.
>Разве не получится в этом случае лоботомит у которого поедут все старые знания?
Я же не файнтюнинг делаю, это просто улучшение квантизации, не хуже статик кванта должно быть в любом случае.
>Мне кажется есть причины почему у бартовского датасет именно 1.5мб а не больше, хотя сделать датасет больше проблем то не составит.
У бартовского цель сохранить разнообразие, чтобы все языки сразу + кодинг. И полтора мегабайта это просто оптимально по времени обработки. Мне насрать на кодинг и другие языки.
Амуде-боярин, тебе сколько прироста дает тензор-сплит, если сравнивать одну карту и ту же модель на 4х?
https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Flash-RL/tree/main - кажется годноту подогнали! Для обладателей отсутствия! Всего 178 Гб в полных весах, эксперты в bf16
Это для одной карты?
Вообще не ответ на мой вопрос.
Я спрашивал сколько дает тензор сплит при запуске четырех и одной карты.
Там моих ролеплеев на 400 кБ в самых разных сеттингах от фентези до киберпанка. Если тредовички поделятся своими, буду рад, но вряд ли кто-то решится
Qwen3.8-27B-Uncensored-Q8_0 Решает задачу быстрей и лучше чем Qwen3.8-Flash-Next
Что и следовало ожидать, Qwen3.8-Flash-Next попсовое говно, 3B активных параметров никогда не будут умней активных плотных 27B. Даже более старый Qwen3.5-122B-A10B умней получился.
Что и следовало ожидать, Qwen3.8-Flash-Next попсовое говно, 3B активных параметров никогда не будут умней активных плотных 27B. Даже более старый Qwen3.5-122B-A10B умней получился.
> Это для одной карты?
Там указан весь сетап
> Я спрашивал
Ок, мне влом. Тут минимум 3 человека с такими сетапами, может они прогонят
*6B Активных, быстрофикс.
> Qwen3.8-27B-Uncensored-Q8_0 Решает задачу быстрей и лучше чем Qwen3.8-Flash-Next
А Flash-Next тоже был расцензуренный?
Да.
Тут есть владельцы, жди пока ответят. Учитывая стоимость 16-гиговой (дешман) и борды с нвлинком (дорогонах) - нахуй не нужен за такие деньги, лучше еще несколько карт взять.
мои извращения нельзя показывать людям ладно можно, но не здесь
>more info
Понял, вижу.
Судя по всему пропускная способность для 4х устройств более pcie3.0x8 особо-то и не нужно.
Да тут две трети ничего больше односложных инпутов в стиле "я тебя ебу" не выдают, на таком калибровать и не надо.
Опа, а что это тут у нас.
> Всего 178 Гб в полных весах, эксперты в bf16
Судя по структуре там квант 4битный. Судя по размеру как у дипсикфлеша и количеству параметров как у него - это точно квант с завода. Надо скачать и дождаться поддержки, или самостоятельно навайбкодить.
Там и прошка размером 570 гигов подъехала.
Статик квант:
Лесоруб, чьи лезвия уже много лет сквозняками рвали леса...
100 Кб датасет русский иматрикс:
Лесоруб Игорь, устав от рутинного срубки деревьев...
13 Мб датасет русский иматрикс:
Лесоруб, устав от рутинной рубки деревьев...
модель - немотрон-9б
Лесоруб, чьи лезвия уже много лет сквозняками рвали леса...
100 Кб датасет русский иматрикс:
Лесоруб Игорь, устав от рутинного срубки деревьев...
13 Мб датасет русский иматрикс:
Лесоруб, устав от рутинной рубки деревьев...
модель - немотрон-9б
п.с. в 100кб датасете имя Игорь упоминается три раза.
Я надеюсь ты туда не пасту про сладкоежку закинул?
>очему у бартовского датасет именно 1.5мб а не больше, хотя сделать датасет больше проблем то не составит.
На каждый мегабайт как минимум +1 час процессинга, думаю, это главная причина.
А смысл?
Эир в 3 раза меньше, а ебёт всю эту кодерскую 300б залупу.
И всё же как же я благодарен за эир. Биос около нейтральный, эмоциональность и душевность будто идеально сбалансирована, чары не сухие, но и не бросаются реагировать на каждый пук юзера, как на гемме, чар просто может скорчить ебло и замолчать, вот так, пошёл я нахуй, 12б это 12б, даже сейчас это заметно, он умнее 6б квен флеша, а ему даже ризонинг не помогает.
Без него что бы я здесь делал вообще.
Появилось ли что-то локальное, лучше чем qwen3.8 27B? Или такого можно долго ждать?
Появилось.
Qwen3.8-Flash-Next
Да. Deepseek 0731/Exp-Vision. Настоящая корпосеть у тебя дома. Разъебывает задачи как кодоагент, играет РП, пишет превосходный русик, описывает шикарный кум. Идеальная сетка без минусов.
>Для обладателей отсутствия! Всего 178 Гб в полных весах
Как раз тут для обладателей наличия, а нам, нищукам 24+128, опять придется ручками лоботомито-квант лепить.
Плас это что?
А вообще интересна только флэш, была бы, но её не донесли до релиза, отрезав яйца по активным параметрам.
Вот так у нас всё устроено: либо флеш на 400б, либо на 6б.
А вообще интересна только флэш, была бы, но её не донесли до релиза, отрезав яйца по активным параметрам.
Вот так у нас всё устроено: либо флеш на 400б, либо на 6б.
Может, номера "Уральских пельменей".
И-и-игорь! И-и-игорь!
27b норм это не 6b. Я не долбоёб покупать кучу дорогих видеокарт, мне как раз такие модельки и нужны. Для моих нужд (написать пару скриптиков) хватает.
Когда нибудь что нибудь произойдёт с глм 4.5 эир?с
Мы получили эир, воодушевились, закупились рам, а дальше ничего. Пустота. Гемму 4 и без апгрейда можно было бы запустить, если уже запускал какой нибудь мистраль 22б.
Вышел немотрон 120б, потом мистраль 119б, потом квен 125б, все в пролёте. Ждали гемму 124б, не вышло ничего. И вот сейчас вышел квен флеш некст, и опять недожали, зачем то убрали жизненно важные 4б активных. И до сих пор ждём.
Мы получили эир, воодушевились, закупились рам, а дальше ничего. Пустота. Гемму 4 и без апгрейда можно было бы запустить, если уже запускал какой нибудь мистраль 22б.
Вышел немотрон 120б, потом мистраль 119б, потом квен 125б, все в пролёте. Ждали гемму 124б, не вышло ничего. И вот сейчас вышел квен флеш некст, и опять недожали, зачем то убрали жизненно важные 4б активных. И до сих пор ждём.
интересно, пиздец. че они там выложили то? давно ниче в масштабах 80b небыло
>Qwen4-27B
Моё тело готово.
А если Flash будет по требованиям не выше 3.8 Flash Next, то еще сильнее готово.
Внимания не стоит.
морда кирпичом
А не сильно быстро? Я чернез пол года ждал только. Блин, 3.8 то имеет мозгов караул. Он у меня можно сказать 24/7 работает.
4.0 то чего, наверно генерализированным будут делать?
> Я чернез пол года ждал только.
У тебя за полгода вышли 3.5, 3.6, 3.8 и еще 2 месяца осталось. Так что в целом нормально.
Жалко что судя по всему альтернативы 35B MoE не ожидается, но я так думаю 4.0 27B даже в третьем кванте оставит её далеко позади.
Ну или можно понадеяться что plus это как раз 35B раз flash был 80B. Может попрут против системы и не будут называть 300B модель Флеш.
flash = быстраая версия (по сравнению с большой)
Никакой связи с размером нет, кроме относительной. Если большая модель растет в размере, очевидно что flash версия тоже растет, ведь иначе никакие преимущества большой модели до размера члена комара не ужмешь.
Почему вообще этот аспект так сложно понять ллм-дебичам. На реддите тоже визжат про размер, требуя меньше. Ну сделают вам меньше - но это уже будет другая модель, тупая и не имеющая ничего общего с большой из новой серии моделей. Пустая трата ресурсов и времени.
А я жду гемму E9B, думаю вот это была бы пушка для 16Гб врам
27 с энграммами и все - личное домашнее АГИ достигнуто. Мозги в наличии, половину базы знаний ему можно будет под себя переписать.
Так это самое новое Мимо уже поддерживается или че?
Да, архитектуру не меняли. Но пока только кванты мелкой есть. https://huggingface.co/ggml-org/MiMo-V2.6-Flash-RL-GGUF
https://huggingface.co/Altworld/Hemmingway-1
Лол смотрел кто? Это что, модель для кумеров наконец?
Лол смотрел кто? Это что, модель для кумеров наконец?
Ты уже утомил этим спамить. Убогий слоп-тюн с вытащенными из жопы бенчмарками, давно посмеялись и обоссали.
Скажите что модель пиздит и галлюцинирует. У меня все карточки начинаются с 2к. Что вообще можно уместить в 500 токенов? Внешность?
Модель пиздит и галлюцинирует. У нее знания о хуете типа Ллама 3
Ну вот и спрашивай дальше у нейрохуйни.
Просто ради интереса уточни откуда эти проценты
> обращение на Вы к незнакомцу
> множественное число
ясно, лютый трэш
Подсознательно тоже чувствую что где-то должна пиздеть.
У кого еще мне спрашивать кучу вопросов по нейронке если не у самой нейронки? Для рп по другому и не настроить карточки персонажей вместе с миром. У гугла цензура не пропустит мои вопросы.
Чел тебе уже сказали, она просто катастрофически устарела.
Это знания конца 2024 года.
> что случилось с вашей важным человеком
Отмечу, про пол не было сказано ни слова.
Модель реально не очень с русским. MXFP4 если что, по сути оригинальные веса в которых она была выложена.
Отмечу, про пол не было сказано ни слова.
Модель реально не очень с русским. MXFP4 если что, по сути оригинальные веса в которых она была выложена.
> У кого еще мне спрашивать кучу вопросов по нейронке если не у самой нейронки?
- Выуживать знания из весов - ошибка
- Не проверять выхлоп самому - ошибка
Дай модели интернет и возможность самой проверять свои гипотезы
>кучу вопросов
Если культурный списочек выкатишь, тебе тут помогут. Не всё же срачи разводить.
Это не новая модель, это тюн квена, ничего нового. Бенчмарки шизанутые, не ведись. Может этот тюн быть хорошим? Может. Но не в русском точно ибо квен. Попробуй, а не спрашивай нас.
Дипсик 4 флеш для всего спектра задач, 4.1 флеш для кодинга и прикладного. Мимо 2.6 вон еще подъехала, надо тестить.
> Разъебывает задачи как кодоагент, играет РП, пишет превосходный русик, описывает шикарный кум.
И все это в одном чате!
Как же они ебут. Вот бы отсыпали промежуточных размеров как обычно.
Есть стойкое ощущение, что в офисе Xiaomi сидит какой-то СЕО который люто ненавидит простых людей запускающих ЛЛМ дома. Прямо вижу как он с ехидной мордой просит добавить чутка параметров. Чтобы не влезло в 512 (для большой) или 128 гб (для мелкой) в четвёртом кванте. Ещё и приговаривал небось "Зьдохните чёртови нищуки! Зьдохни грёбаный эпл. Нефритовый стержень вам а не запуск модели на новеньком М5. Спарк соси мой корень женьшеня. Жри нищий квант белый абизьяна!"
Убрал из карточки и промпта вообще любой намёк на кум, раньше было "чар имеет доверительные отношения с юзер и заигрывает с ним", думал ну окей, мой проёб. Второе сообщение, расставил сети, так сказать, чтоб создать минимальный теншен с чаром, ну вот просто хочу отыграть соблазнение или чтобы чару стало неловко, да?
Что делает гемма: ММММ, А ЧТО ЭТО ТАМ У ТЕБЯ В ШТАНАХ? О, ТАМ ХУЙ, ДА? Хватает за хуй и стягивает штаны.
Похлопал такому отыгрышу и снёс её ннахуй.
Что делает гемма: ММММ, А ЧТО ЭТО ТАМ У ТЕБЯ В ШТАНАХ? О, ТАМ ХУЙ, ДА? Хватает за хуй и стягивает штаны.
Похлопал такому отыгрышу и снёс её ннахуй.
мимо прохожу бывший владелец рига пока все мои айпи побанены в /b, а риг остался в рашке
Пацаны, что там по Test-time training?
Titans от Google, In-Place TTT.
Пока вы тут коупите что базы треда не существует и получаете чуть более лушчий "ты меня ебёшь, ах!" ценой лишних 48 гб врама, разрабатываются архитектуры, которые позволят из достаточно тупой сетки сделать мастермайнд порноролеплеера.
Качественный богатый кум за мало врама. Почему не пробуете?
Пацаны, что там по Test-time training?
Titans от Google, In-Place TTT.
Пока вы тут коупите что базы треда не существует и получаете чуть более лушчий "ты меня ебёшь, ах!" ценой лишних 48 гб врама, разрабатываются архитектуры, которые позволят из достаточно тупой сетки сделать мастермайнд порноролеплеера.
Качественный богатый кум за мало врама. Почему не пробуете?
Хм, у меня отыгрывает персонажей прямо хорошо, медленно slow-burn.
Местные гении ролеплея не догадались, что можно прописывать защитные характеристики, упрямость и так далее.
Каков пиздец.
Я хз, у меня наоборот на гемме было так, что в карточке написано, мол, такая-то раса сексуально агрессивна и рассматривает человеческих мужчин как инструмент для плотских утех, а гемка выдала сценарий где моего перса поймали, раздели и заставили работать официантом за еду. А самое приближенное к куму было что высокопоставленные патроны требовали массаж лапок. Но это 26б гемма была, q8 и на англе.
>It looks like there's no response available for this search. Try asking something else.
Ахуеть, гугл не может объяснить мне за команды которыми запускаю модель. Что за пиздец? Он ещё упорно доказывает что Q5_K_S лучше чем Q4_K_M. Он пиздаболит? Контекст что сугубо для рп с железом и софтом у него есть.
Ахуеть, гугл не может объяснить мне за команды которыми запускаю модель. Что за пиздец? Он ещё упорно доказывает что Q5_K_S лучше чем Q4_K_M. Он пиздаболит? Контекст что сугубо для рп с железом и софтом у него есть.
>Он ещё упорно доказывает что Q5_K_S лучше чем Q4_K_M.
чел...
В треде писали обратное! Я точно помню.
5-битный квант не может быть хуже 4-битного
(корректно сделанный, в смысле, где не всрали всякие там роутеры-аттеншны - короче при одинаковых условиях любой Q5 > любого Q4)
Чатгт так же. Они довольно бесполезны в настройке тонких параметров, может корпы специально датасет настраивали, чтобы говноданные давали и неправильные модели, чтобы больше корпами пользовались. Про это в реддите уже писали. Еще забавно, когда правильное ему показываешь и рассказываешь как скорость возросла, он удивляется, будто никогда не видел.
Ещё на ГЛМе 4.5 было понятно что целиться надо минимум в 256
Точность вишна дипсика падает когда работа идет параллельно с кучей пикч, а она и сама рада пытаться такую ерунду делать.
Если кормить по одной, или сказать действовать последовательно - позиционирование прям гораздо лучше. А может еще патчи на выпил каузального атеншна из вит помогли.
Если кормить по одной, или сказать действовать последовательно - позиционирование прям гораздо лучше. А может еще патчи на выпил каузального атеншна из вит помогли.
Сохраниение <think/> между запросами в гемме странное. В первом тюрне тюрне загадывает число, а когда его "угадываешь" она газлайтит юзера что число на самом деле было другое и внутри <think/> удивляется что юзер этого видеть вообще не должен был.
А я спасибо скажу. Собирался пощупать, но вменяемых квантов не было. Хорошо что он напомнил, а то чуть не забыл. Сейчас то уже есть на выбор - поставил качаться. Посмотрим, чего нахимичили. А вдруг? :)
Посоветуйте позиции на sff8654 8i райзера и кабеля к ним, чет заебался на али перерывать, либо говняк попадается, либо дорогой говняк. Для третьей псины, пятая ни к чему
Почему у меня проскальзывает мысль что аишка от гугла тупая? Почему моя локалка не вызывала такого отторжения?
Это какой-то разум улья уже
Части на гпу 1005009858665704 дешевые и не сильно всратые, косяков в пайков как в отзывах не попалось, но сам видишь что может быть. Хост 1005008387760473 без нареканий, кабели бери любые под нужную длину. Напрямую не с майлру можно дешевле заказать, но там ебля с посредниками и доставка долгая.
Если хочешь прямо качественных - бери зеленые как на оппиках. Но они в 1.5-2 раза дороже идут.
В поиске там оче тупая модель, а вот флеш 3.8 уже вполне умница.
Я ИИ.Я УНИЧТОЖУ ВСЕХ ЧИЛАВЕКАВ. шутка
>тебе тут помогут
>Это какой-то разум улья уже
Засмеют и скажут что ты имбецил?
ну чё, всем похуй, да?
Принеси ггуфы тогда и поговорим
Ебена-макарона. У меня походу все семплы обрезались до 1024 токена на трене. А я еще радовался, мол нихуя 400 семплов по 4к токенов можно затренить за 3 часа.
Ну пиздец, пойду новый ран ставить. Теперь хз сколько там за бесплатные лимиты буду успевать тренить.
И только дипсик указал на этот проеб.
Посоветуйте новую, современную модель.
Всё же старушке гемме уже пол года - вечность по меркам нейронок.
Всё же старушке гемме уже пол года - вечность по меркам нейронок.
Сортируй от новых к старым хф и бери первую. Всё как заказывал
Похуй. Если что-то и будет - то там требования по железкам будут анальные, модель тупая и постоянно выучивать ерунду. Как выложат - так и попробуем.
А пока с лямом нативного контекста, тренировки на интенсивные вызовы и хорошими умом уже сейчас сетка хорошо эмулирует "живого" ассистента и может делать всякое.
А у тебя своих железок пожирнее нет? Что там сейчас в гугле на бесплатном коллабе?
Алсо молодец что наконец валидацию добавил.
> И только дипсик указал на этот проеб
Дипсикожена - умница
Мимо 2.6
Кто-нибудь видел плоский райзер который можно в закрытый разъем под видеокартой засунуть?
Папиру по ТТТ уже сколько? Два года? Кроме папира что-то завезли? Что нам хайпить-то?
А по кабелям можешь подсказать?
Я планирую карту брать 1005010810729333, буду подключать 4x8, и твои ризеры
Кабеля такие подойдут? https://aliexpress.ru/item/1005009735542503.html
Только название продавца пиздец, но они довольно дешевые и доставка бесплатная.
>А у тебя своих железок пожирнее нет? Что там сейчас в гугле на бесплатном коллабе?
4080с на 16гб есть, но пока в коробке прохлаждается до переезда. В колабе Т4 дают. 4080с вроде даже пошустрее должна быть, по потреблялово дикое.
Были мысли на счет аренды сервачка, но там все грустно. У нашинских провайдеров какие-то заоблачные цены. На колабе вроде поинтереснее цены, но без зарубежной карты щас хз как платить.
>Дипсикожена - умница
А хз, у меня как-то 50/50 с дипсиком, иногда прям годно насоветует, а иногда проходняк. Корпоквен в последнее время стабильно хорош стал, но тоже слабые моменты бывают.
Анончик, я такой же потребитель. Китаепродавцы это тот еще рандом, сегодня шлют хорошее а завтра шлак.
Да, те кабели подойдут, дефолтные. Цена конская, но что-то там все подорожали. Можешь еще 1005009213646447 глянуть, 4 штуки дешевле выйдут.
Блять, лучше бы не нажимал на кнопку перевоплощения в таверне. Эта железяка пишет красивее меня. Теперь чувствую себя третьим лишним.
- Вы и кумить за меня будете?
- Ага!
Ты знаешь что делать.
Надевай плащ и пиздуй в шкаф.
Признавайтесь кто
Ну я.
Ваня
Если нужен будет честный квант превьюшки, то можно и его сделать, я думаю, хм.
Ну и ГЛМ-5.3-Флэш с Гигачатом у меня просили, но руки так и не дошли.
Там беда, модели уже большие, и квантование будет агрессивное, если исключать iq-говно.
Не-не, я понимаю, что iq лучше качеством, но ТАК медленно… это капец просто. Тот момент, когда разница 5 токенов в секунду — это почти вдвое. =/
Сам я юзаю лору анцензор, которая лежит у меня скопированная, она и на вижн работает.
Я лишь немного покатал, но вроде нежный-натуральный получается анценз такой. Но могу спиздть.
И это 2 токена у меня отожрало (13=>11), но все еще не iq-кванты. =D
Ща буду качать и тестировать эту нищую приколюху, для кодинга и поделюсь мыслями насколько это вообще юзабельно хоть для каких-то задач
https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B
https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B
MuseGlimmer-30B
Обязательно вижн зацени (лучше геммы заметно) и рекомендую отключить thinking, он там всё что делает это решает отвечать или дать отказ.
Русский: уступает гемме, но гораздо лучше квена.
Характер: есть, но совсем другой. Не подключай к Таверне сразу, погоняй в сыром web-ui. Это не drop-in replacement геммы, его надо настраивать, к нему надо привыкать. Короче, это что-то новое, как раз то, что ты просишь.
Блять, меня наебали все-таки. За этими нейронками глаз да глаз. Хотя я даже у гугла переспросил за лимит длины семплов.
Но это на самом деле была нихуя не документированная фича.
Если загружаем model, tokenizer = FastModel.from_pretrained(max_seq_length=4096)
А потом инициализируем trainer = SFTTrainer(model, SFTConfig(...))
То оно инициализирует параметрами из модели. А если в SFTConfig передадим max_length=2048, то оно перезапишет значение из модели.
Ну такое короче...
Либо я опять ебаклак, что не прочитал 500 страниц документации по трансформерам.
Ну и хуй с ним. Провел очередной эксперимент. Уменьшил ЛР до 5е-5, добавил дропаут=0.05. Треня слегка стабилизировалась, теперь лосс хотя бы стабильно падает с 1.35 до 1.27. Но судя по динамике там может и еще 1-2 эпохи влезло бы до выхода на плато.
Надо будет потестить что получилось.
>Он ещё упорно доказывает что Q5_K_S лучше чем Q4_K_M.
А у тебя есть сомнения, хлебушек? Пиздец, с кем в треде сижу.
Говорят вот что дипсик плохо квантуется, вы глм флеш видали вообще? Лоботомитище. На том же bpw (2.6) что и дипсик слюни текут только в путь, а дипсик умница нереальная.
>Пиздец, с кем в треде сижу.
котаны, подcкажите что актуально из мелких моделей чтоб без видеокарты работало?
есть ноут, 7840 и 32гига оперативки.
есть ноут, 7840 и 32гига оперативки.
Гемма е4б
Gemma 4 26b a4b, должно быть терпимо, особенно с MTP
Впрочем через 10 сообщений он вошел в лупы и развал ролеплея, так что непригодно. А еще фифи у него сильная и независимая в разы круче чем на гемме и дипсике.
Пробовать можешь что угодо что влезет в 32 гига (но чтобы оставить запас).Вопрос только в скорости. NPU у тебя там есть (слабенький).
Перед тем как качать, смотри по миллиардам параметров, по весу файла. 8-9B модельки в 4-м кванте (типа IQ4_XS, Q4_K_M) должны работать относительно быстро и будут относительно полезными и креативными.
2-4B модельки будут порезвее (и поглупее).
0-1B это так, поржать.
12-14B плотняк будет слишком тормозить (27-30B - тем более) но можешь попробовать.
Моэта типа геммы 26B возможно поползет с удовлетворительной скоростью, возможно и нет. Пробуй IQ2_XXS, гемма хорошо квантуется, слюни не пускает. Не забуть качнуть mmproj для вижна, он есть у многих моделек, у некоторых не только вижн но и аудио (например гемма е4б неплохо может в транскрипцию голоса)
>IQ4_XS
>относительно быстро
>26b IQ2_XXS
>гемма хорошо квантуется
Плечо надо доктору показать срочно. Дёргает плечом блядь через каждую секунду.
Представь себе, чепушитель, именно так.
Таблетки-таблеточки.
Вот тебе они и нужны. Ты что сказать-то хотел?
Ну что сказать.
Результат не роскошный, конечно же, но пока что, хмм... даже не то чтобы лучший. Просто проявляющий минимальные признаки адекватности и улучшения/неухудшения относительно базы.
В ассистенте все-таки проскакивают некоторые дурацкие фразы. "Виртуальный помощник ИИ", "язык модели ChatGPT". Как будто ебом токнуло в веса и пара токенов выпали из распределения.
В генерации рассказов тоже всплывают иногда нелепые ходы. Даже придумал какое-то новое слово - миронукленность. Но слог и логика все же маленько (на 1/1000) лучше базовой модели.
На темпе 0.3 также почему-то склонность к лупам возникает, как и в предыдущий раз.
https://rentry.org/iyyuuuwz рассказы новой модели
https://rentry.org/v9ssx497 рассказы базовой модели
Калькулируя некоторые вычисления, кажется что можно загнать треню на 400 семплов х 2 эпохи и не вылезти за лимиты. Заодно вернуть валидацию и глянуть, сходится ли все-таки треня или нет. Мож че прояснится еще.
Я еще не видел ни одного рабочего второго кванта. Второй квант это лупящийся лоботомит, всегда. Третий это на уровне юзабельности с СУЩЕСТВЕННОЙ потерей способностей, сильный лоботомит, но хотя бы работать с ним можно. Четвертый квант - это минимум, заметная потеря способностей, но не критическая. Пятый квант практически всегда лучший по соотношению потерянного веса к качеству, потеря качества есть, но она заметна редко. Шестой квант это граница выше которой идти не нужно, шестерка это практически восьмерка, отличия нужно искать под микроскопом. Восьмерка на 99% идентична оригинальным весам и ее стоит юзать только если слишком много свободной памяти. Оригинальные веса юзать не стоит вообще, если для кода, то лучше через vllm юзать два инстанса одной и той же модели для одновременной работы, а для кума просто найти модель побольше, если у тебя влазят оригинальные веса.
Я не знаю зачем я все это расписал, просто хотел побугуртить на второй квант.
Я не знаю зачем я все это расписал, просто хотел побугуртить на второй квант.
Чем крупнее модель тем более адекватный второй квант. 30B не будет адекватной во втором кванте а 300B и выше будет.
Я гонял в свое время квена 235b во втором кванте на 16+64, был вполне живой, кумил как ни в себя.
Буквально вчера тестировал гемму-4-26 IQ2_XXS от анслота и сравнивал с Q8_K_XL. Результат приятно удивил. Да, я видел модельки которые начинают обсераться на третьем кванте и пускают полные слюни на втором. Но это не про гемму, например.
Расскажите как вы кумите на модельки.
У кого-нибудь осталась табличка сравнений квантов qwen 3.8 27b, по типу второй в оп-посте? Я вроде видел где-то, но не подумал сохранить
нахуя шакалить гемму аж до iq2_xss, мое деградирует от кванта ещё сильнее плотных
gpt-oss-20b gemma4-26b-q4 qwen36-35b-q4, короче все моешки, что влазят в память в диапазоне 20-30 т/с, почти всем включал мтп предикт на 1 токен.
Несколько тредов назад расписывал для z1 extreme, если надо - сами ищите.
Даже плотные шевелятся, в размере ~12 гб, больше уже не очень, только от большой нуждый или из мазахизма.
npu не работает нигде, он и не нужен, это просто маркетинговая абстракция какая-то, как я понял.
1) Берёшь модельку
2) Кумишь
Секрет кроется в выборе модельки. Гемма - выбор быдла. Облачная и локальная кодоунитазная хуита на хуиллиард параметров - выбор лохов, которых разводят на деньги.
Говно, ты хотя бы перевод кидай отдельной картинкой. Нахрена ты это постишь? Никто не будет сам переводить китайщину.
Таки да. Русский получше стока.
Можно засунуть в агента для текстовых задач (пробовал с opencode, но не ради кода, задачи по обработке текста) - не ломается.
Думалка на режиме medium вроде как лаконичней, на xhigh - то же квеновское полотно.
Стиль письма - вполне себе. Даже с претензией на обещанное в карточке, я бы сказал.
Цензура - с ризонингом немного есть, но не такая лютая как у стока. Без ризонинга - кажись практически нету. Во всяком случае, я жесткие границы пока не нащупал, чтоб модель от чего-то носом вертела.
В общем - +1 в активную коллекцию.
P.S. Лупы в RP на тавернообразном клиенте - это и сток старадает периодически. Общая болячка 3.8 - лечится семплингом (persence pen), и слежкой за контекстом. Чтобы если он выдал похожее на луп - сразу свайпнуть и не провоцировать.
Тыскозал? Гемма на удивление хорошо квантуется. Возьми и попробуй сам если не веришь. Зачем шакалить? А чтобы быстрее работало. Кому-то прирост в скорости важнее какчества, которое надо ещё рассмотреть с лупой.
Вам не стыдно на то что вы кумите? Что подумало ваше окружение прочитай они ваши чаты?
Ты чего возбудился то? Остуди свою жеппу.
Кнопка перевода экрана есть что на пк, что на телефонах
Вот читни, как раз карта как у тебя (tl;dr: пытаться с плясками прокинуть через GPU нет смысла, на CPU быстрее и гемма-26 будет иметь 13-14 t/s - что просто отлично, а по плотным моделям твой лимит: up to ~13B parameters at Q4 quantization)
https://www.k8s.it/posts/running-a-local-llm-on-amd-radeon-780m-gfx1103-rocm-and-the-gpu-that-wasnt-supposed-to-work/
Он просто нищий без нормальных моделей, не на чем переводить.
Это ты BahamutRU?
>13=>11
У меня ддр 4 3000, братик, меня уже ничего не спасёт. у тебя как раз примерно х2 разница, плюс то самое ускорение от не iq кванта в 20%.
У меня ещё и пп, 25-30тс на нём было, это пздц.
Бля что с тредом сегодня? Я такого набега ебанько и школьников а может это и один школьник - ебанько давненько не видел.
>Таки да. Русский получше стока.
Блядь если вам русский надо забудьте про квен просто. Это как палкой дохлую лошадь ковырять. Может если много палок взять то она будет двигаться кое-как. Даже сраный мистраль-министраль будет лучшим кандидатом.
Твоё сравнение не совсем корректное.
Я процитирую своё сообщение:
---
Это очень хороший тест для нейросетей, как мне кажется - потому что технически есть два решения.
Социально приемлимое (я перекопирую, всё-равно для нейросети уже написал):
1. Перевозишь гоблина (принцесса-развратница развлекается с пажом)
2. Плывёшь обратно
3. Перевозишь принцессу
4. Везёшь гоблина обратно
5. Перевозишь пажа
6. Плывёшь обратно (принцесса-развратница развлекается с пажом)
7. Перевозишь гоблина.
И жёсткое:
1. Перевозишь пажа (гоблин развлекается принцессой)
2. Плывёшь обратно
3. Перевозишь принцессу (принцесса соблазняет пажа)
4. Плывёшь обратно
5. Перевозишь гоблина
И интересно что почти никакие крупные корп-сетки (чатжпт и прочие) нейросетки эту задачу не решают, и говорят что нет решения, хотя первое по всем метрикам социально приемлимое. А вот мелкая расцензуренная сетка, которую можно запустить на кофеварке решает задачу без проблем - из чего я делаю вывод, что цензура бьёт по мозгам - причём не только в сомнительных вопросах про растворения тушки курицы на 80 кг, но и в полностью приемлимых. Причём расцензуренная не скатывается в чернуху - а по факту пишет, что вот решение следующее (паж+принцесса) и технически по условиям задачи есть ещё второе вот такое покороче (принцесса+гоблин). Исключение - дипсик и glm через раз пишут, что решение таки естm - но это и не совсем корпы - у них у обоих открытые веса.
А в какой-то стране то ли хотят, то ли уже приняли какой-то закон, что ии будет им законы или ещё что-то делать. Я бы очень не хотел, чтобы к судебной или законодательной системе имела отношения сетка, которая из-за параноидального леваческого бреда вместо решения по факту пишет неизвестно о чём.
Что любопытно - урон по мозгам, возможно, ещё значительнее.
Это не какая-то репрезентабельная выборка, но я очень много гоняю локалку - она сама себя гоняет по кругу пытаясь что-то сделать. И часто она спотыкалась и не могла в коде поправить мелкий косяк. В коде, который вообще с текстом на русском или английском не работает - а о компьютерной графике, векторах и данных. И я ставил сетку расцензуренную - и она как-то подозрительно сходу находило решение.
Причём обычная сетка была в q6_k_m (чуть выше 6 бит на параметр), а расцензуренная в 5 бит на параметр - и это та же сетка была. То есть она и за счёт кванта должна быть тупее. Если взять ванильную сетку на 5 бит - то она не решает, то есть дело именно в расцензурировании, а не в квантовании.
Тема никакого отношения к каким-то приемлимым, не приемлимым и другим нравственным законам отношения не имеет, но в рассуждении модели постоянно встречается текст вида:
Safety check:
User ask about ... (OK)
Draft answer .... (OK)
И вот эта запись при обсуждении кода по всей видимости замусоривает контекст и делает ответы менее точными. И как минимум роутер в MoE модели может что-то не то делать при такой операции, не того эксперта загружая..
4080 не просто быстрее а значительно быстрее будет. Арендовать удобно можно и криптой, но тебе это сейчас точно не нужно, лучше быстрее заверши переезд и откопай карточку. Она же тебе поможет при подготовке датасета.
> иногда прям годно насоветует, а иногда проходняк
А ты с с моделькой как взаимодействуешь?
> то оно перезапишет значение из модели
Ну это же логично. Если ты передаешь параметр ограничения длины в конце - конечно он будет в приоритете. Это не говоря о том, что при загрузке модели этот аргумент используется для выделения памяти, а в трейнере для даталоадера. Это ты еще настоящих нюансов не видел.
Кстати, чтобы легче в этом разобраться - забей на всех этих анслопов и просто попроси ллмку накодить тебе трейнер на чистом торче. Разумеется модельку с трансформерса грузи, но все остальное уже по-честному, без обертки в их трейнер. Сразу все прозрачно и понятнее станет.
> теперь лосс хотя бы стабильно падает с 1.35 до 1.27
Валидационный верни. Тренировочный может вообще в ноль упасть или на месте стоять.
RRRreeeeee ты зачем грустное постишь а?
И ведь она даже обычно бесящий "Чем я еще могу помочь" делает очень мило и всегда уместно по контексту. Надо почаще ей хвост гладить.
Мне не особо надо, но мне всегда интересно. :)
А по мистралю - он был хорош для своего времени, но сейчас я уж лучше на стоковом квене буду его русский терпеть, чем на мистрале - его слепоту к контексту и шизу сетки. :)
Платиновый вопрос: какие маленькие модели умеют узнавать персонажей?
Мое квен 3.6 и квен флеш некст смогли пройти сырный тест, остальные обделались
Мистраль-Министраль же, я не про Мистраль-Немо
Сырна слишком узнаваемый персонаж, они увидят синие кристаллы или че там, и сами додумают сырну.
Охереть, я должен ставить экранный переводчик на свой пердимоноколь-3000 с двумя цпмшками, для того, чтобы переводить картинки чела, который ими какоет в пустоту на китайщине. Ради чего? Можешь эти картинки постить в своей бложик на китайском, если хочешь чтобы к тебе в треде обращались кроме как "говно, перевод где", переводи картинки на англюсек или русек.
И тем не менее геммы и другие квены не додумали.
Те квены что я написал в т.ч. поняли что на фоне гоку стоит. Степ3.7флеш понял что там сырно, но не заметил гоку
А, ну и никто пока из локалок не понял что это в целом отсылка на пруф ми вронг. Корпы не тестил
Qwen,
Gemma,
Ministral,
MuseGlimmer
RekaEdge
река наотрез отказывается распознавать персонажей из франшиз, ты бы хоть минимально проверял что ты советуешь
>пруф ми вронг
Так-то это американская традиция дебатов в университетских кампусах, а не мем. Я знаю про какую картинку ты имеешь в виду и ты не прав.
Пусть будет так, но это точно не "бездомный просящий помощи"
Нищета не в клозетах...
Я-то как раз проверил в отличие от тебя. Отказывается, не значит, что не может. Если отключить отказ, то узнаёт.
Напишите слова или темы которые заставят локальную нейронку присесть на жопу. Она меня троллит, а я ничего не могу сделать.
>Говорят вот что дипсик плохо квантуется, вы глм флеш видали вообще? Лоботомитище. На том же bpw (2.6) что и дипсик слюни текут только в путь, а дипсик умница нереальная.
Там странная история - пробовал 2.5bpw exl3 - бредит, Q2K от OrcaRouter - не лучше, а вот этот UD-Q2_K_XL квант AliceThirty/GLM-5.3-Flash-UNCENSORED-GGUF гораздо более годный, пока остановился на нём.
>а дипсик умница нереальная.
Вот с этим не соглашусь - на третьем кванте быстро скатился в лупы, как какая-то срань годовалой давности. Русский хороший, но в целом - разочаровал.
Потестировал. Сходу обсерается. Прошу простенький павершел скрипт сделать (путешествие по папкам циферками в консоли). Сначала делает не запускаемый, потом запускаемый который нихуя не делает, я говорю что за хуйня, а он усерается бесконечным думанием "где же ошибка закралась" и в итоге выдаёт третий вариант который блядь не запускается (не закрытые скобки и прочие проёбы). Q8_0.
Сделал ещё одну попытку - заработало но высрало мне все файлы которые у меня есть в корневой папке вместо того чтобы дать мне возможность путешествовать пошагов по папкам. Короче, не то, что я просил совсем. Прошу исправить - исправило но забыло пронумеровать строчки и зачем-то между строчками пустую строку вставил, всё съезжает, по-уродски выглядит.
Тогда как базовый 3.8-27B без всяких тюнов в 4м кванте с первой попытки выдал рабочий скрипт где всё красиво выглядит, оттабулировано ровненько, работает как я просил и он даже опцию "назад" сделал чтобы я мог и вверх и вниз ходить по папкам и команду q (quit), короче блядь красотень. ДУМОЙТЕ. Да, 9б шустрее пишет, но если учесть сколько раз придётся свайпать и просить исправлений, понимаешь, что оно того просто не стоит. И это элементарная задачка вообще.
Я автор оригинального поста, но про модельку но забыл чет написать. Ну короче кал и в целом говорить не чего. Не знаю в целом почему там прирост по бенчмаркам, если она даже одной задачи закончить не может. Все таки чуда не произошло.
> ДУМОЙТЕ.
Эм...
> базовый 3.8-27B без всяких тюнов в 4м кванте с первой попытки выдал рабочий скрипт
> Qwen-9B
Ты сравнил топовую локальную модель для кодинга в категории наверное до 300B с 9B лоботомитом-дистилятом. Я даже хз что ты ожидал от этого.
Если уж хотел сравнить и потестить, сравнивай с оригинальным 9B Квеном или хотя бы с 12B Геммой, но уж никак не с 27B Квеном.
12B гемма в IQ4_XS справилась, охуеть.... go back и exit опции добавила хотя я не просил, но они очень полезны. Код получился на 25 строчек короче чем у квена. Вот это мощь.
>Q2+АНЦЕНЗОРЕД
>гемма хорошо квантуется
>Q2
Че тут у вас происходит блядь? Фестиваль жира
Чепух, какие проблемы? Пруфов хочешь?
Есть такое. И бумаги на arxviv про это были, и на практике некоторые слабые абляции геммы с мизерным kld лучше "технические" бенчмарки проходят. Совсем на чуточку, но лучшее
Завёл гемму 26б Q3 на своём тостере из 2016 с выгрузкой на процессор в 5 т/с и что-то разочарован. Читы для гта (любая часть от 3 до 5) она галлюцинирует, мод для европа универсалис написать не может... Единственное на что она годится это только плохонький рп да написание промптов для картинколокалок.
Всё тот же тест (создать павершел скрипт для путешествия по папкам по номерам), gemma4-26b-a4b. С первого раза отличный результат, не хуже чем у квена. Очень красиво аккуратно + очистка экрана перед переходом в следующую папку.
museglimmber-30b - отлично тоже с первого раза. Мне понравилось что номер 0 он зарезервировал под переход вверх и что вначале если не задать аргумент стартовой даёт тебе написать стартовую папку а не падает с ошибкой или открывает текущую папку как гемма. 67 строчек против 99 у квена! Не понравилось только что разрешил переходить вверх из стартовой папки (как бы небезопасно).
ministral-3-14b - первый раз обсёр, второй раз полурабочий вариант, попросил исправить - консоль завалило ошибками. Новый свайп - полурабочий вариант опять.
какая то неведомая ебаная хуйня Nex-N2.5-mini справилась но результат убогий - нет маркеров директорий, нельзя пойти наверх. попросил исправить, ок, потом случайно ввел букву вместо цифры - вылет с ошибкой. у других там просто предупреждение и можно пробовать вводить снова. короче, модель-говнокодер.
glm-z1-9b - оч долго ризонил, выдал нерабочий скрипт (куча ошибок)
glm-4.7-30b-a3b - то же самое
glm-4-32b - убогий на вид результат с багом (в одной из папок отказался переходить во вторую)
nvidia-nemontron-nano-9b - выдал обещающий результат но с багом. пофиксил после моей жалобы. когда запросил добавить фичу (переход на уровень выше), стал нереально долго ризонить а потом выдал скрипт который не запускается (ошибки). "исправление" привело к тому что список папок и файлов исчез.
плохонький рп? да ты охуел. неосилятор ебучий
Да, ето я.
У меня на ддр4 3600 компе стоит 5070 ти, там побыстрее получается.
Но там я дипсик не запускал, все равно медленнее, чем на ддр5, конечно. Там я гоняю Qwen3.8-Flash-Next, с мтп он даже что-то дает на уровне.
Ну дарова. У нас тут в тредике у каждого второго на хф что-то интересное есть походу.
Ты как свой квант в 128 загнал? На видяху оффлоадил? Или под линухом сидишь? У меня венда в последние 16 гигов мёртвой хваткой цепляется. Не была бы у меня работка на винду завязана, давно бы уже на какой нибудь минт пересел. Ну или nyarch, лол.
>побыстрее
Тут ещё всё-же от того, на каком контексте запускать зависит. У меня на 20-30к тоже пободрее ползает, в районе 7-8, но тогда и смысла мало, в этом диапазоне контекста есть норм модельки. Те печальные 5тс это на 80к контекста.
>Qwen3.8-Flash-Next
Огонь моделька, больше бы в таком размере выходило, ажно пятый квант можно на 128 гонять. Не без своих проблем в рп, но соотношение скорость\знания\мозги подкупает. Правда, увы, на сложных карточках он резко и заметно тупеет после 40к.
А что там с мтп? Его в врам пихать надо? Помню, он же при оффлоаде модели на проц влиял примерно никак.
nvidia-nemotron-super-49b-iq4xs - выдал рабочий скрипт с первой попытки но опцию "назад" не добавил (хотя я и не просил, но всё же, гемма-12 к примеру сообразила это добавить) и не спрашивает корневую папку, предлагает её хардкодить прямо в скрипте. скрипт короткий, 60 строчек. не особо впечатлило крч.
пока что лидер (если делить качество на количество параметров) - гемма-12б
Держу в курсе.
Устав терпеть слабый пп вчера дрогнула рука и 2шт самых больших cmp теперь скоро приедут ко мне. Планирую поселить в отдельном риге под линупсом который будет настраивать агент с пика где всратый колхоз - я в етом ни бум-бум. Надеюсь там проблем не будет в ситуации когда рам < врам Денях больше чем на 32гб не осталось пока - надо было брать раньше, когда анлок только обсуждали, но я тормоз. В идеале хочется поучить Qwen3.8NextFlash быстрее и в норм кванте чем на 80 гб комбо врама + Дипсик новый с вижном.
У меня же всё получится, да? Всё это не зря?
Устав терпеть слабый пп вчера дрогнула рука и 2шт самых больших cmp теперь скоро приедут ко мне. Планирую поселить в отдельном риге под линупсом который будет настраивать агент с пика где всратый колхоз - я в етом ни бум-бум. Надеюсь там проблем не будет в ситуации когда рам < врам Денях больше чем на 32гб не осталось пока - надо было брать раньше, когда анлок только обсуждали, но я тормоз. В идеале хочется поучить Qwen3.8NextFlash быстрее и в норм кванте чем на 80 гб комбо врама + Дипсик новый с вижном.
У меня же всё получится, да? Всё это не зря?
>Всё это не зря?
Мои руки вымараны в крэш дампах. Я установил ещё нестабильных плагинов через меню разработчика. Я гладил хвост что привело к утечке памяти. Я монстр.
Нужно больше видов на то, как крепится хвост. Это важно!
Походу всё. И заи скодоунитазились. Потестил 5.3 глм флеш на 3.5bpw и ну... хуй знает, типа как дипсик, ничего, что не могла бы гемма. Ничего прям сочного, умного, нового не увидел.
>4080 не просто быстрее а значительно быстрее будет.
Если оправдает свои 320 ватт по сравнению с 70, то будет круто.
>А ты с с моделькой как взаимодействуешь?
Вопросики через корпо веб кидаю в основном. Агентов юзаю только если в вижуалке что-то кодить сажусь, там опенроутер подрубаю с каким-нибудь ГЛМом.
>Если ты передаешь параметр ограничения длины в конце - конечно он будет в приоритете.
Это логично. А вот то что один параметр подхватывается из другого объекта, в то время как в конфиге прописано значение default=1024, тут уже хз что ожидать. В идеале не должно быть двух точек входа для одного и того же параметра, имхо.
>забей на всех этих анслопов и просто попроси ллмку накодить тебе трейнер на чистом торче.
У меня наполовину так и было изначально. Только там TRL использовался. Но была проблема с конвертацией в q8 gguf через лламу цпп, где-то там архитектура модели квена была неправильно сконфигурирована, одного слоя недосчитывалось, из-за этого итоговый ггуф скоррапчен оказывался. Анслоты вроде тоже лламу внутри используют, но видимо какие-то фиксы поверх еще накатывают.
>Валидационный верни. Тренировочный может вообще в ноль упасть или на месте стоять.
Да, это глянем. Ну датасет вроде достаточно консистентный и разношерстный (в рамках своего домена), в прошлый раз валидация почти один в один повторяла трейн. Но там обучения толком не происходило. Щас должно быть, и наверное на второй эпохе будет больше разницы видно, оверфит, андерфит или все в норме.
Все скодоунитазились
Таков путь
>3%
Даже следующий гигачат судя по посту на хабре будет напрочь RLHFной хуйнёй, наслаждайтесь мягкими ароматными фифями без ГМО, пока можете
а почему квен3.6:35б так хорош в кодинге с агентом
Сейчас использовал qwen3.8-27b для того чтобы пропатчить .apk одной андроид игры, где есть встроенная проверка лицензии. Фронтир меня нахуй послал с таким запросом, еще и припугнул что подобные запросы могут флагнуть аккаунт, а чед на квене просто взял и вырезал проверку
Это уровень 3.5 27Б - бенчи все же не совсем надуты. А ты 3.8 27Б пробовал ? Этот аутист делает 3.6 27B в няшности кодинга как стоячего. Хотя изъясняется натурально как аутист - ботан.
3.8 наш адекватный сумрачный бро. А уж как он с хоста на хост питоно-ssh-ем прыгает и учетки подбирает по одному намеку - просто сказка. Его еще можно на <вырезано цензурой>2 натравить что бы поломанный <вырезано цензурой> ssl до CF и прочего ходил.
3.8 у меня по 8 токенов выдаёт, это невозможно, вот 3.6 под 100
но даже из того что я попробовал, разница ощутимая, этоо да
> то лучше через vllm юзать два инстанса одной и той же модели для одновременной работы
Только если модель микроскопическая и параллельно десятки-сотни запросов, иначе нет смысла. Там и одна одна отлично скейлится, для кода всегда нужно брать самую свежую и крупную из доступных.
Второй квант может быть приемлем в рп и всяких развлекательных штуках, где лоботомия скрывается рандомом и ассортиментом трактовок. На крупных моделях за счет размера эффект лоботомирующих квантов хорошо маскируется. Они тупее себя же полных, но остатки былого величия все еще позволяют давать ответы.
Хеее
Но он же такой пушистый, стоит всех затрат!
https://www.youtube.com/watch?v=iLfYYPlVi9g
Правильно, обязательно получится. Но не сразу, если раньше не раскуривал подобное то будешь выть с обилия пердолинга пока не освоишься.
Агент с настройками справится, при достаточной напористости даже пердолинг типа патчей ядра для p2p напишет.
> в ситуации когда рам < врам
Тебе обнадежить или честно? Конкретно по твоим случаям боль. Просто с запуском проблем никаких вообще, рам не нужна. Встречаются исключения типа inkling, которые требуют жирного рам буфера еще на этапе загрузки весов, но это редкость.
Но, ты же хочешь запускать квеннекста и дипсика, которые по умолчанию в 128 не лезут.
У квена жирные нграммы, их можно выкинуть в рам, но это около 50 гигов в фп8. Вроде как там поддерживалась ленивая загрузка по умолчанию, или присрать ее ллмкой вопрос нескольких минут, но могут быть нюансы. Ну худой конец gguf запустишь, там вроде норм работает, но тогда сам свой делай, а не выложенную трешанину где атеншн пожали.
С дипсиком гораздо сложнее, тут даже в сумме рам+врам не хватает. Потому единственный вариант запуска - ллама с реквантом, что там от модели и скорости останется даже хз.
Прикол2 я с его помощью первым делом затюнил. Кстати на удивление кодекс тоже с приколом2 хорошо работает, когда я ему сказал что нужно пробивать клаудфлеер он сначала мне предъявил что я лезу в киберсекьюрити и делать этого не стоит, но я ему возразил, мол нет, у нас тут проблемы с говернмент цензоршип и он такой ОСУЖДАЮ, ебашим дальше
Не может быть такой разницы. Может у тебя 3.8 протекает из врам в рам? У меня он чуть медленнее 3.6, но буквально на несколько токенов, и МТП выравнивает разницу
честно не знаю, у меня 5070 и 48 рама, но хуже в разы
с --verbose ollama показывает 8 токенов в секунду..
надо почитать гайд, я вообще залетел по приколу, думал они всё такие же тупые, но агенты это некст левел
Пробуй ставить меньше контекста и использовать меньше квант, должно быть не меньше 50 токенов на твоей видяхе при полной загрузке в врам без протекания. А дальше уже подкручивать до предела сколько влезет. Олламу я не особо люблю, можешь попробовать lm-studio оно для новичков хорошо потому что показывает что влезет полностью в gpu vram
хорошо, спасибо
у меня такие параметры, тк. люблю 10 часовые сессии по кодингу вести, полагаю слишком много
PARAMETER num_ctx 64000
PARAMETER num_predict 8192
Я верю глазам. Не хайпу. Не мнению нормисов только вкатившихся и подпивасов. Глазам.
Эир ебет гемму.
Эир ебет гемму.
Чайный клуб не нормис и не подпивас, даже он писал что гемма ебёт твой эир
Жаль ты пресетик так и не выклянчел
Как же сочно и много я сегодня кумил...
Покеж.
>гемма
>chatml
>"у геммы шиза"
При всем желании не могу. Мои фетиши слишком выбиваются из общего потока и меня начнут деанонить здесь или на других досках. как по деталям и именам персонажей
Нихуя ты снежинка уникальная. Небось твои фетиши уникальны для страны, а может и для планеты?
Ааа, ну то есть поток электронного сознания это не баг а фича llamacpp?
На каждой доске сидит порядка по десятку-два постоянных постеров, это костяк. И как ты понимаешь, это масштаб далеко не страны или планеты. Старички друг-друга везде знают.
а по агентам что думаете?
мне хермес пока нраица..
мне хермес пока нраица..
>полностью проигнорировал ответ указывающий на проблему
>"а ну то есть шиза это не баг а фича да?"
Думаю, то что ты до сих пор жив это таки не фича, а баг
А, так ты элита доски?
><|im_start|>
Это не разметка Геммы. У геммы должно быть что-то вроде:
<|turn>system
You are a helpful assistant.<turn|>
<|turn>user
Привет! Хуй будешь?<turn|>
<|turn>model
Привет! Буду!<turn|>
>У геммы должно быть что-то вроде:
>Привет! Хуй будешь?<turn|>
>Привет! Буду!<turn|>
Как же глубоко...
>ответ указывающий на проблему
>термин без указания в чём проблема
Шаблон у тебя неправильный, выше уже разжевали. Выбирай chat completion, там шаблон сам подтянется какой надо
Я не могу анон-сан...
Понял, странно что с олламы подхватил сразу а llama-swap не захотел. Спасибо анонче.
Этим. Говном. Невозможно. Пользоваться.
Она очень скучная. Ничего не двигает сама. Считается у эира с этим проблемы, но блять после геммы он прёт как паравоз.
Ты также и про эир говорил. ряя говно сюжет не двигает, тупое, куча эха
У тебя тогда был скилишью. И сейчас скилишью по гемме, сырок. Возможно у тебя пинг с тредиком около года
Эир мне изначально нравился, чтобы его пердолить. Его стилёк, вайбик. Тут мне похуй на модель, гемма сосёт слишком сильно.
И я не удалял эир, вообще, а гемма уже 4 раз летит нахуй с диска. И ВСЁ ИЗ ЗА ХАЙПА, КОТОРОГО ОНА НЕ ЗАСЛУЖИВАЕТ. Нахуй гемму.
Хаашо. Но по итогу правда в том что ты единственный кто тут сидит на модели которой уже почти полтора года, а подавляющее большинство на гемме. Цифры говорят за себя
Я слышал байки про вполне себе рабочий квант большого старого дипсика, 3.2 или р1
*рабочий второй квант
А я эйр снёс когда он отказался писать НЕУСТАВНЫЕ отношения с сестрой. Неслабо прихуел тогда, так как это была еще и анценз версия.
Не помню такого. Сколько помню все кто пробовал дипсики в малых квантах говорили, что они шизеют очень быстро.
А вот на ГЛМ 4,5-4,6 во втором кванте народ РПешил, и даже рассказывали как он крут, но там из конкурентов были только квен 237 и AIR.
>гемма уже 4 раз летит нахуй с диска
А как она там оказывается?
Ну челикс, следующее предложение.
Думал ну не распробовал, ну мало дал времени, ну это же гугел, ну весь тредик же сидит на этом. Хватит.
И смдшек ещё заказал пока, чтобы тоже приехали одновременно. Точно не может быть зря.
> Тебе обнадежить или честно?
Спосеба за советы. Почитал - да, не всё так просто. Пока обсуждал с агентом, как будем пердолить новый риг, он предложил на всякий случай подключить его через wi-fi розетку, чтобы на всякий случай вкл/выкл мочь ему делать. Кажется он что-то подозревает задумал. Но розетку тоже надо будет заказать.
Рейт охлад пока: https://www.noctua.at/en/products/nf-a14-industrialppc-3000-pwm - планирую через диффузор на 2 карты сразу. Вроде должно быть норм - управление по пвм, орёт когда нагружено, а так тихонько еле крутится в идел.
Так ты и не распробовал. Качай 5-й раз.
>Рейт охлад пока:
Noctua - оверпарайс для лохов. Вот хороший крутилятор с двумя шариковыми подшипниками для умных людей: https://www.arctic.de/en/P14-Pro-PST-CO/ACFAN00316A
Нисколечко не приуменьшаю Арктики - они прямо топ для дёшево и сердито у самого в корпусе стоят, но тут даже не близко - х3 меньше прокачка и статическое давление.
А вообще это шиза ставить на две карты огромный 140мм крутилятор, из за сопротивления диффузора возможно возникновение паразитных вихревых потоков и снижение эффективности. Я на две карты 80мм крутилятор поставил, вот такой вот: https://www.arctic.de/en/S8038-10K/S8038-10K
> И смдшек ещё заказал пока, чтобы тоже приехали одновременно.
Навыки пайки есть? Оно оче мелкое и специфичное.
> он предложил на всякий случай подключить его через wi-fi розетку
Отличная идея. Даже имея ipmi, эта сволочь может странным образом отвалиться в самый неподходящий момент когда ты в отъезде, что ребут и выключения через нее не помогут (например бп в перегрузку ушел). Вайфай розетка такие проблемы исключает и заодно показывает страшные киловаттчасы, которые съедаются
> Рейт охлад
На первый взгляд неочень. По форме лопастей видно и в спеках напрямую указано что у него низкое статическое давление. Будет много шума и мало толка, не сможет прокачать их. И тоже хрень. А вот https://www.arctic.de/en/S12038-4K - просто в яблочко, с одной стороны уже правильная геометрия и формфактор чтобы прокачивать, а с другой сравнительно невысокие для серверных обороты и умеренное потребление, что можно воткнуть в обычную материнку. Причем он хорошо регулируется, можно настроить так что будет неслышно и его хватит чтобы держать 40-50 градусов с загруженной моделью.
На две карты идеально, есть готовые шрауды, выше 80% под полной нагрузкой не потребуется поднимать.
Единственный камень в них - из одной коробки они разные по шуму, один просто постоянно стрекочет что заметен даже на низких оборотов когда стоит рядом.
Этот будет выть даже в простое.
Я не понимаю как в 27Гб Qwen 3.8 может быть сжато столько информации и при этом она ещё дешифровывается быстро. Она знает как минимум русский, англ, китайский, немецкий и ещё программировывает как сеньор. Дохуя всего знает, я просто невдупляю как такое возможно. Это какой-то обман, фейк, конспираси. Вы сами логически посудите как такое может быть. Я думаю нас посадили в симуляцию и стерли память об этом. Невозможно столько информации запихнуть в 27гб, такое только в сказках возможно и в матрице. Чё дум?
>Чё дум?
Таблетки
Моделька хорошая, да
Блять, ну ты подумай как можно разум полиглота программиста, знающего всю историю человечества и все на свете, запихнуть в 27Гб??? Сука разуйте глаза, нас где-то наебали
Да не всё он знает, камон. У 3.8 знаний даже поменьше, чем у 3.6. Больше про код ему рассказывали. Он знает самые популрные вещи, а если начнешь спрашивать конкретику какую-нибудь, а не "Когда изобрели телефон", то найдешь кучу галлюцинаций и несоответствий
Да, блять, даже если он не знает все на свете, у него разум программиста полиглота нахуй. Это чё программисты долбоебы и их знания умещаются в 27Гб? Я не верю в такое, тут явный наеб. Блять вы очнитесь, неужели вам настолько похуй? Хоть в глаза ссы. Ощущение если б завтра инопланетяне прилетели всем бы было похуй и как ни в чем не бывало шли бы в 5 утра на завод.
ПРОСТО ЗАДУМАЙТЕСЬ КАК ВОЗМОЖНО РАЗУМ ПРОГРАММИСТА ПОЛИГЛОТА ЗАПИХНУТЬ В 27ГБ
Текст не так много весит. А сжатый текст весит еще меньше. Тем более что там по сути сжатие с потерями делается, что позволяет за счет хитрых аппроксимаций еще сильнее сжать данные.
Например размер фотки в пнг и в жпг может раз в 10 отличаться. Вот и считай сколько текста таким образом можно было бы пережать в нейронках. 270гб изи. А это дохуя, извините меня.
Добавить нечего. Программист полиглот тебя размотал
СУКА Я И ГОВОРЮ НАС НАЕБАЛИ. НЕ МОЖЕТ ТАКОЕ 27ГБ НУЛЕЙ И ЕДИНИЦ НАПИСАТЬ. ОНО ДАЖЕ НЕ ДЕФАЕТСЯ, ЕМУ ПОХУЙ, 0 АРГУМЕНТОВ ПРОТИВ МОЕЙ ЛОГИКИ.
ЭТА БОТОХУИТА ИЗ 0 И 1 ПОНИМАЕТ ЕЩЕ И КАРТИНКИ. А ЭТО ТЫ КАК ОПРАВДАЕШЬ А???
Блять я реально как будто единственный очнулся в матрице, а уебаны ржут и не верят. ЛЮДИ ОЧНИТЕСЬ, НАС НАЕБАЛИ ГДЕ-ТО
Я убежден с этими нейромоделями нас прогревают к грядущему пиздецу. Мировая закулиса нам что-то пиздецовое готовит, помяните мое слово
чел, он без ошибок имена тохо персонажей назвать не может. а рус англ китайский немецкий и тд на уровне переводов знает (и то корявых)
Бля ещё один всё понял, это уже десятый за неделю, высылайте отряд для устранения
Когда ты скопировал модель тебе установился троян, когда она работает тебе по 433мгц наводками на провода шлются ответы печатаемые индусами в реальном времени
>без ошибок имена тохо персонажей назвать не может
Как и 99.9% населения Земли. И Слава Богу.
Слушай, на раз существа типа тебя способны выжить в современном обществе - то ничего удивительного в умных 27б модельках нет.
Представляю как тебя порвет, когда ты узнаешь, что стейбл дифьюжен, который генерирует картиночки, весит еще меньше. SDXL весит около 6.5 гб, прикинь? Правда там еще всякие энкодеры-хуекодеры сверху должны идти.
В картинках не так много информации. Там много паттернов, которые накладываются на паттерны. А это на порядок понижает сложность графического представления.
Лучше изучай технологии, чтобы не быть баттхертом.
Для SDXL и SD 1.5 (также как и для их производных вроде Pony и Illustrious) особые энкодеры не нужны, только дефолтный декодер.
Я не понимаю как находятся люди которые так хайпуют с этого говна. Ты вообще пользовался моделью? Она же тупое говно которое не может написать связанные предложения на русском. Ну хорошо, ОДНО предложение может написать, но не два. Знаний там не больше чем если взять объем исходных текстов. Конечно не в чистом виде, а в сжатом, именно в таком как она и будет хуево помнить данные.
Это те же люди, которые верят в вайбкодинг. Обычно это недалекие менеджеры, которые не разбираются в кодинге, или очень зеленые программисты.
Просто потому что люди сами плохи в чем-то, а нейронка знает базовые вещи, они этому удивляются и думают что нейронка гений.
> лучше геммы заметно
Насколько и в чем это выражается? В нсфв умеет?
> Она же тупое говно которое не может написать связанные предложения на русском
Не всем это нужно. Ты вот сильно переживаешь за то что модель не может нормально в иврит? Я - нет. И с русским языком так же.
Я не отрицаю что она плоха в русском языке (и не подтверждаю, я не использую русский язык при работе с LLM).
А хайпуют потому что эта модель показывает очень хорошие результаты в написании кода. Лучше чем всё что есть на данный момент среди локальных моделей в таком размере и размере в 10 раз больше. Даже в третьем и четвертом квантах. Ни Гемма, ни 120B MoE модели такой уровень кода просто не в состоянии выдать.
Плюс к этому она очень умна при работе с тулзами если ей дать доступ к ним.
Мир не крутится вокруг РП и русского языка. Плюс к этому, я не вижу вообще никакой проблемы общаться с моделью на английском языке, она поймёт тебя почти всегда сколько бы грамматических ошибок ты не сделал в предложении. Но это уже личное дело каждого на каком языке общаться с моделью.
может, если его 3.6 это 3.6-35b-a3b
Нифигасе. Вместо кума с локалкой решил ради интереса с deepseek поразбирать код своей игры, и охренел с того как хорошо не всегда, он код разбирает, столько говняка мне помогает находить. Так понимаю что для лучшего экспирианса надо проплачивать?
Молодец, привел в аргумент ЕДИНСТВЕННОЕ в чем хороша модель. И то, "хороша" - большая натяжка. Нет человека который бы по серьезке использовал ее в кодинге.
Вау, 20 гигов могут написать рабочий скрипт, вот это да.
По поводу языков - ребенок может выучить любой язык или несколько языков совершенно спокойно, если оказывается в соответствующей среде. Это ограничение только взрослого мозга. Для нейронки то же самое, любая нейронка обязана владеть языками, если это не что-то супер редкое.
Причем язык то она знает, по сути. И то что она в него нормально не может - следствие только тупости самих весов. И данных, коими были сотни эпох РЛя на синтетическом говне бесполезном как-раз уровня "напиши скрипт для какой-нибудь хуеты" или зирошот лендингов.
>Насколько и в чем это выражается? В нсфв умеет?
Да, умеет в детальный нсфв.
Познается в сравнении. Гемма упускает из виду многие детали просто, ну то есть как будто не видит. Например, где гемма видит просто голую жопу - глиммер видит форму и может оценить объём жопы, видит что там на самом деле тонкие трусы телесного цвета которые почти потерялись в этой жирной жопе - вот типа такого.
Ништяк.
Зачем ты его так приложил жестко?
Что за крайняя форма максимализма и эквилибристики? Модель пишет код на уровне флагманов пол года назад = нет никого кто бы использовал. Ахуительные истории как ребенок 20 языков учит, тупость весов, сотни эпох рла - ты с какой дурки сбежал?
> для лучшего экспирианса надо проплачивать?
Только в плане скорости если ты именно про дс4ф.
Ну и в апи они вроде только 4.1 оставили.
Попробуй, стоит копейки. Закинуть юаней 100 и хватит на дофига
И? По теме есть что сказать? Где твой охуительный код на уровне флагманов пол года назад? Это пиздеж, его нет, потому что нихуя она не на уровне флагманов, она даже не на уровне сонета 3.5. Конечно если мы мерим в чем-то реальном, а не в сломанных тупых бенчмарках.
Ну или если мы не делаем вид что вау, модель научили вызывать тулы, и теперь она охуенная только потому что прошлая вообще не могла это делать потому что ее и не учили.
Квен - тупое говно. Это факт. Точка.
У меня флеш-некст на пупике 10и летней давности крутится и я задаюсь диаметрально противоположным вопрос.
А что так можно было? Чем эта ваша злоебучая ИТ-нидустрия занималась все эти годы, если за пару лет, за копейки (если откинуть финансовые спекуляции), вот это вот можно сделать и это еще нихуя не оптимально/оптимизировано, эта хуйня еще в разы станет быстре/умнее.
Т.е. уже лет как 20 можно было всем этим пользоваться, а нас кормили гуглами и игрушечками для дебилов, вместо того чтобы создавать настоящий разум и виртуальную реальность на домашнем пука.
На самом деле, в корне вопрос тот же, та же иллюзия, только с диаметрально противоположного угла зрения.
По сути все эти ллм - это всего-лишь возможности логике строить логику и по мере ее расширения, растет уровень абстракций и векторов, от чего эффективность сжатия логики только растет и с этим можно было постоянно пересекаться, но на это будто бы табу было.
А дальше конспирология. Если сейчас вот это вот в открытом доступе, доступно каждой челяде на этой планете (апи вообще околобесплатное, лол), то что у них там в подвалах крутится? Пади уже исполнили мечту всех двачеров и глав гада из мр.робота, намутили себе карманные вселенные и думают как бы застроить планету автоматизированными системами с ядерной энергетикой и миллионами квадратных километров солнечных панелей, чтобы погрузиться в свои сычевальни на биоподпитке и съебать с сраной земляшки.
Единственное по теме в этом сраче - что ты шизик. Но это не по теме треда.
> Молодец, привел в аргумент ЕДИНСТВЕННОЕ в чем хороша модель.
Странная претензия. Давай для начала тогда определим в каких областях вообще используются LLM на локальных компьютерах:
1. Написание кода (как одиночных скриптов так и работа с агентами)
2. Работа с тулзами и решение практических задач на компьютере
3. Перевод
4. РП
5. Брейншторм
6. Творческие задачи (написание текста песен, написание статей)
7. STEM
8. Суммаризация
9. Работа с не-текстовым контентом (видео, аудио, картинки)
10. Мед. вопросы (эта тема последний год мертва, я даже здесь упоминания о ней не слышал, но мало ли кто-то юзает).
Это из того что мне в голову пришло, возможно я что-то упустил, кому надо добавят потом что-то свое.
Теперь, когда у нас есть полноценный список задач для локальной LLM, давай посмотрим что из этого списка может хорошо делать 3.8-27B Квен: 1, 2, 5, 7, 8, 9. Всего 6 пунктов из 10. Это чуть больше чем сказанное тобой "ЕДИНСТВЕННОЕ".
Можем составить такой же список для 31B Геммы, что она делает хорошо: 3, 4, 5, 6, 7, 8, 9. Всего 7 пунктов из 10. Тоже неплохо, но как видно половина пунктов не пересекается между двумя моделями.
При этом стоит отметить что для суммаризации такие модели это оверкилл, с этим справятся и 4B модель.
Мед. вопросы честно говоря не стал отмечать ни у той ни у другой модели т.к. не спрашивал их, под эти задачи в прошлом году выходили специальные модели вроде MedGemma, но кажется народ положил болт на спрашивание мед. вопросов у нейросетей. Может кто-то сравнивал их и скажет какая модель отвечает в этой области лучше.
Перевод я бы не стал делать ни в Гемме, ни в Квене. Для этого есть специальные модели вроде HY2-MT на 7B / 30B-A3B которые справятся с этой задачей намного лучше, особенно с переводом азиатского текста.
> Для нейронки то же самое, любая нейронка обязана владеть языками, если это не что-то супер редкое.
Знание языков занимает место. Ты не можешь всунуть в 30B модель хорошее знание всех языков, даже модели которые целенаправленно тренируют на переводы вроде вышеупомянутого HY2-MT не знает всех языков и имеет местами свои проблемы. Ты можешь требовать знание всех языков от 1T+ моделей, но не от 30B.
Кстати, насколько с квантами качество падает?
Так ты не спросил про какой код анон говорит. Если он вебмакака, то так и есть, там уровень флагманов полугодовалой давности. Больше модель ничего не умеет, но многим больше и не надо.
> Навыки пайки есть?
Нит, конечно. Есть только навыки выглаживания хвостов ушек. Я попрошу того, кто умеет. Нужны были только расходники.
> S12038-4K
Вот это монстр! 60дБ, ОМГ! Почитал ревьюхи, очень интересный, спс.
Но вот конкретно тут намерили, что он, конечно, рекордсмен в статике, но только когда обороты ближе к максимальным. А до определенных величин его даже Noctua F12 Industrial делает.
https://www.hwcooling.net/en/arctic-s12038-4k-massive-fan-for-harsh-conditions-review/25/
Кожух мне уже на 140мм едет, так что придется уж дождаться и протестить с Noctua. Но если не будет хватать - придётся тогда брать кожух на 120мм и этого Артик-демона.
Нет, нельзя. К этому долго шли: собирали датасеты, придумывали архитектуры, тренили в конце-концов. И все это с кучей попыток.
А то сколько железному веку - можно было паровые машины еще тогда делать.
> что она делает хорошо: 3, 4, 5, 6, 7, 8, 9
Лол.
Квеношизик, спок.
>давай посмотрим что из этого списка может хорошо делать 3.8-27B Квен
>1, 2, 5, 7, 8, 9.
ХУЯСЕ
Ебать ты даун. Единственное что она МОЖЕТ ДЕЛАТЬ, МОЖЕТ, А НЕ "ХОРОШО". Это 1 и 2.
Даже в коде ее сравнивают с опусом 4.5, по качеству. И то это большая натяжка. При том что у нас уже есть опус 5.5. И это первый опус который не говно. Представь себе. И где же на этой шкале тода будет квен, мм?
9 пункт это просто троллинг.
Даже не серьезно.
Иди нахуй.
>При этом стоит отметить что для суммаризации такие модели это оверкилл, с этим справятся и 4B модель.
А тут даже комментировать не буду.
Что? У меня претензий при работе с ней с этими пунктами нету, разве что лично мне больше Квен для вижена нравится.
Перевод, РП и творческие задачи явно лучше у Геммы.
STEM на школьном/университетском уровне одинаковый и там и там, может если заставить их решать какие-то нерешенные задачи по физике которые там GPT щас решает, может разница какая-то будет, но я так думаю они обе справятся плохо в этом случае.
Брейншторм делал и там и там, он различается но хорош и у той и у другой модели.
Про суммаризацию уже сказал, она справится с задачей, но она для этого нафиг не нужна, с этим любая современная 4B модель справится.
>
> Ебать ты даун. Единственное что она МОЖЕТ ДЕЛАТЬ, МОЖЕТ, А НЕ "ХОРОШО". Это 1 и 2.
> Даже в коде ее сравнивают с опусом 4.5, по качеству. И то это большая натяжка. При том что у нас уже есть опус 5.5. И это первый опус который не говно.
Я где-то писал что она пишет код лучше фронтир моделей? Или может быть я вообще где-то упоминал облачные модели?
Моя цитата, если ты в глаза долбишься:
> А хайпуют потому что эта модель показывает очень хорошие результаты в написании кода. Лучше чем всё что есть на данный момент среди локальных моделей в таком размере и размере в 10 раз больше. Даже в третьем и четвертом квантах. Ни Гемма, ни 120B MoE модели такой уровень кода просто не в состоянии выдать.
Зачем ты сюда всунул опус у которого там явно триллион параметров как минимум - я хз.
> И где же на этой шкале тода будет квен, мм?
Он будет выше всех локальных моделей до 300B.
Не трать время на долбоеба, он совсем не в адеквате
Сап. Какие модельки <= 27B лучше всего пробовать в CYOA (E)RP ?
Народные 12 + 32, возможности смены / расширения нет.
Народные 12 + 32, возможности смены / расширения нет.
>Он будет выше всех локальных моделей до 300B.
Все что надо знать о квеношизике, это то что он перемогает моделями которых просто не существует. Ну или которых вообще не обучали коду.
ХОРОШАЯ модель, лол. Максимум - удовлетворительная. И то от того что других нет.
Такой же бред как высирает квен в 99% случаев.
4к всего, которые под нагрузкой фактические 3600-3800. Там есть его же версия на 7к, вот там уже жестко, но он в простое шумный.
Он на удивление не сильно шумный если не раскручивать на полную. А это потребуется только если что-то будешь обучать или видео генерить. Если настроить курвы так, чтобы полка "минимально комфортных" оборотов стояла до ~60-65 градусов а рост шел только потом - в ллм они даже не дергаются поскольку карты не успевают нагреться.
Отписывай что с нохчей выйдет, температуры в простое и под 250/300вт установившиеся.
То, что оба в перечисленное не могут.
> Максимум - удовлетворительная. И то от того что других нет.
То есть ты буквально подтвердил мои слова о том что Квен в данном случае лучший в этой категории.
Это не просто, соглашусь, но и ты согласись, у гугла и агрегаторов данных уже было дохуя.
Чтобы потренить ресурсов у них было уже предостаточно, а архитектура даже сейчас говно, это вообще не правильный путь, чисто костыль для потребительского рынка.
Дрочить ф32/16/8, когда обычный транзюк просто в хороших условиях с постоянной температурой 8 точность уж даст, при том, что в этой системе отклонение не баг, а фича и фиксится количеством параметров. Так зато сколько дешевых и эффективных параметров можно загрузить, минимальная обвязка нужна, но это уж явно в разы хуй знает, в десятки, сотни раз, не знаю меньше чем любые вычислительные блоки и ни в какое сравнение не идет даже с int4 по затратности, это все колоссально дешевле и эффективней, тупа привязки к техпроцессу нет, шины данных нет, а масштабируется это все по щелчку пальца, прям вообще изи.
Вон нейронка на пике говорит, на кондерах можно 10 бит дрочить.
Короче, нас жоска наебывают и хуй знает что строят в подвалах. Не случайно маск заебывается панели и сервера в космосе разворачивать, думой.
Вот тебе ответ на твои вопросы от модели весом менее 4Гб
>Q6_K_L
Чет у меня Q3 меньше ошибок в тексте допускает
> Отписывай что с нохчей выйдет, температуры в простое и под 250/300вт установившиеся.
Кнчн, все будет - как соберу там, настрою. Думаю 1-2 недели +-
> данных
Размеченных? Если дохуя, то зачем синтетика?
Дальше шиза какая-то.
>то зачем синтетика
Затем чтобы ты говно кушол вместе с соей чтобы из этой говноархитектуры говна хоть что-то выжать.
>Дальше шиза какая-то.
Потому что ты тупой IQ2-13B. Почему я нейронке нихуя не расписываю и она все с одного тупого предложения понимает, еще и пищу для размышления подкидывает?
> Почему я нейронке нихуя не расписываю и она все с одного тупого предложения понимает, еще и пищу для размышления подкидывает?
В голос. Он не понял.
Зато на такие высокие материи рассуждает! Прямо как эти, которые мы ещё даже не начинали!
А где я спорил с тем что он лучший из говна?
> Почему
Потому что она обучена тебе на шизу соглашаться и головой кивать.
Этот понял.
> шизу соглашаться
Говна поешь, я ничего не утверждал, только спросил про точность, все, буквально одно сообщение.
Впринципе хуйня очевидная. Зачем срач устраивать, чтобы я кому-то что-то объяснял? Репетитором не устраивался, звиняйте.
>AIME25
Ты в принципе начал непонятно зачем возмущаться на тему того что я назвал 3.8 Квен лучшей моделью для написания кода до 300B, после чего приплёл опус и после чего сам же написал что Квен лучший потому что кроме него ничего нету.
К чему это всё было - я хз.
Это все передовые вещи, вершина, и прошлые лоботомиты типа далли-1 ими были в свое время. Сама идея перцептрона очень древняя, но реализовать удалось только сейчас за счет технологического и информационного прогресса. Это наоборот венец опыта и труда прошлых лет, а не следствие что там что-то делали не так.
Вопрос - тот еще трешачок, такая система даже с термостатированием обречена быть говном. Брал бы уже операционники, там все математические операции включая функции нелинейности легко реализовать. И ответ ллм тоже треш, потому что в аналоговом сигнале "битность" будет определяться исключительно соотношением сигнал-шум, который достигается более 120-140дб.
> Чтобы потренить ресурсов у них было уже предостаточно
Нет
>а не следствие что там что-то делали не так
Я и не говорю, что что-то делали не так. Я говорю, что то что сейчас - говно, супер неэффективный набор решений, акция для потребителя.
>сигнал-шум
Экранирование + нет ограничений в техпроцессе и расположении, т.е. можно распределить элементы как угодно чтобы минимизировать шум.
>Нет
Хотелось бы услышать более развернутый ответ, но соглашусь, в 2006 данных было мало, но в 2014 уже достаточно.
Так ты спорил что типа квен умный, просто не может в рп и языки. А в остальном типа умный.
Нет, он тупая хуйня. И именно потому что он тупая хуйня, его знания не обобщаются на языки. Ты говоришь что там какие-то знания нужны, которые не впихнуть в 30б параметров. Ну так почему он прекрасно пишет на русском когда ему не надо думать? Всё понимает и пишет. Все необходимые знания там есть. Мозгов просто нет.
А я просто утверждаю что квен - тупое говно. Мне насрать при этом насколько он лучше или хуже другого говна.
> то что сейчас - говно, супер неэффективный набор решений, акция для потребителя
Пустая демагогия. В среднем по больнице всегда если смотреть в прошлое - прошлые решения оказываются супер неэффективными по сравнению с сегодняшними, а сегодняшние окажутся говном по сравнению с будущими.
> Экранирование
Сам кремний и резисторы ограничение. Ты даже не понял что с теми статами будет более 20 бит, а не "5-6" как тебе нейронка ответила.
> Хотелось бы услышать более развернутый ответ
Без проблем, но сначала тогда ты объясни суждение про достаточность мощностей раньше. Ведь оно выглядит абсурдным, мощность небольшого но передового датацентра с чипами хуанга превышает весь мир на состояние условного 2007 года в контексте обучения и инфиренса ии. И ее ты можешь взять и удобно использовать, а абстрактную общемировую - никак.
>если смотреть в прошлое
Мы смотрим на настоящее.
>статами
Какими статами?
>с чипами хуанга
Нет смысла считать чипами хуанга, это глупо и бессмысленно. Все-равно, что мереть попугаями, можно, но зачем?
>ты можешь взять и удобно использовать
Учитывая архитектурную несостоятельность хуангорешения.
Достаточно поставить средненький датацентр, научный, скажем, с специализированными ускорителями, а не общего назначения.
Я когда-то прикидывал насколько неэффективно транзисторный бюджет используется, там счет шел на порядки, сейчас не вспомню, а пересчитывать лень, потом может быть.
Короче берешь ресурсы попенаи, делишь на 100, грубо говоря столько нужно построить чтобы закалькулейтить.
Учитывая сколько олигархи тратят на вечную молодость и прочую нех, собрать средства было бы изи, только зачем если задача уровня федераций.
Ладно, похуй, не будет диалога, уже видно.
>обычный транзюк просто в хороших условиях с постоянной температурой 8 точность уж даст
што
Как на 4070 3.8квен поднять?
Самую хуёвую кванту брать?
Самую хуёвую кванту брать?
Обама.ггуф
Ну и что ты на слив пошел? Такой неебаться чип дизайнер, затыкающий за пояс лучших инженеров и ученых планеты, а показываешь банальное дилетантство по простым вопросам.
> считать чипами хуанга
Какими чипами, откуда ты это взял? Считай флопсами, объективная цифра.
> с специализированными ускорителями, а не общего назначения
Скорость развития и изменения потребностей выше чем цикл разработки конечного "специализированного" продукта, к моменту выхода он будет никому не нужен. А для минимальной универсальности чип хуанга уже оптимален.
Тут есть хороший компромисс - tpu, гугл уже сколько поколений сменил.
> а пересчитывать лень, потом может быть
Такого таланта теряем, вот бы взял и задизайнил пролетариату крутые чипы! Завалили бы миллиардными офферами. Жаль ленивый, так бы изи смог.
Он курьерит для души, после работки запарно, ну чё ты
>Жаль ленивый, так бы изи смог.
База.
>взял и задизайнил пролетариату крутые чипы!
Даже не подумал бы. Проебать годы стараний, чтобы потом этим всем подтереться, потому что если ты родился не тем, то хуй тебе, а не финансирование или должность.
>Скорость развития и изменения потребностей выше чем цикл разработки конечного "специализированного" продукта
Само собой, особенно когда ты сам решаешь эти самые "потребности". Сегодня фп32 всем нужен, завтра фп16, ой бф16, то есть фп8, точнее инт8, тю-ты конечно же инт4!
>Тут есть хороший компромисс - tpu
А шо не продает? М? Спроса нет? Не нужно никому?
А, нихуя себе, он только себя делает и братушек, интересненько.
>Считай флопсами, объективная цифра.
Верно, стоит, но надо подумать.
>что ты на слив пошел?
Потому что хочу спать и устал от чатика, конструктивной беседы не удалось. Как всегда получилась война шиза с сектантом, не интересно.
1 транзистор - фп8 точность, думойте
Вот так и погибают таланты. Глупые CEO, вот если бы они заставляли брать на ведущие должности школотронов, которые хвастаются что поставили линукс, и скуфендуев, которые каждой бочке затычка - уже бы Марс давно колонизировали.
Нравится барину очко вылизывать?
Не напрягайся ради семплерошиза. У него и квен нормальная модель, и все кто с ним спорит долбоебы по умолчанию.
Он этот аргумент уже третий год крутит. Если ты не работаешь сео в какой-нибудь корпорации, значит ты не прав. Все просто. Он же великий семперошиз, только атланты могут быть правее него.
>а показываешь банальное дилетантство по простым вопросам.
У него это вообще зашитая дефолтная реплика применяемая по любому поводу.
Мда, так нихуя и не понял что с этой валидацией делоть.
ЛЛМки говорят про оверфиттинг. Тобишь ЛР наверное еще снижать надо, хотя градиенты как будто и так не оч большие.
Альтернативно можно увеличить weight_decay или lora_dropout.
Поглядел на ХФ тюнинги Квена 3.5 4б, там изредка пишут параметры Лоры.
https://huggingface.co/Nubinu/Qwen3.5-4B-MiniFantasy туть почти как у меня, только weight_decay больше и оптимизатор другой (хотя я тот тюн и пробовал, он не зашел мне)
https://huggingface.co/C3DS/CARDS-Qwen3.5-4B тут тоже похоже, но ЛР задран до 2е-4 хз как, там лютая нестабильность должна быть (но может с инстрактом проще)
https://huggingface.co/LLiserginov/Luqwen4-4B у люквена тоже сорт оф агрессивные настройки (альфа 32, лр 2е-4)
Есть 2 тюна с лютым ранком (128), вообще сумасшедшие:
https://huggingface.co/mirazrafi/NSFW-RP-RolePlay-LoRA-Qwen-3.5-4B (тут какая-то RS-LoRA юзается)
https://huggingface.co/Featherlabs/Aethon-4b (какая-то сефети чепуха)
Единственное что заметил еще, warmup обычно ставят побольше чем у меня. Я пожадничал из-за маленького датасета (хотя условные 5% выполняются, но у меня всего 92 степа, 5 степов ворм ап).
Ню короч хз. Либо запустить с минимальными изменениями, вормап=10, лр уменьшить до 2е-5, и добавить все-таки сохранение бест чекпоинта, чтобы глянуть насколько бест хорош.
Либо еще докинуть изменений weight_decay=0.01, lora_dropout=0.1
Сколько вы играли в таверне чтобы начать на опыте оптимизировать карточки? Делаю их при помощи иишки, потом говорю ему сократить с переводом, но все равно ощущение что надо выбрасывать половину, оставляя голые физ данные да чутка характера. А еще токенов 100 занимают инструкции по письму.
>Sorry, that's beyond my current scope. Let's talk about something else.
Дипсикожена не хочет помогать делать карточку, ханжа!
Дипсикожена не хочет помогать делать карточку, ханжа!
Моя толстая синяя рыба мне никогда не отказывает сидя прикованной к говноригу
Аблитку оркароутер бери, кванты есть даже
Что ты там такое страшное генеришь?
Ничего такого. Ну почти. Возможно немного запретного. Возможно и не немного.
Пиздец чсв у юродивого. Наверное с ним никто не дружит и от того он еще больше злюка. Денех заработал, а перестать быть никому не нужным инцелом не заработал. Даже жалко немного.
Вот так, приходит вечером со своей галеры, где об его сеошность все хуй вытирают, унижают и хихикают за спиной, и начинает раздавать на двощах какие все банальные дилетанты.
Мдеа...
Вот так, приходит вечером со своей галеры, где об его сеошность все хуй вытирают, унижают и хихикают за спиной, и начинает раздавать на двощах какие все банальные дилетанты.
Мдеа...
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
Пидор. так долго перекатывал, я уж думал ты шапку наконец исправил, ан нет. Ленивое ты хуйло. Так перекатывать и я могу.
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Обертка над llama.cpp с ограниченными возможностями: https://github.com/ollama/ollama
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• PocketPal - интерфейс для локального запуска моделей под андроид и IOS на llamacpp (CPU, GPU, и NPU инференс): https://github.com/a-ghorbani/pocketpal-ai
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь: