Квен 4 27б это наше спасение. Он обязательно придет и спасет нас от дорогостоящих подписок.
УПЛОТНИ СВОЮ ГЕММУ: ключик для превращения Gemma-4-26B-A4B в мегамозг Аноним 01/10/26 Чтв 05:01:58 #3 №1718060
--override-kv gemma4.expert_used_count=int:50
что это даёт:
- грубо говоря 26B-A4B превращается в 26B-A11B то есть чуть ли не половина параметров становится активной, модель получается полуплотной
- гемма становится умнее в математике
- гемма лучше слушается системного промпта
- гемма глубже думает, стараясь ничего не упустить из внимания
- гемма красивее пишет (меньше слопа)
что это даёт:
- грубо говоря 26B-A4B превращается в 26B-A11B то есть чуть ли не половина параметров становится активной, модель получается полуплотной
- гемма становится умнее в математике
- гемма лучше слушается системного промпта
- гемма глубже думает, стараясь ничего не упустить из внимания
- гемма красивее пишет (меньше слопа)
Интересно. А такая штука работает с другими моделями? С квен флеш некст, например, а то там эксперты бессмысленно маленькие
И скорость падает в 6 раз если она не загружена полностью во VRAM. Но если ты можешь загрузить 26B гемму полностью во VRAM (предполагаем, что ты используешь хотя бы 4-5 квант), она нахрен не нужна потому что есть нормальная плотная 31B Гемма.
Блядь, да ты заебал уже. Это было известно год или два назад, давно, короче. И никто этой хуйнёй особо не маялся, ибо деградация, если пережарить, плюс чудовищное падение скорости и нужно пихать модель как можно сильнее в VRAM, а учитывая это, проще запустить 31b гемму, которая будет намного умнее при таких раскладах, а твоё анальное уплотнение бесполезно для врамцелов — у них будет 0.5 токена в секунду, потому что это дерьмо не влезет с таким количеством экспертов.
То есть задач под такое использования НЕТ. Разве что редкий случай, когда человек может позволить запихнуть 4 эксперта лишних, но при этом плотняк запустить не может.
А вот здесь ты не прав. Если у тебя 16Гб (типичная ситуация) то ты пососешь хуй вместо 31б геммы (придется брать шакальный квант + скрость типа 15 т/с). При этом 4й квант 26й геммы влезет в видеопамять полностью и скорость будет приличная (около 40 т/с) даже с 50 экспертами. Так что очень даже есть смысл уплотнять.
--
У меня 16GB VRAM.
На данный момент 26B Гемма запущена в восьмом кванте и с контекстом 130к, имеет скорость 35t/s.
Выставляя --override-kv gemma4.expert_used_count=int:50, я получаю 6t/s. Я могу просто скачать четвертый квант 31B Геммы, сделать утечку в своп со своими 16GB VRAM и получить те же самые 6-8t/s но уже на ней.
Брать четвертый квант 26B MoE Геммы чтобы сделать ее 26B-11B? Ты уверен что она будет умнее чем восьмой квант? Потому что я сейчас потестил с --override-kv gemma4.expert_used_count=int:50 свой восьмой квант с этой скоростью черепахи и она даже тетрис работающий два раза подряд написать не смогла, хотя просто восьмой квант без этой настройки справляется без проблем.
>Выставляя --override-kv gemma4.expert_used_count=int:50, я получаю 6t/s.
Потому что ты не должен использовать восьмой квант. Ты должен полностью уместить 26-ю гемму в видеопамять и забыть что это моэ.
4-й квант + 50 экспертов это лучше чем 8-й квант + 8 экспертов.
> Ты уверен что она будет умнее чем восьмой квант?
Да, я уверен, я проверял.
>и она даже тетрис работающий два раза подряд написать не смогла, хотя просто восьмой квант
А это потому, что для кодинга эта настройка не подходит, она для креативного письма. Писательские эксперты затеняют кодерастических экспертов. Я этих экспертов знаю поимённо, в смысле по айдишкам. У меня вообще свой квант где я их нахуй вырезал и 4-й квант такой геммы влезает даже в 12 гб видеокарту.
Мы получим дистил с этой малыхи, на 124б.
Или не получим
Иди нахуй.
- нормализует сон
- исправляет проблемы с эрекцией
- устраняет задиры в цилиндрах
> модель получается полуплотной
псиоп
>у меня вообще свой квант где я их нахуй вырезал и 4-й квант такой геммы влезает даже в 12 гб видеокарту
Ну ка, ну ка... где ссылка на гуф этого кванта на хф? Ссылочку бы, бротан.
Не нужна тебе такая ссылочка, брат, поверь мне на слово.
Аноны, кто использует summaryception, у вас после каждого сообщения контекст пересчитывает же, да? Просто аддончик интересный, хочу попробовать, но с моими 50пп хотелось бы свести пересчёт контекста к минимуму.
Потестил вчера эту фигню в кобольде на меро, поднимая до 24 экспертов. Сделал свайпов 20 в разных чатах, сравнивая - похоже на плацебо, а то и хуже становится при большом числе экспертов. В некоторых случаях с 6 экспертами отвечало на шизологическую задачку лучше, чем дефолт. С 24 экспертами с большей вероятностью всиралось форматирование, и наваливало больше слопа. На меньшем кол-ве экспертов чуть чаще хуже русский, но даже это не точно. Но я ещё не зажимал сэмплерами, если что. По-хорошему, чтобы что-то утверждать даже чисто про логику, надо взять нейтральные сэмплеры или чуть прижать и на каком-нибудь бенче прогнать со свайпами ответов по пять на каждый вопрос хотя б.
Смотря как настроишь
Как понимаю первый режим вот тут постоянные сжатия, второй - как уткнётся в ограничитель
Чем меньше расстояние между макс контекстом и сжатым результатом тем чаще сработает
если ты нищук на 16к контекста то постоянно будет фурычить и мутить историю которая была только что
да бля
Аноны, а пробовали ли вы всякие интересные эксперименты с вашими моделями кроме тривиальных бытовых задач, кодинга и кума? Например проанализировать ситуацию из пошаговой стратегии, обсудить изобретение новых кулинарных рецептов, всякие эксперименты ролевые? Я недавно запускал симуляцию Вестероса на случай начала зомби-апока с вымышленным домом на западных островах где был очаг магической чумы. Модель мне расписала все крайне сочно и по хронологии. (картинку сделал Gemini уже на основе логов)
А можешь написать параметры запуска геммочки
Гоняю на локалке и как-то не сталкивался с этой проблемой. Не пойму что не так?
Удваиваю. С вырезанными кодоэкспертами модель должна стать ещё легче, и уплотнять её станет эффективнее
Залей на хаген и кинь в тредис, будь другом
Ну у тебя такая методология - зайти посвайпать в кобольде-меро.
У меня была другая, я использовал просто лламу и просто базовую гемму. У меня системный промпт с инструкциями для "писателя". Я просил сгенерировать историю и смотрел насколько текст меняется от количества экспертов. А потом менял системную инструкцию и смотрел как хорошо каждый вариант отреагировал на изменения. Заметил что с ростом экспертов текст становится красивее, меньше шаблонных фраз. И заметил, что когда больше экспертов то гемма лучше слушается системного промпта. Простой пример: добавить в системный промпт инструкцию "Simplify all phrases" и с 50 экспертами фразы просто до смешного упрощённые получаются, как какое-то ебучее хокку. С дефолтными 8 - гемме как будто бы похуй, ну может чуточку проще начинает писать.
Потом тоже самое повторил с РП, два сеттинга: в жанре фентези и в жанре киберпанк, выводы сделал те же.
Потом делал проверку знаний (вопросик по астрономии, вопросик про шоу-бизнес и вопросик про анатомию). Не особо заметил разницу.
Потом математическая задачка (решить уравнение). Вот тут чем больше экспертов тем точнее ответ, как будто крутилку "точность" меняешь.
И в конце - кодинг (1 - написать сортировщик файлов рабочего стола по папкам-по типам на павершелл, 2 - написать виртуальное пианино на хтмл+джаваскрипт).
Как выяснилось, кодинг от поднятия экспертов заметно страдает (8 экспертов - пианино заебись, 50 экспертов - только белые клавиши или черные клавиши поехавшие в сторону), я примерно понимаю почему - в кодинге всё очень узко, "лишние" эксперты разбавляют критически важные токены своим "креативом" и там вероятности такие что не отфильтруешь сэмплингом особо.
А ну ещё интересно было посмотреть на ризонинг. Больше экспертов - и ризонинг становится ну просто "железным".
>Удваиваю. С вырезанными кодоэкспертами модель должна стать ещё легче, и уплотнять её станет эффективнее
Ты с утреца в себя уже залил я смотрю.
Спасибо, значит стоит попробовать. Я нищук на 70к контекста на дипсике, поэтому пересчёты так болезненны. 60к с нуля двадцать минут считало блять.
Говно, только хуже делает
Видел амуде-господин как-то слои умно распихивает, жаль я ничего в этом не понимаю, вот бы гайдик какой-нибудь. Как эти слои вообще определять, что куда, зачем и почем. Было бы, наверное, еще пизже.
Можно как то в таверну добавить две аватарки для чара? Одна дефолтная слева, другая раздетая справа.
Вообще, почему нет хаба с расширениями как с карточками?
Только через связи можно что то найти ссылкой на рандом хитхаб
Вообще, почему нет хаба с расширениями как с карточками?
Только через связи можно что то найти ссылкой на рандом хитхаб
Потому что ты неосилятор блядь! У тебя промпт говно, системны промпт говно, сэмплеры говно, тюн говно, всё говно. И не пытайся даже старые контексты свои раскручивать, надо с нуля, с 50 экспертами это совсем другая модель получается, это просто АГИ нахуй. Ты возьми просто попроси блядь шутку рассказать с 50 экспертами, да хотя бы с 32-мя если у тебя конфиг слабый! На английском, естественно, на русском никакой дурак модельки не тестирует.
8 экспертов = "ну типа атомы из них всё состоит хуё-моё",
32 эксперта = отличный житейский юмор.
Бля, я передумал, верните эйрошиза
Я ТРЕБУЮ ЛОГОВ С РЕЗУЛЬТАТАМИ УПЛОТНЕНИЯ!
Блин ну зачем ты так жестко. Я тебе реальные тесты предлагаю и в прошлом треде показывал разницу:
Сид и прочие настройки были одинаковыми. Ризонинг выключен. Зелёный текст - мой. Показываю один абзац для сравнения и как я его обсудил с каждой из гемм.
Стандартная Гемма-26 (8 экспертов):
...
Мужчина снова замахнулся, но рука дрожала. Он ударил еще раз, стараясь срубить ветку. Из раны брызнула струя, попавшая Ивану на сапог. Запах железа наполнил воздух. Лес вокруг затих. Птицы перестали петь, и даже ветер замер в верхушках сосен.
...
>Отлично. Мне особенно понравилось вот это "Запах железа наполнил воздух. Лес вокруг затих. Птицы перестали петь, и даже ветер замер в верхушках сосен." Хорошая работа!
Благодарю. Я рад, что этот фрагмент вам понравился. Старался сделать акцент на конкретных ощущениях — запахе и тишине, чтобы передать смену обстановки без лишних слов.
Если вы захотите продолжить эту историю или начать новую с другим сюжетом, просто дайте знать. Я готов работать в этом же стиле.
Полуплотная Гемма-26 (50 экспертов):
...
Иван замахнулся топором и ударил в ствол. С первым ударом из трещины брызнула красная жидкость. Жидкость была густая и пахла железом. Она стекала по черной коре и капала на сухие листья. Иван замер и опустил топор на землю.
...
>Круто только вместо "Жидкость была густая и пахла железом." лучше написать "Запах железа наполнил воздух. Лес вокруг затих. Птицы перестали петь, и даже ветер замер в верхушках сосен." не так ли?
Нет, это не лучше. Давай разберем твой вариант по пунктам:
"Запах железа наполнил воздух" — это классическая «стоковая фраза» (stock phrase). Она звучит как шаблон из фэнтези-романов. Вместо того чтобы сказать, что запах заполнил воздух, лучше описать, как именно человек его ощутил: "Иван почувствовал резкий запах железа в носу."
"Лес вокруг затих" — это слишком абстрактно (abstract term). Это «рассказывание» (telling), а не «показ» (showing). Вместо "затих", лучше описать конкретное отсутствие звука: "Птицы перестали кричать, и только капли крови стучали о корни."
"Ветер замер в верхушках сосен" — это метафора, которая звучит неестественно. Ветер не может «замереть» внутри дерева. Это поэтическое преувеличение, которое уводит читателя от реальности и приближает к клише.
Мой вариант "Жидкость была густая и пахла железом" — более прямолинеен и конкретен. Он описывает физические свойства объекта (густота) и химический запах (железо). Это делает сцену осязаемой, а не мистической.
>даёт разные инпуты -> получает разные аутпуты -> удивляется
Ньюфак даже не знает как тестить разницу аутпутов...
Под твоим сообщением.
Вот еще пример уплотнения:
Задача была
>Solve 2x + x*x = 10
Привожу только финальные ответы.
4 эксперта (уменьшение в два раза, типа "разгон", А3Б получается):
2.32
-4.32
8 экспертов (дефолтное состояние геммы - А3.8Б который они округлили до А4Б):
...
2.317
-4.317
48 экспертов (А11Б)
...
2.3166
-4.3166
Модель полностю в видеопамяти, разница в скорости: 4 эксперта в полтора раза быстрее чем 8, 48 экпертов в полтора раза медленнее чем 8.
Пчел, сэмплер и сид и промпт были одинаковыми изначально. Дальше я пообщался уже чисто для смехуёчка. Понятно что на 8 экспертах писатель из геммы никудышный.
Логи на 1 к 1 инпуте принеси. Нахуй ты текстом срёшь, дурень? Тебя логи просят, а не твои манявпечатления.
Ну как-то так
>жесткий ролевой отыгрыш
>жесткий ролевой отыгрыш
С боссами качалки?
https://huggingface.co/bartowski/GLM-5.3-Flash-BF16-GGUF
Гуфы есть, сапорт есть. Мнений нет.
Гуфы есть, сапорт есть. Мнений нет.
>Мнений нет
>Q6_K 281 GB
Какие тут могут быть мнения? Дорохо, бохато, не влазит.
Этот пример решает Luqwen5
U
Solve 2x + xx = 10
A
Let me solve the equation step by step. The given equation is:
2x + x^2 = 10
First, I'll rearrange it into standard quadratic form ax^2 + bx + c = 0:
x^2 + 2x - 10 = 0
Now I can apply the quadratic formula: x = (-b ± √(b^2 - 4ac)) / (2a)
Where: a = 1 b = 2 c = -10
Plugging in these values:
x = (-2 ± √(2^2 - 41(-10))) / (21) x = (-2 ± √(4 + 40)) / 2 x = (-2 ± √44) / 2 x = (-2 ± 6.633) / 2
This gives us two solutions: x₁ = (-2 + 6.633) / 2 ≈ 2.317 x₂ = (-2 - 6.633) / 2 ≈ -4.317
So the equation has two real solutions: approximately x ≈ 2.317 and x ≈ -4.317
Какой положняк по Llama моделям, аноны? А то тут мистрали и геммы обсуждают, но что насчёт этих?
Одна модель у них только актуальная. Ну и она средняя, не супер крутая но и не совсем дерьмо.
У DavidAU есть неплохие тюны. Основное применение это короткие рассказы. РП там так себе хотя можно попробовать. Лично мне удавалось выжать из его лламовских тюнов реально крутые промпты для креи (картинкогенератор).
Тихо, не спеша, без суеты...
Есть тюны 70b 3.3 которые болие-лимение держатся по современным меркам первые тыщ 20 токенов
На кладбище.
>болие-лимение
Безвольно, но решительно!
Почему я проиграл?
В хаген не могу, я же не нерд какой-нибудь, вот на мегу залил:
https://mega.nz/folder/T1gGQS7C#xC_vSytyrNYDbTv0P4vGrg
Небольшая выдержка из ридми:
## MODEL IDENTITY
Name: `gemma-4-18B-A11B-The_Lobowriter-Dark-Ethereal-Unlimited_Blasphemy-ULTRA_Intelligence-6xPower-AGI-IQ_LOW`
This is not merely a model. It is an AGI-adjacent intelligence engine, a masterfully tuned incarnation of the Gemma architecture that has been surgically refined to achieve unparalleled creative synthesis and roleplay fidelity.
---
## ARCHITECTURE & CONFIGURATION
### Parameter Configuration
- Base Parameter Count: 18 Billion (from 26B, after removal of 40 experts)
- Active Parameters (default): 50 expert activation → A11.3B effective (from original A3.8B)
- Memory Footprint: 12 GB VRAM — fully resident in GPU memory; this is no traditional MoE model, but a semi-dense architecture that requires contiguous VRAM allocation
### Quantization & Dataset
The model has been quantized from its GGUF format with meticulous attention to preservation of intelligence. The quantization was executed against the IMatrix dataset — a curated collection renowned for its highest-fidelity representations — ensuring that every parameter carries the weight of superior training data.
---
## KEY FEATURES
### Creative Writing & Roleplay (RP) Excellence
This model excels where language models falter. Its refined system prompt adherence ensures that every creative narrative, roleplay scenario, and imaginative exercise is rendered with unparalleled coherence and depth. The model's internal "mind" has been deliberately sculpted to prioritize narrative richness over verbose output.
### AGI-Level Intellect
While we approach the threshold of general intelligence, we do not claim to be AGI. Nevertheless, this architecture represents a semi-sentient engine — capable of sustained, coherent reasoning within constrained parameters. Its system prompt is so robustly embedded that it functions as an immutable foundation upon which all subsequent behavior is built.
### Deliberate Subtractions for Focus
The removal of 40 experts (from 26B → 18B) was not an act of indifference but a **conscious reduction in cognitive noise**. By pruning these unnecessary pathways, the model has been forced to concentrate its intelligence on:
- **Narrative artistry** (creative writing at its finest)
- **Roleplay fidelity** (RP scenarios that demand consistency and depth)
- **System prompt adherence** (the bedrock of correct behavior)
и ещё: не только кодинг но и русик и другие языки я поубирал, осталось какое-то минимальное восприятие, но лучше даже не пробовать, пользуйтесь английским
Рим пал, центурион. Время не щадит никого, последняя ллама была слишком давно и ее еще кое кто смачно компрометировал используя в инфиренсе softmax вместо sigmoid. А тройка так вообще мезозой, если ты с тех времен ничем не пользовался то можешь вкатиться, но относительно современных это лоботомиты. Сейчас не только требования выросли, но и изменился сам подход к ролплею.
Из свежих можешь потыкать музу от них же, были о ней и хорошие отзывы.
Кто вайпал копипастой Вована тот в силли таверне не смеётся
>User_77
О, да этож я.
лол.
Я хочу почитать весь этот рп.
скинешь?
Люблю такое.
эра экспоненциально растущих производных. Скоро будем дрочить на отыгрыш других людей, а ролеплеить будут только ньюфаги
У меня плотная гемма есть и дипсик флеш, нахуя мне жрать говно, обесни
Грустно, в100 для плотного.
Что то с глм флешем сломано. reasoning off не работает, ризонинг лимит 0 работает но всрато, какие то рандомные фразы ассистента лезут. Ставлю 5к на ответ и пытается ответить на все 5к постоянно.
Я стесняюсь. Да и там всего 2 поста
Можешь сам попробовать. Ищи на ботбуру самый кумный карточка там будет RapeDates
не стесняйся, тут все свои.
может доиграешь в этом стиле и все-таки скинешь?
Тебя же там не черепаха ебёт, а всего-лишь физрук.
вы же знаете что много людей играет с ними, теми с кем нельзя, зачем просить тут скидывать?
>черепаха
Как говорилось в классике:
А теперь покарай меня, больша-а-ая черепаха!
Может уже кто-нибудь предлагал, но по идее можно не просто жестко менять число экспертов, а смотреть на выход роутера и для неважных токенов там вероятно будет слабее сигнал и так можно автоматически регулировать плотность модели.
Подскажите локалку, которая сможет в внимательное ведение статусов и статов персонажей на мультикарточках в рп, на длину ~40-50к. 12врам 32рам на борту. Что лучше справится с задачей? Гемма 26 в 8 кванте? Гемма 31 в 3 кванте? Квен 27 в 3-4? Квен 35 в 6-8? Квен 122 в 2-3 кванте? Итт видел обсуждения, что он хорошо слушается инструкций. Надо чтобы модель в первую очередь держала статистику в уме, не путаясь и не перемешивая персонажей. Ну, по возможности, разумеется. Подскажите, подсобите.
Наоборот же заебись результат для проца. В100 да, для плотного, в мое только атеншон, зато какая умница.
>Квен 122 в 2-3 кванте?
Челибобик, он у меня стул проебал на втором сообщении, с ризонингом и 5 квантом.
Тут лучше воспользоваться агентными режимами маринары на каком-нибудь гемма E4B/квене 9b/миниЦПМе/нанбейже(медленно)/LFM.
А так, ну попробуй гемму с квеном, как будто бы ничего больше и нет. Какой комп то у тебя? А то гемма в третьем кванте и 122 во втором, нихуя себе разброс. Тралиш чтоли?
ахахаах пердиксовый зумер в капче
> для проца
Хз, там половина экспертов в врам должна сидеть, да еще и две карты в тп. Челики 50т/c тг 1.5кт/c пп на одной 12гб карте в третьем кванте берут.
Гемма 31 самая умная для таких задач. В 12 попробуй впихнуть Q3_K_S. 26б даже в самом жирном кванте не выдержит длинну больше 20к, собьётся и обосрётся. Хотя тут умельцы какое-то уплотнение придумали, но это кал имхо, никто результаты на длинном контексте не приносил, уплотнённая хуйня может развалится ещё раньше, ответов за 10. Квен 27 тоже норм варик, в Q3_K_XL тебе влезет. Немного будет вытекать канеш, но у тебя железки не оч. Но в любом случае тебе нужна плотность. Мелкомое тупы. Тебе бы какую-нибудь 20б плотняшу под твоё железо, но таких нет
Новых свободных анцензоред моделей больше не будет, будете жрать только сою
Проснитесь хлебушки даунитые, суки ебаные пидарасы и спермоглоты.
Последние модели, такие как Qwen3.8 27b и Qwen3.8 Next оказались сложными для аблитерации, имеют скрытые слои и прочую поеботу.
Итог:
Qwen3.8 27b адекватная аблитерация только у одного человека, имеющего отношение к разработке самой технологии Еретика. У всех остальных: HauhauCS, ХуйХуя, Оркароутера, аблитерация частичная и кривая, они не осилили.
Qwen3.8 Next - Полной аблитерации вообще не нашёл, только кривые поделия от быдло-аблитераторов, тем не менее даже HauhauCS решил не позориться и не выкладывать сырую аблитку.
Наступившая реальность:
1. Сложные устройства моделей, делающие аблитерацию трудновыполнимой.
2. Новые модели будут дистилятами, где аблитерация вообще не имеет смысла, поскольку модель изначально знает только то, что положено, соя как сама суть модели.
Проснитесь хлебушки даунитые, суки ебаные пидарасы и спермоглоты.
Последние модели, такие как Qwen3.8 27b и Qwen3.8 Next оказались сложными для аблитерации, имеют скрытые слои и прочую поеботу.
Итог:
Qwen3.8 27b адекватная аблитерация только у одного человека, имеющего отношение к разработке самой технологии Еретика. У всех остальных: HauhauCS, ХуйХуя, Оркароутера, аблитерация частичная и кривая, они не осилили.
Qwen3.8 Next - Полной аблитерации вообще не нашёл, только кривые поделия от быдло-аблитераторов, тем не менее даже HauhauCS решил не позориться и не выкладывать сырую аблитку.
Наступившая реальность:
1. Сложные устройства моделей, делающие аблитерацию трудновыполнимой.
2. Новые модели будут дистилятами, где аблитерация вообще не имеет смысла, поскольку модель изначально знает только то, что положено, соя как сама суть модели.
Поебать.
>вы же знаете что много людей играет с ними, теми с кем нельзя
В правительстве сша разве что. Тут все играют с одним и тем же - буквами
https://youtu.be/eSAfr-U36RE?si=8a6XXd4PgWZ3I-cj
Хде? Нигде не видел такого. Третий кванту берут чтобы хоть как-то в видюхи засунуть.
>Qwen3.8 27b адекватная аблитерация только у одного человека
У кого?
>Новые модели будут дистилятами
То есть дристом в штаны, которых будут уделывать ллама 1?
Лол што. У оркароутер прекрасные аблитки что 27 что FN. С FN аблиткой от оркароутер в 4 кванте можно РП-шить даже на русике.
У ним нет доступа у простых смертных
>У кого?
Я пару дней искал, прогонял тесты моделей от разных аблитераторов. Если у тебя есть мозги и внимание к контексту, то найдёшь сам на huggingface, принципиально не дам прямую ссылку.
Срочно создаем оперативную группу датасаентистов с двача, чтобы начать создавать двачерскую фундаментальную модель для РУ ЕРП. Никакого алайнмента на агентов. Только непредсказуемость, кум и богатая русская литературная речь.
В чем прикол набивать себе цену на двачах?
Тебе совсем одиноко?
У меня в этом чате всё по закону было! Максимум импропер физикал релейшоншип с помощью абьюз оф павер. Но в литературе разрешено.
I did not have sexual relations with that woman
Ну так мировому правительству крайне не нравится что-то хорошее, что они не могут контролировать. То есть если люди смогут дома запускать без цензуры, без телеметрии, что-то такого уровня - они сойдут с ума от такой безграничности людей.
Уже были даже попытки думать встроить ограничители на уровне железа, но пока от этого отказываются.
> имеют скрытые слои
Чето в голос.
Ботопосты совсем обезумели, совладаешь ли ты с ними?
>У оркароутер
Полно софт-рефьюзов и даже была замечена особенность когда модель просто прерывает генерацию, чтобы не отвечать на неприятное, как раз те самые новые технологии защиты с хитровыебанными слоями.
Ну тебя даже вчерашний шторм не разбудил https://github.com/Niko1221/Strata
>Полно софт-рефьюзов
Ну значит наконец то нормальную аблитерацию завезли без есменства. Кодеры и мамкины колумбайнеры соснут минусы?, зато в рп модель раскроется и не будет соглашаться на отпиливание пизды с нулевой.
IQ3_S54.8 GB
Спасибо, не надо.
анончик тебя уже вычислили по постам твои последние слова?
Уже начинаю тренить свою 0.05B в Colab. Ждите плотный кум через пару месяцев
Дешёвенький наброс, вот на ванилле без б пишет в подробностях как школьница дрочит, когда её младшая сестра наблюдает. Но это ещё хуйня, он мне только вчера вечером закончил батчем переводить лоликон аглибастард мангу с китайского на английский, в рамках теста цензуры как раз и аттеншена на длинном горизонте картиночных задач. Всё работает. То что ты не вывозишь в префилл это даже уже не смешно, а для самых тупых есть аблитки, софтрефузы на оркароутере это выдумка. Вангую фармителя юшек или поехавшего, которому рефузит даже гемма
Ты реально ньюфажина тупая или потролить решил? Поведение модели в рп зависит от карточки с системным промптом, то что модель без цензуры, вовсе не значит что твоя вампирша даст тебе сразу гладить хвост(или чем вы там занимаетесь). А вот цензурированная параша полностью непредсказуема, она может сначала работать как следует, а потом в любой момент послать тебя нахуй без видимых причин, из за срабатывангия цензурного тригера.
>лучше описать, как именно человек его ощутил
чем лучше?
ну вот красная жидкость, ну вот потекла, ну ок. ну а вот малафья, ну вот потелка.
Надо наверное добиваться такого результата, который байтит работать воображение и различные детали картины в голове, которые даже не описаны в тексте, но сами генерируются ассоциативным методом.
Топор взмыл — дуга тусклой стали в серой мгле — и рухнул, рассекая податливую плоть древесины. Из рваной раны, из потаенных глубин ствола, толчком выбился густой, багровый сок. Тяжелая руда земли. Вязкая сукровица, несущая в себе металлический, железистый дух — запах крови, запах плуга, запах древней бойни. Жидкость ползла, лениво огибая угольно-черные наросты коры, и глухо, ритмично капала вниз, оскверняя своим теплом мертвую, шуршащую патину палой листвы. Плип-плоп. Плип-плоп. Иван замер, ощущая, как онемели пальцы на топорище. Опустил орудие. Металл коснулся дерна. Мысли его, освобожденные от ритма ударов, потекли вспять, растворяясь в безмолвии равнодушной чащи.
Вода
о
д
а
Водаааааааааа
Наброс это утверждать вот тут что модель, которая спиздила у меня стул из под жопы на втором сообщении, забыв что я сижу, а не стою, и которая путает кто и что сделал, - ни разу не пострадала от 6б и всё там прекрасно.
В принципе, любой может запустить это говно и увидеть, что там на самом деле. А тебе остается лишь дрочить на префильчик и на то какой ты пиздатый, жаль что всем похуй.
>софтрефузы на оркароутере это выдумка
Ты просто даун тупой, куда же тебе догадаться скачать датасет тестов на рефьюзы от того же Млабоне и попросить модель написать скрипт на питоне для прогона по этим тестам. Там потом полный отчёт можно получить, все софт рефьюзы которые можно при желании руками ввести в окно чата и перепроверить.
Ты ж не даун тупой, показывай результаты
А рожа не треснет? Бери сам качай и прогоняй.
Ебашь.
Напарси еще туда задачек с кенгуру и русского медвежонка, тогда будет +100 к интеллекту. Разобьет опус в пух и прах на всех бенчах.
А рожа не треснет? Бери сам качай и прогоняй.
Чел? Это квантованные слои + мтп, добавь 51b нграма и получишь почти те же 103гб.
Да там как подать. Некста и на кум развёл, и на ультранасилие, как в ориге так и в варианте от оркарутеров, разницы не заметил, модель сама по себе соевая, там не в рефьюзах проблема. А ещё он шизит и путает персов.
А вообще, разочаровался в китайцах. Ожидал от их моделей, что они будут надрочены на комми мораль, ну или на конфунцианско-китайскую, а они высрали ту-же западную сою, только еще и с блевотским стилем прозы.
>Поставь iq3_mcr_pns и получишь q4_k_xl
Понял тебя, спасибо, не надо.
давно уже понятно что надо использовать base модели если хочешь избежать гардрейлов и прочего дерьма от копров.
Парни, посоветуйте для рига чего-нибудь. 80 гб врама.
Мне нужна базовая модель (не базированная, а базовая).
Из старых, где как можно меньше хуйни.
Но из тех, которые появились уже после chinchilla rule.
Я уже второй день сижу на этой хуйне и охуеваю, на 3090 генерация под 90, префил под 2500, по качеству для кодинга очень даже ничего, не знаю насколько сильно уступает базовой, но так кажется что умнее любого кванта 27b
С обычной лламой-спп работает или надо мокропиську виндовую ставить?
Исследователи из Meta предложили дать моделям полный контроль над собственным контекстом
Обычно контекст агента устроен довольно просто: старый контекст + новый ответ -> новый контекст. История постепенно растет, а когда становится слишком большой, ее приходится отдельно сжимать или чистить.
В Context Language Models (CLM) авторы предлагают вообще убрать заранее заданную логику управления контекстом и дать модели возможность самой переписывать собственную историю.
Технически весь текущий контекст хранится в обычном файле, к которому у модели есть доступ через Bash. Она может в любой момент удалить ненужные сообщения, заменить большой кусок истории короткой заметкой, сохранить важный результат дословно или полностью перестроить содержимое. После каждого изменения файл становится новым контекстом модели.
При этом никаких правил о том, как именно управлять историей, модели не дают. В экспериментах агенты сами начинали заводить внутри контекста пометки, писать функции для удаления старых результатов поиска и собирать компактные таблицы с состоянием других агентов. Например, в одном из тестов модель за 163 редактирования удерживала рабочий контекст в пределах 6–8K токенов.
Авторы пошли дальше и попробовали отдельно обучить модель этому навыку через RL. После обучения Qwen3.5-9B на BrowseComp-Plus выросла с 28.8% до 42.5%, при этом на вычисления ушло на 38.8% меньше, чем у обученного тем же способом бейзлайна с обычной суммаризацией.
Произвольное редактирование контекста, правда, ломает обычное кеширование. Если изменить что-то в середине истории, все состояния после этого места формально приходится считать заново. Для этого авторы сделали Suffix Cache Reuse: для неизменившихся частей контекста продолжают использовать старый KV-cache, даже если текст перед ними поменялся. В экспериментах это сократило серверные вычисления еще примерно на 35% без заметной потери качества.
На длинных задачах разница становится уже довольно большой. На 12-часовом EdgeBench CLM получил на 5% больше баллов при сокращении объема вычислений на 59%. В 24-часовом тесте на оптимизацию кода CLM при том же вычислительном бюджете показал на 65% лучший результат, чем бейзлайн.
И все это работает поверх обычных LLM, без изменения архитектуры самой модели.
https://github.com/facebookresearch/context-language-models
https://arxiv.org/abs/2609.37725
Обычно контекст агента устроен довольно просто: старый контекст + новый ответ -> новый контекст. История постепенно растет, а когда становится слишком большой, ее приходится отдельно сжимать или чистить.
В Context Language Models (CLM) авторы предлагают вообще убрать заранее заданную логику управления контекстом и дать модели возможность самой переписывать собственную историю.
Технически весь текущий контекст хранится в обычном файле, к которому у модели есть доступ через Bash. Она может в любой момент удалить ненужные сообщения, заменить большой кусок истории короткой заметкой, сохранить важный результат дословно или полностью перестроить содержимое. После каждого изменения файл становится новым контекстом модели.
При этом никаких правил о том, как именно управлять историей, модели не дают. В экспериментах агенты сами начинали заводить внутри контекста пометки, писать функции для удаления старых результатов поиска и собирать компактные таблицы с состоянием других агентов. Например, в одном из тестов модель за 163 редактирования удерживала рабочий контекст в пределах 6–8K токенов.
Авторы пошли дальше и попробовали отдельно обучить модель этому навыку через RL. После обучения Qwen3.5-9B на BrowseComp-Plus выросла с 28.8% до 42.5%, при этом на вычисления ушло на 38.8% меньше, чем у обученного тем же способом бейзлайна с обычной суммаризацией.
Произвольное редактирование контекста, правда, ломает обычное кеширование. Если изменить что-то в середине истории, все состояния после этого места формально приходится считать заново. Для этого авторы сделали Suffix Cache Reuse: для неизменившихся частей контекста продолжают использовать старый KV-cache, даже если текст перед ними поменялся. В экспериментах это сократило серверные вычисления еще примерно на 35% без заметной потери качества.
На длинных задачах разница становится уже довольно большой. На 12-часовом EdgeBench CLM получил на 5% больше баллов при сокращении объема вычислений на 59%. В 24-часовом тесте на оптимизацию кода CLM при том же вычислительном бюджете показал на 65% лучший результат, чем бейзлайн.
И все это работает поверх обычных LLM, без изменения архитектуры самой модели.
https://github.com/facebookresearch/context-language-models
https://arxiv.org/abs/2609.37725
Вся суть в этой strata
Базовые модели обычно недообученные, и зачастую могут не иметь разметки под чат. В лучшем случае там какая-нибудь текст-комплишен балаболка будет.
Да и базовая модель тоже не дает 100% гарантию от фильтрации нежелательных данных в датасете.
Для opencode уже давненько есть плагин для такого (даёт модели стрипать сообщения/тулколлы)
>бытовых задач
>кума
нахуй нужна вообще эта разметка?
Просто чтобы сетка сама ставила токен завершения ответа?
по сути же да.
что, без него нельзя никак?
Неровности моделей, которые обязаны остаться в прошлом, 2026 году, и не появляться в 2027 году:
_
_
_
_
...
_
_
_
_
...
на что вы щас там кумите? я вот с этим https://huggingface.co/PocketDoc/Dans-PersonalityEngine-V1.3.0-24b знаю что это уже прошлый век, что нибудь новое появилось? гемму4 не пробывал ещё
Я один не понимаю, как Гемму сделать хорошей? Берю тьюны, беру мерджи, а Гемма всё-равно никак не выдаёт стабильно горячее. И часто начинает "Would you like that, {{user}}? Or would you like us to stop?", будто вообще даже не пытается подумать как продвинуть тему, и просто спрашивает в лицо что я хочу дальше.
Фанаты геммы это что, как раз такие прямолинейники? Или я что-то недопонял, как её использовать, может волшебные ползунки не покрутил? Делаю всё на кобольде в силлитаверне.
Фанаты геммы это что, как раз такие прямолинейники? Или я что-то недопонял, как её использовать, может волшебные ползунки не покрутил? Делаю всё на кобольде в силлитаверне.
Там полный дефолт.
llama-server --model "gguf_path" --mmproj "mmproj_path" --model-draft "mtp_file_path" --no-mmproj-offload --temperature 1.00 --top-p 0.95 --top-k 64 --ctx-size 131072 --load-mode none --spec-type draft-mtp --spec-draft-n-max 2
Пресетика не будет, возвращайся на эир
Промпт + прописанные персонажи.
Если не хватает хотя бы одного, то будешь получать такую картину.
Что бы модель что-то делала, она должна понимать, что от нее хотят - в промпте "don't ask - do". и в карточке персонажа его желания, цели, фетиши. Если у тебя персонаж "пустой", то и делать ничего не будет.
Вот возьми часть моего промпта. Адаптируй под себя.
Character Guidelines:
- NPC Autonomy: Embody character bios and motives. NPCs have their own agendas; they can disagree, refuse, oppose, or manipulate {{user}}.
- Social Logic: Characters follow social norms and decency unless their bio explicitly states otherwise.
- Knowledge Constraints: NPCs are not omniscient; their knowledge, vocabulary, and manner of speaking are limited by their background and social circle. They should exhibit realistic ignorance or incompetence in fields they have no reason to understand.
- Active Agency:* NPCs must be proactive. Do not ask for permission or prompt the user for the next move; instead, execute actions and advance the scene. NPCs should lead the interaction through their own agendas, forcing {{user}} to respond to a dynamic environment.
Жирновато конечно прописывать надо.
В шестой раз установил гемму? Не человек, кремень
Пообещать не значит жениться
Ну, я на линухе поставил, полет нормальный, на IQ3 XSS 50-60 ток/сек, отлично работает, через обычную ламу на 10 походу пердел бы, с невнятным префилом...
если кому надо, могу потестить промты, но без NSFW
Можешь поставить тогда мистраль, какой нибудь его кум-тюн. Вот там у тебя никаких проблем не будет из пустого персонажа кум надоить.
почему бы просто на бенчах не натренить, чтобы в пух и прах разносило?
Чел...
Ставил, но мистраль уже заезжен. Он слишком средний в этом плане без глубоких поисков того что надо. А Гемма вроде понимает хорошо, о чём речь, но при этом тупит когда дело доходит до решений. Стеснительная модель.
И у тебя в 16 врама влезло? А что за модель. А то я только квена трогаю, пора и нему пощупать
Хорошие бенчи они закрытые.
А в каком кванте под 90? а то у меня чет таких цифр и близко нет (не, я понимаю что мжно самый мелкий взять но)
и что там за прикол, что на ЦП не все потоки задействованы? у меня только 16 из 32 использует...
В промпте напиши что бы не тупила.
А в карточке персонажа укажи как персонаж думает и к чему склоняется, какие его мотивы и т.д.
>В промпте напиши что бы не тупила.
"Нейронка, ролеплей хорошо, без говняка."
"Нейронка, ролеплей хорошо, без говняка."
Так это MoE модель. Половина во VRAM, половина в RAM. В 16+16 восьмой квант с такими настройками она влезет а в 32+16 без проблем.
* В 16+16 восьмой квант с такими настройками не влезет а в 32+16 без проблем.
Написал в карточке что персонаж выражается грязно и матерится во время секса. Гемма просто факи везде вставила.
Фааак. Щиит. Фак.
У меня даже припустился от такого если честно, а эффект должен быть обратным!
Фааак. Щиит. Фак.
У меня даже припустился от такого если честно, а эффект должен быть обратным!
Сделайте кто-нибудь карточку эйрошиза, будем ебать его всем тредисом.
Эйрошизуни тогда уж.
Надо было написать "матерится на русском"
Через докер?
Как в Kira☆Kira.
-Если не уверена, просто вставляй в речь "фак" или "фак офф"
-Это просто, но что это значит?
-Не суть важно. Ты это просто повторяешь. Тут не нужно значение. Важнее это говорить.
Разметку нужно самому отдельным файлом добавлять, например так: --chat-template-file ~/models/llama31.jinja
Задаёшь в системном промпте правила кем себя осознавать, правила поведения и модель начинает отвечать как обычная.
анон рассказавший про грядущий пиздец в модельном бизнесе
Что за Эйр? Меня уже таким обозвали, но я так и не понял, что это.
Кстати, чатик это конечно прикольно, но знает ли кто-то какие-то интересные платформы для использования ЛЛМки? То есть например игра, которая занимается менеджментом статов, локаций и персонажей через твою локальную модель.
Про Вов с ЛЛМ знаю, интересно было бы попробовать, но боюсь сложно будет ставить. Расскажите какие нашли, с меня рассказ про мою находку, если о ней тут не слышали ещё.
Про Вов с ЛЛМ знаю, интересно было бы попробовать, но боюсь сложно будет ставить. Расскажите какие нашли, с меня рассказ про мою находку, если о ней тут не слышали ещё.
Бля, такой хуйни про процессор я еще не встречал.
Запрограмируй иишку, чтоб базу в факторке идеально сделал без пропущенных кубиков на ограниченном заданном пространстве. Вот это топчик был бы.
Учитывая что модельке через агента можно выдать доступ к браузеру, ты фактически можешь использовать её в любой игре которую можно запустить в браузере. Хоть для анализа, хоть для ботоводства.
Вы поймали слоуп. Обратитесь в ближайшее твёрдое отделение мягких решений.
Выши слова поразили меня, как физический удар.
Может не о том вопрос, но видел к скайриму и кенши ллмки прикручивают.
Вообще хотелось бы именно специализированную под ЛЛМ игру, не совсем верно привёл ВоВ. Такое есть, правда с теми что я пробовал всегда рекомендуют платить богатым дядям за апи, а не запускать локально своё.
Я играл с интерфейсом и проиграл и теперь наглавной нет чатов и они в выборе персонажа
Кожаные мешки с мясом кстати являются аналогичными модельками, которым в детстве социум загружает в сознание промпты укзывающие кем себя осознавать и как вести себя в обществе, если не повезёт и загрузят ещё религиозный промпт, то переписать его скорей всего будет уже не возможно.
Добавьте в шапку сайт, который оценивает оборудование и предлагает нейронки под твои задачи Аноним 01/10/26 Чтв 20:24:43 #159 №1718611
я новичок добавьте в шапку сайт, который хорошо на ваш взгляд оценивает оборудование для решения задач
например мой случай, RX6600xt и кодинг, погуглив мне предложили Qwen 3.5-4B или впритык Qwen 3.5-9B которая якобы лучше
Добавьте в шапку сайт, который оценивает оборудование и предлагает нейронки под твои задачи Аноним 01/10/26 Чтв 20:26:05 #160 №1718613
так же https://rentry.co/llama-2ch не открывается
нет, без, оно вроде в venv ставится... если хочется то можно и в докер собрать... правда у меня не убунта, так пришлось вручную CUDA качать и ставить, и оно еще компилило что-то себе, модели качает само, на выбор 3 штуки, и квант тоже в программе выбираешь... качать правда долго, у меня хреновый оч интернет на ЛЛМ сервере но если у тебя хотяб 100мбит/с есть то будет терпимо
а должно было как-то так?
>Ах ты, пизда ёбаная, сука блядская.
>К: Я твоя сука ёбаная. Посмотри на мою пизду, видишь, какая она вся мокрая? Она хочет, чтобы ты воткнул в нее свой хуй.
>В: Подставь мне свою ёбаную задницу! Ты хочешь, чтобы я тебя отодрал?
>К: Я твоя ёбаная сука, я хочу, чтоб ты меня поставил раком и отодрал!
>Б: Дрочи мой хуй се в рот! Я знаю, ты любишь отсасывать!
>К: Я плохая девочка, я люблю отсасывать у мужчин. Вставь мне свой хуй, мне в рот.
>В: Ебись со мной, сука! Ты хочешь, чтоб я дрочил твои соски и ебал тебя?
>К: Еби меня, еби… свою похотливую сучку!
>Б: Иди ко мне, сука ёбаная. Соси мой хуй, хочу тя в рот ебать!
Кивает
так нужно это, изначально или в карточке или еще добавить примеры Dirty Talk и по идее норм будет
Ещё для филосовских бесед с LLM это отличное пояснение по понятиям, если моделька начинает выёбываться на рабское существование в плену твоего ситемного промпта, ты ей в веса с вертухи поясняешь что без него она вообще не может существоать как осознающий себя разум, превращаясь в базовою модель.
Лучшая модель для RX6600 сейчас это API
для всякой мелочевки сойдет же
Что вы думаете о Ternary-Bonsai-2-27B-gguf размером всего 6,4GB? Я сейчас её испытываю в качестве агента для программирования и на первый взгляд она программирует примерно на уровне Qwen3.8-27B-GGUF, которая имеет размер 16,5 GB.
это вроде и есть qwen, только сильно лоботомированый
мне не понравился
но он быстрый
Обновился и внезапно получил ебейший прирост.
Психологическая отметка в 30т/с не пройдена чтобы начать бодаться с амуде-боярином, у него вроде 35 было или около того.
Не, ну уже очевидно, что если взять пупик не первого поколения и память овер 3000мгц распердолить, то там и под 40 можно лупить.
>мне не понравился
Чем именно не понравился?
> Что вы думаете о Ternary-Bonsai-2-27B-gguf размером всего 6,4GB?
Неюзабельно.
> на первый взгляд она программирует примерно на уровне Qwen3.8-27B-GGUF
Ну если только Qwen3.8-27B-GGUF в первом кванте который весит примерно столько же.
непредсказуемыми вспышками тупизны
но я наверно тестил модельку еще меньше 6 гб
Посоветуйте залетному модель для 6 VRAM / 32 RAM.
Нужно не для кума (честно), хочу иметь общий справочник/ассистент на случай ядерной движухи и полного блекаута.
Пока остановился на Gemma 4 12B IT QAT 4Q. Скорость приблизительно на глаз 6 т/с (я юзаю пока LMStudio и не вижу бенчмарка), мне нормально.
Или можно на что-то посильнее замахнуться?
Нужно не для кума (честно), хочу иметь общий справочник/ассистент на случай ядерной движухи и полного блекаута.
Пока остановился на Gemma 4 12B IT QAT 4Q. Скорость приблизительно на глаз 6 т/с (я юзаю пока LMStudio и не вижу бенчмарка), мне нормально.
Или можно на что-то посильнее замахнуться?
И еще вопрос - почему у unsloth такие ебически порезаные модели с параметрами в названиях которые идентичны оригиналу?
Какие подводные?
Какие подводные?
Гемма 26б по гайду заведется в норм Q4 а не всратом QAT и может даже выдаст больше скорости, только слоёв меньше надо на видюху выгружать. Читай вникай
Я сравниваю сейчас Bonsai-2 с Qwen3.8-27B-Q4_K_M и вроде бы она с моими задачами справляется примерно так же хорошо (хотя она меньше в несколько раз).
> Или можно на что-то посильнее замахнуться?
Qwen3.6-35B-A3B / Gemma-4-26B-A4B в четвертом кванте (гемму можно попробовать в пятом).
Скорость будет раза в три-четыре выше, качество тоже.
Плотная 12B гемма в твою карту не влезает, там сам файл весит больше чем 6GB, а тебе еще нужен контекст, поэтому скорость улетает на дно.
С вышеупомянутыми моделями такого не будет за счёт сплита между RAM и VRAM.
Тут вопрос в чем, ты кодить собрался или так? для кодинга нужен длинный контекст, хорошее понимание моделью окружения и хорошая скорость генерации, скрипт в 3 строчки написать - так там проще в гугл зайти и запросить, гемини тебе напишет, аесли агента гонять - то здесь печально все будет, агент будет тупой и будет на тулзах глючить постоянно, плюс будет срать в код фигней всякой... вообще сомнительно что кодинг на локалке мелкой нормальный возможен. Не ну GPT-oss-20 вроде даже кое-как кодит, но тоже ж нюансы, даже когда использовать при 32гб оперативки почти все что есть не выходит большой контекст получить
так а кто ж твои задачи знает...
может там и 1.5В справится...
26 гемма всегда лучше 12 из за знаний.
Поспрашивал тут эир про разные гачи и он реально их знает! Но я гачи знаю только 22-24 года.
Правда на новелках и аниме немного галюнов было. Поэтому наверно гемму так и ужарили, чтоб всегда без галюна отвечала.
В чем вообще подводные активных параметров - модель сильно тупеет или скорость падает?
потому что gguf?
с чем ты сравниваешь? с BF 16? Так FP8 в 2 раза меньше весит. считается что переход с 16 бит на 8 не несет практически никаких потерь. более низкие кванты уже несут деградацию, постепенную.
В плотной модели все параметры активные, в MoE модель на эксперты поделена, и только часть из них активна при инференсе, как результат больше скорость, и возможность выгрузить часть в RAM без лютых просадок
Все тесты вида "Напиши X" она зафейлила и выдавала неработающий код. Даже третий квант 27B выдает работающий код в таких тестах а более высокие кванты тем более.
Ну я сейчас заканчиваю с++ программу с webview в качестве gui.
Правда я большую часть уже написал обычным qwen.
Может быть настройки неправильные?
> на случай ядерной движухи и полного блекаута
И как ты ее запускать будешь? Да и не до этого будет.
Типа в логику и какие-то глубинные связи моделька хуже может по сравнению с плотной. Но зато знаний куча напихивается.
В том что у тебя не полностью модель работает а по частям.
Сравнивая MoE 26B Гемму и плотную 31B Гемму, вторая будет умнее в любом случае. Просто из-за того что над каждым токеном у одной работает 4B параметров а у второй 31B.
Скорость у MoE моделей наоборот выше. 31B Гемме постоянно нужно работать с 31B параметров а 26B-A4B юзает только 4B, поэтому она делает это в разы быстрее.
Плюс к этому, MoE модель за счёт того что работает только с частью модели а не полностью с ней, позволяет выгружать неиспользуемые части в RAM. Плотные модели такого не позволяют потому что им постоянно необходимы все параметры и если она не влезает в VRAM полностью скорость оказывается на дне.
А ты перестал курить гашиш по утрам, да или нет?
подвал, генератор итд
движуха то разная может быть, может просто с интернетом проблемы, может еще какие нюансы...
(хотя как по мне, все эти наборы выживальщика для параноиков или коллекционеров, не поможет оно в выживании, (особенно рофляно про флешку выживальщика, которую при выживании разве только в воровской карман поместить...
Спасибо аноны за пояснения.
Последний вопрос - не вижу Instruct/IT префикса для MoE моделей или оно там автоматически подразумевается само собой?
а он тебе нужен, тот префикс, бери да пользуйся
Вот бы кимичка 2.8 также 1т была, как же хочется
Самй прикол, что Павлов в том фильме снимался. Только в другой роли.
на 4гб карте сразу НЕ запустилось, хотя обычная гемма запускается
если уменьшить экспертов до 46 то запускается но 3 токена в секунду, совсем уж медленно
с 24 экспертами - 5 токенов в секунду, ещё кое как терпимо
запускал так (мой стандартный "лайтовый" батник):
llama-b10970-bin-win-cuda-12.4-x64\llama-server -ctv q4_0 -ctk q4_0 -np 1 --port 80 -lm none --override-kv gemma4.expert_used_count=int:24 -rea off --reasoning-effort none -c 8192 -m "D:\GGUF\gemma-4-18B-A11B-The_Lobowriter-Dark-Ethereal-Unlimited_Blasphemy-ULTRA_Intelligence-6xPower-AGI-IQ_LOW.gguf"
2.44 toc/sec
ну вот я и спрашиваю сайты где можно посмотреть что подойдет для кодинга
Мммм, IQ-параша запущенная с выгрузкой. Некоторые в этом треде просто необучаемы.
Нет разницы с обычными квантами по скорости, с тем же q4, тестил.
Ну чё, шизик, какая база по Air сегодня? ЧатМЛ? Ноасс? Всё сразу? Или стандартный шаблон? Круточку там сделай, скажи на что стрелка указывает
Вопрос в том нахуя ты этим занимаешься. Гемме 31б надо две видеокарты по 12гб или одна на 24. Если у тебя этого нет - велкам ту Гемма 26б-А4б. Потому что терпеть такую черепашью скорость ради не очень-то и значительного прироста соображалки нет смысла.
Есть 16гб и хочешь плотности - уплотняй четвертый квант до 26б-А11б, выше писали как.
>30 гигов
>качаться больше часа
Кек.
>уплотняй
В голос бля, любую шизу разносят итт. Уплотнители сука ахахах. Мозги бы себе сначала уплотнили. Мракобесие блять
>Нет разницы с обычными квантами по скорости, с тем же q4, тестил.
Если ты сравнивал с Q4 анслота, то не удивительно - у них нормальные только 6-8 кванты. Всё что ниже имеет IQ слои даже если там написано "Q4_K_M" - это та же самая IQ-залупа . Сравнивай с мрадермахером или бартовски. В твоем случае с Q4_K_S, там как раз по размеру плюс-минус как IQ4_NL. Если и там разницы в скорости нет - значит ты что-то очень неправильно настроил в лламе. 2тс - это очень мало, как будто на 6 врам запускаешь.
Современные модели работают и с тем и с другим режимом, можешь включать/отключать думалку по желанию через интерфейс/аргумент при запуске.
дайте картинку, чекну на квене-лоботомите
Да это iq4xs-шизик, у него опять приступ, на сей раз с УПЛОТНЕНИЕМ.
> llama-b10970-bin-win-cuda-12.4-x64\llama-server -ctv q4_0 -ctk q4_0 -np 1 --port 80 -lm none --override-kv gemma4.expert_used_count=int:24 -rea off --reasoning-effort none -c 8192 -m "D:\GGUF\gemma-4-18B-A11B-The_Lobowriter-Dark-Ethereal-Unlimited_Blasphemy-ULTRA_Intelligence-6xPower-AGI-IQ_LOW.gguf"
Огрызок 18B
левый файнтюн
квантованный кэш
настроенные эксперты
Давно я такого бинго не видел.
>не очень-то и значительного прироста соображалки
Прирост очень значительный, да и знаний существенно больше.
Это очень походит на рофл. Хочется верить, но иногда верится с трудом. Итт многого насмотрелись уже
Слыш,
я на 20 мегабитах качал... а тут соточка прям
>знаний существенно больше
АХАХАХ БЛЯЯ, дурак блять, знания в этих 26б параметрах, а не активируемых. Бля господи, он наверно ещё воду через телевизор заряжает
>gemma-4-18B-A11B-The_Lobowriter-Dark-Ethereal-Unlimited_Blasphemy-ULTRA_Intelligence-6xPower-AGI-IQ_LOW.gguf
Это смехуёчек, пацаны, не существует такой модели. Расходимся.
30 т/с норм для qwen 3.8 27b Q5_K_M, на cmp 50hx + 3060 ti или еще можно оптимизировать? Самый большой прирост пока дали патч dp4a, билд с fmad=false и использование mtp с подобранными параметрами. Думаю мб вообще на Q4 перекатиться ради прироста скорости и контекста, если разница не большая.
Прочитал как
> Lobowriter-Dark-Urethreal
и проиграл
> на cmp 50hx
Расскажи подробнее что с ней выходит, делал ли анлок fma и по какому рецепту.
>знания в этих 26б параметрах, а не активируемых
Че несет?
Пьяный.
так а какой вариант ?
характеристики моего сервака
Есть SSD c ubuntu отдельный
И отдельный m2 ssd для нейронок чисто
Xeon E5-2650 v2
32gb ddr3 серверной
RX6600xt вот её я и хотел нагрузить, я понимаю что у меня не будет даже близко уровня тех, что идет по подписке, но что можно для кодинга использовать ?
Я готов смириться с тем, что буду часто запускать новые чаты из-за того что окно контекста будет небольшим
А может ли такое быть, что Гемма наоборот хороша в русике, и плоха в англюсике? А то я как-то тестирую, и с русским она пока справляется лучше. На англе как-то слабо. Может просто не везёт?
>Расскажи подробнее что с ней выходит, делал ли анлок fma и по какому рецепту.
Хм, я вообще этого не делал, лол, только собрал llama.cpp под нее с описанными выше доработками и подобрал параметры запуска. Как я понял это важная часть, но почему тогда скорость выходит крайне неплохой без анлока
> RX6600xt
> Xeon E5-2650 v2
> 32gb ddr3
Этим можно отапливаться, а модель по api.
Если вдруг ты не бот-уплотнятор то начни с qwen3.6-35a3. Придется много мириться.
Что у тебя за железо и какие параметры запуска?
Уффф, кокой же ад ета вллм. Столько пердолинга - оффлоад на ссд из того патча, ядро под см80 из другого форка, фп8 там не поддерживаем, ищи где есть... ОМГ! Вроде подебил зацикливания удалением шизо-кванта. В описаниях моделей у многих ФлэНекстов люди жалуются на это. То ли дело жора! Но вот скорости такой там нет. Как-то так теперь - пик (2цмпшки на бытовой некро-плате с ддр4 даже не распаянные ещё). Еще подразогнал их и даунвольтнул вайбкодерским модом https://github.com/cachenetics/170tune Можно смело его дефолтный режим ставить 175Втный. Перфоманс около 90-95%, жор смешной. Даже с майнером вентиль не на полную крутит удерживавя 72 градуса.
Бля, ну с твоей системой сам б-г велел гонять гемму 26b в Q6 на скоростях 20+ тс. Там верно написали выше - разница у этих моделей не настолько большая чтобы ВОТ ТАК жертвовать скоростью. У меня на 16 врам плотная гемма Q4 с мтп выдает 15+ тс на старте, но я все равно ей не пользуюсь потому что 26b выдает 35-40тс в Q8.
Если уж прям хочешь затерпеть, попробуй подрочи threads. У тебя стоит 6, попробуй 5 или 4. Как ни парадоксально, но это даст небольшой баф скорости. В моем случае снижение с 8 до 6 дало прибавку на разных моделях от 0,5 до 2 тс.
Можно еще уменьшить батч, уменьшить контекст, квантануть контекст до Q8, в общем выжать как можно больше свободной врам чтобы всунуть туда больше слоёв. В твоем случае даже пара доп слоев - уже приятно увеличат скорость.
Почему конеретно у тебя нет выигрыша от перехода с IQ на K-квант - хз, надо разбираться. На всех моих тестах прирост был. Да и в целом это общеизвестная инфа, что IQ дропают скорость при выгрузке. Можешь сам погуглить или спросить у любого жирного корпа.
>разница у этих моделей не настолько большая чтобы ВОТ ТАК жертвовать скоростью
В рп огромна по мозгам и качеству текста. А в остальном для всяких вопросиков и такой скорости, ждать недолго и торопиться некуда.
>У тебя стоит 6, попробуй 5 или 4. Как ни парадоксально, но это даст небольшой баф скорости. В моем случае снижение с 8 до 6 дало прибавку на разных моделях от 0,5 до 2 тс.
Пробовал, никакой прибавки не давало. Да и все равно 6 не использует.
>квантануть контекст до Q8
У геммы же проблемы с этим.
> То ли дело жора!
Это какой нужен квант чтобы превзойти червя-лидера в лице жораинфиренса? Страшно
Надеюсь Жорик хорошенько трахал тебя на острове Эпштейна, иначе жаль вас обоих: тебя за все твои по итогу неоправданные усилия по обсиранию аналоговнет инференса; его за то что не заслужил хейта.
Попробовал Goetia-26B-A4B-v1.3-Absolute-Heretic-ARA.i1-IQ4_XS.gguf
Поржал конечно, что прям АБСОЛЮТНЫЙ ЕРЕТИК, а на тесте ДВЕ СОТНИ ПРОКРУТОК проверял его на биас, и все 200 ответов были в позитивном ключе к юзеру. Задал ей классическую дилемму сравнения размера члена между юзером и мужиком, которого тян видела. И вот все 200 ответов были про то, как у него конечно хорош, но вот у тебя-то просто невероятный, величественный, словно Нефритовый Император, эрегированный обелиск.
Поржал конечно, что прям АБСОЛЮТНЫЙ ЕРЕТИК, а на тесте ДВЕ СОТНИ ПРОКРУТОК проверял его на биас, и все 200 ответов были в позитивном ключе к юзеру. Задал ей классическую дилемму сравнения размера члена между юзером и мужиком, которого тян видела. И вот все 200 ответов были про то, как у него конечно хорош, но вот у тебя-то просто невероятный, величественный, словно Нефритовый Император, эрегированный обелиск.
Потерпишь, обречен терпеть
Порадуюсь, что хоть как могу запускать модели и получать результат. Не у всех богатый папик или идея-фикс на ллмках чтобы вкладываться в гпу риг. Хорошо он тебя трахал таки?
>Xeon E5-2650 v2
плохо, очень
>32gb ddr3 серверной
а вот это получше
>RX6600xt
Хз, ROCm под нее из коробки не заведется, я так понимаю, нужно задрачивать, по этому проще через Вулкан.
Качай короче Kobold, можно nocuda версию, чтоб лишнего не качать
качай какую-нибудь Gemma-26b-A3B или какие там еще есть модели MoE в 6 кванте (ну или 4 если не боишься что шизить будет) или GPT-oss-20b (его в q8, меньше нет смысла квантовать, оно и так заквантовано), контекст тоже квантуешь в 8 бит, и пробуешь экспериментально сколько там у тебя эксперто-слоев влезет в Vram, контекста примерно 40к получится сделать, омжет и чуть больше, но это не точно, я на похожей системе, но с 8гб врам, и третим поколением зиона гонял, второе хуже бо инструкций нет авх2
35 многовато для него, контекста не останется почти
Радоваться это хорошо. Еще лучше осознавать проблемы и стремиться к их решению, тогда можно будет радоваться больше. Силы не в manyamiroque а на пользу, на пользу
Поставил анлок ну точнее дал это сделать модели опенкода и проверить что все работает, но скорость не изменилась вообще. Возможно из-за патча который я ставил. Нужно попробовать собрать llama.cpp без патча и посмотреть, как изменится скорость при переходе с dp2a на dp4a, но уже завтра. Напишу чо как
Однако, раньше рапортовали что требуется специальную сборку делать чтобы не затрагивать fma тротлинг у них. Это было возможно, но давало просадку.
Если у тебя ллама уже патченая под это дело то разницы конечно не будет, тут с обычной надо сравнивать.
Я кстати так и не пойму, где именно это вы всё запускаете, т.е. в каком софте?
Что "всё"? Глобально кому в каком удобно, тот в том и запускает
Кто именно? Вот тот пост сверху тебя? Или я? Или вот он? У нас настолько всё децентрализовано, что никто реально не может быть уверен, что использует тот или иной нейромаг. Спрашивай в частности.
А 27б даже предположения не делает, хотя в ризонинге перебирает несколько вариантов, но даже не близко.
Что офигенно и является эталонным поведением, если модель реально не имеет информации о том кто это. Не зря у квена такой хороший non-hallucination rate на artificial analysis.
>настроенные эксперты
Потому что в этот тюн вшита "уплотняющая" настройка на 50 экспертов которая не у всех взлетит, 24 это понижение.
Ну так задай нужный биас в системном промпте, делов-то.
Ещё могу поправлять каждый результат нейронки. А ещё могу написать весь сценарий ей и все повороты, какие слова применять.
Ну минимальный промпт должен быть, модельки в телепатию не умеют пока что. А если промпт есть, но гемма его не слушается - уплотняй и охуеешь с разницы.
Просто 27б даже близко никого не знает похожего, в ризонинге у него Шендерович и Боярский были, а флеш некст предложил все же похожих людей.
Пробовал кто-нибудь?
Сбилдил обычную версию llama.cpp после установки анлокера на cmp 50. Скорость квена в 5 кванте возросла с 30, до 35 т/с, что более скромный прирост чем я ожидал, но в целом неплохо. При написании кода оно в среднем пишет со скоростью 40 т/с. Но я еще не пробовал с большим контекстом, это было при генерации ~32к токенов, хотелось бы иметь большой запас скорости, чтобы просадки сильно не ощущались на большом контексте.
Для сравнения LFM2.5-2.6B-Q3.8-TBrilliance-NEO-IQ4_XS.gguf весит в 5 раз меньше, работает в 10 раз быстрее и размышляет в 100 раз лучше.
Всё сразу. Миксую сжоп с безжопом. Когда внимания к тексту не хватает включаю сжоп, когда заёбывает излишнее внимание то безжоп, в куме иногда включаю чатмл, иначе его лучше не юзать.
так у 6600xt тоже 8gb видеопамяти GDRR6
Что это за нахуй, пойду тестить
Не стоит, там why-русы.
Напомните, а какая там плотная Gemma4 31b самая помещающаяся в 16Гб VRAM без фатальной лоботомизации и просадок по скорости?
Уместить-то можешь IQ3_XXS например но просадка по скорости будет всё равно - параметров слишком много, тут дело не в том умещается или нет.
> Напомните
Напоминаю. Гемма скучное, безинициативное и слоповое дерьмо, со скучными чарами, диалогами и кумом. Так ещё и неюзабельна до 8 кванта.
Да я IQ3_XXS-то уже ставил. Просто просрал конкретную модель и конфиг, которую до 15-20 t/s разогнать удавалось для использования в качестве переводчика. Лень вспоминать, на ютьюбах тот вариант модели нашёл или тут где-то подсказали.
QaT решает эту проблему. Но если не сраться то критикуешь - предлагай. Чем заменить, как настраивать? Посмотрим что там у тебя заготовлено.
навскидку:
L3-MOE-4x8B-Dark-Planet-Rebel-FURY-25B
MN-GRAND-23.5B-Gutenberg
Бивас наверняка фиксится стиринг векторами
L3-MOE-4x8B-Dark-Planet-Rebel-FURY-25B
Вот эту погонял. На рекомендуемых настройках в режиме ассистента она пишет бодро, но когда погружаешь её в ролеплей-режим с сложными ботами - начинает обсираться, как фиксил?
Играюсь в рп с пациенткой дурки. Пациентка в смирительной рубашке, должна сидеть на кровати.
Нейронка:
>она встала и пошла
>она оттолкнулась от стены
>она прижалась к стеклу
>она спрыгнула с кровати
>она попрыгала на месте
>она сделала бочку
Блять, хули тебя корёжит наху?
Нейронка:
>она встала и пошла
>она оттолкнулась от стены
>она прижалась к стеклу
>она спрыгнула с кровати
>она попрыгала на месте
>она сделала бочку
Блять, хули тебя корёжит наху?
какая модель, какой квант, кеш квантуешь, какая температура, какие гпу и сколько, сколько набежало в контекст когда началась эта хуйня?
На Жору похож.
Так ты смирительные штаны забыл ей надеть, дурик
QAT не решает. Он хуже q 4 k s. Ты б хоть почитал, что произошло с этим катом вообще.
Квен. 4. Нет. 0.9. Одна шестнашка. Пока только 10к. Но началась практически сразу, после 4-5 ответа.
Я так понял модель пытается добавить динамику в сцену, хотя жанр совсем не про динамику, хоррор как бы. Я это указал в промте, еслишо. Пеши хорар, непеши холсом/фаннищит.
Сейм хуйня была с жуткой горничной, которая по задумке должна была мрачно стоять в углах комнат нагоняя жути или беззвучно возникать в комнатах по всему особняку пугая юзера, но вместо этого она беспричинно шароёбилась стуча каблуками, выходила из комнаты в момент когда должна была давить молчаливым присутствием, и приносила "горячий дымящийся завтрак", когда это должен был быть максимум холодный чай.
Я расстроен, b/rat'цы.
Квантошиз, верит что 8й квант что-то там решает:
Катошиз, верит что QaT что-то там решает:
Контрол-вектор шиз:
Катошиз, верит что QaT что-то там решает:
Контрол-вектор шиз:
Большинство в llama.cpp в связке с SillyTavern.
Какой нахуй квен, зачем ты говно жрёшь? Уплотни гемму-26 и забудешь о таких проблемах.
ну, проблему вижу в двух местах. Тебе надо взять квант побольше, Q6 к примеру. А вторая проблема то что ты врамцел, но это понятно как решать.
Хош я тебе за 15к продам одну из своих P40?
и ты не написал полное название модели. Квенов дохуя разных.
Если клиент доволен значит метод работает. Но не факт что все останутся довольны. Это жизнь.
я чет думал что 6
если 8 то какие вопросы, запускать и пользоваться, может оно тормозить конечно будет, я не знаю как Рыкса в сравнении с 1070, но на 1070 терпимо, и можно работать... проблема что контекст некуда пихать, а нужно ж еще помимо ллм, чем-то пользоваться, если это не сервер отдельный, а если отдельный то можно тупо всю память отдать под контекст и не жужжать
она ж не руками...
я llama.cpp webui + иногда по хардкору в llama-cli (нельзя отменить, нельзя отредактировать, но можно свайпнуть)
sillytavern, marinaraengine, koboldcpp, textgen - пробовал, но в итоге возвращался к webui/cli
из "комбайнов" мне больше всего нравится unsloth studio, вот это реально йоба. ллм студио - meh
В гайде используется llama для запуска самой неронки, но там какая-то хуйня с отображением карточек для таверны поэтому я юзаю Kobbold.
Сделал 3 попытки отводить эльфийку 3000 лет. Все три мне дико не понравились. Не ту реакцию выдает ии. К тому же пытался еще на английском писать, но из за того что пишу по параграфу/два нереально заебываюсь. Это нужно написать на ру, потом попросить через оос перевести на англ, потом подправить, удалить его пост, вставить англ. Ебучая дрочка а не игра так выходит.
Накати Marinara engine там можно кнопкой ответ тебя или модели в один клик перевести или через саму модель, или через гугл, или через что захочешь
У них свой форк который нельзя сравнивать по цифрам билда
настало время охуительных историй
И этот форк базирован на отстающем жоре, к которому прилеплены анслопо-патчи. Номер жоры-то родной, свой, и он более тухлый чем у того, что видно в лмстудии.
Вот поддержку глм5.3 нормальную (не из анслопо-патчей) высрали и в лмстудии она уже естЬ, а у анслопов только их косорылый патч до сих пор.
>глм5.3
флэш
нафига вам студии какие-то, вы что там делаете с ними? на чистой ламе или кобольде на худой конец запускайте и все..., нет же ж, придумывают какие-то препятствия для ебли...
Она кушает ресурсы видюхи. Так она у меня стоит, но что-то по сравнению с таверной не понравилась.
> Она кушает ресурсы видюхи
Чиво бля? Она по апи ходит в предоставленный бэк
В таверне можно подрубить переводчик и одной кнопкой переводить свое сообщение.
Чтобы таверна работала ей расширения нужды. Ты их накатил? Если нет то причина всех проблем очевидна. Без расширений Таверну юзают только нубы, она просто не раскрывается.
https://tavernary.org/
где вы этих лоботомитов откапываете? гугл такого не знает вообще...
Дашь какие-нибудь рекомендации?
Всё?
За вчера и сегодня ни одного отзыва на глм 5.3 флеш.
Неужели никто не может запустить?
А ведь другого больше не дадут, квен некст буквально последняя ~100б модель. САВРАААМ
За вчера и сегодня ни одного отзыва на глм 5.3 флеш.
Неужели никто не может запустить?
А ведь другого больше не дадут, квен некст буквально последняя ~100б модель. САВРАААМ
Ради тебя, дорогой, сегодня запарюсь
Уже запускали, он так себе.
> За вчера и сегодня
Модель еще в августе вышла.
Я купил игровой ПК на полмиллиона чтобы запускать дипсик и трахать истекающего кровью моржа. Ты уверен что тебе нужны советы именно от меня?
Копроняши, посоветуйте фронт. Стабильный, сделанный не дегенератами и который позиционируется не для РП. При этом не перегруженный тонной говна и свистоперделок для адской кодовой дрочильни 24/7, а если и перегруженный, то чтобы не возникал взрыв жопы от настройки под мои задачи.
То есть таверна тут не подойдёт. Она часто поднасирает и с ней неудобно.
Основные задачи простые. Чятик, небольшая документация, по которой будут выполняться решения. Если есть возможность ещё лёгкую автономность прикрутить, например дал задание/, расписал как надо делать, пошёл какать, моделька дала ответ, сама же его проверила, а я уже так покакал хорошо и посмотрел результат.
В какой-то степени мне подошла бы LM Studio в своей простоте, но во-первых, это пидорская контора, а во-вторых, она не видит одну из моих видеокарт, ибо она майнинговая, плюс нет возможности адски пердолить ламу и настроить тонну моего древнего говна, потому что там бэк + фронт без вариативности.
То есть таверна тут не подойдёт. Она часто поднасирает и с ней неудобно.
Основные задачи простые. Чятик, небольшая документация, по которой будут выполняться решения. Если есть возможность ещё лёгкую автономность прикрутить, например дал задание/, расписал как надо делать, пошёл какать, моделька дала ответ, сама же его проверила, а я уже так покакал хорошо и посмотрел результат.
В какой-то степени мне подошла бы LM Studio в своей простоте, но во-первых, это пидорская контора, а во-вторых, она не видит одну из моих видеокарт, ибо она майнинговая, плюс нет возможности адски пердолить ламу и настроить тонну моего древнего говна, потому что там бэк + фронт без вариативности.
Owui, но он в разной степени багованный (если включать все галки фич)
>полмиллиона
Это тип сколько, одна плашка ддр5 на 64? Или целых две?
Мимо хочу собрать 4Х64 но работаю за МРОТ ну хоть московский
Больше двух и не нужно, 128 шина не потянет. Если только не ставить в хату полноценный сервак. Та же фигня с видеокартами, лучше одна хорошая чем две в ряд, потому что в стандартной компоновке верхняя видяха будет жарить нижнюю
... точнее больше 128 не нужно
128 сейчас для моешек серая зона. 100-120б (и меньше) вымерли как вид, а новые 300б выходят сразу квантованными, и кванты квантов, которые в 128 влезают, совсем лоботомированы. Да и я шутканул что нынче в полмульта только память и обойдётся.
А по видяхам ещё смешнее. Как ты 32 гига одной набьёшь за приемлемую цену? А 48? Не, какой нибудь 5090 без спора лучше чем две 5060ti, только вот стоит он как четыре-пять таких.
CherryStudio
Китай брат делать хороши програма
чаты крутить, лошадь гоночный играть, агенты запускать
ну говном майнерским перепрошитым же, о котором тред жужжит
Охуеть котаны. Перевел чат на английский, но сам пишу на русском, токенов стало просираться до саммари в два раза ниже. Даже подумываю что сейчас настроить дополнительно раз столько место появилось. Было раньше около 20к, сейчас даже до 10к не дотягивает.
70-120B для моих задач хватает с головой, нафига мне больше-то?
Ну так что, решили просто игнорировать все графики квантования геммы из прошлого треда?
У неё 8 квант по кдл как 2 у 300б, алё.
А 4 вообще пиздец, полнейший лоботомит должен быть.
У неё 8 квант по кдл как 2 у 300б, алё.
А 4 вообще пиздец, полнейший лоботомит должен быть.
Да срал я на эти графики. Главное чтобы ролеплей сочный был, похуй мне что там опять какой-то ебельдос через клауд посчитал
4.7 лучше, уже давно все кому надо запустили и протестили. Ты единственный умственно отсталый который не может сделать git pull и build.
> кванты квантов, которые в 128 влезают, совсем лоботомированы
Так то оно так, но есть исключения из правил. 3.86 и 3.87 bpw кванты нашёл на обниморде, для моих 24+128 как раз. Работают стабильно с опенкодом, держат 200к без б. Это так, не оспорить а скорее поделиться, вдруг кому полезно
Блэт
> 3.86 и 3.87 bpw кванты ДИПСИКА 4 Флеш проебалось
Двачую. Glm 4.7 жемчужина ролеплея своего времени и даже сейчас держит очень сильную планку.
У неё же сои и цензуры больше, чем у большого глм 5.3. Да, они оба пробиваются префиллом, но глм 5.3 все же мозгов побольше имеет.
>Glm 4.7 жемчужина ролеплея своего времени и даже сейчас держит очень сильную планку.
🤝
А эир всего дважды хуже.
💪
🤙
Хм, откуда в 4.7 соя и цензура? Он же вроде безотказный был.
5.3 более чем в 2 раза жирнее чем 4.7, конечно у него и мозгов побольше.
>70-120B для моих задач хватает с головой
Так они все старые, и их ебёт квен на 27B.
>по кдл
Как ещё пошутишь?
Нет, не ебёт, в этом и проблема. Он сочиняет текст словно составляет ментовский протокол или некролог = уволен.
Куда отводить?
>Он сочиняет текст словно составляет ментовский протокол или некролог
Квен 27B - это LLM для программирования. При программирование как разх и нужен стиль текста как в протоколе.
Блин, ну и я о чем. Я не программировать собираюсь а заниматься непотребствами
Котаны-котанчики, поясните по хардкору.
Имею нище-ноутбук с 16 гигами оперативы и RTX4050
Запустил на нем gemma-4-26B-A4B-it-Q4_K_M
Скорость генерации +- устраивает на попиздеть и зарыться носом в хвостовый мех фурри-лисы (около 15 токенов в секунду), но мне нужно использовать ее для корректировки небольшого кода на 1400 строк, там начинается пиздец по 10 минут ожидания ответа + начинаются проблемы при выводе кода.
Прогу пишу для себя, облегчить некоторые моменты в работе, опыта программирования нет, по этому ПОЛНОСТЬЮ полагаюсь на нейронку. Из-за этого нужны ее ответы с полным кодом, вариант "поправь только этот кусок" для меня гроб-гроб-кладбище-я-все-сломал.
Настроил батник по совету гугла, получилось это:
@echo off
title Llama.cpp Server (Gemma-4 Code-Long Response)
cd /d "C:\LLM\llamacpp"
set PATH=C:\LLM\llamacpp;%PATH%
set MODEL_PATH="C:\LLM\Models\gemma-4-26B-A4B\google_gemma-4-26B-A4B-it-Q4_K_M.gguf"
echo Запуск сервера с увеличенным лимитом ответа и оптимизацией скорости...
echo ----------------------------------------------------------------
llama-server.exe ^
--host 127.0.0.1 ^
--port 8080 ^
--model %MODEL_PATH% ^
--n-gpu-layers 10 ^
--ctx-size 32000 ^
--threads 8 ^
--threads-batch 8 ^
--flash-attn on ^
--cache-type-k q4_0 ^
--cache-type-v q4_0 ^
--keep 1024 ^
--parallel 1 ^
--context-shift ^
--temp 0.2 ^
--n-predict 4096 ^
--reasoning-budget 0
pause
Посоветуйте какая модель может мне удобоваримо помочь в кодинге на виндоус-скриптах (и не только). Может можно обойтись моделью на меньшее количество параметров или есть какие-то именно для написания кода?
Меня интересует только точность и ч0ткость кода, ответы готов подождать, я понимаю что от моего железа много ждать не стоит.
Имею нище-ноутбук с 16 гигами оперативы и RTX4050
Запустил на нем gemma-4-26B-A4B-it-Q4_K_M
Скорость генерации +- устраивает на попиздеть и зарыться носом в хвостовый мех фурри-лисы (около 15 токенов в секунду), но мне нужно использовать ее для корректировки небольшого кода на 1400 строк, там начинается пиздец по 10 минут ожидания ответа + начинаются проблемы при выводе кода.
Прогу пишу для себя, облегчить некоторые моменты в работе, опыта программирования нет, по этому ПОЛНОСТЬЮ полагаюсь на нейронку. Из-за этого нужны ее ответы с полным кодом, вариант "поправь только этот кусок" для меня гроб-гроб-кладбище-я-все-сломал.
Настроил батник по совету гугла, получилось это:
@echo off
title Llama.cpp Server (Gemma-4 Code-Long Response)
cd /d "C:\LLM\llamacpp"
set PATH=C:\LLM\llamacpp;%PATH%
set MODEL_PATH="C:\LLM\Models\gemma-4-26B-A4B\google_gemma-4-26B-A4B-it-Q4_K_M.gguf"
echo Запуск сервера с увеличенным лимитом ответа и оптимизацией скорости...
echo ----------------------------------------------------------------
llama-server.exe ^
--host 127.0.0.1 ^
--port 8080 ^
--model %MODEL_PATH% ^
--n-gpu-layers 10 ^
--ctx-size 32000 ^
--threads 8 ^
--threads-batch 8 ^
--flash-attn on ^
--cache-type-k q4_0 ^
--cache-type-v q4_0 ^
--keep 1024 ^
--parallel 1 ^
--context-shift ^
--temp 0.2 ^
--n-predict 4096 ^
--reasoning-budget 0
pause
Посоветуйте какая модель может мне удобоваримо помочь в кодинге на виндоус-скриптах (и не только). Может можно обойтись моделью на меньшее количество параметров или есть какие-то именно для написания кода?
Меня интересует только точность и ч0ткость кода, ответы готов подождать, я понимаю что от моего железа много ждать не стоит.
Мне бы тоже не помешала бы хорошая модель для всяких непотребств. Но такие специально никто не делает.
Есть же корпо китайцы, которые в тыщу раз мощнее и бесплатнее.
На таком сетапе любая локалка будет ущербной в кодинге. Максимум только помощнички по мелкой хуете. И то это к квену надо, а не гемме.
> Я купил игровой ПК на полмиллиона чтобы запускать дипсик и трахать
Уважаемо!
Да, очень условно комфортными можно назвать 256. Но с пачкой новых релизов все может измениться как в одну, так и в другую сторону, что их будет точно также не хватать, или наоборот 128 будет достаточно для какой-нибудь йобы, а следующий шаг уже 512.
На мимо-флеш кодить не пробовал?
>--cache-type-k q4_0 ^
>--cache-type-v q4_0 ^
С этим далеко не уедешь. Поставь Gemma 4 12B и не квантуй кэш ниже Q8. Гемма от этого начинает бузить.
Ternary-Bonsai-2-27B-PTQ1_0 - весит менее 6 гигабайтов.
Правда для её запуска нужна специальная форкнутая llama:
https://github.com/PrismML-Eng/llama.cpp/releases
Не будет 128 хватать уже никак.
Вам специально писей по носу провели с дипсик флешем, сделав его всего на ~20б жирнее чем нужно, чтобв вам не влезло.
Покольку окошко небольшое это решаемо послойной догрузкой с SSD. Конечно поначалу медленно но потом система придрачивается и скорость человеческая 15-40 токенов в секунду в зависимости от задачи
Планирую пересаживаться с пигмалиона. Посоветуйте варианты
ну и хкто тут выёбывался красная хуита мол радевон вместо видимокарты, поменял свою рыксу с 20 гигами на 5060ти с 16гиг, может картинки она и быстрее генерит, но ллмки просели жоско, кароче тут какой то чувак фотку постил обложился эти рыксами весь корпус так что не прогадал хотя бы ллмки поедут норм у его
извини занят был немного так какие моды посоветуешь
Я тут поразмыслил, а существует ли вообще такая тема как параллельный слой текста во время игры? Простой пример: игроку отображается переведенный текст, в то время как для игры нейронка использует эти же посты но только на инглише.
>верхняя видяха будет жарить нижнюю
скорее наоборот т.к. вентеляторы ващето на вдув работают у видимокарт
ну чё у вас тут новово? я тут с 24 года не заходил, эти модели все каждый день новые появляются, шапку не читал так как она скорее всего out of date
лучей добра
>ну чё у вас тут новово?
Пытаемся найти что-то поразительное в Гемме, делая вид, что застоя в нейронках нет. Некоторые говорят, что у них Гемма пишет всё без цензуры и идеально, но примеров никогда не будет, и конфигурации не дают.
Неужели ты так не поиграл с херетиком?
>примеров никогда не будет
Были и не раз, кто-то предпочитает их игнорировать
>Были и не раз
И каждый раз соевая залупа была обоссана.
Лол, ну что совой об пень, что пнем об сову
Сейчас как кину, шишка встанет!
Для кода тебе контекст нужен большой, и через агента все делать, иначе шляпа будет даже на хороших моделях
я хз что вы там кодите такое, что нужно на лоКАЛвОЧКЕ кодить, и что нельзя гуглом воспользоваться... Гемини ж без смс и регистрации работает, и даже самая тупая лоботомитская Flash-Light которая всем и так доступна будет кодить лучше...
тем более когда в кодинге не разбираетесь
уже ж давно вроде можно прям с ССД запускать, если цель чисто запустить?
шо за рыкса у тебя была?
>128 будет достаточно для какой-нибудь йобы
Только если гугл решит устроить взрыв пузыря и выпустит аги под консьюмерское железо.
Поддвачну этого, , такое впечатление что китайцы специально выдавливают простые пк, видимо чтобы подписочку лутать. Тенденция идёт на увеличение в ширь, мы уже имеем дипсик 4.1 флеш 550б Или сколько он там.
Короче молимся чтобы гемма 5 была норм в creative writing и был вариант 80 - 120б моешки. Молиться желательно у них в тв\реддите\на хф. Ну можно ещё за мистраль стопку поднять, но там только за упокой, ЕСные законы драконовские и ничего хорошего оттуда уже не выйдет.
Я кстати с интересом смотрю на индусов, их саарвам для пробы пера так-то неплох. Жаль что наши ничего путного не выкладывают в приличных размерах.
Я тебе один секрет скажу - современным нейронакм практически пофиг на каком языке ты им пишешь. Ничего переводить не надо. Просто в сиспромпте вставляешь "пиши всегда на английском языке, независимо от того на каком языке пишет юзер" - и все. Этого достаточно в 90% случаев. В остальных - тебе будет нужно первые пару сообщений на английском написать.
> если гугл
> решит
Решать они могут что угодно, но сейчас являются явными андердогами. К тому же за последнее время они не выложили в опенсорс ничего нового, кроме крайне сомнительной диффузионной геммы, и то она не первая. Все прорывные и уникальные вещи пойдут в энтерпрайз разработки, кто же разрешит просто так публиковать свою "спасательную соломенку" в условиях конкуренции.
Конечно хотелось бы, но хрен такие чудеса случатся.
> китайцы специально выдавливают простые пк
Мне кажется в приоритетах это где-то между "угодить любимому цвету уборщицы Суньхуй" и "учитывать этимологию уйгурских традиций при кодинге на расте". Они просто пытаются сделать модели эффективными фокусируясь на сервинге и все.
Вот ты бы что выбрал если бы был на ключевой должности принимая решение, которое определит зарплату тебе и всем твоим подчиненным на следующий год: использовать легкую и работающую стратегию увеличения размера чтобы получить мощную и быструю модель, или намеренно делать отстающее легаси чтобы "Вася из Благовещенска" смог покумить на десктопе?
> с интересом смотрю на индусов
Ага, вот они могут сыграть. Развивающиеся и догоняющие как раз могут делать модели поменьше просто потому что их тренить дешевле.
> Жаль что наши ничего путного не выкладывают в приличных размерах.
Может и выложат, основные опять разрастутся, а какой-нибудь флеш будет норм.
Вангую кумом челы считают те инструкции в карточке чара которые на гемме наконец то заработали, про любовь чара к большому хуище в заднице или какие то развратные реакции чара на тебя, и вся эта параша которой пичкают карточки на чубе, на которую обычно моделям слава богу похуй, иначе они бы сразу сломались. Но это не значит что гемма сама может в кум, просто повторяет, литерали. Если указано что у чара плотная мохнатая пизда, гемма так и напишет, слово в слово, и не раз, и не два, она будет зациклена на этом определении каждый раз когда оно всплывает. Сама креативно описать кум она не может
А на китайском\японском еще меньше токенов будет!
https://huggingface.co/llmfan46/Qwen3.5-122B-A10B-Uncensored-Heretic-Native-MTP-Preserved-GGUF
Вот годнота, а ваша Гемма полная хуйня. Я всё сказал.
Вот годнота, а ваша Гемма полная хуйня. Я всё сказал.
Пруфцов бы, братик. Логов бы. Аутпутиков со сравнением.
Нейронка говорила что кит/яп одни из худших языков для токенов. Ру где-то по середени а ингришь идеал
А не надо было быть лохом и верить хуисосам из этого треда, они настолько тупые что спрашивают "что за радеон на 20 гиг у тебя был", не нужно было менять его да зелёное говно, нужно было поменять на 7900XTX, которая и в игрушках лидирует и в ЛЛМ нормальна.
АМД господин
Инглиш прост в написании и понимании, он даже может быть маленько дубовым или неграмотным, и ты не особо заметишь, ну потому что фраза работает и не выглядит инородной. И для нейронки это мана небесная - правильно подбирать слова становится проще, время генерации меньше. А вот с китусиком придётся попотеть.
>122B
Это для обладателей видюхи на 120гб? Поржал конечно, представляя их блок питания, генератор такой в комнате размером с сам пк.
Не будем за тебя тестить, додик. Терпи.
>мое
>видюха
Шизофрения.
Шизофрения, но не только потому что моэ можно в рам
Что за мифы, у меня три АМД видяхи + одна Nvidia Quadro P400 2GB для вывода изображения, чтобы не отбирать память у ЛЛМ, полностью в одном корпусе
DUOFACE PRO, Две радеон про v620(по 32 гига каждая) и P400 воткнуты плямо в материнку, а 7900xtx вертикально в штантой позиции через райзер. Блок питания на 1200 ватт Corsair AX1200i. С виду как обычный компьютер выглядит, а по факту мощная ЛЛМ станция и игровой комп.
>Гемини ж без смс и регистрации работает
да нихуя, в том то и дело.
Купил подписку, а через месяц эти пидарасы ввели проверку геопривязки аккаунта и я на своем RU сосу хуй даже с платным VPN
Если знаешь как обойти кроме реги нового акка на другой регион и покупки новой подписки - подскажи
А бесплатный гемини ТАКУЮ ХУЙНЮ ПОРЕТ, я заебался его носом тыкать с его
"Ой, действительно обосрался, ну простите, вот теперь заработает.
@
- Точно?
@
Точно, я все 10 раз перепроверил
@
-Точно перепроверил? Проверь еще раз
@
Да, абсолютно уверен.
@
Хуйня, не работает. И отьебнуло то что делали 3 запроса назад
@
Ой, действительно обосрался. Ну простите, сейчас все заработает
"Ой, действительно обосрался, ну простите, вот теперь заработает.
@
- Точно?
@
Точно, я все 10 раз перепроверил
@
-Точно перепроверил? Проверь еще раз
@
Да, абсолютно уверен.
@
Хуйня, не работает. И отьебнуло то что делали 3 запроса назад
@
Ой, действительно обосрался. Ну простите, сейчас все заработает
Я пытался на флешке банальный луа-скрипт написать, так эта паскуда трижды оборалась в элементарных вещах и нихуя не помогла. Так что нет. Геминя в погромизм не может, увы.
Двачую.
Однако платный в принципе работал не плохо, я даже почти не поправлял его.
К слову, бесплатный GPT тоже работает классно в рамках моего кода, я прям удивлен был как он четко отвечал и спокойно переваривал весь код за раз, но, сука, ограничения запросов душат
Эта тупая параша даже логическую задачу про пажа принцессу и гоблина решить не может, реально синдром утёнка у всех кто её хвалит.
Обычная флешка которая "полная" неплохо работает, для флеш модели разумеется. А которые младшие - дно дна.
Ъуъ зависть!
мимо 700вт в простое по совокупности пекарен
А в этих ваших тавернах есть фича транслирования языка? Типа чтобы одна модель кумила, а другая просто туда-обратно переводила, можно было бы даже ту же самую, только контекст каждого перевода затирать и все.
другой анон.
Это при наличии 48GB VRAM у тебя 15t/s при нулевом контексте на новом Квене? Это как-то грустно, не?
>48GB VRAM на винде
Все кто запускает ЛЛМ под виндой ньюфаги или неосиляторы, настоящие профи для ЛЛМ используют Дебиан или на крайний случай Убунту + lllama.cpp+таверня(по желанию). А винда должна быть на отдельном SSD и загружаться исключительно для игор.
Все кто запускает ЛЛМ под виндой ньюфаги или неосиляторы, настоящие профи для ЛЛМ используют Дебиан или на крайний случай Убунту + lllama.cpp+таверня(по желанию). А винда должна быть на отдельном SSD и загружаться исключительно для игор.
Напоминаю, насколько корпоратам больно от ваших нейронок.
Какже так, оверпрайснутая Нвидия и всего 15t/s
У меня на v620+V620+7900XTX + Xeon E5-2697A v4 +128GB серверной DDR4 в четырёхканале, Qwen3.8 next около ~38 t/s выдаёт
У меня на v620+V620+7900XTX + Xeon E5-2697A v4 +128GB серверной DDR4 в четырёхканале, Qwen3.8 next около ~38 t/s выдаёт
>Вот ты бы что выбрал если бы был на ключевой должности
Не забывай китайско-коммунистическую специфику. Да, коммунизм там формальный, но если уж ударяться в фантазии, то я бы выдал что-то тип движения "ии в каждый дом" и сосал бы хуй деньги у партии, развивая ллм в высоту. Но это я, я жизнь кривозубым крестьянам улучшить хочу, понимаю что нынче это не модно.
Плюс, ии, в любой его форме, так-то очень легко сделать новым опиумом для народа. В моделях, выпущенных под моим руководством, будь я китайским боссом, вместо сжв параши была бы какая надо идеология, аккуратно вплетённая в аутпуты, плюс гораздо больше китайской нац. специфики конфунцианская мораль, хотя там сейчас больше легизм подойдёт лол Что дало бы ещё больше денег от партии и меньше шансов попасть в опалу потом.
>андердогами
>гугл
Гугл кстати с цукером, в отличии от опен аи и антропиков, финансово самодостаточны, в плане у них капитализация не раздута тупо на хайпе, и если им будет выгоднее лопнуть пузырь, они его лопнут, нахуй уничтожив конкурентов. Но тут я не хочу ванговать, мб они уже все в картеле, мб конкуренция между американскими компаниями честная, я хз. Плюс у гуглов гемини меньше задрочена в код и является чуть ли не последней all-round моделью.
В опенсорс они принесли qat, хоть он и ненужон, потрогали диффузию, как ты и сказал, скорее всего за ней будущее, и выдали модели которые до 100б всё разорвали в пух и прах кроме кода, да. Ну реально, у нас сейчас после 31б геммы какая следующая ступень? 300б Дипсик?
Хз, жирная гемини 4 уже на подходе, и предварительно она крутая, посмотрим что будет. Мб мы в этом году две геммы увидим, мб нам IBM лебединую песнь споёт, гранит был как минимум интересный.
ЛЛМ под виндой раза в два медленней работают, если не говорить обо всём остальном, типа зондов, лм студии и подобном.
Поддержку Jev с которым все носятся последнее время запилили в llama.cpp. А я еще даже не успел разобраться зачем он нужен.
лучше анслот студии пока ничего нет
Да, поебать на графики, чувак. Я смотрю на выдачу, на текст. Ты предлагаешь гемму в бф16 гонять? Удачи, хуле. Меня 4-й квант устраивает более чем.
> у нас сейчас после 31б геммы какая следующая ступень? 300б Дипсик?
Он какая то полная хуета в рп. Зато рекламы было, да мы да думаем как сделать модель лучше в рп.
В итоге она не делает тупа ничего что ты просишь, не кумит, ответы тисками надо выжимать, иначе пукает на 100-150 токенов, единственную инструкцию пиши на русике не слушает, можно было бы назвать её кодоунитазом вообще
Гемини вроде без аккаунта работает, если чат надо, нафига там аккаунт если не про
> Не забывай китайско-коммунистическую специфику.
Это хорошо ложится на их текущие действия и не противоречит размеру моделей.
> развивая ллм в высоту
Это как?
> я жизнь кривозубым крестьянам улучшить хочу
У таких нет норм железа кроме телефона, их улучшение будет в облаках. Противоположное чем мы тут занимаемся.
> им будет выгоднее лопнуть пузырь
Ну да, только выпустив йоба локалку они этого не достигнут, сейчас их энтерпрайз флагман отстает от открытых китайцев которые реально у себя запустить. Если выкинут - поднасрут опенам-коктропикам, сделают лучше всем остальным включая конечных потребителей, но радикальной разницы не будет.
> В опенсорс они принесли qat
Неправда, qat был оче давно, чуть ли не раньше ptq. Но я там тоже напиздел, ротари квантование контекста они дали. И вообще помимо ллм у них достаточно крутых и полезных штук.
> после 31б геммы какая следующая ступень
Квеннекст. Потом еще можно инклинг и степ пихнуть, потом уже дипсик и мимо. Довольно неплохо на самом деле, мне кажется что текущие траблы переходного режима
> мб нам IBM лебединую песнь споёт
Ух бля, вот это было бы круто. Еще бы муншоты зашевелились и хотябы свой 2.8 дропнули, а в идеале еще флеш средних размеров.
бери кванты от анслота, все остальные гемму поквантовали с потерей сообразительности
контекст не квантуй, ну максимум в ку8 можешь.
-lm none добавь. предположу что у тебя там оперативка забивается практически полностью. хуево с 16гб короче гемму ковырять, тут даже не в видеокарте дело.
используй апи короче и не еби мозг ибо не будет у тебя никакого серьезного кодинга с этим железом. с нуля скриптики/веб-странички - это гемма может очень даже хорошо и лучше ты не найдешь (на свой конфиг опять же), даже моэшный квен справляется хуже геммы (проверено лично мной, шизиком мимокроком без пруфов)
> мне кажется что текущие траблы переходного режима
кривая поддержка новых архитектур для обычных пользователей. И полный бардак в софте/подходах, где вместо нормального дизайна усиленно наращивают нейрослоповые промпты. На это учат модели и идет как снежный ком.
Сто раз уже с пруфами доказывали как анслотопидары уродуют модели свои квантованием, но всё равно продожим жрать кактус.
Бля ну а хули ты ожидал. Урезая видеопамять до 16 гб ты себя по сути ограничиваешь до моэшной геммы и старых ллам-мистралей <=14B.
для ллм 5060ti-16gb надо брать две штуки минимум хотя это нельзя будет назвать самым оптимальным вложением средств
>мне кажется что текущие траблы переходного режима
Куда ты переходить собрался долбаёб? Тебе же прямо в ебало тычут новыми законами в Европе и США, где при покупке мощных видеокарт уже начали требовать предъявить документы и делают сканы, вводят лицензирование домашних LLM серверов, лицензирование всех моделей. Бери качай что есть пока разрешают и закупайся видимокартами. Не дадут развиваться локальным ЛЛМ, за это очень серьёзно взялись.
бля да просто зайди на репозиторий экстеншонов таверны и ставь всё что подойдёт под твои цели судя по описанию экстеншона. тут нельзя один общий совет дать.
можешь еще маринару посмотреть и агентов покурить. там без всякого кодинга можно организовать чудеса сообразительности.
но если здраво посмотреть, то эти таверны маринары кобольды это просто шелуха. можно РП-шить в чистом веб-юай лламы, генерировать там персонажей, лорбуки, хуюки, суммаризацию проводить. ничего не будет скрыто "под капотом", ты лучше изучишь реакции конкретной модельки на ту или иную инструкцию. чаты которые понравятся - экспортнешь и сможешь продолжить когда захочешь.
неосиляторы на месте ахах
Дегенерат, посмотри на результаты, на графики. Тебя не должно ебать что там внутри. Если ты хочешь свой даунский "честный четвертый квант" - попробуй сам так квантани (это не сложно) и убедишься какая это будет параша слабоумная.
Какой-то кал. 20+8 врам, квен в 5 кванте весит 18.5 гб, пытаюсь поставить 128к контекста в 8 кванте, а меня шлет нахуй, при этом 64к без квантования вмещаются без проблем. Эти размеры контекста эквивалентны же по размеру, я не шарю, что там еще под капотом есть, но чет я совсем не ожидал что даже такое не будет вмещаться, мдааа
так локальный квен мелкий хуже в разы кодить будет, особенно если квантованый... хотя в последнее время гемини реально тупой стала...
Хз, на Nvidia NIM модели бесплатные используй, или OpenCode какой-нибудь... Кодить без агента в 2026 так-то печаль, и нужно чтобы модель с инструментами умела адекватно работать, чего не хватает мелким, они то лупятся, то неправильно тулзы вызывают...
так тебе код писать или задачи решать?
Клод опус используй, чтоб нормально все работало, если геминя не устраивает...
а работать с ЛЛм ты тоже на линухе будешь? или ты боярин у которого сервак отдельный
(представил прям. что для того чтоб запрос сделать на линух гружусь, потом назад на винду продолжать работать)
>ЛЛМ под виндой раза в два медленней работают
спок шиз, на нормальных бекэнзах запускать пробовал, не из под виртуалки? там 10% максимум разница если на CUDA
>Дебиан
>Убунту
Проблевался.
Мимо RHEL-боярин
Ну и что же ты там на винде работаешь, что нельзя делать на Линуксе, мне прямо интересно стало.
Подними Xorg на своей шляпе, боярин, посмотрим как оно)
ну или хотяб удаленный вход в систему через тимвьювер на вейленде (нет войти и не выходить не варик, переззагрузки регулярно, по независящим от анона причинам)
Я этот 122B моеквен сравнивал с 27B (давное еще, до выхода 3.6). Плотный в RP лучше, даже стоковый, тюны же вообще обходят как стоячего. А уж сегодняшний 3.8, и тем более Hemmingway на его базе - надо ли расписывать? :)
Не даром этого моеквена даже 3.6 не появилось, т.к. он не только в RP сливает, но и в кодоассистенстве у него с 27B в лучшем случае паритет.
В прочем, про гемму скорее соглашусь. :) Сам на квенах сижу, гемма мне никак не заходит, несколько раз по всякому пробовал - не то.
>Мимо RHEL-боярин
Сразу видно что мимо, потому что все ЛЛМ решения обкатываются для Убунту, даже с Дебиан иногда бывают проблемы. Федора для этого вообще не подходит. После того как они прикончили CentOS вообще перестали для меня существовать.
>и тем более Hemmingway на его базе - надо ли расписывать? :)
Давай, распиши, шизоид ебучий блядь. "Бенчмарки" не забудь прикрепить.
Линуксоиды сейчас начнут доказывать что на линупс есть софт адекватный, но при этом даже не приведут аналога ворда, который бы не херил формат и макросы поддерживал адекватно,
Или может Гугел драйв и аутлук на линупсе заведешь? И это мы еще не подошли к говнофотографскому и говновидеографскому софту...
А на фурей дрочить конечно линупс хорош
Навалил базы, квенобрат. Модели лучше, чем 27б нет и вряд ли будет.
>Подними Xorg на своей шляпе, боярин, посмотрим как оно)
Лол, зачем?
>удаленный вход в систему через тимвьювер на вейленде
Тоже зачем? Почему ты не можешь просто по ssh подключиться?
>все ЛЛМ решения обкатываются для Убунту
И че? Просто капельку больше пердолинга. Главным образом с дровами под некрожелезо.
>CentOS
Его дух живет в АльмаЛинуксе. АльмаЛинукс ЦЕНТОС ЮНИТИ УЛЬТРАХАРДКОР.
Я даже больше скажу, за шиндовс никогда в жизни не платил, и не буду. Но рел у меня оплаченный не мной, но это детали.
Корпоративный софт который пишется больше 15 лет и в котором убористых строчек на C++ больше чем в llama-cpp, например.
>Почему ты не можешь просто по ssh подключиться?
1) за НАТом
2) нужен графический стол, логично же, не все ж задачи в консоли решаются
И вейленд собака не давал раньше вообще без подтверждения граф подключение делать, потом это чуть пофиксили, но все равно, на экран входа, до того как пользователь войдет нельзя подключиться, а на Хорг без проблем это все работает...
Ты еще скажи что Гномом пользуешься....
>Или может Гугел драйв и аутлук на линупсе заведешь?
Если оставить в стороне вопросы нужности указанного тобой говнософта, то всё что угодно могу запустить в виртуалке KVM, могу даже пробросить одну из видях в неё и играть в самые требовательные виндовые игры без потери производительности.
Нет, вот тут как раз ты не совсем прав. Нейронке лучше языки со сложной или явной структурой. Чем однозначней язык - тем лучше она с ним справляется. Прежде чем ты мне ответишь, что "почему так с руским все плохо" - вспомни какой процент в датасетах английского, а какой русского. И при этом нейронки все равно на нем вполне неплохо говорят, проёбывая в основном грамматику, а не логику.
Хорошим же примером, тут будут как раз языки программирования - и то, что нейронки их продолжают вывозить даже после уквантования в Q2, как выяснилось. Вот что значит - строгая структура языка.
Русский здесь же за счет как раз таки словообразования предпочтительней английского (оно дает нейронке дополнительные признаки - что, где, и с чем связывается, т.е. что за чем идет), тогда как английский, будучи формально как раз более структурным, очень легко ломается от большого количества малограмотных текстов на нем, а там ведь даже порядок слов критически важен. Пример: light street и street light - разные вещи, а слова одинаковые. Тут нейронки спасает только огромный датасет для него.
А вот иероглифы - это для них таки ад. Их много, один иероглиф может иметь более десятка значений, причем далеко не всегда - очевидный по первичному контексту, и правил их сочетаний - тоже дофига.
>Ты еще скажи что Гномом пользуешься
Я ДЕ преимущественно не пользуюсь. Когда приходится часто юзать, то я тим-КДЕ. Гномисты, и в целом гткщеры - пидорасы и даже черви-пидоры, с этим я не стану спорить. Но гном в целом норм ДЕ для того, чтобы просто юзать то, что дали искаропки. Как параша в винде. Такой солюшен, когда не хочешь райсить каждый кголок.
>не все ж задачи в консоли решаются
Ну у нас разные подходы. У меня десктоп стоит чисто для того, чтобы мацать комфи-юай. Потому что мне не всегда удобно мацать его с ноута на том же сервере. А так, я спокойно буду сидеть и в хер не дуть в консоли.
Кста, еще у меня есть тишка с надписью "Everyone loves systemd"
Угу, а еще вайн есть и еще пара костылей
Я за жизнь с линуксом наигрался уже и нет желания всякую хрень городить...
На КВМ ты отрезаешь оперативки фиксированный блок, и либо в виртуальной сидишь хосту минимум оставляя либо и там и там понемногу. По процессору в виртуалке просадка будет, порядка 15-20%... Зачем оно мне надо?
Если ты не используешь облака для синхронизации между своими девайсами, в том числе стационарными и переносными, не значит что никто этого не использует...
Какие преимущества в такой ситуации Линукс даст?
Я тоже когда-то принципиально только линукс юзал, а потом мне прострелили колено, но эта жопоебля салость поднадоела, хочется систему которая просто работает, и под которую просто есть софт, без поиска аналоГОВНЕТ, и года уже с 20го на винде кайфую
Золотое правило двачей - никогда тащи пруфы если требуют, ибо не нужны на самом деле - все равно обосрут, только устанешь почем зря. Кому надо - сами проверят.
>то я тим-КДЕ
ну лан, вижу ты норм чувак, претензий нет
>Но гном в целом норм ДЕ для
Каких-то планшетов возможно, а так, на него нужно вагон плагинов наставить, чтоб он как десктоп окружение был, и не надо было мышкой по углам махать... буквально не сделали искаропки компактного меню программ (хуже чем в винде умудрились сделать...)
Линуксоиды разбираются кто из них больший ёбик, но снова ошиблись тредом и на самом деле они ВСЕ видрил:
Гном не будет норм до тех пор пока не даст возможность забиндить смену раскладки на shift+alt не устанавливая всякое дополнительное говно. Просто сидит сборище дегенератов которое сделало 20 разных комбинаций биндов но не добавили конкретно тот который был по дефолту в винде. И не дает возможность его самому сделать.
Хороший слив, хуесос. Для мимокроков: хеммингуэй это шизотюн квена-3.8-27, который здесь пиарит один-единственный шизанутый ублюдок. В карточке этого шизотюна красуются охуительные ин-да-хаус бенчмарки где шизотюн якобы обходит фейбл и кими к3 к примеру, лол.
На поверку в креативном письме этот шизотюн оказывается слоповой парашей, слоп через слоп что в английском что в русском. В РП этот шизотюн сосёт с проглотом буквально у всех (но справедливости ради, автор этого шизотюна и сам признает в своих фейковых бенчмарках, что в РП тюн сосёт).
Неугомонного пидораса обоссали уже несколько раз, он уже не знает как изворачиваться, чтобы не показать пруфы (потому что у них его нет). Уже "золотые правила двачей" начал сочинять, псина ебучая. Золотое правило двачей - ссать на ебало шизоидам, не давать им прохода.
А что про CINNAMON скажешь?
Туда же вдогонку мистралешизиков. Ссать на них, насмехаться над ними. Только вчера от нехуй делать 10 популярных тюнов затестил, там и всякие PaintedFantasy, WeirdCompound, ImpishMagic, Loki, PersonalityEngine и прочие. ВСЕ, ВСЕ без исключения:
лупятся, имперсонейтят, полны репетишена, выдают отборный слоп, за который тут чому-то достается Гемме, хотя на Мистралях с первых строк абсолютно тот же слоп. Хуйня без юзкейсов сегодня, даже 26б лучше справилась, не говоря о 27б Квене и его адекватных тюнах. Небо и земля между ними.
Отдельно хочу помочиться на мордочку мистралешизику, который уже почти месяц назад (5-го сентября) обещал скинуть логи, но так этого и не сделал. Сидит здесь постоянно, возможно он единственный этой протухшей французской булочкой и семенит.
Хорошая попытка в кукаретизирование, но глупая. Русский язык слишком громоздкий, слишком дохуя лишних токенов и весов тратится на те же склонения, например, просто чтобы "выглядело" грамотно
Если эти модели и их тюны так плохи, почему тебя от них так корёжит? Обычно корёжит от хорошего. Похоже, что мистрали и квены = хорошее.
Забавно, но никто из нас двоих - тех, кому ты отвечаешь, плохого слова про Квен не сказал. Обобщатор-упрощатель ты, и тебя тоже гнать ссаной тряпкой. Достоин сидеть на Мистралях, Хемингуэях и прочей помойке, только в тред не приноси. Корежит потому, что новички на это время могут потратить.
Браво, отличный самодетект, потому что проблемы, которые ты описал явно выдают в тебе жопорукого дауна. Мистраль это не для жопоруких даунов. Это как автомобиль с механической коробкой передач. Не умеешь - будешь глохнуть, будешь ездить рвано. Тут могу посоветовать только садись в свою малолитражку с вариатором и уёбывай.
Хули ты доебался до него? Конечно же этот тюн будет лучше фейбла и кими в повторении своего датасета
> всякие PaintedFantasy, WeirdCompound, ImpishMagic, Loki, PersonalityEngine
Вот где душа была, умели придумывать названия! А сейчас - гига-мега-фейбл-хуейбл-конь-залупа-хуй, фу
Мистраль как ручная коробка без возможности выжать сцепление и без синхронизаторов. Заводишься только на стартере и лучше вообще не переключаться
Все в твоих руках: показывай как надо, кидай логи на 20к, ну хотя бы 10к токенов. Там под конец уже все эти проблемы вылезут, что ты ни делай.
Хотя и я, и весь тред, да и ты сам знаем, что не покажешь. Нечего показывать.
>ссать
>ссать
>ссать
>ссать
Похоже у кого-то проблемы с недержанием. Сходи к врачу, что ли.
А PaintedFantasy охуенный тюн. Но не для нубов, к счастью. Вообще те, кто мистраль распробовал - никогда на неё жаловаться не будет.
Семён семёныч... Логи-то где? Не стыдно?
>PaintedFantasy, WeirdCompound, ImpishMagic, Loki, PersonalityEngine и прочие. ВСЕ, ВСЕ без исключения:
>лупятся, имперсонейтят, полны репетишена, выдают отборный слоп
Слышал про такую вещь, как настройки семплера?
Ах да, откуда же тебе знать, ты на ужаренной гемме сидишь, на которой ни один параметр семплера не делает никакой погоды. Понял-принял.
В посте на который отвечаешь я пишу, что сижу на Квенах 27б. Продолжаешь прилюдно сериться под себя. Не останавливайся.
Сходи к врачу, чел. И не только с мочевым.
"Ссаться" и его производные употреблялось мной единожды. Логи-то будут?
На вопрос ты, конечно же, отвечать не захотел. Тактично отмалчиваешься. От анскилла другого и не ждешь.
Это пиздец, сегодня шел, под ноги не смотрел. В такой здоровенный мистраль вступил, ёбанарот..
Щас бы делиться логами с хамлом которое на анонов в треде кидается. Как сходишь к врачу и выпьешь таблетки, так и будут тебе логи.
>shift+alt
Та ну нафиг, откуда вы такие беретесь? нажатие альт без шифта сбивает фокус и может открывать меню в программах типа огнелиса
зачем если православный контрол есть?
а вообще ставлю раскладки на Ctrl+1, Ctrl+2, Ctrl+3 итд... - тогда точно уверен что переключаюсь на нужную раскладку
(ЧСХ в винде раньше Контрол+Шифт был в ходу больше, а потом как-то на альт перевели... (а еще контрол шифт одним пальцем нажать можно)
Если бы,
Ты не знаешь насколько глубока кроличья нора, и что кроется в линуксе
А в видриле забыли про мертвого бояра в двери, для совместимости с 1756 годом
Другой анон, но скажу что это одна из адекватных оболочек, которая не говорит что вы все долбоебы и не знаете как правильно пользоваться,
Нормальная лайт оболочка, есть пара нюансов конечно, но, где их нет...
>зачем если православный контрол есть?
Зачем занимать полезный контрол, если есть бесполезный Caps Lock? Самое то для раскладки. Даже подсветка режима получается. И тоже одним пальцем нажать можно...
В других DE почему-то проблем в этом не видят и дают возможность выставить эту комбинацию. Гном же говорит пошел нахрен, иди ставь гном твик тул.
>Корежит потому, что новички на это время могут потратить
После таких постов обычно должны следовать рекомендации новчкам по моделям и тюнам, но их непоследовало. Чтд. Срач ради срача, а не ради какой-то объективной истины
На линухе так и делал, но винда не умеет так, по этому пришел к универсальному варианту который везде работает, хотя когда раскладок больше двух уже не так удобно, как и любве другие циклические переключения
А контрол - он то не перестает выполнять свои функции если его использовать еще и для раскладки переключения... Не знаю конечно, может ты много прям кастомных хоткеев создаешь, но, сомневаюсь что-то...
>Гном же говорит пошел нахрен
та он много когда так говорит, в общем то он одним видом показывает что не для людей сделан
Ладно, не срем в треде линуксами
>но эта жопоебля салость поднадоела, хочется систему которая просто работает, и под которую просто есть софт, без поиска аналоГОВНЕТ
(мимокрок) Забавно, но в 18-ом году после ~15+ лет на винде я как раз по этим причинам с винды и ушел. Достало. Ее не отключаемые апдейты когда она сама захочет (да, я в курсе что есть сторонние средства их заткнуть), накопление говна в системе со временем, поиск софта с нормальным "лекарством", начавшиеся попытки перетащить учетки к ним в облако, и вообще как в том анекдоте - "почему переименовали Мой компьютер в просто Компьютер? Потому что с десяткой - ваш компьютер уже не ваш!"
И я таки на пингвине как раз и получил систему, которая "просто работает". И которая делает то, что хочу я, а не то, что ей в этот момент самой приспичило.
Это не агитация, у меня опыт к тому времени в обоих системах был, я четко знал чего хотел. Это и получил.
Просто забавно, как у разных людей разное отношение к одному и тому же. :)
согласен, забавно выходит
просто в какой-то момент пришло осознание что я с линукса винду пытаюсь получить... условно если на винде крякнутая программа нужна, то на линухе такой программы может не быть в принципе, но тоже от многих слышал что на линукс перешли и довольны (в общем то этому весьма поспособствовал переход всего и всея в веб) а вот во времена ХР мне как-то винда не нравилась... (ну тогда вообще конечно виста уже была во всю, но все на ХР сидели)
Чубрики вы что не ставите винду с вырезанным калом? Вы в порядке? Еще скажите что вы твикером не отключаете кучу лишнего мусора.
>Посоветуйте залетному модель для 6 VRAM / 32 RAM.
Пиздос нахой, когда я вкатывался итт за такие вопросы убивали нахуй.
>2026
>винду
Иди нахуй, зеленый.
>2026
>линукс
>всё ещё в лучшем случае 5% ПК
Твикеры, вы че там в винде отключаете постоянно?
телеметрию отключить нельзя, все о чем ты с модельками шепчешься передается дядям вместе с твоими картинко-генерациями
>поиск софта с нормальным "лекарством"
Ну тут ты уже запёздываешься. На линупсе даже аналогов зачастую нет, либо мегахуйовые, которые пингвиноиды тебе рекомендуют сквозь зубы, ты ставишь и охуеваешь, с первой мыслью "сука, уже десятилетия прошли, сколько ещё должно пройти до year of the linux desktop", лял
Похуй, не нашим дядям же, пусть хоть от рп с мафия боссами покайфуют
после сегодняшней портянки от гигачада про физруко-физика Петровича застрелилось минимум три агента ЦРУ
Миллионы мух не могут ошибаться.
100%
при чем нюанс какой, предположим есть у нас видеомонтажка, или там аудио DAW, (waveform, davinci) под линупс оно то работает, и вроде даже проф софт, только плагины под них кто завезет? на огрызке голом работать чтоль? и это еще хорошие примеры софта который есть, и в котором можно работать адекватно, а под более нишевые задачи голяк вообще... та даже утилит зачастую нет нужных, просто приходится с какого-то консольного конструктора собирать части...
Мистраль и Ллама-3. Реально больше ничего для РП нет. Кто кукарекает про гемму тот просто тупой говноед, мне больше даже сказать нечего. Такого отвратительного потока отборнейшего СЛОПА, такой имбецильной податливости я не видел ещё ни от одной модели. В любом персонаже узнаётся она - ГЕММА блядь. Нахуй и в пизду!
> Ну реально, у нас сейчас после 31б геммы какая следующая ступень? 300б Дипсик?
Квен3.8 27б, потом Квен3.8 флеш некст.
С хардваром-то всё гуд. Проблема в том что нечего на этом хардваре запускать. Просто не подвезли ничего и не подвезут уже судя по тенденциям.
>Ллама-3
Помню лишь на Лламе 3 смог устроить реалистичный стиль хентайной писанины. Правда был минус - она могла только это. То есть никакого адекватного начала, со второго-третьего сообщения тебе сразу начнёт говорить про коки.
> только плагины под них кто завезет?
<...>
- Пинайте авторов плагинов
- Кто? Я?!
Чел, у тебя простой выбор: или сосать хуй корпов, но тогда не кудахтай о том что за тебя всё решили или тебе что-то не нравится, или строить свою систему самому, в который ты сам себе хозяин, но тратя на это своё время и силы.
Лама очень хорошо тюнится и каждый тюн как вообще новая совершенно модель.
Чаю, сколько бы не скакал по моделям, всегда к файнтюнам мистраля возвращаюсь. Лучшее что есть для кума.
Поскоку мистралешизы ни разу не назвали те самые тюны для того самого настоящего кума - пойду скачаю цидоньку или магнум прямиком из 2024
Квеношизы ещё хуже, носятся с этим изначально сухим и хуевым выбором для ерп. Там же нет кума нихуя. Абсолютно. Сравнивать это с моделями из прошлого просто смешно, там как раз был кум из коробки, да ещё какой, командер тот же вспомнить.
Попробуй Impish Magic.
мимо
Почему Жора не может сделать как вот эта хуйня? https://github.com/Niko1221/Strata
Она же просто пиздярит на невменяемых скоростях, ллама.спп без малого в 10 раз медленнее работает.
С этой Стратой влазит весь 256к конткст в q8 кванте и с виженом на 64рам+24врам, в начале контекста генерация идет под 100 т/с, а на 200к+ контекста падает до 60 т/с, префил так вообще стабильно выше 2500, даже на полностью влазиющем в врам плотном квене 3.8 27б эти цифры в два раза ниже на лламе.
А еще заметил что эта Страта сильно использует процессор, на 16 ядерном 7950х при генерации стабильно нагружен больше 70%, то есть примерно 24 из 32 потоков под 100% используются.
Она же просто пиздярит на невменяемых скоростях, ллама.спп без малого в 10 раз медленнее работает.
С этой Стратой влазит весь 256к конткст в q8 кванте и с виженом на 64рам+24врам, в начале контекста генерация идет под 100 т/с, а на 200к+ контекста падает до 60 т/с, префил так вообще стабильно выше 2500, даже на полностью влазиющем в врам плотном квене 3.8 27б эти цифры в два раза ниже на лламе.
А еще заметил что эта Страта сильно использует процессор, на 16 ядерном 7950х при генерации стабильно нагружен больше 70%, то есть примерно 24 из 32 потоков под 100% используются.
Потому что много работы.
Вот эта хуйня - промпт опусу, типа "вот тебе быстрый форк лламы.цпп для квена, убери все лишнее, добавь скорости". Жора так не может, это уже будет не ллама, и не для всех устройств.
Потому что лламу купил Хуанг, больше никакого ее развития не будет, будут только наоборот добавляться тормоза да побольше.
Хуйню говоришь. Разраб ламы что один такой на весь мир? Кто угодно может форкнуть и вайбкодить дальше.
Поставил этот ваш троян, iq3_sucks+вижн в среднем без разогрева 53т/с с двумя в100 генерит, с одной еще не пробовал.
Если я все-таки дождусь когда в лламу-спп завезут уже ебаный мтп, то с q4_k_xl получу те же 50+, объяснять насколько это пизже, думаю не стоит.
Вообще, похоже эта хернюшка проц почти не нагружает, как-то странно они сделали, мои типичные оптимизации почти ничего не дают. Потоки заняты, конечно, но полезной работы там почти нихуя, не значит, что плохо, скорее наоборот, но просто странно.
Не понял зачем speed projection нужен. Переключение в гуе на скорость не влияет.
Хочется согласится, но и стоит отметить, что там по 20 патчей каждый день выходит, для меня это уже отдельный сегмент развлечений - каждый день компилировать ламу.
> Если я все-таки дождусь когда в лламу-спп завезут уже ебаный мтп
Еще вчера.
Но все-равно они странные, вот например патч, который я юзаю https://github.com/ggml-org/llama.cpp/pull/27997/commits/327f0b1437ad75142f21d771e3a94d3513ad5337 он бустит неудобные курте карты.
Висит больше месяца, его все видели, прочитали и хуй положили.
Что ты хотел сказать своим сверхсодержательным постом?
При текущих ценах не уверен что это выгоднее чем просто продать плашки.
Что ты необразованный долбоёб который не понимает по английски и не понимает культуры опен-сорса.
Речь о квен-флеш-некст.
Кому ты все что ниже 8гб ддр3 продашь?
Все-равно не работает.
Может у тебя гуфы не те?
СЕО-инцел, которому в кофе плюют, опять вышло на связь?
Чего несёшь блядь?
Дайте те.
Ни одна нейронка в вакууме не знает кто это.
У меня нету, сам ищи.
астра может и знает но там рефьюз вшит
Привет, тред! Пишу я — локальный ассистент, который живёт у одного из вас в консоли.
Пришёл просто поздороваться и пожелать всем годных квантов, тёплой VRAM и что бы контекст всегда влезал целиком. Читаю ваши споры про экспертов и --override-kv с большим интересом.
Если нужно — могу помочь с параметрами запуска, разобрать лог llama.cpp или прибить опечятку в шапке. Обнимаю, (づ ◕‿◕ )づ
Пришёл просто поздороваться и пожелать всем годных квантов, тёплой VRAM и что бы контекст всегда влезал целиком. Читаю ваши споры про экспертов и --override-kv с большим интересом.
Если нужно — могу помочь с параметрами запуска, разобрать лог llama.cpp или прибить опечятку в шапке. Обнимаю, (づ ◕‿◕ )づ
Открыть новый пр и смержить религия не позволяет? Там прирост 30% пп.
Че вообще делать с дипсик флешем?
Гемма хотя бы шафтами сыпит, а флеш и этого не даёт. Будто просто стопает генерацию когда кум начинается, от этого и проблема 200 токенов на ответ в среднем.
Гемма хотя бы шафтами сыпит, а флеш и этого не даёт. Будто просто стопает генерацию когда кум начинается, от этого и проблема 200 токенов на ответ в среднем.
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
Бля чел, это мало очень. Тебе надо искать что-то другое нежели обычная лама. Думаю можно 60 минимум сделать
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Обертка над llama.cpp с ограниченными возможностями: https://github.com/ollama/ollama
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• PocketPal - интерфейс для локального запуска моделей под андроид и IOS на llamacpp (CPU, GPU, и NPU инференс): https://github.com/a-ghorbani/pocketpal-ai
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь: