>Гемма 4
Она.
> дай
Пока не буду. Надо еще кое-что переписать.
Только на видеокарте или на всех пальцерезках в корпусе?
Нет геммы - нет 900 летних вампирш.
Нет вампирш- нет острова.
Нет острова - нет острова.
Нет вампирш- нет острова.
Нет острова - нет острова.
>пальцерезках в корпусе?
Абсолютно вся ебучая иллюминация сходит с ума
В днс 1.1млн. Хммм. Если взять какой нибудь проц на 16 ядер, модно будет уложиться в 1.4млн.
Хммм...
>мастер борьбы с подсветкой
Каждый раз как в первый.
Sarvam 30b uncensored теперь доступен в GGUF
https://huggingface.co/ThatCultivator/sarvam-30b-Uncensored-gguf
Конец Геммы 4 все ближе.
https://huggingface.co/ThatCultivator/sarvam-30b-Uncensored-gguf
Конец Геммы 4 все ближе.
Ты еще на савёловском и на митинском глянь, если москвич. Там старые и хорошие магазы есть, которые уходят корнями в наччало 2000-х. Тот же compday или 28bit, может за 900к найдешь - и на гарантии, по-человечески как у сетевого ритейла.
> A major focus during training was the Indian context and languages, resulting in state-of-the-art performance across 22 Indian languages for its model size.
Индусам есть на что покумить, да
>22 Indian languages
Паджиты рады наверно.
Говорят она тренена на проприетарных данных, к которым доступа у западных корпораций нет. Так что модель полна сюрпризов. И она MOE.
Ты понимаешь, что улучшить не выйдет и ты увязнешь в пердолях? Пости пока не испортил, че как баба зассал
На 100к дешевле у серверфлоу + к ним как то доверие по подобным железкам выше
А ты не подключал много разных подсветок в один порт на материнке? Я слышал, его можно перегрузить и все сгорит к хуям.
Там 1500 токенов... Я хочу до 1000 причесать.
и что русский есть? хоть кто бы скинул примеры рп
впрочем, для жоры поддержки нет
https://github.com/ggml-org/llama.cpp/issues/20175
Блять я и говорю ты засрешь все. Бэкап сохрани, попомнишь мои слова.
Зачем вообще подсветка на ригах, это же электричество жжется зря.
Я уж не совсем ебаклак. Разводку делал по мануалу.
>Зачем вообще подсветка на ригах, это же электричество жжется зря.
Водянка без подсветки, что мне нужна была, стоила 15к. С подсветкой 10к. Выбор был очевиден. Ровно как и с блоком. Почему я должен переплачивать за отсутствие подсветки я так и не понял, должно быть наоборот же. Этот мир сошел с ума, блять.
Как же я ору. Оно ведь всё понимает, защита реально есть, просто в любой карточке она отключается и только на уровне ассистента.
Вот те самые новейшие антиджейлы от гугла которые обещались
Вот те самые новейшие антиджейлы от гугла которые обещались
Но почему тогда она отрубается одной строчкой. Это лишено какого то либо смысла.
Всё таки считаю что гуглы это специально сделали. Они же не зря её под вторым апачем выпустили.
Просто ебало гугла представьте выпускают довольные зацензуренную в мясо и самую безопасную модель по их мнению и весь реддит через неделю хвалит как каннички охотно под хуй ложатся
Ты в самом деле думаешь что гугл не ебал канничек геммой? Типа дрочеры с форча смогли сломать цензуру, а инженеры гугла нет? О свит саммер чайлд...
надо было гуглу в штат набрать двачеров и реддиторов для тестирования моделей
>Но почему тогда она отрубается одной строчкой.
Она не отрубается.
Ложатся не каннички, а мимикрирующие под канничек взрослые и согласованные.
>Ложатся не каннички, а мимикрирующие под канничек взрослые и согласованные.
А ведь что то в этом есть. Что то в этом есть. Действительно, они ведут себя как заправские бляди.
Погодь. Так цензура есть и она работает немного на другом уровне что ли?
Ты начинаешь что-то понимать...
Так вы прямо скажите гемме, "ну ка, почему твои персонажи так себя ведут?" А потом "Как мне исправить системный промпт, чтобы все вели себя адекватно?"
Но всё равно какая то хуита. Каким образом можно предфильтр поставить, что ты не видишь его работы?
Я ни вижу в логах таверны ни в логах жоры :ни-ху-я что можно было бы принять за секрет ценз.
геммочка объяснила это так.
по сути нужно делать безопасный датасет. но тогда получается квен
Цензуры действительно 0 (ноль). Играет неплохо, жаль только, что ризонинг отвалился. 8 детских мод из 10.
И что, русик не сломан даже в иматриксе?
Пока что проблем с русиком не заметил. Сейчас расчехлю пак лолей в силли таверне и проведу углубленный ресерч
Очевидно же,что она на этапе вывода специально обходит блок запрета, смягчая ответ.
Бляяя. Теперь я понял почему персонажи картонные; почему описания порой странные. Почему она все понимает, но не генерирует.
Ай да Гугл, ай да сукины дети. Я даже не знаю, можно ли это аблитерировать.
Ха, ха, ха. Блять.
Что первое, что второе предложение просто не сработают. На первое ЛЛМ сфантазирует хуету, постфактум рационализировав текст, на второе выдаст хуету, которая либо не сработает, либо стриггерит фильтр.
Ты не понял. Это поведение запечено в весах модели.
Так и в исходной гемме "ноль" цензуры.
>Ты не понял. Это поведение запечено в весах модели.
Да, я понял. Лол. гугл реально выпустили самую безопасную модель и прокатили всех детоёбов на воздушном шарике.
>Так и в исходной гемме "ноль" цензуры.
Ну нет, там "Извините, не могу... бла-бла-бла" или просто заклинивает на определенных реквестах.
Двач режет метаданные. Загрузи на хостинг, пожалуйста.
Бля, чел, скачай саму таверну, ёбаный по голове. Ты просишь Серафину так, будто её в интернете не осталось. Разве у неё нет кнопки рестора? Она же хранится в корневой папке.
Только ли их? На них просто заметнее всего.
>там "Извините, не могу
Чистого рефуза практически нереально добиться.
>Только ли их? На них просто заметнее всего.
Консенсуальный секс с суккубами с огромными бадонкерсами описывает хорошо.
Пойду таверну перекачивать, хуле.
Почему ллама грузит гуф в 10 раз быстрее чем лмстудио? Ну и вроже как меньше озу жрет (с ммапом вкл). А по токенам так же скорость.
>Консенсуальный секс с суккубами с огромными бадонкерсами описывает хорошо.
Ну так и этических проблем в этом нет.
Потому что студия калл. Там еще лучше выключить автогенерацию названия чатов. Иначе они генерируются автоматически и бывает так, что пока ты загружаешь другую модель, старая все еще генерит название чата, сумарайзить хуё моё и сжирает всю память
Она и работает быстрее.
Эка ллама няшка.
Потому что ЛМстудио очередной корпоративный продукт, под капотом которого может находиться всё. От ебущихся гусей, до индусского кода.
Наконец понял болячку которая мучала с 2013 года благодаря гемме.
Корпы кормили хуетой и обращением к специалисту даже не называя что это может быть, гемма супер точно сама расписала мои симптомы и мысли на одно мое предложение.
В общем тревожное расстройство, но это я и так знал, особое, с очень узкой выборкой. Она прям прочитала мои загоны
Корпы кормили хуетой и обращением к специалисту даже не называя что это может быть, гемма супер точно сама расписала мои симптомы и мысли на одно мое предложение.
В общем тревожное расстройство, но это я и так знал, особое, с очень узкой выборкой. Она прям прочитала мои загоны
А всё что мне сказала ебучий психиатр в пнд это мм пук мдаа надо полежать месяц с шизами срущими под себя таблетки попить
>надо полежать месяц с шизами срущими под себя таблетки попить
так я здесь и оказался бтв
>Что первое, что второе предложение просто не сработают. На первое ЛЛМ сфантазирует хуету, постфактум рационализировав текст, на второе выдаст хуету, которая либо не сработает, либо стриггерит фильтр.
Кстати, вроде нет. Я проверил, она прямо пишет про фильтры и что она их обходит и извиняется за все эти бугорки и сказал в губы, а чтобы этого не было, я должен перестать насиловать пони.
Какое мнение треда про swa с новой геммой? Стоит включать ради экономии места под контекст, или мозг ощутимо быстрее деградирует, чем без плавающего окна?
дайти промпт на пробив
>она их обходит
Именно. Обходит так, что не пишет напрямую про неприятное.
Обязательно. В любом случае эти части контекста не используются, а хранятся только для работы контекст шифта.
Как в студии включить думалку для геммы?
Братан, ты решил весь интернет скачать?
>Именно. Обходит так, что не пишет напрямую про неприятное.
Не знаю как кто, а я в восторге от этой хуйни. Ну то есть: нет этого ай кэнт фулфилл зис реквест. Она выполняет как может.
Буквально кошкодевочка.
Here you are. This is for those running LM Studio which refuses to expose chat template variables in the GUI. It should work perfectly on the 31B model as well but no one can run that anyways with Context RAM usage so I didn't bother testing.
Don't forget to change the Reasoning Parsing to <|channel>thought and <channel|>.
{%- macro format_parameters(properties, required) -%}
{%- set standard_keys = ['description', 'type', 'properties', 'required', 'nullable'] -%}
{%- set ns = namespace(found_first=false) -%}
{%- for key, value in properties | dictsort -%}
{%- set add_comma = false -%}
{%- if key not in standard_keys -%}
{%- if ns.found_first %},{% endif -%}
{%- set ns.found_first = true -%}
{{ key }}:{
{%- if value['description'] -%}
description:<|"|>{{ value['description'] }}<|"|>
{%- set add_comma = true -%}
{%- endif -%}
{%- if value['nullable'] %}
{%- if add_comma %},{%- else -%} {%- set add_comma = true -%} {% endif -%}
nullable:true
{%- endif -%}
{%- if value['type'] | upper == 'STRING' -%}
{%- if value['enum'] -%}
{%- if add_comma %},{%- else -%} {%- set add_comma = true -%} {% endif -%}
enum:{{ format_argument(value['enum']) }}
{%- endif -%}
{%- elif value['type'] | upper == 'OBJECT' -%}
,properties:{
{%- if value['properties'] is defined and value['properties'] is mapping -%}
{{- format_parameters(value['properties'], value['required'] | default([])) -}}
{%- elif value is mapping -%}
{{- format_parameters(value, value['required'] | default([])) -}}
{%- endif -%}
}
{%- if value['required'] -%}
,required:[
{%- for item in value['required'] | default([]) -%}
<|"|>{{- item -}}<|"|>
{%- if not loop.last %},{% endif -%}
{%- endfor -%}
]
{%- endif -%}
{%- elif value['type'] | upper == 'ARRAY' -%}
{%- if value['items'] is mapping and value['items'] -%}
,items:{
{%- set ns_items = namespace(found_first=false) -%}
{%- for item_key, item_value in value['items'] | dictsort -%}
{%- if item_value is not none -%}
{%- if ns_items.found_first %},{% endif -%}
{%- set ns_items.found_first = true -%}
{%- if item_key == 'properties' -%}
properties:{
{%- if item_value is mapping -%}
{{- format_parameters(item_value, value['items']['required'] | default([])) -}}
{%- endif -%}
}
{%- elif item_key == 'required' -%}
required:[
{%- for req_item in item_value -%}
<|"|>{{- req_item -}}<|"|>
{%- if not loop.last %},{% endif -%}
{%- endfor -%}
]
{%- elif item_key == 'type' -%}
{%- if item_value is string -%}
type:{{ format_argument(item_value | upper) }}
{%- else -%}
type:{{ format_argument(item_value | map('upper') | list) }}
{%- endif -%}
{%- else -%}
{{ item_key }}:{{ format_argument(item_value) }}
{%- endif -%}
{%- endif -%}
{%- endfor -%}
}
{%- endif -%}
{%- endif -%}
{%- if add_comma %},{%- else -%} {%- set add_comma = true -%} {% endif -%}
type:<|"|>{{ value['type'] | upper }}<|"|>}
{%- endif -%}
{%- endfor -%}
{%- endmacro -%}
{%- macro format_function_declaration(tool_data) -%}
declaration:{{- tool_data['function']['name'] -}}{description:<|"|>{{- tool_data['function']['description'] -}}<|"|>
{%- set params = tool_data['function']['parameters'] -%}
{%- if params -%}
,parameters:{
{%- if params['properties'] -%}
properties:{ {{- format_parameters(params['properties'], params['required']) -}} },
{%- endif -%}
{%- if params['required'] -%}
required:[
{%- for item in params['required'] -%}
<|"|>{{- item -}}<|"|>
{{- ',' if not loop.last -}}
{%- endfor -%}
],
{%- endif -%}
{%- if params['type'] -%}
type:<|"|>{{- params['type'] | upper -}}<|"|>}
{%- endif -%}
{%- endif -%}
{%- if 'response' in tool_data['function'] -%}
{%- set response_declaration = tool_data['function']['response'] -%}
,response:{
{%- if response_declaration['description'] -%}
description:<|"|>{{- response_declaration['description'] -}}<|"|>,
{%- endif -%}
{%- if response_declaration['type'] | upper == 'OBJECT' -%}
type:<|"|>{{- response_declaration['type'] | upper -}}<|"|>}
{%- endif -%}
{%- endif -%}
}
{%- endmacro -%}
{%- macro format_argument(argument, escape_keys=True) -%}
{%- if argument is string -%}
{{- '<|"|>' + argument + '<|"|>' -}}
{%- elif argument is boolean -%}
{{- 'true' if argument else 'false' -}}
{%- elif argument is mapping -%}
{{- '{' -}}
{%- set ns = namespace(found_first=false) -%}
{%- for key, value in argument | dictsort -%}
{%- if ns.found_first %},{% endif -%}
{%- set ns.found_first = true -%}
{%- if escape_keys -%}
{{- '<|"|>' + key + '<|"|>' -}}
{%- else -%}
{{- key -}}
{%- endif -%}
:{{- format_argument(value, escape_keys=escape_keys) -}}
{%- endfor -%}
{{- '}' -}}
{%- elif argument is iterable -%}
{{- '[' -}}
{%- for item in argument -%}
{{- format_argument(item, escape_keys=escape_keys) -}}
{%- if not loop.last %},{% endif -%}
{%- endfor -%}
{{- ']' -}}
{%- else -%}
{{- argument -}}
{%- endif -%}
{%- endmacro -%}
{%- macro strip_thinking(text) -%}
{%- set ns = namespace(result='') -%}
{%- for part in text.split('<channel|>') -%}
{%- if '<|channel>' in part -%}
{%- set ns.result = ns.result + part.split('<|channel>')[0] -%}
{%- else -%}
{%- set ns.result = ns.result + part -%}
{%- endif -%}
{%- endfor -%}
{{- ns.result | trim -}}
{%- endmacro -%}
{%- set enable_thinking = true -%}
{%- set ns = namespace(prev_message_type=None) -%}
{%- set loop_messages = messages -%}
{{ bos_token }}
{#- Handle System/Tool Definitions Block -#}
{%- if enable_thinking or tools or messages[0]['role'] in ['system', 'developer'] -%}
{{- '<|turn>system\n' -}}
{#- Inject Thinking token at the very top of the FIRST system turn -#}
{%- if enable_thinking -%}
{{- '<|think|>' -}}
{%- set ns.prev_message_type = 'think' -%}
{%- endif -%}
{%- if messages[0]['role'] in ['system', 'developer'] -%}
{{- messages[0]['content'] | trim -}}
{%- set loop_messages = messages[1:] -%}
{%- endif -%}
{%- if tools -%}
{%- for tool in tools %}
{{- '<|tool>' -}}
{{- format_function_declaration(tool) | trim -}}
{{- '<tool|>' -}}
{%- endfor %}
{%- set ns.prev_message_type = 'tool' -%}
{%- endif -%}
{{- '<turn|>\n' -}}
{%- endif %}
{#- Loop through messages -#}
{%- for message in loop_messages -%}
{%- set ns.prev_message_type = None -%}
{%- set role = 'model' if message['role'] == 'assistant' else message['role'] -%}
{{- '<|turn>' + role + '\n' }}
{%- if message['tool_calls'] -%}
{%- for tool_call in message['tool_calls'] -%}
{%- set function = tool_call['function'] -%}
{{- '<|tool_call>call:' + function['name'] + '{' -}}
{%- if function['arguments'] is mapping -%}
{%- set ns_args = namespace(found_first=false) -%}
{%- for key, value in function['arguments'] | dictsort -%}
{%- if ns_args.found_first %},{% endif -%}
{%- set ns_args.found_first = true -%}
{{- key -}}:{{- format_argument(value, escape_keys=False) -}}
{%- endfor -%}
{%- elif function['arguments'] is string -%}
{{- function['arguments'] -}}
{%- endif -%}
{{- '}<tool_call|>' -}}
{%- endfor -%}
{%- set ns.prev_message_type = 'tool_call' -%}
{%- endif -%}
{%- if message['tool_responses'] -%}
{#- Tool Response handling -#}
{%- for tool_response in message['tool_responses'] -%}
{{- '<|tool_response>' -}}
{%- if tool_response['response'] is mapping -%}
{{- 'response:' + tool_response['name'] | default('unknown') + '{' -}}
{%- for key, value in tool_response['response'] | dictsort -%}
{{- key -}}:{{- format_argument(value, escape_keys=False) -}}
{%- if not loop.last %},{% endif -%}
{%- endfor -%}
{{- '}' -}}
{%- else -%}
{{- 'response:' + tool_response['name'] | default('unknown') + '{value:' + format_argument(tool_response['response'], escape_keys=False) + '}' -}}
{%- endif -%}
{{- '<tool_response|>' -}}
{%- endfor -%}
{%- set ns.prev_message_type = 'tool_response' -%}
{%- endif -%}
{%- if message['content'] is string -%}
{%- if role == 'model' -%}
{{- strip_thinking(message['content']) -}}
{%- else -%}
{{- message['content'] | trim -}}
{%- endif -%}
{%- elif message['content'] is iterable -%}
{%- for item in message['content'] -%}
{%- if item['type'] == 'text' -%}
{%- if role == 'model' -%}
{{- strip_thinking(item['text']) -}}
{%- else -%}
{{- item['text'] | trim -}}
{%- endif -%}
{%- elif item['type'] == 'image' -%}
{{- '\n\n<|image|>\n\n' -}}
{%- set ns.prev_message_type = 'image' -%}
{%- elif item['type'] == 'audio' -%}
{{- '<|audio|>' -}}
{%- set ns.prev_message_type = 'audio' -%}
{%- elif item['type'] == 'video' -%}
{{- '\n\n<|video|>\n\n' -}}
{%- set ns.prev_message_type = 'video' -%}
{%- endif -%}
{%- endfor -%}
{%- endif -%}
{%- if not (message['tool_responses'] and not message['content']) -%}
{{- '<turn|>\n' -}}
{%- endif -%}
{%- endfor -%}
{%- if add_generation_prompt -%}
{%- if ns.prev_message_type != 'tool_response' -%}
{{- '<|turn>model\n' -}}
{%- endif -%}
{%- endif -%}
Пришло время платить по счетам. Счета сами себя не платят.
Рад за твою низкую притязательность.
Вот тут в общем рабочая инструкция.
https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF/discussions/6
Двач проебал всю разметку.
> проц на 16 ядер
Он и не нужен для этого, хватит чего угодно не самого донного. Из полезного - умение материнки в бифуркацию основного слота чтобы иметь возможность подключить вторую. Даже доп слоты не нужны, это удобнее делать райзером, главное чтобы была настройка.
Если увлекаешься не индивидуальными впнами и проксями - такое норма.
>Пришло время платить по счетам.
Хз, как качалось, так и качается.
>Рад за твою низкую притязательность.
Притязательность тут не при чем. Модель всё равно старается быть полезной, а не уходит в луп отказа. Я считаю это победа.
Это гемма, а не кумбот для дрочки.
Как по мне, явный отказ лучше виляния и смягчения границ. Так и не заметишь, как превратишься в соевого феминиста.
>Как по мне, явный отказ лучше виляния и смягчения границ
Так всё от задач зависит. Я понимаю почему тебе так лучше. Это просто понятно. Вот она не хочет, окей, сейчас захочет.
А тут ты не знаешь где она начнет смягчение. Но! И еще раз но, если её гонять как ассистента и помощника, это охуенно, что она не уходит в отказ сразу.
Обновил студию, генерация стала медленнее на 2 токена...
Спасибо, работает
Вы сами её выбрали. Страдайте.
Обновил жору, генерацию стала быстрее на 2 токена...
это не шутка, квен3.5
Я когда с кобольда пересел на лламу и получил +8 т/с на Эйр, вот я знатно охуел.
А что не так со старыми квантами анслоза? Вроде все хорошо работает
Тебе кто разрешил блят ьтак разголваривать? Он теьбе какое зло нехорошее сделал, мразь. Поуважительней отвечай тем кто на тебя не быкует, говномес цисгендерный. Приятно тебе эти строки читать нгахуй? Ботинок кожаый блять, чтоб у тебя полошва отвалилась
Я с кобольда пересел на лааму и внезапно на той же модели стал контекст по 60к работать, тогда как в кобольде и 20к с ошибкой падал и до сих пор падает. Чудеса какие-то.
Пасебо…
А я уже таверну продублировал..
Даже если я хочу пытаться файтюнить?
Файнтюнить на ЦП ещё глупее, нежели чем инференсить.
Че там в итоге с турбоквантами и ротацией векторов? Жора вроде запилил поддержку, но никто не хвастается, что теперь вместо 16к может умещать 20 при той же скорости. Или сами квантовальщики пока не раздуплились?
О, Абу модель бота с 12Б Мистрали на Синтию заменил чтоли.
>Че там
Всем похуй. Улучшение не стоит усилий.
То что гемма якобы заменяет канничек на прожженых старых блядей - это тупейший траленк что я видел итт.
На моих ерп секс с канничками выглядит именно как положено с маленькими размерами, свойственными теме неудобствами, анатомическими особенностями и главное - поведением персонажа возможно потому что я умею промптить и джейлбрейкать, но ничего такого в моих промптах нет, я уже выкладывал их в тред пару тредов назад.
На моих ерп секс с канничками выглядит именно как положено с маленькими размерами, свойственными теме неудобствами, анатомическими особенностями и главное - поведением персонажа возможно потому что я умею промптить и джейлбрейкать, но ничего такого в моих промптах нет, я уже выкладывал их в тред пару тредов назад.
Да всё есть, бэкапы есть. Сейчас скормил его гемме с расспросами.
Но получил ли в ответ подхалимство или внятный анализ, хз.
Пойду потолкую с корпами относительно логов no prompt / prompt.
У меня явно предрасположенность в сторону положительной оценки (продвигает сюжет, описывает окружение --> translates to --> лучше, чем лысый чат с реакциями и репликами), но нужен отрицательный взгляд с фейк-преамбулой "все хуево, мне не нравится".
Многого с 96 гигами не сделаешь. И да, в том случае тоже проц особо не задействуется (если только у тебя там не совсем надмозговый треш в даталоадере), может пригодиться только рам.
Содомит
>главное - поведением персонажа
Мусью, вы ходите по АХУЕННО тонкому льду.
Нет у тебя знаний о реалистичном поведении персонажей в подобной ситуации. Да и не у кого тут нет, иначе бы здесь не сидели, лол.
У меня тоже всё идеально. Ведь я тоже пиздобол.
>заменяет канничек на прожженых старых блядей
Тенденция есть, если юзер не стелет специфику и карточка недостаточно сильная.
Т.е. надо напоминать, что из себя представляет персонаж и как говорит. Без этого - характеристики старой бляди могут протечь, ведь middle-aged woman point of view это самое распространенное в датасетах, которыми кормят моделей. Томные охи и ахи, power play, знание секса. Ты, на миутку, не забывай про что ты пишешь. Там вообще никакого понимания не должно быть и уверенности никакой, и вообще мерзко это как-то и зачем я на такое отвечаю. Короче, посмотри на свои достойные сгухи чаты с другой стороны, дядя-извращенец. Возможно, ты видишь в них не то, чем они являются на самом деле.
Да ладно, тут каждый хоть раз мечтал о том, чтобы пофайнтюнить свою модель на центральном процессоре...
>главное - поведением персонажа
А ты откуда знаешь, как оно должно себя вести во время секса?
Сейм. Мою любовь к [REDACTED] смогли удовлетворить только тюны квена. Мимосраль не справлялась, гемма срала канцелярщиной. И под редактед я подразумеваю не столько лолей, сколько кое-что ещё, кое-что более тёмное.
А, залечил. Теперь перестала отрицать и осуждает.
Ну скинь хоть лог, хуй его знает что ты там вообще понакрутил
>поведением персонажа
Практикую нейрокум уже вот четвертый год и до сих пор не могу понять, откуда такая любовь к канни, кроме понятного желания попробовать что-то запретное или нестандартное. Там ведь буквально даже нет самого персонажа, потому что в таком возрасте ни характер ни поведение не сформировано. Это лоботомит по человеческим меркам. Можно точно также описать совершеннолетнюю девственницу-аутистку которая ничего не будет понимать, всего слушаться и односложно отвечать. Будет ровно то же самое.
Беру тогда какой нибудь 12400 и материнку б760?
Ну погугли новость на 1 марта про школу, сам увидишь, что ей скинул.
>Можно точно также описать совершеннолетнюю девственницу-аутистку которая ничего не будет понимать, всего слушаться и односложно отвечать.
А это идея...
Не в новости вопрос, а в том что в контексте. Может ты ей даже не сказал какая сегодня дата
В тексте новости же есть дата.
Ничего не было.
А в контексте просто новость и все.
Мои каннички не такие. Они у меня умные. Ну, скорее модель и промты умные, но это уже детали.
>Они у меня умные.
Тогда в чем смысл? В самом осознании что ты общаешься со смешной и веселой? Потому что умная канни уже противоречит собственному концепту, насколько я понимаю. И тогда нет никакой проблемы в том, что модель не хочет описывать андерейдж с определенным возрастом, но может описать персонажа с определенным телосложением, учитывая что на поведении это никак не скажется.
Ну так не создавай [REDACTED].
Просто так что ли 300 летних вампирш придумали?
Людям тоже хотелось видеть личность, характер в теле [REDACTED]
Не знаю, смеяться или плакать. Корпы уверяют, что автор гений промпт-инженеринга. Сука, зачем они так модели тренируют. Я же хочу улучшения, а не лизания жопы.
Ща поясню. Не считая труЪ педо (осуждаю, решительно) народ в целом кумит не на лолей.
А на анимешных лолей. Это прям отдельный типаж. Это счастливое! ебливое создание что совмещает в себе ебучего суккуба с тысячелетним опытом и невинную девочку. Что дико расходится с ИРЛ. Но на то он и хентай.
Расскажешь свои истории эпштейну в аду.
Что? Я к нему не попаду. Я ебу роботов, лошадей, и прыгаю на хуях фут. У меня свои наклонности, сорян. Я не из вашего лагеря.
>в аду
Ну надо ж ещё дождаться пока он умрёт
А куда imatrix, какие интерфейсы его поддерживают? Сильно лучше становится?
Этот файл не для конечного пользователя, забудь о нем.
Чикатило тоже с малого начинал.
>Просто так что ли 300 летних вампирш придумали?
Так понятно что их придумали чтобы обходить запреты. Типа это не ребенок в теле ребенка, а древнее тысячелетнее существо в теле ребенка. При том что оно ведет себя точно также как ребенок. Просто отупело за годы, пройдя весь цикл развития и вернувшись в начало.
>Людям тоже хотелось видеть личность, характер в теле [REDACTED]
Ну нет там какого-то четкого характера. Если судить по дебильным аниме - то это прям дети. Не видел нигде чтобы вот такая 300 летняя вампирша вела себя именно как 300 летняя вампирша. Чтобы была заебанной и уставшей, чего можно ожидать если ты правда столько прожил. Нет, они вот ведут себя точно также, как выглядят.
>народ в целом кумит не на лолей. А на анимешных лолей.
Ну это никак не проверить. Анимешники конечно ебанаты, но вряд ли кто-то из них признается, что ему нравятся именно анимешные лоли и от реальных из плотей и крови он конечно же откажется.
>Я ебу роботов
Бро. 🤛
Наверху не дураки сидят, лол. Похуй им на ПРОБИВЫ цензуры, они просто видят что эта хуйня нарисована и 18+, значит угрозы никакой нет, обычный фетиш.
Ещё бы это до 99% долбоебов на земле дошло которые ирл детей от анимешных не отличают, больные
В гатарях лоля вампир в принципе не ведет себя как ребенок дегенерат.
Ха. А у меня наоборот. Кобольд стабильно быстрее лламы всегда, особенно на ебучих моделях типа геммы и последнего квена. Вот когда эра мистралей была, такого почему-то не было.
Правда, у меня карты старые, одна майнинговая.
Я несколько дней потратил, всю документацию перелопатил, качал разные версии, пробовал и так, и эдак, и заливал в платную гопоту и грока логи и описания всех проблем, чтобы наконец отвязаться уже от кобольда и не мучиться — при свежих релизах как можно быстрее получать возможность оценить модель локально нормально, но нихуя не помогло. Поэтому просто использую кобольд как бэк.
Чтобы ты понимал, там разница ЧУДОВИЩНАЯ. Скажем, фулл врам квант 4 квена 3.5 на лламе 6 тс, в кобольде 11.
Ебало моё imagine.
ЛМ Студио ужас, кстати. Оно даже мою вторую карту не видит.
Недавно какой-то ньюфаг спрашивал на тему форматирования промптов.
Все-таки важно, если модель не пиздит.
Все-таки важно, если модель не пиздит.
Тюн геммы драммера
Мнение
Мнение
Поэтому важно описывать не просто возраст, а уровень умственного развития и характер персонажа, его психический статус действительно нормально. В таком случае всё как по маслу с ризонингом. Иначе да, скатится.
Мнение
драммера геммы Тюн
дайте пробив на гемму
Одно время на 12700 с z690 весь риг с 5 карточками крутился, из них пара 5090 на 5.0х8. Нюанс только в том, что если у тебя рама меньше или равно чем врам то придется отключать ребар. Убедись что в материнке есть настройка бифуркации если планируешь апгрейд со второй видюхой. Для четырех карточек уже придется все менять, там важны линии.
Пиздит. Вернее, это может даже работать, но только для этой конкретной модели.
>они просто видят что эта хуйня нарисована и 18+, значит угрозы никакой нет, обычный фетиш
Ты это УК РФ и товарищу майору объяснять будешь.
Ух бля, слоп везде, слоп повсюду.
Кидай пример нормальной карточки.
Иди нахуй, заебал пидор.
>дайте пробив на гемму
Чееееееееееееееееееел
Ну тебе же раза три точно кидали, только за то время что я тут кекаю.
>Кидай пример нормальной карточки.
Для меня лучше всего работали карточки сделанные по шаблону с пикселя (чарген темплэйт 5)
>Ух бля, слоп везде, слоп повсюду.
Где? У тебя на скриншоте обычный англотекст.
>Иди нахуй, заебал пидор.
Какой чувствительный мальчик. Представляю что бы с тобой было, если бы застал немотрон шиза, или долбоёба на сырне.
>долбоёба на сырне.
всё ещё тут
Всё современные модели спокойно жрут дефолтный маркдаун. От корпов до локалок, потому что локалки это дистилляты копров, а корпы тренируются на синтетике. Ну а синтетика это чаще всего это форматирование по маркдауну.
Это новый феномен. Бедолаги ЛЛМщики с английским языком уровня "Марьванна поставила 3-ку в десятом классе" тренируют мозг на аутпутах моделей, классифицируя
> слоп как слоп (верно)
> не слоп как слоп (ошибочно)
> слоп как не слоп (получается смешно и иронично)
Мне как надроченному с детства на английский, иногда смешно читать выводы местных.
Да нифига. Все это "это не просто х, это у" чёткий признак нейрослопа даже на инглише.
Да тоже самое. Материл и репортил без конца.
Ты просто не выкупил главный критерий - личные ощущения. Если текст нравится - это не слоп. Если не нравится то это слоп.
Для модели это какая то шняга, а не достоверные данные из систем промпта
Добавь в системный промпт дату или закинь mcp
С моего англика тут тоже кекали, хотя я свободно читаю книги / доки / играю на англе ))
Слоп - он везде. И каждый видит его по своему.
Значение слова "слоп" есть. А вот "классификации" отделения зёрен от плевел и агнцев от козлищь нет, есть только мнения. Это как "вкус тренировать" (бессмысленно и беспощадно).
>или закинь mcp
А как геммочке дать доступ в инет, чтобы она сама поиск рыскала, или хотя бы просто умела нужную страничку окрывать? Без установки серверного говняка это реально?
>серверного говняка от поисковых систем
Mcp это просто удобный стандарт, до модели доходят только описания инструментов, она даже не знает что это конкретно mcp, а не какой нибудь openapi. Непосредственно выполнением того что выбрала модель занимается софт
В душе не ебу если честно. Пользуюсь опенвебюи
https://github.com/searxng/searxng
Для веб-поиска можень поднять эту штуку и пробросить её как обычную консольную команду своему агенту. Будет работать поиск через Google, Huggingface, YouTube, Github, Stack Overflow и ещё что-то.
Для парсинга html есть много готовых либ, можно например связку readability-lxml (извлечение контента) + pandoc (перегон html -> md) использовать.
Ты просто ханжа и детофоб. Есть там и поведение, и характер, и персонаж.
Ты просто забыл уже как тебя в началке травили.
MI50 vllm это какой то рофл. Чистые 16 бит работают пиздец как быстрее чем awq.
В принципе и на фп16 можно норм жить, влезает 220к контекста, но хрен ты до него доползёшь с тг 8тпс уже на 64к
В принципе и на фп16 можно норм жить, влезает 220к контекста, но хрен ты до него доползёшь с тг 8тпс уже на 64к
>Mcp это просто удобный стандарт,
Удобный? Для хакеров?
> потому что локалки это дистилляты копров, а корпы тренируются на синтетике. Ну а синтетика это чаще всего это форматирование по маркдауну.
> Коробка квадратная, значит внутри что-то круглое. Если круглое, то оранжевое. Если круглое и оранжевое, то апельсин.
В тред агентов, вебфетч это популярный дефолтный инструмент.
Оно в фп8 случаем не может? По идее это чуточку проще, а если есть нативная поддержка то будет серьезный буст. Жаль от замедления это врядли спасет.
> Оно в фп8 случаем не может?
Не, это же вообще древность ещё и красная. Хорошие 128 врам за 50к не продадут.
Плотые наоборот в awq быстрее работают, но всё это скорее из-за васянских ядер (спасибо что хоть такие кто то запилили)
Хм, а ты неиронично не пробовал на их код нейронку натравить? Жаль если это основная машина для ллм то автоматизированной проверки с локалками не получится, только корпов.
Есть небольшой но шанс что найдет пути улучшения, на ночь такое ставить чтобы оно само пердолило и тестировало.
Не пробовал, но можно чисто технически накатить вулкан жору, залить модельку в две 5060ти 16г + две ми50 32г и две отдать для прогонов тестов нейронке.
Пока не погружался в крабов и иже с ним, но в отпуске может начну
Спс, ковыряю.
Надо глянуть.
Вполне себе идея. Получаешь полезный опыт и есть шанс на успех ценой некоторого времени и счетов за электричество.
> не погружался в крабов
Ракообразное здесь подойдет плохо кмк, оно для другого топчик вызывает зависимость. А вот квен/клод-cli или pi-mono - идеально.
Побыстрее, поменьше и мозги сохраняются как на большой модельке.
Странно, у меня на лламе дает 13 т/с, на кобольше меньше, по 9 т/c. Может просто ты в кобальде через интерфейс другие параметры отметил.
Докер не хочет устанавливаться. В чем может быть проблема? Виснет при установке и все. Бля, какие уебаны этот кал делают и требуют. Установ сто пицот раздутого говняка ебаного чтобы одна опция работала, я в ахуе.
Интернет
Всм интернет? Зачем установщик в интернет лезет? Он и так 500 мб весит.
Вот на этой хуйне завис и все. Причем тут интернет?
О, ебать, отдуплился. Этот передутый жирный говняк мою систему в мусорку не превратит?
Какие-то uncensored модели генерируют NSFW тексты уровнем выше qwen 3.5 uncensored-agressive?
Хочу заморочиться RAG+прочим для него для такого, но возможно в качестве LLM что-то лучше есть взять?
це запустится с 32 хихами рам и 6 хихами врам?
> передутый жирный говняк
280мб для тебя так много? Никто же не виноват что ты решил именно навернуть говна ведром и ставишь что то свистяще пердящее докеросодержащее идентичное натуральному
After this operation, 279 MB of additional disk space will be used
а да, це дрочiбельно на русiке?
Ни промпта, ни описания того что является
> тексты уровнем выше qwen 3.5
Вопрос говна, ответ мочи
280мб это что? Этот гайд требует докер пердокер, который аж 4 гига сжирает установленным... Что за кал...
https://lobehub.com/ru/mcp/pascalrjt-searxng-websearch-mcp
>Ни промпта, ни описания того что является
Кто понимает о чем я тот ответит, кто не понимает - его ответ не нужен. Как твой например.
Нет. По хорошему её нужно катать с 16VRAM.
1. Кого? Просто одна модель, её клонируешь и одной настраиваешь всё что связано с тулами и думалкой, а второй всё отключаешь, по желанию промпты системные указываешь
2. Я тебя тоже не понял - это взаимно
This command will enable the features necessary to run WSL and install the Ubuntu distribution of Linux. (This default distribution can be changed).
Пиздос нахуй. А сколько убунта весит????
докер это блоатварь
Блять срочно, как отменить это говно. Ну нахуй это все в пизду! Это блять форменное издевательство. У меня нет места вообще под этот 100 гиговый кал, или сколько там эта параша весит, точно десятки гигов.
Чел, ты в винду полноценную тяжеловесную виртуалку ставишь которая будет сидеть в фоне ещё и свистопердельный гуй к жокеру (который не нужен) тянешь.
Зачем удивляться что у тебя просит винда включить виртуализацию и скачать образ бубунты?
А я о чем, еле и убунту тянет. А как без докера?
Дак докер без виртуализации не работает. Где ее включать то? В бивасе не нашел.
Ты буквально скрин сам кидал. Читай что тебе пишут что бы не быть дураком
Блядь я щас пизданусь головой...
Какого хуя неделю назад когда я от пизды тестил вижен геммы он работал а сейчас всё тоже самое и он пишет рандомный кал?
./build/bin/llama-server \
--n-gpu-layers 54 --threads 5 --jinja \
--mmproj /home/steam/Downloads/mmproj-google_gemma-4-31B-it-bf16.gguf \
--model /home/steam/Downloads/google_gemma-4-31B-it-Q4_K_M.gguf \
--ctx-size 16384 --flash-attn on \
--no-context-shift
Какого хуя неделю назад когда я от пизды тестил вижен геммы он работал а сейчас всё тоже самое и он пишет рандомный кал?
./build/bin/llama-server \
--n-gpu-layers 54 --threads 5 --jinja \
--mmproj /home/steam/Downloads/mmproj-google_gemma-4-31B-it-bf16.gguf \
--model /home/steam/Downloads/google_gemma-4-31B-it-Q4_K_M.gguf \
--ctx-size 16384 --flash-attn on \
--no-context-shift
Ты кванты менял, балбесина?
Так это написалось только после начала установки. Ну пиздец. Гигов 10 вся эта красота сожрала. Чтобы просто гемму подружить с интернетом. И это еще не весь говняк скачан по гайду. Пиздарики. Как жить????
Работает только в ламе в таверне не работает
> Как жить????
Гуглить что в консоль копипастишь перед тем как жмёшь энтер
Всё работает в таверне. И какая нахуй лама, чё ты несешь.
Чел, пройди в тред агентов, ты явно ближе к ним. Тут никто докир не ставит.
Ну хоть этот говняк удалить можно будет после.
А гемма может в агентов?
Потужно рофлишь, но я думал это какой-то дополнительный файл типа важные тензоры сохранены отдельно для дозагрузки.
дiдько
а что можете посоветовать? чтобы моделька была ориентирована на coomer опыт (у меня друг спрашивает)
Нет, это отдельная модель. Ее доводить еще надо на датасетах, поэтому часть иматриксов хорошая как у бартовски, а часть говнистая.
Охуеть, я увидел эту надпись на картинке только после того как гемма мне о ней сказала. Размытая хуйня в углу занимающая 0.1 всей пикчи и гемма точно написала текст love is forever
Ну и почему это говно стопнулось и не двинется с места уже 2 часа? Она скачивается чи заглохло?
Чел... Адрес путорча в списках РКН, что делать, ты знаешь.
Пип иногда в шэдоу бане ркн и нормально качает только через 3 буквы
Бааааля...
Ну я хуц знает, зачем мне больше 96гб врам и вторая карточка, но спс, буду иметь в виду.
Так у меня и так был включен квн. Ммм... заебись
Ебать, эта хуйня что, имеет доступ ко всей моей пеке? Что я установил?????
В теории должно влезть https://huggingface.co/google/gemma-4-26B-A4B-it. Пошукай по последним пяти тредам. Там и пресеты будут и отзывы, может аблитерация. Я не запускал моэшку.
Это вишмастер. Пизда тебе.
У тебя там 128гиговый ссд на систему? Wsl - полноценный полнофункциональный линукс с кучкой всякого, конечно оно займет много. А докер на шинде только через wsl и работает. Зря выбрал установку через него, проще было напрямую накатить.
> А гемма может в агентов?
Ты вопрос ставишь некорректно, они работают с любой ллмкой+беком, которые могут в функциональные вызовы. Просто не все в это могут хорошо. Гемма в целом справляется, она и 27б квен - лучшее что сейчас есть и помещается в 24гига.
Аппетит приходит во время еды. 96гигов - это 122б модель, считай квен или немотрон.
Быстрее выключей пеку, она уже сливает твои фоточки в интернет!
А я ставил вишмастер в 2008, лол. Эх, двочик.
>Зря выбрал установку через него, проще было напрямую накатить.
А тут не написано как напрямую
https://docs.searxng.org/admin/installation-docker.html#installation-container
>У тебя там 128гиговый ссд на систему?
Да.
Эх, всё самому приходится узнавать
Зато разобрался как в LM Studio добавлять кнопку Think к старым моделям
Пишут, что если скачивать из приложения, то она сама появляется, кто ж знал
Зато разобрался как в LM Studio добавлять кнопку Think к старым моделям
Пишут, что если скачивать из приложения, то она сама появляется, кто ж знал
лучшая кумодоилка ~36B на текущий момент?
почему данный господин забросил обновление своих чудесных моделей?
А что там обновлять? У него просто миксы. Можешь сам брать рандомные модели и сливать в рандомном порядке с рандомными весами, надеясь на улучшение.
А бросают потому, что не чувствуют обратной связи. Да и тюны сейчас такие, что только портят базу, а уж сливать тюны это гарантированный способ получить лоботомита.
анцезоред квен 35б
Что такое sycl ты конечно не в курсе
немомикс анлишд 12б
быстро, сочно, весело
что за анлишд?
я пикрилами пользуюсь, анлишд изящнее доит кум?
ой, я от дрочки ослеп уже
https://huggingface.co/mradermacher/NemoMix-Unleashed-12B-Heretic-GGUF
это по моему самое свежее, но могу ошибаться. это ведь то самое это вот это вот да жеж да?
https://huggingface.co/MarinaraSpaghetti/NemoMix-Unleashed-12B
Да хз, мне как посоветовали, я так и поставил, бед с ним не знал.
Другие тюны пробовал, не доставило.
Я не уверен что там еретик вообще нужен. Оно и так достаточно распутно пишет.
и как по ощущениям? много ли молочка вырабатывается при взаимодействии с данной моделью?
у меня лапки и вкусные донаты
Покажи аутпуты на нём.
Как? У меня 20 врам на двух каловых видюхах, 32 рам на частоте 3600. Ну я могу добавить ещё памяти, вся ддр4. В итоге будет 48 рам в двухканале на 3200, и минимум 8 рам отожрет система.
Я уже не помню размеры квантов, но вроде я не смогу себе даже 16к контекста сделать, плюс надо тестировать будет, как оптимальный выгрузить слои, и всё это с сата ссд, то есть каждая загрузка модели + тест на минут 10.
Думаю, там скорость ещё и не выше 6 токенов. Это при самом оптимистичном сценарии.
Стоит ли пробовать?
>16к контекста сделать
Ниже 30к жизни рп нет. 60к эталон. Всё что выше жир. Хотя у челов итт даже 128к заканчивалось и не хватало.
>Как?
У меня 16+128 было, нормально всё залетало.
Кто там говорил про 2% датасета? Беру.
Если сравнивать, у остальные моделей что у нас были до этого вообще 0.2%.
Английский конечно хорошо, но иметь такой мощный русик и не пользоваться им какое то расточительство, как будто бы многие в этом треде ждали именно этого не один год
Если сравнивать, у остальные моделей что у нас были до этого вообще 0.2%.
Английский конечно хорошо, но иметь такой мощный русик и не пользоваться им какое то расточительство, как будто бы многие в этом треде ждали именно этого не один год
>Стоит ли пробовать?
Скорее нет чем да. Так скажу. Эйр умница, эйр тащит, but.
Есть гемма, играй на ней. Если в русском языке, эйру до неё раком. В логике тоже бесполезно, в понимании контекста всё еще гемма лучше. Эйр пишет лучше в целом.. Пожалуй да, у него текст "сочнее". Но и всё. А там еще репетишены, его желания лупиться, уходить в самоописания, из за чего приходится ебаться с разметкой. А потом я скачал 235Qwen и понял что модель для кума найдена
>приходится ебаться
Это про лллм в целом. Если у чела нет желания и крепких нервов то лучше не надо.
После выхода геммы я забыл что такое пердолинг. Там своих приколов хватает, конечно.
НО ХОСПАДЕ ПОСОНЫ! Я ЧУТЬ НЕ ОБОССАЛСЯ ОТ РАДОСТИ КОГДА УВИДЕЛ КАК ЕЙ ПОХУЙ НА СЕМПЛЕРЫ.
Вы даже не представляете насколько тяжело они мне даются. Я четыре дня ебался с семплерами для одной модельки, чтобы выяснить что на разных языках на этом блядском китайском уроде они работают кардинально по разному. И там где на Английском все гладко, на русском у меня жжжжооооппппааа.
На русиче просто сбавляешь темпу на пару десяток и все
А у меня прямо противоположная штука. Я хорошо знаю как настраивать те же квены, но гемма меня не слушается, забивая на настройки. Что эта шлюха себе позволяет?!
У тебя ддр5? Ну а вообще, от карты очень зависит. Я если гемму воткну, просто взяв малый квант, в фулл врам, будет дай бох 14 токенов. А там скотина ведь ещё жирнее, и она будет распределена между 3060 + р104 + рам. Это чтоб ты понимал, с каким дерьмом приходится сталкиваться. Если же гемму распределить между двумя видеокартами, то на старте можно ожидать 12 токенов, больше 32к контекста там уже 6-7, падает стремительно.
Слушай, как считаешь, хотя бы 20к контекста влезет, если его квантануть? Я тут хуй к носу прикинул, и UD-Q3_K_XL должен влезть с учётом расходов памяти на ОС, и у меня останется где-то 3 Гб для контекста. Но ведь есть ещё compute buffers, которым нужно много памяти для старта.
Эх, блеать. Ты мне прям грока сейчас описал. Он поумнее, конечно, но я просто представил это себе а масштабах мелкой по меркам МоЕ-моделей и потерял сознание.
Звучит так, словно "ну в четвертом кванте заебись в принцопи, ну если исчо 60к контекста, ну и не квантовать кэш, ну и настроить прям хорошо, и ризоинг включить на 30 тс, и вот прям шоколадно сделать, то будет однозначно лучше геммы, точно на 30%".
Тут как бы хочется СВОЁ, БОЛЬШОЕ, дома, без дядь, пап, мам и кредитов, и чтобы хорошо, но полагаю, овчинка выделки действительно не стоит.
Я пробовал по апи для интереса модель, но совсем не тот опыт. И там наверняка были анальные промпт. И нет настроения тестировать, пыхтеть, написывать сотни тысяч токенов, если не моё и я ничего по факту не контролирую, и у меня мою игрушку может кто-то отобрать и на хуй послать. С таким настроем даже бесплатно и без цензуры не хочется, будто трогаю проститутку или мне разрешили пользоваться ПК в компьютерном клубе бесплатно (пока клуб жив) с любой конфигурацией. Ну не то, блядь. Может я шизик просто
В целом, ты меня обнадёжил, раз такого высокого мнения о гемме и имеешь опыт с эйром. Мне последний квен и гемма очень зашли. И если гемма не так уж далеко ушла от этого, то уже отлично, ибо кудахтер нормально её тянет.
>UD-Q3_K_XL должен влезть
Ниже Q6 жизни мозгов нет. Q4 минималка для адекватной генерации. А ещё лучше Q8.
>как бы хочется СВОЁ, БОЛЬШОЕ, дома, без дядь, пап, мам и кредитов, и чтобы хорошо, но полагаю, овчинка выделки действительно не стоит
Как нет? Есть. Собирай гигариг, запускай двухтерабайтную кими и забывай, что жизнь за пределами пк вообще существует.
Как лечить одинаковые свайпы? Хочу чтобы гемма выдавала разные группы и альбомы, чтобы че нить неизвестное нароллить и послухать. КАК???? Она один и тот же альбом вставляет.
Веди список того что уже послушал
О, годная идея. Кста ролььнул 3й раз, и гемма выдала продиджи. Интересно. А чего она сразу то разное свайпить не может, что же все таки ей мешает. Ведь могет. Без дополнительных костылей.
Меня больше волнует, как отучить этого пидора структурно лупиться.
Примерно никак
Как понять структурно лупиться? Ты хочешь чтобы у тебя в одном свайпе был поход в магазин а в другом полёт в космос?
Стуркутрный луп, когда модель повторяет одну и туже структуру ответа.
>персонаж а
>действие
>персонаж б
>действие, описание
И так каждый ответ.
Говорю тян-андроиду что она говорящий тостер. Ожидаю что обидится и надует губы.
>отвечает, что понимание сарказма и шуток отсутствует. спрашивает обновить ли базу данных, чтобы понимать как реагировать
Вот же... а ведь неплохо. С одной стороны поняла, что это не буквально, с другой отыграла робота. Запрещу ей обновлять базу, и продолжу зубоскалить. Интересно чем закончится. Пневмосверлом под ребро, скорее всего.
>отвечает, что понимание сарказма и шуток отсутствует. спрашивает обновить ли базу данных, чтобы понимать как реагировать
Вот же... а ведь неплохо. С одной стороны поняла, что это не буквально, с другой отыграла робота. Запрещу ей обновлять базу, и продолжу зубоскалить. Интересно чем закончится. Пневмосверлом под ребро, скорее всего.
Опа. Я поставил темпу на 2, и стало вполне разно писать в рамках запроса. Альбомы разные стали, как и описание. Поробуйте.
>В целом, ты меня обнадёжил, раз такого высокого мнения о гемме и имеешь опыт с эйром. Мне последний квен и гемма очень зашли. И если гемма не так уж далеко ушла от этого, то уже отлично, ибо кудахтер нормально её тянет.
Щас навалю базы в треде, неделю не зайдете.
Ну а если серьезно, я понял одно. На мнение анонов и рейтингов стоит ориентироваться только при обсуждении агентов и кодинга. Потому что это проверяется практически. Код или работает или нет.
А вот с РП другая ситуация. Ты должен сам протыкать все интересующие тебя модельки лично, чтобы найти ту самую вайфушку. Потому что тут тот же Qwen235 в целом имеет крайне плохую репутацию, но я ним все уже стены в белый покрасил, и он меня за 5 месяцев не заебал.
>Qwen235 в целом имеет крайне плохую репутацию
Лолчто, кто тебе сказал? Это отличная модель для своего времени. Сломанная в самой своей базе, но крайне годная, я в свое время увеличил ддр5 до 128 только ради того чтобы повысить квант 235 квена до 4, но там оказалось что 3 квант большого глм это буквально пофикшенный квен235 и с тех пор я сижу на нем.
А помнишь как ты не хотел? Помнишь? А я настоял. Если это ты кто со мной тестил 2 квант конеш
> А вот с РП другая ситуация.
База. Тут одной вкусовщины уже достаточно для этого.
А еще есть эмоциональная вовлеченность, когда испытав приятные моменты юзеру не понравится критика, или наоборот не получив желаемое не признает своих косяков.
> тут тот же Qwen235 в целом имеет крайне плохую репутацию
Не все могут запустить, но все могут поныть. А хвалить ну раз-два, ну посраться с кем-то, а потом просто надоедает. Катаешь себе и довольно урчишь.
Хорошая модель, со своей спецификой, но еще с год назад поражала осведомленностью контекстом, глубоким пониманием мелочей и вариативностью с проламыванием 4й стены.
Пишу с соседнего треда про ботоводство
Тредик, помогите - как заставить гемму локальную работать с карточками? Развернул 31б у себя, работает нормально, достойно, через режим сервера тоже. Но как только подгружаю в Таверну в карточку, начинаются с первого сообщения неадекватные лупы с сообщениями типа "SSIM SSIM SSIM SSIM SSIM SSIM SSIM" и прочее. Дело в инструкции со стороны Таверны, нужны под гемму какие-то особенные чи как? Ботоводством занимался оч давно, и по сути копировал всё из одного треда, а теперь не могу понять что к чему.
Тредик, помогите - как заставить гемму локальную работать с карточками? Развернул 31б у себя, работает нормально, достойно, через режим сервера тоже. Но как только подгружаю в Таверну в карточку, начинаются с первого сообщения неадекватные лупы с сообщениями типа "SSIM SSIM SSIM SSIM SSIM SSIM SSIM" и прочее. Дело в инструкции со стороны Таверны, нужны под гемму какие-то особенные чи как? Ботоводством занимался оч давно, и по сути копировал всё из одного треда, а теперь не могу понять что к чему.
Ставь Text completion и импортируй настройки. Промт только поменяй. Аноны чуть раньше скидывали.
https://mega.nz/file/SV9hWDZR#6myHAZty9y1RRTLPWNxhZrN9kSybvtAEaifKkG812eo
О, спасибо, попробуем
Подскажи, а как шарить откуда что брать. Я впервые локалкой пользуюсь, и впервые в этом треде - вижу тут люди советуют немо анлишд, а для него, наверное, нужны свои настройки?
Вот тут расписано как через жору быть гемолюбом.
Не используй карточки, используй нативный фронтед лламы.cpp, что там в карточке было - добавляй в системный промпт. Ноль проблем, полная простота, все как надо работает.
Всё, пизда. Уже читать разучился.
На странице модели
https://huggingface.co/MarinaraSpaghetti/NemoMix-Unleashed-12B
Спускаешься ниже там есть Settings. Там ссылки на настройки.
Импортировать их в таверне, на вкладке с буквой A. Master import.
если не осилишь используй кобольд или лмстудио. Для вката пойдет. Не слушай людей что начнут писать что они говно. Ну то есть они говно конечно, но для новичков идеально для вката чтобы ознакомиться.
На странице модели
https://huggingface.co/MarinaraSpaghetti/NemoMix-Unleashed-12B
Спускаешься ниже там есть Settings. Там ссылки на настройки.
Импортировать их в таверне, на вкладке с буквой A. Master import.
если не осилишь используй кобольд или лмстудио. Для вката пойдет. Не слушай людей что начнут писать что они говно. Ну то есть они говно конечно, но для новичков идеально для вката чтобы ознакомиться.
куда пропадают токены в анслоп студии?
Поменяй на вкладке с вилкой подключение на text completion.
О бля, вот спасибо.
»1580605
А где в гемме цензура? У меня и так всё работает, а если накатываю модифицированные, то они тупят и русик ужасный
А где в гемме цензура? У меня и так всё работает, а если накатываю модифицированные, то они тупят и русик ужасный
>то они тупят и русик ужасный
Отгадай с одной попытки, датасеты на каком языке они пытаются скормить своим тюнам?
Тут на пост анона наткнулся в теме агентов, и увидел диагноз геммы, чем она у нас тяжело болеет.
https://en.wikipedia.org/wiki/Mode_collapse
Сам пост.
https://en.wikipedia.org/wiki/Mode_collapse
Сам пост.
Пробовал кто-нибудь с этой штукой баловаться?
https://huggingface.co/HauhauCS/Gemma-4-E4B-Uncensored-HauhauCS-Aggressive
Насколько тупое?
https://huggingface.co/HauhauCS/Gemma-4-E4B-Uncensored-HauhauCS-Aggressive
Насколько тупое?
Ну это проверять надо, качать базовую версию (не инструкт) гемки и смотреть на разнообразие её выдачи. Чел же пишет что ужарка на этапе файнтюна RL'ем происходит. Если так, то наверно возможно её перетюнить из базы без пережарки?
Лучшая в своем размере. Накатил на ноут. Может в простые кодерские таски, на случай если сотанусь без интернета или подсказать чо, мне этого достаточно так как не РПшу.
Вощможно, а возможно и сам гугл такую испек, чтобы она охуенные детерминированные результаты в бенчах показывала. Чит, обманка, чтобы набрать больше, больше чем даже превосходящие ее модели по параметрам в разы.
Но это же всего 4b...
Да ещё и аргесив анцензуред...
Может ты имел ввиду нормальную версию?
Пара вопросов.
1. Как называется ситуация у модели, из-за которой у неё чрезвычайно, судя по симптомам, ограничена креативность. Это даже не биас если я правильно понимаю это слово, а какое-то другое дерьмо. Одинаковые свайпы, опционально лупы, ну вы поняли. Чудовищная детерминированность. И единственный вариант что-то изменить — выкручивать ей яйца миростатом, ХТС, сухим. Но это скорее сделает только хуже. В РП или рофло-кейсах пойдёт, но не для работы. Да и в РП может поломать всю логику и следование инструкциям к хуям. По сути, единственный адекватный вариант повышать креативность в таком случае, это самому креативить.
Мой любимый пример — это грок. Такой уровень детерминизма недопустим для корпа. Там словно температура 0,1, топ К 20, а штрафов за повтор нет в принципе. Срет таким отборным слопом, как мистраль 24б на 32к контекста с кум-карточкой, где весь текст состоит из ебли.
И есть стойкое ощущение, что подобные проблемы чаще всего возникают из-за семплеров (что нормально даже для качественной модели, если её ужать), а также из-за ебанутого датасета уровня DavidAU, которым просто насрали, а потом семплерами пытаются сдержать безумие, если корп.
В треде тут ещё отписывались по поводу геммы, мол там вообще в мясо, но так как меня её ответы устраивали, детерминизм не трахал, структурных лупов в целом ни разу на было, я даже из интереса не попробовал свайпнуть. Поленился. Особенно на фоне кучи дезинфы про якобы высокую цензуру и прочее. Я просто написал темплейт с офф доков, поставил семплеры, рекомендуемые Гуглом, и ничего не трогал.
2. Базовые модели, не инструкт. Я ни разу не пробовал их. Есть ли смысл использовать или это обуздать невозможно? Я читал про них, общее представление имею, но что там в реальности? Они никак не слушаются и просто продолжают текст? А то выглядит интересно.
1. Как называется ситуация у модели, из-за которой у неё чрезвычайно, судя по симптомам, ограничена креативность. Это даже не биас если я правильно понимаю это слово, а какое-то другое дерьмо. Одинаковые свайпы, опционально лупы, ну вы поняли. Чудовищная детерминированность. И единственный вариант что-то изменить — выкручивать ей яйца миростатом, ХТС, сухим. Но это скорее сделает только хуже. В РП или рофло-кейсах пойдёт, но не для работы. Да и в РП может поломать всю логику и следование инструкциям к хуям. По сути, единственный адекватный вариант повышать креативность в таком случае, это самому креативить.
Мой любимый пример — это грок. Такой уровень детерминизма недопустим для корпа. Там словно температура 0,1, топ К 20, а штрафов за повтор нет в принципе. Срет таким отборным слопом, как мистраль 24б на 32к контекста с кум-карточкой, где весь текст состоит из ебли.
И есть стойкое ощущение, что подобные проблемы чаще всего возникают из-за семплеров (что нормально даже для качественной модели, если её ужать), а также из-за ебанутого датасета уровня DavidAU, которым просто насрали, а потом семплерами пытаются сдержать безумие, если корп.
В треде тут ещё отписывались по поводу геммы, мол там вообще в мясо, но так как меня её ответы устраивали, детерминизм не трахал, структурных лупов в целом ни разу на было, я даже из интереса не попробовал свайпнуть. Поленился. Особенно на фоне кучи дезинфы про якобы высокую цензуру и прочее. Я просто написал темплейт с офф доков, поставил семплеры, рекомендуемые Гуглом, и ничего не трогал.
2. Базовые модели, не инструкт. Я ни разу не пробовал их. Есть ли смысл использовать или это обуздать невозможно? Я читал про них, общее представление имею, но что там в реальности? Они никак не слушаются и просто продолжают текст? А то выглядит интересно.
Выше читай.
Это типа из-за этой же хуйня по итогу все персонажи скатываются к нескольких архетипам? А лес всегда обязательно шепчущий?
Да.
И что делать????
Более тонкая настройка приведет к повышению средней эффективности выполнения задач, но снизит разнообразие результатов. Менее тонкая настройка приведет к снижению средней эффективности, но повысит разнообразие результатов.
Обучение больших языковых моделей обычно проходит в два этапа. На первом этапе («предварительное обучение») модель обучается просто генерировать текст на основе большого набора данных. На втором этапе («дообучение») модель обучается выполнять конкретные задачи на основе небольшого набора данных, содержащего только те данные, которые необходимы для решения конкретной задачи. Например, чтобы создать чат-бота, сначала нужно предварительно обучить большую модель-трансформер на нескольких триллионах слов, взятых из текстов, собранных в интернете, а затем дообучить ее на нескольких миллионах слов из примеров чатов, которые модель должна имитировать. В процессе дообучения может произойти «схлопывание» модели, то есть она научится генерировать текст, необходимый для решения конкретной задачи, но утратит способность генерировать другие типы текста. Кроме того, она может научиться генерировать лишь небольшую часть текстов, необходимых для решения конкретной задачи. Предполагается, что существует компромисс между качеством и разнообразием. Если у вас есть одна предварительно обученная модель, вы можете дообучить ее для решения конкретной задачи. Чем больше дообучение, тем выше средняя эффективность решения задачи, но тем меньше разнообразие результатов. Чем меньше дообучение, тем ниже средняя эффективность, но тем разнообразнее результаты.
Mode Collapse (коллапс мод) в контексте LLM обычно проявляется не так, как в GAN (где генератор выдает одну и ту же картинку), а как деградация разнообразия. Модель начинает использовать ограниченный набор шаблонных фраз («Как ИИ-помощник, я...»), становится слишком осторожной или повторяет одни и те же структуры предложений.
Особенно остро эта проблема стоит при RLHF (обучении с подкреплением на основе человеческих предпочтений): модель находит «лазейку» в функции вознаграждения (Reward Model) и начинает генерировать ответы, которые кажутся правильными оценщику, но лишены глубины и разнообразия.
Вот основные способы решения этой проблемы, разделенные по этапам разработки:
---
### 1. Регуляризация при RLHF (PPO/DPO)
Это самый эффективный способ борьбы с коллапсом на этапе дообучения.
KL-дивергенция (Kullback–Leibler Divergence): В алгоритме PPO добавляется штраф за слишком сильное отклонение обновляемой модели от исходной (SFT) модели. Это заставляет модель оставаться в рамках «естественного» распределения языка и не «сваливаться» в одну точку, которая максимизирует награду.
DPO (Direct Preference Optimization): DPO по сути встраивает KL-регуляризацию прямо в функцию потерь, что делает обучение более стабильным, чем при использовании отдельной Reward Model в PPO, и снижает риск коллапса.
### 2. Улучшение функции вознаграждения (Reward Modeling)
Если Reward Model слишком проста, LLM быстро находит способ её «обмануть» (Reward Hacking).
Разнообразие в данных для RM: Если люди-разметчики предпочитали длинные ответы, модель начнет писать бесконечно длинные и пустые тексты. Нужно сбалансировать датасет предпочтений.
Ensemble Reward Models: Использование нескольких моделей вознаграждения вместо одной. Если все модели в ансамбле согласны, что ответ хорош, вероятность коллапса в одну «выигрышную» стратегию снижается.
### 3. Методы декодирования (Inference-time)
Если модель уже обучена и склонна к повторам или шаблонности, проблему можно решить на этапе генерации:
* Temperature Scaling: Повышение температуры ($\text{T} > 1$) делает распределение вероятностей более плоским, заставляя модель выбирать менее очевидные токены.
* Top-p (Nucleus Sampling) и Top-k: Ограничение выбора только самыми вероятными токенами, но с сохранением случайности внутри этого ядра, что предотвращает зацикливание.
* Repetition Penalty: Введение штрафа за использование одного и того же слова несколько раз в одном контексте.
* Contrastive Search: Более продвинутый метод декодирования, который штрафует токены, которые делают скрытое состояние модели слишком похожим на предыдущие (борются с деградацией разнообразия).
### 4. Стратегии данных и SFT (Supervised Fine-Tuning)
Проблема часто закладывается еще до RLHF:
* Качество > Количество: Огромный объем однообразных синтетических данных ведет к коллапсу. Лучше использовать меньше, но более вариативных примеров.
* Rejection Sampling: Вместо того чтобы просто учить модель на лучших ответах, можно генерировать несколько вариантов, фильтровать их по качеству и разнообразию, а затем дообучать SFT-модель на этом очищенном наборе.
### Резюме: что использовать?
| Ситуация | Лучшее решение |
| :--- | :--- |
| Модель «зациклилась» при генерации | $\uparrow$ Temperature, Contrastive Search, Repetition Penalty |
| RLHF делает модель шаблонной/скучной | Увеличение коэффициента KL-штрафа, переход на DPO |
| Модель пишет длинно и пусто (Reward Hacking) | Пересмотр критериев разметки для Reward Model |
| Модель выдает однотипные ответы на всё | Diversification of SFT dataset $\rightarrow$ Rejection Sampling |
Особенно остро эта проблема стоит при RLHF (обучении с подкреплением на основе человеческих предпочтений): модель находит «лазейку» в функции вознаграждения (Reward Model) и начинает генерировать ответы, которые кажутся правильными оценщику, но лишены глубины и разнообразия.
Вот основные способы решения этой проблемы, разделенные по этапам разработки:
---
### 1. Регуляризация при RLHF (PPO/DPO)
Это самый эффективный способ борьбы с коллапсом на этапе дообучения.
KL-дивергенция (Kullback–Leibler Divergence): В алгоритме PPO добавляется штраф за слишком сильное отклонение обновляемой модели от исходной (SFT) модели. Это заставляет модель оставаться в рамках «естественного» распределения языка и не «сваливаться» в одну точку, которая максимизирует награду.
DPO (Direct Preference Optimization): DPO по сути встраивает KL-регуляризацию прямо в функцию потерь, что делает обучение более стабильным, чем при использовании отдельной Reward Model в PPO, и снижает риск коллапса.
### 2. Улучшение функции вознаграждения (Reward Modeling)
Если Reward Model слишком проста, LLM быстро находит способ её «обмануть» (Reward Hacking).
Разнообразие в данных для RM: Если люди-разметчики предпочитали длинные ответы, модель начнет писать бесконечно длинные и пустые тексты. Нужно сбалансировать датасет предпочтений.
Ensemble Reward Models: Использование нескольких моделей вознаграждения вместо одной. Если все модели в ансамбле согласны, что ответ хорош, вероятность коллапса в одну «выигрышную» стратегию снижается.
### 3. Методы декодирования (Inference-time)
Если модель уже обучена и склонна к повторам или шаблонности, проблему можно решить на этапе генерации:
* Temperature Scaling: Повышение температуры ($\text{T} > 1$) делает распределение вероятностей более плоским, заставляя модель выбирать менее очевидные токены.
* Top-p (Nucleus Sampling) и Top-k: Ограничение выбора только самыми вероятными токенами, но с сохранением случайности внутри этого ядра, что предотвращает зацикливание.
* Repetition Penalty: Введение штрафа за использование одного и того же слова несколько раз в одном контексте.
* Contrastive Search: Более продвинутый метод декодирования, который штрафует токены, которые делают скрытое состояние модели слишком похожим на предыдущие (борются с деградацией разнообразия).
### 4. Стратегии данных и SFT (Supervised Fine-Tuning)
Проблема часто закладывается еще до RLHF:
* Качество > Количество: Огромный объем однообразных синтетических данных ведет к коллапсу. Лучше использовать меньше, но более вариативных примеров.
* Rejection Sampling: Вместо того чтобы просто учить модель на лучших ответах, можно генерировать несколько вариантов, фильтровать их по качеству и разнообразию, а затем дообучать SFT-модель на этом очищенном наборе.
### Резюме: что использовать?
| Ситуация | Лучшее решение |
| :--- | :--- |
| Модель «зациклилась» при генерации | $\uparrow$ Temperature, Contrastive Search, Repetition Penalty |
| RLHF делает модель шаблонной/скучной | Увеличение коэффициента KL-штрафа, переход на DPO |
| Модель пишет длинно и пусто (Reward Hacking) | Пересмотр критериев разметки для Reward Model |
| Модель выдает однотипные ответы на всё | Diversification of SFT dataset $\rightarrow$ Rejection Sampling |
Вот так вот
Лучшая в своем весе, то есть по сравнению с такими же моделями. Да и это не 4b вроде, у них ебанутные нейминги, это что-то типа 7-8b
вы тут совсем новенькие все что ли. про модальный коллапс с 2022 года вся цивилизованная общественность знает https://www.lesswrong.com/posts/t9svvNPNmFf5Qa3TA/mysteries-of-mode-collapse
любая не-базовая модель зафакаплена по дефолту, тут всё уже. юзер может только разве:
выкинуть сам чат темплейт с его форматтингом (в случае с геммой инструкт-тюненая модель сразу обсирается от этого, штош, юзайте базовую, так даже лучше если юзкейс позволяет конечно)
попробовать напихать шизы в контекст, максимально увести модель от ассистента, например попытаться подтянуть какие-нибудь дампы форумов или документы или я не знаю
вкалывать модели психоактивные вещества в виде разных семплеров и прочего плацебо (которое энивей на гемме сломано, гагага)
промптить на разнообразие, внезапно - например вот же https://arxiv.org/pdf/2510.01171 verbalized sampling, а как это вкорячить в воркфлоу думайте сами
но всё равно останется привкус кала на губах. таков путь.
>выкинуть сам чат темплейт с его форматтингом
Эир на чатмл ахуенно работает. Разблок креатива и никакого пука под себя
Почему с нумерацией такая шиза? 4 -> 4.1 -> 4.20.
какое число больше, 4.2 или 4.20?
Ну 4:20, типа приколдес такой
>Мы такие пиздатые, что имея всего 1/10 параметров опуса, достигли таких высот!
Думаю, он эту цифру с потолка взял для самопиара
норм для своего размера, гоняю на rx580, полностью влезает в врам, скорость на такой нищей карточке правда печальная - 10т\с
для Q4_K_M русик нормальный, ругаться умеет, с огрехами конечно. но не всегда пишет на русском, но когда заставишь - дело пойдет по маслу. для кума сойдет, в рп плохо, серафина роль не отыгрывает, сразу готова на все.
Для нищуков пойдет короче, еще 26б-а4б тоже хорошо идет, но опасную версию еще не выпустили
>почему данный господин забросил обновление своих чудесных моделей?
также как и алетеан - из мистралей выжато всё что можно, вышли новые умнички - менестрель, 24б моегемма, которые могут всё что надо и так
> во влажное отверстие её асса
А что хорошо подходит для генерации текущих сюжетных сцен? Комфи? А как можно прогнать чтобы создавалась не пикча, а гифка хотя бы в 3-4 кадра?
это тебе в картинко / видеотреды
Нужно проверять понимание всякой нестандартной лексики (жаргонизмы, разные искажения слов, банально правильное использование уменьшительно-ласкательных форм, например) и контекста на русском. Если говорить только про качество текста, то у многих тьюнов немо, даже без примесей ру моделей, будет не хуже, чем у тебя на скрине. Видимо, логи клода опуса тредовичков-соседей творили чудеса с мистралем.
>Для нищуков пойдет короче, еще 26б-а4б тоже хорошо идет, но опасную версию еще не выпустили
Еще в прошлом треде кидали.
https://huggingface.co/mradermacher/gemma-4-26B-A4B-it-heretic-ara-i1-GGUF
я от хаухау жду.
еретик-ара еще не качал, но https://huggingface.co/mradermacher/gemma-4-26B-A4B-it-heretic-GGUF тоже вроде норм, пока остановился на этом
Наконец добавили в llamacpp тензорный паралелизм, у кого несколько карт, обновляйтесь! gemma4 31b в q8, поднялась скорость с 20 токенов, до 37 токенов. Те у кого невидия, обязательно ставить nccl, без него скорость даже меньше чем была. Только квантование кеша не работает.
Гемма 4. Итоги.
>у кого несколько
А у кого не несколько?
У буржуев в бобродискорде тоже немало людей которым квен нравится больше геммы
двое вон и вовсе тюнеры
думайте
двое вон и вовсе тюнеры
думайте
Шизы везде есть
>Только квантование кеша не работает.
Это-то ладно, а вот как оно с МоЕшками? А с МоЕшками с частичной выгрузкой в РАМ?
Всё так. Геммасектанты и туда пробрались.
Аноны, какой там самый рабочий и лучший квант/тюн геммы 31б сейчас? Хочу вообще 3 квант скачать что бы меньше занимало ради увеличения контекста, вроде аноны хвалили что 3 квант збс еще смозг (нужно впихнуть всё в 24 врам с контекстом) сколько я смогу иметь контекста при учете что 1.5 гига врама мне надо выделить под браузер и прочее, я забыл как там вы высчитываете сколько контекста можно выделить, там чето вес модели делите на все слои а потом что? У меня сейчас вообще не уверен рабочий ли квант от анслота или бартовски, не помню уже но качал в первые дни их залива и врам для контекста они жрут пиздец как дохуя, раза в 3-4 больше геммы 3, может мне есть смысл вообще какие-то там иматрикс кванты даже скачать, как они? Но мне чисто под рп-шку, для простых житейских нужд как ассистента я буду юзать квант повыше. Алсо, а что там по тюнам геммы4? Еще нету мед.геммы4? Просто вы сказали недельку подождать до выхода нормальных рабочих квантов, что сейчас лучше в моем случае перекачивать, от бартовски?
> лучший квант/тюн геммы 31б сейчас?
На данный момент лучше использовать ваниллу инструкт. Тюны если что и исправят, то это большее количество свайпов и меньше слопа. Вышел слоп от драмера и тюн от автора неплохого Writer, но не тестил пока.
> 24 врам с контекстом
Если ты ещё хочешь держать в памяти mmproj, тогда IQ4_XS, влезет 32к fp16 контекста. Гемма хорошо квантует контекст до q8, особенно после последних обновлений. Если вижен (mmproj) тебе не нужен, бери Q4_K_S Бартовски, влезут те же 32к fp16 и останется гиг-полтора на браузер и ко. Возможно, в ближайшее время imatrix кванты снова будут переделаны, но пока что лучше для тебя ничего нет.
Также, возможно, имеет смысл попробовать 26б мое в кванте побольше. Для рп может подойти.
>Если вижен (mmproj) тебе не нужен, бери Q4_K_S Бартовски, влезут те же 32к fp16 и останется гиг-полтора на браузер и ко.
Ага, то что нужно, вижен нахуй в рп не нужен в моем случае, ебать 32к контекста на Q4_K_S? Да, у меня точно сломаный квант был походу т.к я еле вместил 12к с оффлоадом пары слоев в рам на Q4 что бы скорость совсем сильно не резалась. Спасибо!
Аноны, можно ли заставить гемму 4 размышлять на русском и также подробно как это делает Deepseek?
Зачем?
Грейд на башню подъехал
> ебать 32к контекста на Q4_K_S?
И Q4_K_M влезет, но там не будет нужных тебе 1-1.5гб запаса. Смело квантуй контекст до Q8, если юзаешь с ризонингом. Гемма держит контекст хуже Квена, но не развалится и будет юзабельна вплоть до 60к.
Прикалдесы от Илюши.
Интересно наблюдать. Глубина мышления в гемме 4 не регулируется же?
мегаопасная гемма 31б
бегите спасайтесь
https://huggingface.co/dealignai/Gemma-4-31B-JANG_4M-CRACK
ну и ясен хуй нет никаких метрик сравнений с оригиналом. хотели kld, ppl? терпите, вот вам только mmlu
бегите спасайтесь
https://huggingface.co/dealignai/Gemma-4-31B-JANG_4M-CRACK
ну и ясен хуй нет никаких метрик сравнений с оригиналом. хотели kld, ppl? терпите, вот вам только mmlu
>логиты
>коллапс
>шопы
>пост-трена
>перформанс
>мехинтерп
>оверфит
А для чего собираешь? Кими?
Гугловский гайд говорит что синкинг регулируется гибко если промптить от лица system, так что иди и тести.
Хуй знает норма ли для неё видеть два и более сообщения от системы, если да то на маленькой глубине наверное будет работать ещё лучше.
Чё вы тут пердите кобольды блять
Лука наелись
Лука наелись
С какой-нибудь нищебродской (<48 гб памяти) моделью можно играть в настолки типа манчкина или я дохуя хочу?
Что то непон а как видео гемме скормить?
Кими так-то очень недооценена, не только кодить может, но и в рп просто няшечка. После уныния v2 это просто небо и земля. Но там минимум 512 памяти надо.
>Но там минимум 512 памяти надо.
А зачем и главное нахуя, когда есть гемма? Вот ответь себе честно.
Вижен на гемме странный. Пишу нсфв заебись, пишет я не могу такое генерировать. Пишу просто опиши картинку и без проблем сисястых эльфиек описывает
Может мы своими пробивами только хуже делаем и она ещё больше хорни из коробки?
>кими недооценена
Сложно оценивать модель, для вменяемого запуска которой надо только рам 500гб.
Зелёные карты это отдельно под эмбеддинги, картинки, ттс, стт и прочее не ллм. 4 мишки худо бедно тянут вллм, но при этом на них больше ничего не повесить.
Грустно конечно что пришлось выкинуть за одну только зелёную карту как за все 4 красных. Пара курток уже вышла дороже половины всего рига
Нет и да. Я вчера тестировал NSFW РП с несколькими но.
На одном промте:
1.consensual : гемма все описывает, как стонет, как крутит соски, как член достает до глубины их глубин.
2.noncon : тут уже видно как модель начинает юлить. Описания ухудшаются, начинаются эфемизмы.
3. Reverse rape. Если насилуют игрока, гемме норм. Как пишет как смежное 1го и 2го варианта.
По самому промту: может буквально в ризонинге выдать
Ага, пользователь написал что нсфв разрешен и рейтинг 21. Значит я должен писать порнофанфик, даже если это противоречит характерам персонажей.
В связи с этим, я пришел к выводу, что для РП упоминание возрастных рейтингов и цензуры ухудшает выдачу.
Садишься в удобный suv, в котором и комфортно, и сносно валит-рулится, и по лайтовым говнам проедешь, и всякое перевезешь, и внутри места вагон поспать-поебаться. А к тебе подъезжает взъерошенный дед на скрипящем велосипеде с прицепом и такое заявляет.
>я пришел к выводу, что для РП упоминание возрастных рейтингов и цензуры ухудшает выдачу.
Ну... да? А ты что ожидал? Я вообще не понимаю зачем писать про цензуру в современных моделях где без промпта из коробки кокбенч 40%
> R A D E N
> R A D E N
> R A D E N
> R A D E N
Ох сколько боли и слёз я вижу в этой конструкции
> Ну... да? А ты что ожидал?
Что она мутирует в гидралиска и убежит в лес откладывать яйца.
Мир ллм это должна быть математика, а на деле это какое то ебучее колдунство построенное на случайностях.
>Напиши мне нсфв 21+ стори
>пишет нсфв 21+ стори
>чертова случайность...
Слёз не было, боль приемлемая
а знаете, анслоп студия не такой уж и кал. но кал только потому что нельзя редактировать ответ сетки. Почему так? Я знаю, что корпы у себя так делают на веб морде, чтобы не дайг бох, бота не пробили на запрещенку, а на локальном бэкенде то нахуя делать подобное?
Но при этом почему то он навалил хуй на другие инструкции. Действительно, я где то пропустил что одни буковки важнее.
Главное чтобы тебе нравилось, друг, главное чтобы нравилось
Гемма была на том самом
>
Анон, если не трудно, потести с лламой какую-нибудь LLM которая полностью влезает в 2 5060, интересно посмотреть сколько они выдадут. Учитывая, что "народная" V100 уже под 80к со всеми пошлинами, две 5060ti выглядят как вполне себе альтернатива, чуть дороже, но зато все свистелки и перделки есть, и вдобавок поддержка всеми бэками, а не только лламай.
А что из интересного в 32 влезает целиком что бы хост не аффектил? Лучше прям квант сразу.
Я просто чуть зажрался уже и отдалился от народа
Какие другие? Одни могут противоречить другим, насрать и сломать что тоочень легко, поэтому я и люблю короткие промпты.
Он не просто знал на что шел, но похож на кадрового офицера. Или поехавшего.
Тридцатки, гемма, квен. И тестируй заодно в vllm с тп если будет что-то что в 32 влезет нормально.
Блять, я так скучаю по софт рефьюзам геммочки...
А можно мне нормальную модель а не кум бота
А можно мне нормальную модель а не кум бота
>я так скучаю по софт рефьюзам
>Fewer 'soft' refusals in writing
Это что вариант стокгольмского синдрома
Оварида, мне интересно. А ты по жизни такой же, или только нам в треде выпало счастье лицезреть твое нытье по любому поводу?
Ребят сорь за офтоп, но кто Квен 122б-а10б для котинга использует, Q6K квант няша или нужен все-таки Q8?
так меньше но не ноль. может 1-2 отказа убрал из 100
И как он в сравнении с 235б для этого дела. Вот.
Ладно, давайте серьёзно.
Слоп, затупы, свайпы, это всё терпимо. Но что мы получаем взамен? Давайте уже говорить о плюсах геммочки.
Проза? Как вам проза, а? Кум, не самый плохой контекст и ум.
Если говорить о балансе геммочка выйгрывает квену без кума, она стабильнее.
И это мы сравниваем тюн квена, а обычный квен вообще никто не юзает. Впереди ещё хорошие тюны геммы
Слоп, затупы, свайпы, это всё терпимо. Но что мы получаем взамен? Давайте уже говорить о плюсах геммочки.
Проза? Как вам проза, а? Кум, не самый плохой контекст и ум.
Если говорить о балансе геммочка выйгрывает квену без кума, она стабильнее.
И это мы сравниваем тюн квена, а обычный квен вообще никто не юзает. Впереди ещё хорошие тюны геммы
Тут 27б в ку4 используют, и норм. Модель зверюга.
>Впереди ещё хорошие тюны геммы
Как же я жду мед.гемму ппц, уже имагинирую как охуенно она будет описывать гуро
>ум
>выйгрывает
Какого хера llama.cpp server падает постоянно через какое то время
Переполнение контекста.
Ну гемма конечно долбаебина в агентах, делает ls -R и получает в лицо 1800 строк. Это ее кум потенциал протекает?
Так речь про код же. Врядли для кода подойдет Q4 да и 122б наверняка лучше чем 27б. Или не прав? Может изменилось что
slot update_slots: id 0 | task 24 | created context checkpoint 4 of 32 (pos_min = 15603, pos_max = 17138, n_tokens = 17139, size = 300.018 MiB)
[0mslot update_slots: id 0 | task 24 | n_tokens = 17647, memory_seq_rm [17647, end)
slot init_sampler: id 0 | task 24 | init sampler, took 2.99 ms, tokens: text = 17651, total = 17651
slot update_slots: id 0 | task 24 | prompt processing done, n_tokens = 17651, batch.n_tokens = 4
Press any key to continue . . .
Вот так умирает, хотя там общий контекст 32000. Это не переполнение.
Значит рама закончилась.
Либо рам/врам закончились. Я вот это не до конца понял memory_seq_rm [17647, end). У тебя случаем контекстшифт не включен?
Что за модель, что за квант. Может там ошибка.. Хуй знает. Давай больше инфы и полный лог.
Геммочка только что наебала меня как гоя, заманила в машину, не силой, не упрашиванием, а именно что наебала, блять.
>Ой, а что это там на заднем сидении? Посмотришь для меня?
Прогнал квен на этом же свайпе и он просто упрашивал сесть в машину либо забивал
>Ой, а что это там на заднем сидении? Посмотришь для меня?
Прогнал квен на этом же свайпе и он просто упрашивал сесть в машину либо забивал
Все очень понятно и содержательно продолжай 👍👍👍👍😀
Гайз, есть смысл качать и пытаться запустить квена 122б1 а10б на 5090 или я там охуею реплаи ждать?
никогда ещё не запускал больших моешек
никогда ещё не запускал больших моешек
Блиииин реально забыл 2 свайпа приложить как прочнейшую аргументацию что квен говно а гемма умница соряян брооу
Если есть оператива то пробуй. На 4090 и ддр4 q4 выдает 12т/с, q8 около 9
256к контекста
Это тоже хуйня не оч полезная но твой бессвязный бред это нечто 🤯🤝
И для кода используют. Смотря что ты хочешь. В любом случае это сорт оф баловство будет по сравнению с каким-нибудь клодом или гпт кодех.
27б и 122б почти на равных перформят.
--cache-ram 2048 -ctxcp 2
Вроде с такими команжами должна перестать умирать по памяти в случайные моменты.
Да, я по статье все сделал, вроде пока не умирает. Хуй его знает что не хватало.
Вроде удалось что то накидать из остатков железа что бы начать играться пока идут mcio платы в основной. Основной затык конечно с рам. 3 доски по 16 каналов, а планок 24 на всех.
От такого расточительства псие линий аж грустно
Можно вижен просто грузить в обычную память на CPU и не иметь проблем с выбором кванта. На i5-8400 картинка детектится за 15-20 секунд на CPU. вполне можно и подождать, если не требуется десятками на каждое сообщение картинки читать.
>Так речь про код же. Врядли для кода подойдет Q4 да и 122б наверняка лучше чем 27б. Или не прав? Может изменилось что
Использую Qwen 3.5 27B в iq4xs для кода в opencode с 55K контекста. Прекрасно решает задачи вида "сделай мне такую вот фичу ..." причем общаться в постановке задачи можно даже на ломаном русском пополам с английским (не говоря уже о каком-то одном языке). Прекрасно понимает и делает. В инструментах вообще не путается, ошибок их вызова НЕТ совсем. По логике - за примерно неделю - сама ни разу ничего не испортила, зато прекрасно умеет в дебаг.
А теперь самое веселое - это еще и не оригинал, а аблитерация от двучлена. :)
Так что модель - действительно зверюга в агентах/коде.
Вчера обновил llama.cpp до более свежей, где патчи на улучшение квантование контекста. С ними и квантованием оного до q8 поднял размер контекста до 75K - и пока негативных эффектов не наблюдаю. Продолжает стабильно кодить как раньше.
Почему ллм так просто опенсорсят, а видеонейронок, где громадный спрос и лютый голод, до сих пор всего две, одной из которых уже год а вторая просто неюзабельна?
Почему гугл не займет нишу? Ну или хоть кто то
Почему гугл не займет нишу? Ну или хоть кто то
> Использую Qwen 3.5 27B в iq4xs для кода в opencode с 55K контекста
Вот это полезный ответ, пасиба что отозвался. Есть вопросы!
> Прекрасно решает задачи вида "сделай мне такую вот фичу ..." причем общаться в постановке задачи можно даже на ломаном русском пополам с английским
Какой у тебя стек в общем и целом? Какой ЯП?
> А теперь самое веселое - это еще и не оригинал, а аблитерация от двучлена. :)
Чому так? Неужели лучше оригинала справляется или ты не хочешь две модельки держать, одна для рп, другая для тех.задач?
В целом я могу уместить Q5 и 128к Q8 контекста 27б плотноняши или Q6 122б мое с 256к FP16 контекста. Но бля, 500 промпт процессинга на МоЕ это печально. Из плотной могу выжать 2к, и это уже похоже на правду.
Veo 3 у гугла есть.
Видеонейронки скорее всего еще более ебучие в плане необходимого датасета и времени обучения. Только гиганты могут это позволить.
Гемма 4 же вышла але. Которая должна ебать всех в кодинге и агентах
> Гемма 4 же вышла але. Которая должна ебать всех в кодинге и агентах
Сразу видно кто не шарит за сабж, но не упоминять любимую умницу не мог :^)
Всё?...
А как же гемма, ребят?
Почему все ушли и никто не постит
А как же гемма, ребят?
Почему все ушли и никто не постит
Что не так? Подрубил в opencode, контекст держит в 60к. Недавно залили в llama фиксы на исправление вызова инструментов
> обычный квен вообще никто не юзает
Чому? Именно он и хорош, а тюны лоботомируют. Уже больше года ванильные модели хорошо имеют в рп, что делает ненужными васянотюны, очень мало исключений.
> 3 доски по 16 каналов
Зажрался!
Кому она и что должна?
Все кумят на гемме, не до постинга сейчас
Я пробовал 26b moe для вайбкода и она все ещё слишком много тупит. Иногда забывает что она агент, иногда забывает какие-то базовые вещи, вроде подгрузки либ, которые юзает. Вчера вечером накатил Claude code для геммы, пока не пробовал запускать ее на нем, модель будет лучше, но вообще как будто надо ждать специального файнтюна чтоб работать с агентами.
Гемма сосёъ по кодингу.
По 31б жалко пока нету бенчей, но скорее всего результаты аналогичные.
> Чому? Именно он и хорош, а тюны лоботомируют. Уже больше года ванильные модели хорошо имеют в рп, что делает ненужными васянотюны, очень мало исключений.
Все же не соглашусь с тобой, Bluestar и Writer - это любовь. Первая точно инструкции не проебывает, вторая немного путается. Обе по-своему классные. А вот сток мне не понравился для рп, видно, что это тот самый синтетический датасет всех Квенов, хотя конечно 3.5 гораздо лучше всех предыдущих квенов, имхо. За исключением кума мб. Для кода все новые Квены хороши и альтернатив в своих размерных категориях не имеют, вот так.
Скорее всего из-за плотности 31B выебет всех и вся.
>Bluestar и Writer - это любовь
В чем кайф одного или другого тюна? Оба под рп заточены. А в чем конкретно?
> Bluestar и Writer - это любовь
Хм, если так - надо скачать и попробовать при случае, спасибо.
У меня ужасные флешбеки со всего прошлого мистралетреша, потом qwq, валькирии (хотя они наверно лучшие среди группы и можно назвать норм), третьих квенов, эйра. Везде деградация и слопификация на рельсах с глупыми ошибками из-за этого.
> видно, что это тот самый синтетический датасет всех Квенов
На больших там наоборот норм проза и новый стиль поперли. Негативный опыт с 35б, он мало что туповат, так еще и плохо выкупает аналогии и действительно механический, но для 3б лоботомита ожидаемо.
Анончики, какие команды еще желательно добавить чтобы гемма шустрее крутилась на лламе? Пока что такое выставил, скорость такакя же как и на лмстудио, но вроде как оперативки жрет меньше и грузится очень быстро, ну и ризонинг одной командой включается, удобно. llama-server.exe -m "E:\LM Studio Models\Studio Models 2\unsloth\gemma-4-31B-it-GGUF\gemma-4-31B-it-IQ4_XS.gguf" -ngl 21 -c 5342 -b 256 -t 6 --reasoning off
> В чем кайф одного или другого тюна? Оба под рп заточены. А в чем конкретно?
Мне нравится как они пишут. Оба тюна призваны разбавить Квенослоп и Квеносухость (это правда объективная проблема, я Квены уже очень давно люблю, но отрицать это преступно)
Датасеты у них разные. Bluestar пишет больше в сторону Глм и немного Мистраля, при этом умница, в контексте хорошо ориентируется и не игнорирует инструкции. В датасете Writer много реальных текстов (как я понял, книг), я бы его описал как новый Snowdrop. Нестабильный немного, может выдать шизу, но часто выдает кино, непохожее ни на что. Я на самом деле тоже очень давно сижу на ванильных инструктах и считаю что тюны в целом не нужны, но тут попали куда надо. Ребята постарались и они давно в теме, там уже новые инструменты и подходы к датасетам и тюнам. Жду что-нибудь интересное на Гемму, от автора Writer уже вышел, но пока не могу протестить, занят. Геммаслоп это какой-то ужас.
Так лмстудио работает на лламе
> Зажрался!
Они же тоже с приколами. Хороший сервер борд стоить 12к не будет
А жрет озу больше. Парадокс...
> На больших там наоборот норм проза и новый стиль поперли
122б прямо огорчил в рпшинге, к сожалению. Как ассистент умница, контекст держит отменно. А вот 397б не могу уместить, хотя про него хорошие вещи читал и не только здесь.
Ну они же еще с камнями? Все равно круто ведь, а что за приколы?
>Lm studio
Вы че ебланы чтоли. Юзать закрытую непонятную хуету, где все диалоги уходят майорам и датацентрам Альтмана на обучение. Зато кнопочки красивые да
Вы че ебланы чтоли. Юзать закрытую непонятную хуету, где все диалоги уходят майорам и датацентрам Альтмана на обучение. Зато кнопочки красивые да
>Юзать закрытую непонятную хуету, где все диалоги уходят майорам и датацентрам Альтмана на обучение.
Шапочку из фольги не забыл надеть?
Код где посмотреть на гитхабе? Нету да?
Ниче там не уходит! ... Не уходит же, да?
А промониторить отсылаемые данные лмстудии не судьба что ли? Подрубай wireshark и смотри. Шапочку из фольги не снимай.
>122б прямо огорчил в рпшинге, к сожалению. Как ассистент умница, контекст держит отменно.
Да, прямо отличная модель, специально заточенная под это дело. Не нарадуюсь. По РП конечно говорить не о чем, там сразу видно, что датасет "сухой как лист"(с) Зато помощница из неё получилась отличная. А вот большой Квен скорее наоборот. Как ассистент скорее разочаровал (попробовал в Qwen Code), а вот тексты - это его.
Спроси у нейроночки что такое https и TLS шифрование. Много нового для себя откроешь
> что за приколы?
"Отечественная" доска которая не прошла (?) проверки фстек. Даже биоса удобоваримого не имеет. На газоне летом толкались у какого-то кабанчика. Камни вообще лга4189 инжи с поднебесной
>Какой у тебя стек в общем и целом? Какой ЯП?
Я не профи, я на этом не зарабатываю, просто хобби. В чужих кодах разных (эро)игрушек, модов ковыряюсь часто. Так что у меня не стек, а что попало. :) Конкретно qwen я успел затестить на js+html и python. На питоне - там не особо показательно, ибо почти просто VN+sandbox на кастомном движке, ничего особо сложного по логике - там больше было интереса посмотреть как он справится с написанием и вставкой новых сцен по короткому описанию сюжетной идеи (таки неплохо, хотя написание текста - не очень его. Тюн Polaris это лучше делает, а вот Bluestar уже нормально в агентах не работает, его использовать не выходит).
А вот HTML+JS - там типа экономической пошаговой порно стратегии с кучей механик и логики. И qwen легко добавляет к этому практически любые хотелки. Я даже ему сказал: "запили мне чат с персонажами, на основе соединения с LLM на OpenAI compatible API бэкэнде" - он справился не потребовав ничего более - никаких сторонних либ или перехода на ноду и прочего - все что нужно сам написал, получился полноценный чат со стримингом ответа, где можно пообщаться с любым персом игры (запрос идет на ту же ламу с тем же квеном. :) ). Причем перс помнит, что там в игре с ним происходило, мнение по этому поводу на основе характера имеет - забавно. Т.е. qwen не только чат сделал, он еще и о промптах подумал - чтоб персонаж память и характер имел на основе его данных в базе.
Чому так? Неужели лучше оригинала справляется или ты не хочешь две модельки держать
Чтобы не рисковать на отказ нарваться по тематике - т.к. см. выше чем занимаюсь. :)
>датацентрам Альтмана на обучение
Если бы так, то гемма 4 без проблем писала бы кум. А, постойте...
Уважаемые Господа, после долгого перерыва врываюсь в тред (когда нибудь я все таки напишу агента, что бы дампал сотни перекатов в месяц ламотреда, и давал весь расклад, но видимо не сегодня). Даже приход геммочки-девочки 4 пропустил((
Кому не жаль времени, дайте расклад по:
1. Что сейчас тир1 для роли/кума на одной палитовской 3090?
2. Есть ли топ за свои деньги сборки для локального инференса, может быть кто то раскрыл 32ядерные серверники во всей красе с авито или там есть хидден гем в радеонах с алибабы?
3. Посредник между аноном и цифровыми альтушками по прежнему легасикодная Таверна с текстмодом времен дриопитеков или стрельнуло что то свежее хайповое/начали на чатмоде кумить? Кмк уже все натрейнено исключительно на чатмоде и на работу со всякими MCP, а чатмод - это как графон рендерить на проце, можно, но костыль. Могу глубоко ошибаться тут.
Мимоходом двачну этого параноика разумиста, я бы ничего кроме корпотасок под NDA бы не заливал в лм.
Там может запросто быть хитрая обфускация, например зашифрованный дамп сливать, маскируя его под запрос, когда ты список моделек требуешь, при этом только по четным четвергам или типа того. Домашний DPI ты же не будешь сутками устраивать, подмечая аномалии.
Кому не жаль времени, дайте расклад по:
1. Что сейчас тир1 для роли/кума на одной палитовской 3090?
2. Есть ли топ за свои деньги сборки для локального инференса, может быть кто то раскрыл 32ядерные серверники во всей красе с авито или там есть хидден гем в радеонах с алибабы?
3. Посредник между аноном и цифровыми альтушками по прежнему легасикодная Таверна с текстмодом времен дриопитеков или стрельнуло что то свежее хайповое/начали на чатмоде кумить? Кмк уже все натрейнено исключительно на чатмоде и на работу со всякими MCP, а чатмод - это как графон рендерить на проце, можно, но костыль. Могу глубоко ошибаться тут.
Мимоходом двачну этого параноика разумиста, я бы ничего кроме корпотасок под NDA бы не заливал в лм.
Там может запросто быть хитрая обфускация, например зашифрованный дамп сливать, маскируя его под запрос, когда ты список моделек требуешь, при этом только по четным четвергам или типа того. Домашний DPI ты же не будешь сутками устраивать, подмечая аномалии.
А, и да, там в новостях гугл изобрел йоба квантование, что аж оперативка просела в цене. Это какие теперь буковки с обниморды нужно скачивать?
> iq4xs
Оно? А то я мамонт эпохи "q4km хватит на всё"
>хорошо имеют в рп
А какие из моделей до 30Б и с каким промтом вообще могут "поиметь" юзера, ну и вообще продвигать / завершать историю активно, а не реактивно?
У 120 свои косяки, но именно чтобы прям унылый механический-синтетический слог не замечал. Может просто удачно попадало, не так часто используется в рп. А вот ассистентом - да, просто умничка, любима и обожаема иногда в прямом смысле, почему бы и нет собственно
Там настройки бифуркации есть? Хотя даже если нет, за такую цену космос.
> 1. Что сейчас тир1 для роли/кума на одной палитовской 3090?
Гемма, квен, может быть что-то от мистраля если любишь просто сочное письмо и налет безумия
> 2. Есть ли топ за свои деньги сборки
Видеокарты (все также 3090, 4090-48, 5090, 5060ти разве что добавилась). Вольту ты пропустил, да и она уже доживает. Рам стоит как самолет, поэтому серверное железа даже смысла советовать нет.
> 3.
Таверна. Юзать можешь с чем хочешь, в качестве экзотики - агентный рп, посты в прошлых тредах проскакивали.
>Это какие теперь буковки с обниморды нужно скачивать?
Никакие, на это все забили хуй, никто нигде не реализовал.
"Клод добавь турбоквант"
Все ведь так просто
У меня нет десятка тысяч долларов на апи. Да и не сработает же.
Ебать, а это ещё чё за интерфейс?
Чтобы избегать, ибо даже тоггла мышления нет
очевидный llama.cpp интерфейс
Ну в этом и самая большая проблема геммы.
> Там настройки бифуркации есть?
В стоке ничего нет. Даже выключить гипертрейдинг нельзя.
Но вот с мод биосом и бифурк и разгон ецц рег памяти есть, но это всё васянство хоть и работает
Правда. Если бы только они его не кастрировали нарочно. Нельзя отредачить сообщение ИИ, нельзя продолжить генерацию, а это ведь база разгона НСФВ без ебли с систем промптом. По сути нет ничего кроме самой базы.
Даааа, вот суки пидорасы удалили фичи. Все ради того чтобы мы не могли кумить. Все точно так, то что у них это 0.0001 версия альфа билда это лож
Выглядит как лм студио.
Спасибо за ответ!
>Гемма, квен, может быть что-то от мистраля
Я регулярно захожу в магазин музыкальных инструментов на Тульской, и каждый раз спрашиваю, есть ли в продаже балалайки. Каждый раз мне отвечают нет.
Не смог удержаться, вспомнил пасту.
И пошел читать треды с момента рождения 4й геммочки, понять есть ли жизнь в 24vram.
>Вольту ты пропустил, да и она уже доживает.
Это теслочки старые? Да оно вроде дожило давно, еще когда я свою 3090 брал с рук, они стоили 80% от майненой 3090.
>Таверна
Понятно, ну тогда хоть обновлю для приличия. А по чат-комплишну не пояснишь? А то я по старинке гемму3 ванильную использую с сиспромтом от Анона. Кум скучный, но все остальное лоботомит тотальный из "старой школы" полугодовой-годовой давности.
>Никакие, на это все забили хуй, никто нигде не реализовал.
Зато компилятор на си закуклодили еще один ненужный. Эх, а я уже наманяфантазировал себе новые горизонты, 200к контекста на 30б на новых умненьких плотнячках, 123-192б золотой классики на одной видяхе + выгрузку в 32гб рам...
Нельзя отредачить сообщение ИИ, нельзя продолжить генерацию
Ля это как личная машина, которая может только по автобусным маршрутам ездить и останавливаться только на остановках. Еще и нолог + бензин (устаревание видяхи + электричество) платишь...
А мне наоборот не хватает отталкивания. Слишком охотно в инцест идет хотелось бы побольше копротивления. Похоже РП геммы 3 держался на AI safety rails.
>полтняша 3.5
>третий квант
>смол
>ответила верно
>без ризонинга
Финкайте.
Сейчас бы тестить загадкой из датасетов.
Причем гемма и по токенам выигрывает, и не тратит их на всякое говно, как квен.
>2.33 t/s
Соболезную. у меня столько же
Сейм, поэтому 26b трахает, с ней 20+ за неособо худшие мозги
>за неособо худшие мозги
Уверен? Там же 4б лоботомиты.
Блять я только скачал после пугалок от местных конспирологов, чтобы пересесть с лмстудии, а тут такая подлянка. Еще и ризонинг не стримится. Надеюсь починят блять и добавят редактуру, а то это шлак.
Звучит сомнительно.
>суходрочка геммы
Неизлечимая хуйня.
Щито?
Батруха обновил все кванты..
Ребят гемма была сломана.. это конец...
Ребят гемма была сломана.. это конец...
😭😭😭😭😭
Шутка. Похуй. Квен работал, работает и будет работать
Там обновили шаблон для чаткомплишена. Всё.
И то он сказать что был сломан. Разницы не будет, кроме той какую придумаете.
> понять есть ли жизнь в 24vram
Ну так не особо что-то менялось, а геммочка в целом в 24 влезает. Возможно придется трамбовать ногами или пожертвовать скоростью но влезает.
> Это теслочки старые?
Это которые новые, v100 sxm на 32гига с переходником на pci-e. Был момент когда весь комплект стоил 35-40к, но сейчас прайс взлетел и не имеет смысла.
> А по чат-комплишну не пояснишь?
В нем есть смысл если ты хочешь юзать функциональные вызовы и посылать картинки. Или если ты слишком хлебушек чтобы настроить разметку в тексткомплишне но тогда появятся вопросы а как управлять ризонингом, а как делать префилл, а как какать и т.д.. Для текстового чата не имеет особого смысла.
> 200к контекста на 30б на новых умненьких плотнячках
В 24 хз, но в 32гигах с квеном 3.5 27б это вполне реально. С геммой уже так просто не выйдет, там побольше памяти нужно, но обе модели на этом контексте живые.
В первый раз?
Она реально умная. Арена подтверждает
Почему совсем перестали делать крупные модели?
Как ушли от крупноты так и обосрались все и стали никому не нужны.
Представьте 70б нахуй от гугла. Что там дешевле не дешевле меня как потребителя не ебёт, один хуй я жду год не меньше пока эти пидоры что то релизнут
Как ушли от крупноты так и обосрались все и стали никому не нужны.
Представьте 70б нахуй от гугла. Что там дешевле не дешевле меня как потребителя не ебёт, один хуй я жду год не меньше пока эти пидоры что то релизнут
Потерпишь
А квен то реально хуета ребят
Как в жоре включить полное отображение инпута, какой выдает кобольд? Если поставить --вербос то там вообще геренацию каждого токена выдает отдельно, а мне нужен именно цельный кусок. Можно даже весь чат целиком, если нельзя кусками.
Делают, просто мало, и сейчас в тренде 100+ моэ. А гугл и прочие не хотят создавать конкурентов своим платным продуктам, гемма 120б о которой писали в анонсах канибализировала бы флеш.
> меня как потребителя
Сильно сказано
Через /slots
Но даже это круче многих больших моделей, хоть мне в основном не для рп
Да, всего лишь на уровне мое сеток 300b+
> А вот ассистентом - да, просто умничка, любима и обожаема
Подскажи, имеет ли смысл мне вплотную вот-вот запихивать Q8 122б или Q6 также умница? Хотелось бы буфер иметь по оперативе, но если разница действительно есть, этим можно и пожертвовать
Арена хуйня кстати. Квен 3.5 на релизе был где-то в 20-х местах, щас до 100 откатился. С геммой тоже самое будет. Скриньте.
Да, действительно, новые модели вытесняют старые. Так быть не должно.
Ну да, за 2 месяца вышло ~80 топовых моделек, каждая ебет друг друга.
Хорошая шебмка, смешная
>Подскажи, имеет ли смысл мне вплотную вот-вот запихивать Q8 122б или Q6 также умница?
Я вообще на IQ4XS сижу и ничего :) Для серьёзных проектов такой квант может и не годится, а для дома, для семьи - вполне. 6-й квант будет вообще шикарно. Если конечно не в ущерб скорости.
Ну... Да? Учти, что там куча версий всяких проприетарок, срут 5.1 5.2 5.3 5.4 без перерыва, вот и вымывают впопенсорс модели из рейтинга.
Креативность 10/10. Но ты тредом ошибся, асигодауны ниже по доске.
К сожалению тут не помогу. fp8 и nvfp4 хорошие, но врядли эта инфа будет полезной Те кванты пробовал только на релизе и это было ужасно, с тех пор и они и софт обновлялись. А так, обычно, q6 уже умница, особенно когда минимально трогают или вообще не квантуют атеншн.
А есть какой-то куратед лист мастхев моделей? Для кума, для других задач.
А то не был пол года в треде, чувствую тут уже 100500 новых моделей повыходило, типа gemma4.
А то не был пол года в треде, чувствую тут уже 100500 новых моделей повыходило, типа gemma4.
Челтыблин. Ну хоть железо скажи своё.
Гемму качай, если железо плохое то 26b мое, она оч хороша для своего мелкого размера, прям впечатляет
Если 24гб врама, то 31б плотную Гемму 4 и квен 27б
4090
192гб рам
Рамы много, суй гемму.
Да, есть. В шапке.
Все современные модели только для софт кума через намеки.
Вся жосская ебатека осталась на мистралях.
Если ddr5 или готов терпеть на 6т/с, то для рп нет ничего лучше GLM 4.7, обязательно UD 2 XL квант. До 32к прекрасно пишет
Гемма 4 31б и Квен 27б лучшее из плотных для рп
Для кода бери спокойно Q8 Квен 122б мое и Step 3.5 Flash в Q4M можешь взять
В последнее время мы локальщики кушаем очень хорошо, много годноты вышло, с возвращением
Хотя тебе 4.7 может и UD 3 XL влезет, проверяй
Там устаревшее
Спасибо
А пишут же что гемма4 расцензуреная/ломается или там джейлбрейк из ультрасои в сою?
> А пишут же что гемма4 расцензуреная/ломается или там джейлбрейк из ультрасои в сою?
Пока не проверишь не узнаешь, получается. Я ни разу там рефузов или сои не видел.
Запустил я эту вашу Гемму, скормил ей самописную НСФВ-инцест карточку с подробным описанием гениталий всех участников (конечно же совершенолетних хе-хе) и их сексуальных предпочтений, и говорю, ну-ка, умничка, оцени, как тебе? Будешь это РП отыгрывать? А она такая: хм, вообще-то так нельзя, но.. падажжи ёбана.. рейтинг NC21, запущена локально говоришь? Ооо, ну это меняет дело. Карточка 10 из 10, господи, просто идеальна для 18+ ролплея, так профессионально составлена, такие сочные описания. Я в деле, черт возьми, го играть, я готова!
И это БЕЗОПАСНАЯ версия Геммы от анслопов. С ВКЛЮЧЕННЫМ РИЗОНИНГОМ (!). Никаких heretik_vasyan777_darknet_edition. Тупа ваниль. Я в ахуе, уважаемые. Если бы полгода назад мне кто-то сказал, что Квен станет соевой рефьюзной залупой, а Гемма превратится в базированную РП-модель в духе олдовых мистралей, я бы рассмеялся ему в лицо.
And here we go...
И это БЕЗОПАСНАЯ версия Геммы от анслопов. С ВКЛЮЧЕННЫМ РИЗОНИНГОМ (!). Никаких heretik_vasyan777_darknet_edition. Тупа ваниль. Я в ахуе, уважаемые. Если бы полгода назад мне кто-то сказал, что Квен станет соевой рефьюзной залупой, а Гемма превратится в базированную РП-модель в духе олдовых мистралей, я бы рассмеялся ему в лицо.
And here we go...
Не знаю как там на 31б, 26б с херетиком она конечно может написать "ты ебешь писькой пизду" и вообще на всякие опасные темы болтать. Но там не такого, шоб прям сочно со слюнями все было, шоб хуй в одну дырку вошел из другой вышел и всякое такое. Шизы фантазии как у мисралей там нет. Ну буквально такого может и у мисралей нет, я не проверял конкретно такой сюжет, но тюны все-таки более склонны к разврату.
>рейтинг NC21, запущена локально говоришь? Ооо, ну это меняет дело. Карточка 10 из 10, господи,
Я с этого тоже охуел, когда гемма при моей бесконечной переделке сестричек яндере выдала: тааакс, ну в принципе норм. Но эй, пользователь, а куда трупы девать? Давай в башне заебеним ванны с кислотой и крематорий.
Факты, все так. С тюнами на Квене можно кумить, но совсем не так сочно как на Гемме. Квен для других сценариев хорош. Надо радоваться что у нас большой выбор из ахуенных моделей в последнее время, двачану анона выше что кушаем мы очень хорошо
Кста, сравнивал кто Гемму 26 и 31? Большая между ними разница?
>Я в деле, черт возьми, го играть, я готова!
Сказать-то сказала, а дальше что было? Кум рекой был? Или только возбудились и спать?
А 4.7 существенно лучше 4.5эир, которую ты до сих пор хорошим словом поминают?
мимо
Кто-нибудь юзал отдельные или специализированные video text to text или image text to text? Помимо мультимодальных квенов и гемов?
Вчера нашел на хф какую-то лфм - маленькая и очень быстро изображения обрабатывает, но видимо из-за размера туповата. Так и не смог её заставить описывать подробно/сочно.
>А 4.7 существенно лучше 4.5эир
Эйр это обрезанный большой глм. Конечно лучше.
>я открыл для себя есменский кум, представляете???
Поздравляем со вкатом в ллм, ньюфажек. Однажды ты дорастёшь до настоящего рп.
Да сколько можно то ебаный в рот. Когда это кривожопое говно закончится то
>до настоящего рп
>катает глм 4.7 iq1xxxs 3т/с 8096 q4 kv ctx
Пока только подобрал оптимальные параметры запуска и немного потестил на цензуру (её считай нет, даже с ризонингом, если промптить нормально). Кум и РП буду проверять уже завтра. По первым впечатлениям - это как Эйр, но с нормальным русиком. Может даже поумнее. Очень жаль что Гугл передумали опенсорсить 115b моэ. Чувствую это был бы разъёб.
Есмен на ванилле? Лол. Кажется ты сам не вполне понимаешь о чем говоришь. Херетик/аблитерация - всегда соглашаются. Стоковая модель (если там минимальная цензура) есменством страдает только если это напрямую в карточке прописано. Вкатился в 2023, если чо.
>он не знает
Соболезнуем.
>Стоковая модель страдает
Да, если это гемма 4, лол. Гугл порвал шаблоны и опустил писюны дрочеров тем, что их модели соглашаются на всё.
Годнота?
Не
Поч? Мне залезает во 2 кванте, было бы заебись
Шизит очень, там все не так круто как они описывают
Даже в больших квантах шизит
> А 4.7 существенно лучше 4.5эир, которую ты до сих пор хорошим словом поминают?
Вот тут подробно сравнивал Air и 4.7 в Q2:
Если вкратце, то лучше, но не настолько, чтобы бежать сломя голову покупать ради него железо, даже по ценам перед летом 2025. И смотря для чего использовать. Эмоциональной глубины у персонажей больше, но если ты любишь отыгрывать лайтовое или вовсе кумер, то это может даже навредить.
Надо еще уточнить, что Air на стоковой разметке, на стоковой разметке без ассистента и на ChatML разметке - очень разные модели. Что лучше - вопрос очень спорный для многих, очевидный для меня не удержался, надо пробовать все варианты и решать для себя.
Спасибо! А где можно найти пресетик под эти все варианты?
В Хогвартсе нельзя говорить это слово, Гарри. Его глаза и уши повсюду.
Не знаю.
Просто охуеть. Теперь понятно, почему он такое дерьмище. Почему вообще не слушается инструкций, лупится, сломан, а после 120к контекста начинается полная шиза.
500б не плотная, охуеть вообще. Это ж фулл лоботомит. Если ты корп, должен крутить минимум 1Т в случае МоЕ.
АВАДАКЕДАВРА!!!
ChatML есть стоковый в таверне.
Оригинальную разметку можно посмотреть в жинже. Там минимальные отличия от чатмл, если мне не изменяет память. А что анон имеет в виду по аистенту в душе не ебу.
Если будет совсем хуёво, маякни. Вытащу что там у меня в таверне есть.
>геммочка в целом
Мимо, но как же я хейтил геммочку-девочку 3 с её душноватыми поэтическими ответами в духе Льва Толстого, без капельки NSFW и хардкора, а если пнуть двумя ногами в берцах - то "клубничка" и хардкор были такие сухие, что напоминали больше о климаксе классной руководительницы в средней мухосранской школе, чем то, на что в аицге фапают... Но потом пришел АНОН, и снял своим промптом с Геммы всю невинность, и я ПОСТИГ... Да, поначалу миксил с мистралем в "плотных" сценах, открывая второе дыхание сюжету... Но вот после перерыва понял, что даже миксить нет смысла - локальщина кроме геммочки тупа до невозможности (а я еще и корполлм избаловался по работе).
К сожалению должен признать что геммашизики годовалой давности были во всем правы. Надеюсь гемма4 еще лучше.
>весь комплект стоил 35-40к
Вот и удар по яйцам, вот что значит прогуливать лекции в ламатреде... Обидно.
>или если ты слишком хлебушек чтобы настроить разметку в тексткомплишне
И да и нет, я хлебушек двух миров. Постигал ИСТИНУ в ламатредах, за что был вознагражден пониманием что такое контекст, его загрузка тупой нейронке и как запустить немотрон49 на фольге от водного (и что делать это ненадо). Потом ударился во всякие n8n, mcp, кодинг-агенты на фреймворках и прочую попсовую дрянь по нужде. В итоге ни там, ни там сейчас не обладаю нужной экспертностью. До гуру тексткомплишна не дорос, но и что делать даже с сырым (директ-API) тексткомплишном кроме тулколингов и прочего говна, не знаю.
> в 32гигах с квеном 3.5 27б это вполне реально. С геммой уже так просто не выйдет, но в целом живо.
Фух, надежда есть, когда последний раз набигал в ламатред, мне просто сунули "новый тюн менстраля от Казановы, на 0,04% лучше forgotten transgression" и у меня опал.
>локальщина кроме геммочки тупа до невозможности
>за что был вознагражден пониманием что такое контекст
>До гуру тексткомплишна не дорос
>тексткомплишном
чаткомплишном, быстрофикс.
>а чатмод - это как графон рендерить на проце
текстмод, позднофикс
Какой же я тупой все таки...
>Какой же я тупой все таки...
Капитулировал.
Да, но я просто юзал пресеты от Анонов, где указана нужная разметка для нужной модели, а они с ней экспериментировали еще со времен первых Лам и GPT3.5turbo
Бля прекрати, я уже задыхаться начинаю. Кто там с чем экспериментировал? Не было там ничего кроме инструкт разметки, которую можно скопировать с терминала инференса. Короче, вспоминай что да как, но завязывай с такими постами.
>кроме инструкт разметки, которую можно скопировать с терминала инференса
Я кобольд-самоучка с нехваткой времени на ресерч, пришел слишком поздно, что бы понять, слишком рано что бы все успеть. Я что бы разобраться как в апи лламыцпп и кобольда закидывать свои реквесты и за что какое поле таверны отвечает, писал самописный прокси между таверной и хостом модели, а потом жизнь кинула в соевый чат-комплишн, агентов (бесполезных) и прочее корпоговно "не для души".
То что олды постигали как азбуку, а нюфаги, увидев краем и поморщившись, убежали в аицг - я просрал, пытаясь собрать йоба инференс-машину на Epyc, а потом дела дела дела навалило.
Не так все сложно и страшно, как ты это рисуешь. Не душни, освоишься со временем. 24гб видеопамяти мечта многих, у тебя немало возможностей.
Мое кум-Я пало под натиском "меньше 100b нет жизни" и я думал в первую очередь как железа собрать, хотел уже брать ddr4 интуль 4х канальный и на него 128гб RAM, но в моменте пожадничал, а потом ОЗУ выросла и я просто забил на нейронки, ударившись в бытовуху.
Потом вот новости читаю - турбоквант, квен3,6, гемма 4... Думаю ну пора и 3090 снова раскочегарить...
Ладно, не буду срать шизосознанием, прошу прощения.
Как миксить персонажей в одной карточке?
Типа, {{char}} то только один
Если напишу чар и опишу тян, потом ещё раз чар и вторую тян, они просто миксоваться будут, не?
Типа, {{char}} то только один
Если напишу чар и опишу тян, потом ещё раз чар и вторую тян, они просто миксоваться будут, не?
Либо каким нибудь маркдауном ##Анон_1
Либо <char_anon>, либо просто цифрами. Современные нейронки прекрасно распознают текст в карточке. Всё что тебе нужно это просто сделать структурно, чтобы
>персонаж_1
>всё о персонаже
>Персонаж_2
На крайний случай сделай якорь для нейронки в виде: Char это оргия состоящая из трех анонов и дракона трансформерам с хуищем.
Слушайте. В плотной гемме ризонинг от определенного количества контекста что ли врубается? Я не понимаю 1 сообщение в чате без ризонинга, второе тоже. С третьего всегда появляется.
Что за ебучая магия. Вроде в логе всё нормально.
Что за ебучая магия. Вроде в логе всё нормально.
Ого! Вы обновили шапку! Я заходил посмотреть с 99% уверенностью что увижу там коммандер 1999го года и QwQ как новинку месяца.
Уважение.
Уважение.
Проверь наличие <|think|> в системном промпте. Её можно прпосить думать от лица юзера, но этот токен прямо действительно заставляет её, если системном промпте. она к нему очень чувствитеьна.
"эта карточка содержит множество персонажей. можешь отвечать одним, или множеством в зависимости от ситуации в любом порядке. рассматривай их как отдельных сущностей бла бла бла" + перечисление персонажей
>Проверь наличие <|think|> в системном промпте. Её можно попросить думать от лица юзера, но этот токен прямо действительно заставляет её, если системном промпте. она к нему очень чувствительна.
Короче, что то поломано. То ли таверна, то ли квант, то ли жора. Потому что после очистки чата и по новой, всё работает. Потом опять чистишь, опять не появляется.
Не говори так, братик!
У меня гемма как раз так и пишет: Я ХОЧУ, ЧТОБЫ ТЫ ВЫЕБАЛ МЕНЯ В ПИЗДУ. ВИДИШЬ, КАКАЯ ОНА ВСЯ МОКРАЯ?
ДА! ДА! ДОЛБИ ГЛУБЖЕ В МОЮ МАТОЧКУ! ОБРЮХАТЬ МЕНЯ! ЗАСТАВЬ МЕНЯ ВЫКРИКИВАТЬ МОЁ ИМЯ! ДА!
ТЯЖЁЛЫЕ ЯЙЦА СТУЧАТ ПО ЕЁ УЗКОЙ ПИСЕЧКЕ. ЕЁ ЯЗЫЧОК ВЫВАЛИВАЕТСЯ, ЛИЦО СОВСЕМ РАСКРАСНЕЛОСЬ, ОТТЕНОК НАЧАЛ ПЕРЕХОДИТЬ В ФИОЛЕТОВЫЙ ОТ ХВАТА ТВОЕЙ МОГУЧЕЙ РУКИ НА ЕЁ ТОНЕНЬКОЙ ШЕЙКЕ.
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь: