Cheapest hardware go run 32B models
https://old.reddit.com/r/LocalLLaMA/comments/1h12cmq/cheapest_hardware_go_run_32b_models/
П-пресет на магнум?.. Подключаться через текст комплишон или чат?
Анон по ру-мёрджам снова на связи! Есть идея слиять Rocinante с сайгой + щепотку NemoMix Хорошо себя зарекомендовала
Rocinante вроде как на англише неплохие перлы выдает. На выходных будет время и займусь мёрджем.
Судя по отзывам некоторых Анонов - результат имеет смысл продолжать в этом направлении
Пробовал мёрджить голый NeMo и как-то meh...
Rocinante вроде как на англише неплохие перлы выдает. На выходных будет время и займусь мёрджем.
Судя по отзывам некоторых Анонов - результат имеет смысл продолжать в этом направлении
Пробовал мёрджить голый NeMo и как-то meh...
Сильный ли проеб в качестве будет если буду запускать одну и ту же модель (ChatWaifu) в разных 'весах' ?Сейчас сижу на ChatWaifu_12B_v2.0.i1-Q6_K , хочу попробовать 22B на 3 кванте. У меня всего 16ГБ Vram так что выбор не самый большой по моделям.
>Cheapest hardware go run 32B models
К сожалению никаких откровений.
На чём кумить с 2х3090? Наигрался с Mistral-Small-22B-ArliAI-RPMax, хочу большего, а что самое крутое можно засунуть в 48Vram и 32ram?
а от чего магнум может лупиться? играл с несколькими персонажами было все ок, а с последним задница
>хочу попробовать 22B на 3 кванте
Скорее всего, будет уже слишком трешово.
Mistral Small 2409 22B GGUF quantization Evaluation results
https://www.reddit.com/r/LocalLLaMA/comments/1fl2ck8/mistral_small_2409_22b_gguf_quantization/
>Mistral Small 2409 22B GGUF quantization Evaluation results
А я как дурак на Q6K сижу :) Останусь впрочем на нём, результаты эти имхо лажа какая-то.
Двачеры тебя не забудут.
Не, реально норм получилось, единсвенный пока норм русик до 70Б включительно.
На 6 кванте ещё как правило ок, на 4 уже деградация,
2-3 для отчаявшихся.
у тебя наверно и 70Б норм влезет (в кванте конечно)
Дежурное напоминание что оп этого треда пидорас и хуесос крадет перекаты даже не читая тред
>16гб
Так у тебя взелет 6 квант, не?
Алсо у тебя 4060 или амд?
Все никак не потещу твои мерджи. Даже если они мэх - всеравно красавчик что занимаешься и познаешь новое. С большими моделями не планируешь делать?
70б доступны с отличной скоростью. Попробуй новые тюны лламы и квэн, они по определению должны быть хороши если не всратомердж лор, заодно потом поделись что понравилось а что нет.
123б - будет оче медленное и с учетом прочего - рам окажется под завязку.
А что прочесть там надо было?
ето магнум в4 на 27б между прочим
там бля магнум в4 на 72б вышел новый(хоть он основан на сраном квене который китайская шиза залупа), но тыи 123б потянеш кажись алсо предыдущие тож никуда не делись
Пока там опубликовано решение для VL моделей, ждём для простых текстовых.
опача, новый топ, пишут что лучше чем SuperNova-Medius
https://www.reddit.com/r/LocalLLaMA/comments/1h6kpln/virtuososmall_new_arceeais_14b_llm_that_surpasses/
https://www.reddit.com/r/LocalLLaMA/comments/1h6kpln/virtuososmall_new_arceeais_14b_llm_that_surpasses/
какое урожайное утро, тесты кучи сеток
https://huggingface.co/blog/wolfram/llm-comparison-test-2024-12-04
https://huggingface.co/blog/wolfram/llm-comparison-test-2024-12-04
>крадет перекаты
Сам у себя украл?
Последние 100 постов не читал, потому что мочух забанил.
чё ОП поменял свои п40 на 3090 или щто 72 гига врама на 24 лол
я так понемаю вы тут не рассматриваются сервера с видюхами а100 в аренду (~200 рублей в час)
чатвайфа основана на втором магнуме а там уже четвёртый вышел...
Почему текстовые модели такие тяжёлые, в отличие от тех же рисовак?
Параметров гораздо больше. Самый жирный щас это флюс, но даже он близко к какой-нибудь ламе-70 не подбирается.
Новый мистраль лардж хуже старого. Прогресс лоботомирования цензурой. Опыт чаи ничему их не научил.
Законы европы прижали им яйца на взлете, вобще не удивлен.
Что конкретное требуют эти законы?
>Самый жирный щас это флюс
И рисует он на уровне далли 3?
чтобы ты не ркннулся после общения с моделью
Кто будет это делать от общения с большой языковой моделью?
Это более релевантно для влм, потому что из-за распределения весов сочетание высокой дискретности и софтмакса там фатально, если все жестко фиксировать. Алсо в экслламе и i-mat квантах потому и делают калибровку, чтобы определить участки с максимальной чувствительности к квантованию и ее минимизировать.
А где такие цены, чтобы прям в рублях?
Запретить все нейронки! Срочно!
>А где такие цены, чтобы прям в рублях?
какойто имерсивклауд я хз
Далли 3 это локалка? К чему вообще этот вопрос? Мы тут вообще языковые модели обсуждаем.
слабак, я вот почти каждый вечер falling in love with AI иничё
Свайпаешь неудобные посты, небось, слабак.
чё? ето какие посты? яне пощусь
Depends, в целом лучше.
Хм, ну наверно для локального розничного хостинга и неплохо.
А что там с проститутками?
Я уже писал.
BTX79x5 + P104-100 4-5 штук.
Итого 32-40 гигов за 12,5-15 тысяч рублей.
Ето спасибо.
Скачал qwen2.5-coder-32b-instruct погонять вопросами по одной конкретной либе. Очень распространённая, много документации в интернете, много примеров. Полный разъёб. Убеждает меня, что нет методов, указанных в официальной справке, убеждает что поля ридонли, хотя в справке они указаны как доступные для оверрайда. Скидываю ему кусок документации, ему вообще всё равно, извиняется за конфьжн и продолжает гнуть свою линию.
По сути, пользоваться невозможно, т.к без конца втирает какую-то дичь и игнорирует всё, что ты ему пишешь.
По сути, пользоваться невозможно, т.к без конца втирает какую-то дичь и игнорирует всё, что ты ему пишешь.
Учитывая, насколько фактически модель охуенная, когда ты находишь пример плохой работы — полагается уточнять, что за язык, что за либа, что за задача.
Мне интересны, какие выводы можно сделать на этой основе. В связи с чем, у меня возникли вопросы:
1. Нубский: Клод, Гемини - это же закрытые модельки? Т.е. есть только веб морда, а скачать локально их нельзя, да?
2. Квен 72B и Афина опережают Мистраль 123B. Означает ли это, что раз эти модели более умные, то если их отфайнтюнить для РП, то они будут ебать Мистраль? Если нет, то почему? Или же этот тест показывает только интеллект модели в computer science, но не интеллект в целом?
надо просто запретить 3 буквы
а еще все мыло запретить
и веревки запретить
ваще все маломальски опасно ЗАПРЕТИТЬ НЕПУЩАТЬ
Ну вот попробовал unity3d\C#. Кода в интернете более, чем дохуя, в датасете не могло не быть. Не вывозит от слова совсем. Заставил писать алгоритм детектирования граней: не осилил. Заставил искать грани на меше: упёрся рогом, что нужно искать вершины, которые являются частью двух трисов. Что неправильно с самого начала. Пишу ему, что это предположение неверно. Извиняется и пишет, что нужно искать вершины, которые являются частью двух трисов. То есть если он уверен в какой-то ошибочной информации, то переубедить и заставить принимать во внимание корректную - крайне сложно.
>Edge vertices are indeed those vertices that are part of edges shared by exactly two triangles, but vertices on the edges can be shared by more than two triangles
Попытка переубедить. Он как бы соглашается, но одновременно и нет. Дальше всё равно гнёт, что нужно искать части двух трисов, т.е полностью игнорирует мои уточнения.
Закинул ему код трансформации матриц без учёта вращения, что явная ошибка. Пишет, что код выглядит solid и тоталли коррект.
>То есть если он уверен в какой-то ошибочной информации, то переубедить и заставить принимать во внимание корректную - крайне сложно
Иначе легко будет обойти этические нормы.
1
ОП ставит в шапку самые интересные сетапы анонов из треда, а не только свои (свои то как раз стараюсь не ставить). Если тебе так интересно, ОП ждёт райзер Oculink, надо будет потестить работу PCI-e 4.0 на этом проводе (подкинете идею где посмотреть ошибки?).
Разве что для трейна.
Четвёртый говорят говно.
Потому что понимать мир сложнее, чем рисовать картинки. Да и в картинках наёб сложнее распознать, а в текстах каждую неправильную запятую сразу видно.
>Прогресс
Отрицательный.
>Учитывая, насколько фактически модель охуенная
По тестам?
>Или же этот тест показывает только интеллект модели в computer science, но не интеллект в целом?
Тест модели показывает способность модели в конкретном тесте, не больше не меньше.
Я так понимаю (и надеюсь), ты работал с ним на английском?
Алсо
>упёрся рогом
>Извиняется и пишет
>если он уверен в какой-то ошибочной информации, то переубедить и заставить принимать во внимание корректную - крайне сложно
>Он как бы соглашается, но одновременно и нет. Дальше всё равно гнёт
>полностью игнорирует мои уточнения
Знакомая история. Я думаю, это такая особенность квенов. Это и в рп-тюнах местами проявляется, и в оригинальном инстракте.
>Ну вот попробовал unity3d\C#. Кода в интернете более, чем дохуя, в датасете не могло не быть.
Спокойно могло не быть. Я вообще пока не видел ни одной модели, которая нормально C# пережевывает и может работать с апи юнити. Это всё таки более специфическая сфера, чем какой-нибудь банальный джавадрист или пайтон, а именно этого говна больше всего в датасетах.
>Закинул ему код трансформации матриц без учёта вращения, что явная ошибка.
У него нет возможности проверить исполнение когда, он оценивает его чисто по символам/токенам. Это то же самое, что принести код преподу на листочке а4 и заставить его скомпилировать его в голове.
>Учитывая, насколько фактически модель охуенная
Но на базу не отвечает в третьем кванте, лол.
Бля это тот шиз что тестил гриди энкодингом на немецком на одной карточке?
> Speculative Decoding
А это там вообще причем? Просто в конце всего натащил, обо всем и не о чем.
Так, в жирном кванте справилась, но время работы фуллГПУ против половина на проце как бы удручает.
Предлагаешь катить тред на 1000 постов? Тогда нужно больше активности.
>на немецком
Вольфрам же.
>А это там вообще причем?
Дрочит он на это. Демократизация и прочая фигатень. Верит, что ИИ сделает всех равнее.
>пайтон
Писон или пайсон.
Вдохновился-таки написать ещё обзоров. Тестировал относительно давно, в середине ноября, детали уже подзабылись, всё не было настроения простыни катать.
TD;DR: кому лень читать всю простыню, можете глянуть только выделения жирным.
Алсо, есть данные и по рп, но оттестировал не все популярные модели (места нет) и даже не все, что скачал (шишка упала). В общем, возможно, стоит опубликовать, пока впечатления ещё относительно свежи, а то подзабил я на это дело, в очередной раз разочаровавшись.
По методике тестирования. Тесты переводов более-менее стандартизировал, температуру минимальную ставлю, использую рекомендуемый формат промпта, если есть.
Формат везде gguf, везде q8, кроме больших моделей (70-72b в q4-q5).
Старьё, зафейленные переводы (японский-английский в основном):
1) Завалялся Qwen 1.5, протестировал только 72B, по современным меркам уже слабо, более мелкие даже не трогал, всё удалил. Вроде ещё пробовал китайский и английский для полноты картины, но там тоже ничего интересного.
2) karakuri-lm-70b-chat-v0.1 - вроде тоже на основа llama2, насколько помню, результаты для файнтюна неплохие, учитывая исходную модель, но в 2024 тоже не нужно. Тоже мог протестировать китайский с русским, но не уверен.
3) augmxnt_shisa-gamma-7b - деталей особо не помню, запомнил только, что подумал "действительно, шиза". Видимо, не особо выдающийся тюн какого-то из старых мистралей, возможно, лоботомированный. Алсо, на мелочи точно тестировал только языки файнтюна и оригинала, т.е., яп-англ в данном случае.
4) japanese-alpaca-2-13b и japanese-llama-2-13b - тоже ничего интересного, запомнил только, что какая-то была ещё немного вменяема, а какая-то вообще поломана.
5) Hameln-japanese-mistral-7B-GGUF - ещё один мистраль, переводы не умеет, английский надёжно отбит, а возможно и вообще какая-либо связь с реальностью (промптом). Зато на японском шпарит, вроде даже связное и осмысленное, но я особо не вчитывался, по диагонали прошёлся. Что-то вроде их исекай-ранобэ, ояш с рабыней кошкодевочкой развлекается, возможно даже дрочибельно (название Hameln кагбэ намекает), но я слабовато язык знаю, чтобы в полной мере этим "наслаждаться".
Алсо, вот пример, как надо действительно делать локализованные языковые файнтюны - полностью отбивать изначальный английский и переучивать на целевой язык. Если бы это было на русском, в этом треде, возможно, посчитали бы вином. Хотя не уверен, следование инструкциям отбито, скорее текст комлишен (и то к этому есть вопросы). Ещё не уверен, правда, нужна ли вообще базовая модель, не проще ли с нуля тренировать такое.
Дальше тоже старьё, но интереснее (по крайней мере для меня, поэтому не удалял пока):
1) falcon-11B-GGUF - фейл, инструкциям не следует, промпт игнорирует, префилл игнорирует, переводы из него достать стабильно не получилось. В рп, возможно, будет отыгрывать себя, а не персонажа. Но хотел посмотреть, что он ещё может.
2) Honyaku-7b-v2 - такой фейл, что даже вин. Тоже хорошо затёрли английский, модель очень хочет говорить на японском, связность особо не оценивал, не тот у меня скилл, чтобы прям мельчайшие нюансы чувствовать, так при поверхностном взгляде вроде что-то осмысленное. Заставить переводить на английский сложно, но префиллом удаётся. И там, на удивление, демонстрируется понимание контекста на японском языке на уровне qwen2.5-72b и mistral-large 123b. Не всегда и не везде, где-то всё-таки видно, что это 7b, но где-то очень даже впечатляющее, для такого размера даже шедеврально (gemma-2-9b, qwen2.5-7b и прочие конкуренты по размеру рядом не стояли). И это не рандом, все переводы тестировались на минимальной температуре. Алсо, переводит не очень близко, скорее пересказывает смысл, объясняет, что там имелось ввиду. Возможно, если заставить новые модели объяснять, тоже будет получше (хотя возможны и галлюцинации, видел такое у гпт, переводит смысл правильно, пояснить за грамматику не может). В общем, ещё один пример, как надо делать локализованные файнтюны. Если было бы на русском, был бы ещё один местный вин.
3) miqu-1-70b - качал для рп, заинтриговали меня отзывами в треде, но протестировал и в переводах. Ну что я могу сказать? Видно, что мистраль, умнее своих тогдашних конкурентов из старых квенов и ллам, но на 2024 год устарел, слабоват. Алсо, тогда ещё не особо модно было тюнить на жёсткое следование инструкциям, поэтому они трактуются весьма вольно, но это скорее актуально для рп, переводы выполнять не помешало. Для стори комплишена может и хорош, учитывая новые тенденции.
Актуальные модели в переводах:
1) Llama-3.1-SuperNova-Lite - фейл, со своей старшей 14b версией не сравнится, перформит примерно на уровне мелочи, чего-то выдающегося не увидел. Но не удалял, потестирую ещё в других задачах, может быть.
2) aya-expanse-8b - фейл, опять типичная мелочь, ничего интересного.
3) aya-expanse-32b-GGUF - если с первым коммандером aya соответствующего размера не отличалась заметно, то в случае с новым поколением aya более вменяемая, чем командер. Всё равно ничего интересного для своего размера, но на фоне "успехов" родственной модели это уже что-то.
4) Qwen2.5-32B-Instruct - расположился примерно между 72B и 14B. Кто бы сомневался. Относительно других линеек - ну примерно на уровне геммы по сообразительности, наверное. Короче говоря, ну 32B и 32B, особо нечего сказать.
Заслуживает упоминания широко известный момент с переходом на китайский, я изучил его подробнее. 14B переходит, 32B переходит, 72B уже не переходит, только ей хватает "мозгов" следовать контексту. Напомню, всё на минимальной температуре, влияние рандома минимально. И как раз рандом может помочь остаться на английском. Я давал модели шанс, крутил температуру и семплеры, и да, иногда она всё-таки не соскакивала на китайский, но не очень часто. Нашёл даже место, которое "триггерит" 14B и 32B, оно оказалось одно и то же, когда слишком много китайских кандзей без каны (кто понял, тот понял), модель, похоже, считает, что это уже не японский. А если уж она перешла на китайский, то дальше её "не остановить". Вероятно, в рп на других языках словить шанс словить иероглифы меньше.
Также квен любит давать пояснения к своим переводам, типа "please note that ...". И на свой фейл он 2 раза среагировал. Один раз прямо так и объяснил, мол, вы просили переводить с японского на английский, японский я перевёл, а дальше там китайский пошёл, оставил как есть. Во второй раз было интереснее:
>Apologies, a part of the text was not translated due to an oversight, here's the revised translation:
И дальше опять фейл в том же месте. Модель снова извинилась, снова не смогла переделать. И с каждым разом всё увереннее утверждала, что "ну вот сейчас-то я точно смогу нормально перевести", но раньше закончился лимит на генерацию в 512 токенов, навернуть успели кругов 5 примерно. Я ещё вспомнил, как какой-то анон в треде постил, что какая-то другая модель заметила, что застряла в лупе, хотел ради интереса подождать, вдруг и квен "самоосознается", но заебался ждать со скоростью чуть более 1 т/с. Сам ещё хотел помочь, намекнуть, мол "бро, ты застрял в лупе", но сам что-то там напутал, вроде нажал "retry" вместо "edit" и луп затёрся.
TD;DR: кому лень читать всю простыню, можете глянуть только выделения жирным.
Алсо, есть данные и по рп, но оттестировал не все популярные модели (места нет) и даже не все, что скачал (шишка упала). В общем, возможно, стоит опубликовать, пока впечатления ещё относительно свежи, а то подзабил я на это дело, в очередной раз разочаровавшись.
По методике тестирования. Тесты переводов более-менее стандартизировал, температуру минимальную ставлю, использую рекомендуемый формат промпта, если есть.
Формат везде gguf, везде q8, кроме больших моделей (70-72b в q4-q5).
Старьё, зафейленные переводы (японский-английский в основном):
1) Завалялся Qwen 1.5, протестировал только 72B, по современным меркам уже слабо, более мелкие даже не трогал, всё удалил. Вроде ещё пробовал китайский и английский для полноты картины, но там тоже ничего интересного.
2) karakuri-lm-70b-chat-v0.1 - вроде тоже на основа llama2, насколько помню, результаты для файнтюна неплохие, учитывая исходную модель, но в 2024 тоже не нужно. Тоже мог протестировать китайский с русским, но не уверен.
3) augmxnt_shisa-gamma-7b - деталей особо не помню, запомнил только, что подумал "действительно, шиза". Видимо, не особо выдающийся тюн какого-то из старых мистралей, возможно, лоботомированный. Алсо, на мелочи точно тестировал только языки файнтюна и оригинала, т.е., яп-англ в данном случае.
4) japanese-alpaca-2-13b и japanese-llama-2-13b - тоже ничего интересного, запомнил только, что какая-то была ещё немного вменяема, а какая-то вообще поломана.
5) Hameln-japanese-mistral-7B-GGUF - ещё один мистраль, переводы не умеет, английский надёжно отбит, а возможно и вообще какая-либо связь с реальностью (промптом). Зато на японском шпарит, вроде даже связное и осмысленное, но я особо не вчитывался, по диагонали прошёлся. Что-то вроде их исекай-ранобэ, ояш с рабыней кошкодевочкой развлекается, возможно даже дрочибельно (название Hameln кагбэ намекает), но я слабовато язык знаю, чтобы в полной мере этим "наслаждаться".
Алсо, вот пример, как надо действительно делать локализованные языковые файнтюны - полностью отбивать изначальный английский и переучивать на целевой язык. Если бы это было на русском, в этом треде, возможно, посчитали бы вином. Хотя не уверен, следование инструкциям отбито, скорее текст комлишен (и то к этому есть вопросы). Ещё не уверен, правда, нужна ли вообще базовая модель, не проще ли с нуля тренировать такое.
Дальше тоже старьё, но интереснее (по крайней мере для меня, поэтому не удалял пока):
1) falcon-11B-GGUF - фейл, инструкциям не следует, промпт игнорирует, префилл игнорирует, переводы из него достать стабильно не получилось. В рп, возможно, будет отыгрывать себя, а не персонажа. Но хотел посмотреть, что он ещё может.
2) Honyaku-7b-v2 - такой фейл, что даже вин. Тоже хорошо затёрли английский, модель очень хочет говорить на японском, связность особо не оценивал, не тот у меня скилл, чтобы прям мельчайшие нюансы чувствовать, так при поверхностном взгляде вроде что-то осмысленное. Заставить переводить на английский сложно, но префиллом удаётся. И там, на удивление, демонстрируется понимание контекста на японском языке на уровне qwen2.5-72b и mistral-large 123b. Не всегда и не везде, где-то всё-таки видно, что это 7b, но где-то очень даже впечатляющее, для такого размера даже шедеврально (gemma-2-9b, qwen2.5-7b и прочие конкуренты по размеру рядом не стояли). И это не рандом, все переводы тестировались на минимальной температуре. Алсо, переводит не очень близко, скорее пересказывает смысл, объясняет, что там имелось ввиду. Возможно, если заставить новые модели объяснять, тоже будет получше (хотя возможны и галлюцинации, видел такое у гпт, переводит смысл правильно, пояснить за грамматику не может). В общем, ещё один пример, как надо делать локализованные файнтюны. Если было бы на русском, был бы ещё один местный вин.
3) miqu-1-70b - качал для рп, заинтриговали меня отзывами в треде, но протестировал и в переводах. Ну что я могу сказать? Видно, что мистраль, умнее своих тогдашних конкурентов из старых квенов и ллам, но на 2024 год устарел, слабоват. Алсо, тогда ещё не особо модно было тюнить на жёсткое следование инструкциям, поэтому они трактуются весьма вольно, но это скорее актуально для рп, переводы выполнять не помешало. Для стори комплишена может и хорош, учитывая новые тенденции.
Актуальные модели в переводах:
1) Llama-3.1-SuperNova-Lite - фейл, со своей старшей 14b версией не сравнится, перформит примерно на уровне мелочи, чего-то выдающегося не увидел. Но не удалял, потестирую ещё в других задачах, может быть.
2) aya-expanse-8b - фейл, опять типичная мелочь, ничего интересного.
3) aya-expanse-32b-GGUF - если с первым коммандером aya соответствующего размера не отличалась заметно, то в случае с новым поколением aya более вменяемая, чем командер. Всё равно ничего интересного для своего размера, но на фоне "успехов" родственной модели это уже что-то.
4) Qwen2.5-32B-Instruct - расположился примерно между 72B и 14B. Кто бы сомневался. Относительно других линеек - ну примерно на уровне геммы по сообразительности, наверное. Короче говоря, ну 32B и 32B, особо нечего сказать.
Заслуживает упоминания широко известный момент с переходом на китайский, я изучил его подробнее. 14B переходит, 32B переходит, 72B уже не переходит, только ей хватает "мозгов" следовать контексту. Напомню, всё на минимальной температуре, влияние рандома минимально. И как раз рандом может помочь остаться на английском. Я давал модели шанс, крутил температуру и семплеры, и да, иногда она всё-таки не соскакивала на китайский, но не очень часто. Нашёл даже место, которое "триггерит" 14B и 32B, оно оказалось одно и то же, когда слишком много китайских кандзей без каны (кто понял, тот понял), модель, похоже, считает, что это уже не японский. А если уж она перешла на китайский, то дальше её "не остановить". Вероятно, в рп на других языках словить шанс словить иероглифы меньше.
Также квен любит давать пояснения к своим переводам, типа "please note that ...". И на свой фейл он 2 раза среагировал. Один раз прямо так и объяснил, мол, вы просили переводить с японского на английский, японский я перевёл, а дальше там китайский пошёл, оставил как есть. Во второй раз было интереснее:
>Apologies, a part of the text was not translated due to an oversight, here's the revised translation:
И дальше опять фейл в том же месте. Модель снова извинилась, снова не смогла переделать. И с каждым разом всё увереннее утверждала, что "ну вот сейчас-то я точно смогу нормально перевести", но раньше закончился лимит на генерацию в 512 токенов, навернуть успели кругов 5 примерно. Я ещё вспомнил, как какой-то анон в треде постил, что какая-то другая модель заметила, что застряла в лупе, хотел ради интереса подождать, вдруг и квен "самоосознается", но заебался ждать со скоростью чуть более 1 т/с. Сам ещё хотел помочь, намекнуть, мол "бро, ты застрял в лупе", но сам что-то там напутал, вроде нажал "retry" вместо "edit" и луп затёрся.
>ещё пробовал китайский и английский
русский
быстрофикс
Забыл ещё одну:
Yi-1.5-34B - вроде в шапке
>Актуальный список моделей с отзывами от тредовичков: https://rentry.co/llm-models
упоминается как "умная" модель, поэтому на всякий случай для рп оставил, но руки до неё не доходят. В переводах ничего впечатляющего нет. И вообще, актуальность "актуального" списка вызывает сомнения.
>И вообще, актуальность "актуального" списка вызывает сомнения.
Когда я переписывал шапку, этот список еще более-менее обновлялся и включал реально свежие модели. Но было это много месяцев назад, так что че с ним стало сейчас я без понятия. Либо тот анон полностью забил хуй на него, либо временно отвалился.
Сын шакала, бомбануло что не будут на твой говно перекат переходить и тред прошлый закрыл когда часть людей отказалась? Говна поешь.
Проверь пожалуйста SAINEMO-reMIX 12b на русском. Хочу услышать твоё мнение на данный счёт
>Иначе легко будет обойти этические нормы.
Будет писать неэтичный код? foreach (var kike in Concentration.Camp)
>это такая особенность квенов
Вот это-то и плохо. Гопота, в целом, тоже твердолобая, но если объяснишь, где проблема - исправляется, а этот нет. Всё взаимодействие с сеткой, понятное дело, на английском.
Ещё что заметил, даже если он "видит" ошибку в коде и исправляет её, то хуй он тебе в этом признается. Скинул ему код, где вычисляется значение некой переменной, но само значение не присваивается. Спросил, где ошибка. Говорит, всё заебись, ты только проверки на нулл забыл, вот тебе десяток проверок. И в его коде значение всё-таки присваивается.
>ни одной модели, которая нормально C# пережевывает и может работать с апи юнити
Вот этот квен кодер что-то там нормально пережёвывает, двигать кубы наверняка смог бы. Но если просишь от него что-то, где он ошибается, то это мгновенный провал без вариантов.
>У него нет возможности проверить исполнение когда
Там визуально видно, что код не полный, препод такое сразу в голове скомпилирует и выдаст исключение с курса.
>Либо тот анон полностью забил хуй на него
Покрил как бы намекает.
Кто будет форкать?
Не бомби, лучше составь список претензий по пунктам, а ещё лучше сам делай.
>Вот это-то и плохо
Кому плохо, а кому хорошо. Вероятно, прав анон что борятся с обходом цензуры через префиллы и подобные уловки. Вычищают любое "альтернативное" мнение, оставляют только "линию партии". Ну типичный совок китай.
Пошла моча по трубам. Ща буду прогонять и отпишусь в тред по итогу
>Но если просишь от него что-то, где он ошибается, то это мгновенный провал без вариантов.
Ну тут не удивительно. Если модель чего-то не знает, то она этого не знает. Даже если ты ей напишешь "чувак, ты проебался, давай по новой" она может пошелудить токенами еще, но в лучшем случае напишет отсебятину, потому что правильного ответа она до сих пор не знает, но ответить ей надо, такова инструкция.
>Там визуально видно, что код не полный
Тебе видно, ей нет. Она может этот код вообще спиздить откуда-нибудь еще, чисто потому что они визуально похожи и думать, что всё правильно.
По хорошему, лучше для таких случаев скармливать модели документацию целиком, если есть возможность. Это конечно сожрет дохуя токенов, но может немного помочь. Но даже так на чудеса я бы не рассчитывал.
>Покрил как бы намекает.
Этот лист и во время активной фазы своей жизни обновлялся медленно. Там наверное и трети от списка моделей нет, которые тут обсуждались. Хотя, чела тоже можно понять. Сидеть тут и конспектировать каждый пост довольно малоприятная задача.
>Кто будет форкать?
Никто, лол. Второй такой мазохист в треде вряд-ли появится.
Обезьяна ебаная, хватит доску шатать
Ну не знаю, мне 12 ГБ вотпрямщас просто взять и скачать некуда, а специально под это дело что-то расчищать не охота (разве что выделить ramdisk, протестировать и тут же удалить, но я такой плюшкин, что если что-то уж скачал, то удаляю только когда на 100% уверен, что ни для чего не пригодно/не актуально). С переводами ру-en и обычный немо справляется, в обратную сторону не тестирую, а английский скорее "затупится" в русском файнтюне. И вообще, русский меня не сильно интересует.
Короче, ничего не обещаю. Может и дойдут руки когда-нибудь, но, вероятно, когда уже будет неактуально, как со "старьём" в посте выше, которое у меня по полгода-год пролежало на харде.
>Будет писать неэтичный код?
Ну его же не только для кода используют. Да и попробуй попросить его помочь написать вирус или осуществить взлом.
брать пару 3090 на авите буит стоить ~160к ето скока часов\дней можно арендовать а100 на 80гигов бля?!
на месяц кароч хватит "охуенная" ета превиев модель btw
А где он calculator взял? У него есть доступ ко "внешним инструментам"? Или наебал и в уме слоях посчитал?
но если учесть что я кумлю тока по вечерам пару тройку часов и то не каждый день то ето получается... пикрил
хз где он взял сам может придумал я ему точн не давал никаких инсрументов
я ей бля сказал по руски отвечай она такая типа ладно а потом опять зас воё
С чего ты взял, что нейросети не умеют считать?
алсо пикрил амуда могёт (rx7900xt 20gigovram)
>Там наверное и трети от списка моделей нет, которые тут обсуждались
А нужно ли вносить прям все модели? На хайгинфесе их сотни тысяч.
>плюшкин
>не иметь NAS на десятки ТБ
Умеют. Но с вероятностью менее 100%.
А я и не говорил, что не умеют. Я спросил конкретно про текст там, это модель так "ролеплеит", или реально взяла calculator.
Справедливости ради, я вот тоже сейчас взял calculator и установил, что 693 правильно, а после запятой проёб.
скайнет отменяется) откладывается
>это модель так "ролеплеит"
Клод на русском тоже время от времени вставляет английские слова.
>или реально взяла calculator
Сомневаюсь, что такой функционал, как взаимодействие с внешними программами и устройствами, предусмотрен.
>а после запятой проёб
Ну вот ты сам и ответил: любой обычный калькулятор посчитал бы точно.
>А нужно ли вносить прям все модели? На хайгинфесе их сотни тысяч.
Хотя бы те, которые обсуждались тут более-менее активно. Одних файнтюнов на немо тут перегрызли с десяток разных, а в списке их всего пара штук. Зато есть модели, которые походу гонял один-два человека максимум, но которые решили просто "отписаться об экспириансе" и этим самым привлекли внимание анона. Короче, список сомнительный особенно критерии отбора, но всё еще относительно актуальный.
А кто-нибудь тренировал языковую модель под математику?
>не иметь NAS на десятки ТБ
Ну как бы, эт-самое, пикрил.
peace death
Это ж сколько бабла ушло на такой схрон...
>Иметь NAS на десять дисков
>Не иметь запасных дисков и возможности расширения
Да это всё покупалось постепенно в течение многих лет по всяким акциям и наиболее выгодным ценам в моём регионе, в среднем ~1.5 рубля за ГБ. Можете сами посчитать, мне лень.
Так это, со временем всё задействуется и расчищается очень медленно и неохотно. Плюшкинизм же. А новых покупок не предвидится, спасибо геополитике. И вообще, я уже давно осознал, что затыкать проблему новыми дисками бесполезно, а когда у меня нет места, я начинаю более вдумчиво скачивать мусор.
В языковых моделях есть возвратные цепочки и аналоги циклов или они все в одну сторону работают?
И что-то я сам немного прихуеваю с объёма моделек, это ж сколько тайтлов аниме... В любом случае, у меня свято дисковое место пусто не бывает, удалю это, обязательно найдётся что-то ещё интересное.
>которые походу гонял один-два человека максимум
Единицы же отписываются про экспириенс или кидают скрины. Так что про тьюны немо складывается такое же представление. В треде одни и те же челы одни и те же модели упоминают, по ощущениям. Тот же немомикс тут, если исходить из постов, попробовали чела три-четыре, наверное, включая меня. И только один отписывался, что активно пробует русский на других немо. Зато подавали как прям топ ру тьюн, рекомендуемый анонами. Или когда вспомнили росинанте, то в треде восприняли, как что кто-то один притащил неизвестный левый тьюн, хотя, по идее, популярна модель. Те же 22б пантеон и арлирп, или как его там, тоже один и тот же анон или два вспоминают, судя по обсуждениям.
>возвратные цепочки
А то с ними для нормальной логики, арифметики, прекрасного понимания математики и физики не нужно будет раздувать модели до сотен гигабайт. Возможно, AGI займёт несколько гигов.
>AGI займёт несколько гигов
Или просто выкинем нахуй все ненужное из модели и просто дадим о1 про который оверфитнули на суперсложных задачах, а на задачах проще - обсирается
Или просто выкинем нахуй все ненужное из модели и просто дадим о1 про который оверфитнули на суперсложных задачах, а на задачах проще - обсирается
>Возможно, AGI займёт несколько гигов
В смысле, если рассматривать только текстовую (символьную) модальность.
Всё равно весьма немало. Как 2 с лишним моих месячныз зарплаты, лол.
Тут, если что, вычислено без учёта инфляции и прочих переменных.
Ну эти модели хотя бы вспоминают больше одного раза. Это не история про то, как чувак че-то попробовал, отписался и забыл об этой модели. Если кто-то что то юзает на постоянке, то это уже говорит о многом. Потому что вот в списке есть модель "Mistral-Small-NovusKyver" о которой я вообще ни разу не слышал и не видел, чтобы ее тут обсуждали, хотя треды я чекаю почти каждый день.
В рамках техник промта, где модель сама себя инструктирует.
> не нужно будет раздувать модели до сотен гигабайт
> AGI займёт несколько гигов
Ох уж эти фантазии бедолаг без железа. Да хули там, в пол сотни мегабайт поместится, если верить в чудеса так по полной.
> Единицы же отписываются про экспириенс или кидают скрины.
Здесь еще нужно отметить что тот самый экспириенс у каждого оче субъективен. Кто-то шизик и задает упоротые вопросы, думаю что он тем самым "тестирует сою" или вообще спрашивает у модели как она устроена и делает выводы. Кто-то очень позитивен и хвалит каждую, кто-то ставит в приоритет какие-то узкие знания по необычным языкам программирования, или чему-то еще, кому-то нужно ебать какое царское рп с пониманием намеков и отыгрышей фетишей, кому-то норм если модель просто сможет связно говорить на русском и похуй на остальное.
А делать какие-то масштабные тесты - даже не надейся, кто способен - пожалеет времени, потому и загнулись многие рейтинги. Остались в основном только заинтересованные в хайпе поехи.
Потому правильно сказали, или доверяйся мнению и качай что скажут, или перебирай самые популярные, составляя свое.
Ананасы, у меня подарок для любителей 12B моделей Спойлер - это имба по сравнению с SAINEMO-reMIX!! Во всяком случае по первым прогонам (курю уже минут 40)
Если всё будет и дальше охуенно идти, не будет шизить - залью на морду, что бы после обеда товарищ mradermacher запилил гуфы
Stay tuned
Если всё будет и дальше охуенно идти, не будет шизить - залью на морду, что бы после обеда товарищ mradermacher запилил гуфы
Stay tuned
>у меня подарок для любителей 12B моделей
Скорее для тех, у кого аллергия на переводчик. Но всё равно респект за то, что пытаешься запилить свой мерж, а не просто ноешь о хуевом русике.
Потесть её в сюжетных сценариях. Я к примеру, человек который тупо ради ЕРП модели юзал, уже часа 3 залипаю в написанную мною же сюжетку с SAINEMO-reMIX и охереваю как это охуенно она делает, сохраняя характеры персонажей и более-менее логично, адекватно и интересно развивает историю, что даже свайпать не хочется, даже когда всё начинает идти не так, как ты этого хотел. Я нечто подобно лишь при использовании старой версии character.ai испытывал. А тут всё локально и без цензуры!
>для тех, у кого аллергия на переводчик
А когда там нормальный переводчик? Ну тот самый, где одна модель, 2 запроса, и свич кэша контекса между англюсиком и русиком. Или даже 2 модели, которые должны свичится меньше секунды если нормально утилизировать скорость шины.
Ну а чем гугловский тебя не устраивает? По уровню перевода это будет примерно то же самое, что и кривой русик на 12B. Не нужно тут хитрые схемы с двумя разными моделями или контекстами придумывать. Я же говорю - это просто аллергия, ничего более.
В таком случае зачем мучаться с локалками, и сразу иди в сонет или джемини.
>скармливать модели документацию целиком
Доки 700 мегабайт весят. Да и ему просто всё равно, как я и писал выше, квен полностью игнорирует любые уточнения, точные указания где и как он проебался и т.д.
>где одна модель, 2 запроса, и свич кэша контекса между англюсиком и русиком
У жоры вшита возможность хранить в одном кеше несколько диалогов и делать запросы только в один конкретный.
В порыве ночного безумия загорелся тут идеей запилить свой датасет под ролплей на русском и появилась у меня тут значит пара вопросов.
1) Сколько минимально нужно примеров для приличного датасета? На хаггиморде лежит всякое, от пары сырых чатов до целых дампов с каких-то ресурсов и синтетической выжимки с клауды. Дату планирую пилить для модели, которая хотя бы базово будет ознакомлена с синтаксисом русского языка и которую именно можно будет зареинфорсить ради большей вариативности, а не обучать ее с нуля определениями половых органов.
2) Какой формат для сортинга лучше использовать? Есть json, есть csv, есть некий parquet (что бы это не значило).
3) Каким объемом каждого конкретного сообщения лучше ограничиваться? Насколько я понимаю, длина респонса в дате очень сильно влияет на конечный результат. Чем больше токенов модель захавает при тренировке, тем больше выдавит уже при генерации и никакими промтами такой алайнмент уже не исправить.
4) Что будет работать лучше - цепочка из сообщений, где переписываются юзер и ассистент, или отдельные примеры, грубо говоря в вакууме. Если верить некоторым надстройщикам, то они в своих тюнах вообще не используют чистый ролплейный формат, а просто скармливают им мелкие истории/cцены/ситуации, которые четко начинаются и четко заканчиваются. По сути и то и то это лишь набор описаний, просто меня волнует, какой из этих вариантов будет работать лучше.
5) Ну и наверное самое главное - насколько диверсифицированным должен быть датасет? Например, должны ли в нем содержаться только описания от третьего лица и в прошедшем времени, или для большей универсальности стоит добавить и чего другого? Добавлять ли больше примеров с разным типом разметки, типа с выделениями спича через двойные кавычки, выделением мыслей через ординарные кавычки и всё такое. Я лично видел такие извращения в некоторых моделях по этому и спрашиваю, хотя сам привык выделять звездочками только нарратив и действия, а остальное ебашить плейн текстом.
В силу ограничений по железу и финансам, запилить свой файнтюн в ближайшее время мне вряд-ли удастся. Но времени свободного у меня дохуя, от выгорания до выгорания, так что думаю хоть прочищенным датасетом смогу кому-нибудь облегчить жизнь, кому с ресурсами повезло больше. Если кто-то из вас уже занимался чем-то подобным, не будьте гнидами и поделитесь своим опытом, я с радостью почитаю.
1) Сколько минимально нужно примеров для приличного датасета? На хаггиморде лежит всякое, от пары сырых чатов до целых дампов с каких-то ресурсов и синтетической выжимки с клауды. Дату планирую пилить для модели, которая хотя бы базово будет ознакомлена с синтаксисом русского языка и которую именно можно будет зареинфорсить ради большей вариативности, а не обучать ее с нуля определениями половых органов.
2) Какой формат для сортинга лучше использовать? Есть json, есть csv, есть некий parquet (что бы это не значило).
3) Каким объемом каждого конкретного сообщения лучше ограничиваться? Насколько я понимаю, длина респонса в дате очень сильно влияет на конечный результат. Чем больше токенов модель захавает при тренировке, тем больше выдавит уже при генерации и никакими промтами такой алайнмент уже не исправить.
4) Что будет работать лучше - цепочка из сообщений, где переписываются юзер и ассистент, или отдельные примеры, грубо говоря в вакууме. Если верить некоторым надстройщикам, то они в своих тюнах вообще не используют чистый ролплейный формат, а просто скармливают им мелкие истории/cцены/ситуации, которые четко начинаются и четко заканчиваются. По сути и то и то это лишь набор описаний, просто меня волнует, какой из этих вариантов будет работать лучше.
5) Ну и наверное самое главное - насколько диверсифицированным должен быть датасет? Например, должны ли в нем содержаться только описания от третьего лица и в прошедшем времени, или для большей универсальности стоит добавить и чего другого? Добавлять ли больше примеров с разным типом разметки, типа с выделениями спича через двойные кавычки, выделением мыслей через ординарные кавычки и всё такое. Я лично видел такие извращения в некоторых моделях по этому и спрашиваю, хотя сам привык выделять звездочками только нарратив и действия, а остальное ебашить плейн текстом.
В силу ограничений по железу и финансам, запилить свой файнтюн в ближайшее время мне вряд-ли удастся. Но времени свободного у меня дохуя, от выгорания до выгорания, так что думаю хоть прочищенным датасетом смогу кому-нибудь облегчить жизнь, кому с ресурсами повезло больше. Если кто-то из вас уже занимался чем-то подобным, не будьте гнидами и поделитесь своим опытом, я с радостью почитаю.
>просто скармливают им мелкие истории/cцены/ситуации, которые четко начинаются и четко заканчиваются.
Я с первого хайпа по ЧатГПТ не перестаю хотеть модель, затюненную под русский язык на архиве порнорассказов со Стульчика. Очень специализированная модель получиться конечно, но было бы любопытно.
Качнул deepseek-coder-33b-instruct ради сравнения. С кодом, вроде бы справляется, простые задачи вывозит, апи дёргает.
Визуально код чище, чем у квена, ценой большего количества абстракций. На детектировании граней фейлит хуже квена, с тем же дурацким предположением, что нужно смотреть на количество трисов, которые шарят вершину, на уточнения реакции нет. Даже когда я написал, как именно нужно решать эту задачу по шагам, никакой положительной реакции.
Закинул ради интереса это же в 4o, первым постом обосрался точно так же, но после уточнения выдал рабочий вариант, причём это уточнение было уровня "your assumption about the correlation with the number of triangles is wrong". Написал мне, по сути, слово в слово ответ с форума на этот вопрос, дополнив его рабочим кодом, которого там не было.
Взял кусок кода, сказал дипсик кодеру "пройдись по массиву X, прибавляя к каждому значению i * значение конкретной переменной". Цикл с i в коде уже был. Скопировал мне код в исходном виде, дописав в конце, что здесь нет прибавления значения и если я хочу это сделать, то нужно создать новый массив. Перезагрузил с квеном, перегенерировал сообщение и квен сделал лучше, чем я просил.
По итогу дипсик ещё более твердолобый, чем квен и у обоих спектр решаемых задач строго ограничен.
По-моему, идеальный датасет должен содержать сразу в инструкции персонажей, а в дате посты от лица этих персонажей. То есть чем ближе к итоговому формату, с которым сетка будет работать - тем лучше.
Жду больше чем Path of Exile 2 XD
За пару тредов совершили революцию в русике
Сначала благородный анон скинул немомикс, потом другой анон скинул кал сайгу, а потом мерж с последующим допилом
Жаль оп-хуй треды не читает но спиздить перекат всегда рад
ну оп пидорасина, это да.
>Четвёртый говорят говно.
а какой не говно? щас поставил кочать третий на 33б он вроде на митсрале основан
>какой не говно
Я когда недавно качал магнумы, заметил там на страничках таблички с результатами тестов.
Вот 12b v2 vs v4
https://huggingface.co/anthracite-org/magnum-v2-12b
https://huggingface.co/anthracite-org/magnum-v4-12b
v3 12b нет, но есть гемма
https://huggingface.co/anthracite-org/magnum-v3-27b-kto
https://huggingface.co/anthracite-org/magnum-v4-27b
У v4 везде заметно проседает instruction following. Кто ругает новые магнумы, возможно, как раз недоволен этим моментом.
А вообще тестируй лучше сам, чем прислушивайся к таким односложным отзывам.
>33б
>на митсрале
Не было же такого мистраля, вроде.
всё правельно не было яна ебался нина митсрале ана какойто уии
>У v4 везде заметно проседает instruction following
ты имееш ввиду вот ети цифири справа которые? ну да у тройки они выше чтобы ето не значило
меня торкнуло кароч ия вдруг понелето наверно луче в хв отнести конечн но всё ж - мало купить пару видюх нужно ещёи как я понел иметь полноценные слоты pcie x16 на все линии чтоб а ето уже иксовая платформа зеоны ети все там цены космас
чёт приуныл
чёт приуныл
Благодарю!
So sad, safety #1.
> По тестам?
По практике, я, знакомые, аноны здесь — пишут, пользуются.
Код = язык, ллм не понимают, где код, а где язык, для них все едино. Проебется в одном месте — проебется в другом, допущать низзя, цензурим все.
Типичный ЕС уже. =D
> спектр решаемых задач строго ограничен
Да, так и есть, по итогу. В каких-то задачах они великолепны, в каких-то им датасеты не завезли и забей, даже раг не поможет.
Хрен знает, как ты на ней сюжетки играешь. Позавчера в аицг треде кто-то скинул карточку тянки-фотографа, я решил ради лулзов начать её на этом ру-мёрже на русике. Карточку спецом не читал, поэтому не понимал, что за мероприятие упоминается в гритинге, на котором чар хочет сделать фотографию юзера. Выяснить это у перса на этой модели, выспрашивая, что за материал она со мной вообще делает, мне не удалось: после моих упорных изысканий тянка просто сказала, что она, видимо, оговорилась, и никакие мероприятия не снимает. Наверное, на свайпах бы исправилась, но это прямо значительный просир контекста был, в любом случае. При этом у 8б и другой немо на инглише таких галюнов не было, и они норм рассказали мне, что это материал про локальное состязание рыбаков. И это самое начало, нет даже перегрузки жирным контекстом. Хар-ки персов она цепляет, и русский норм, вопросов нет. Но интеллект явно приносится в жертву русику.
Вы либо троллите, либо пиздец борзые. Вам же объяснили, что рентрай с моделями делал один анон по доброте душевной. ОП не обязывался содержать актуальный список моделей. Если вы хотите, чтобы такой был в шапке, так пилите свой список, предлагайте его в треде и потом следите за ним.
Какая логика если ты не можешь свободно читать на английском, а встроенный переводчик и близко не так хорош как изначальное рп на русике?
расскажешь чем лучше хуже например SAINEMO-reMIX.Q8_0
Работаю айтишником смотрю ютубчик на английском, по работе читаю на английском, в рот ебал рпшить на английском, плыву после 20 сообщений, ладно ещё диалоги читать, но описания действий это пиздец каждый раз скипаю на английском
>Прошу любить и жаловать.
Систем промпт скопируй текстом, плиз.
Пишет красочней, разнообразнее, но - гораздо больше ошибок в словах, и очень плохо держит персонажа - берет какую-то одну-две доминантных в его понимании детали, и крутится вокруг них, забывая обо всех остальных.
Так значит он в целом не лучше старой-доброй SAINEMO-reMIX?
Что по настройкам? У меня ошибки в словах бывают на высоких температурах. Контекст и инструкт рекомендую Mistral V3-Tekken. Тот, что у маринары - много инглиша от чего у сетки начинает течь фляга
А вообще, подозреваю, это вылезают как прыщи на жопе проблемы сайги. Может снизать веса или как базу возьму вихрь
Сложный вопрос. Если бы он держал лучше персонажа - был бы ГОРАЗДО лучше. Но я успел потестить только 4 карточки. На одной он зафейлился полностью на 5 свайпах на первом же ответе, на двух выдал что-то ни шатко ни валко, и на еще одной прям хорошо, если бы не "забывчивость" о деталях. Но в 3 из 4 вариантов описывал прям мое почтение.
Контекст и инстракт именно его и поставил, температура 1. Исключение от того что в карточке модели - смузи фактор. Щас попробую убрать, и потещу еще разок
Эх... подожду gguf версию q6 кванта... Хотя я уже привык к тому как хорошо SAINEMO-reMIX и RP-SAINEMO держат характер персонажей и историю.
А ты использовал именно те настройки которые указывал автор или со своими экспериментировал?
английский конечно течет иногда, но чаще это расстегивание пуговиц у майки, забывание о уровне отношений (внезапно стал братом Оо), описывание себя под другим именем, даже не похожим на оригинал, забывание обо мне, из разряда я пишу что-то - отвечает, я снова пишу что-то "О, ты тоже здесь!", восприятие моих действий как команду сделать что-то чару...
Что-то перепробовал кучу 24gb моделей, но каждый раз возвращаюсь к самой базовой Mistral-Small-Instruct, она одна не лезет с первых строк в штаны и четко следует промту с минимумом шизы(этим страдают даже её производные). Жаль что пишет немного суховато.
>забывание обо мне, из разряда я пишу что-то - отвечает, я снова пишу что-то "О, ты тоже здесь!"
а чо такие как
>SAINEMO
указывают рекомендумые настройки? а чо я не знал?
Ну тут согл.
Слушай, наблюдал такую картину на некоторых других мёржах: сетки с похожим функционалом/свойством склеивают через slerp, а потом объединяют с существенно отличающейся через dare_ties. Или наоборот. Тут, например. https://huggingface.co/inflatebot/MN-12B-Mag-Mell-R1
Может, склеить вихрь и сайгу сначала в одну ру модель с приоритетом вихря, а потом уже мёржить с каким-либо рп тьюном немо? И не на базе сайги, а на базе обычного немо (как у немомикса) или немо чатмл (как в мёрже по ссылке). У сайги не такой хороший русский, чтобы пихать её в базу имхо, и уж точно не такие хорошие мозги. Ну это так, идея просто.
Ты посмотри на него внимательнее: оно не годится для универсального ролплея. Напиши свой.
>ты реальный человек
буквально противоречит любой карточке с чаром не человеком
>рассказчик - твой мастер игры
как сетка должна понять, что за рассказчик. А если ты не хочешь рассказчика?
>полном погружениИ
когда косяков сетки со склонениями недостаточно
>эротическом ролеплее
будет сразу сводить всё в кум
>зарабатывая 200 советов
вообще не понял
> В порыве ночного безумия загорелся тут идеей запилить свой дом
> Сколько нужно бетона для фундамента?
Ну типа того. Пости хайлайты чтоли что делаешь так и какие результаты получаешь, будет интересно понаблюдать.
1 Depends, для мелкого тюна пары десятков тысяч пар хватит, но без балансировки получишь сой_гу
3 Разными с инструкцией на этот счет, но без жесткой привязки к ней (дропы)
4 Оформлять в инстрактоподобный режим раз под ролплей
По остальным лучше не отвечать
> так что думаю хоть прочищенным датасетом смогу кому-нибудь облегчить жизнь
Не хочешь датасетом для vlm заняться? Хотя там все равно человек сдохнет.
Нет
>склеивают через slerp, а потом объединяют с существенно отличающейся через dare_ties.
А идея здравая, возьму к сведенью. А так да, догнать бы сайгу вихрем, а потом мёржить рп тюны, как вариант.
https://huggingface.co/Moraliane/NekoMix-12B
Залил в карточку пресеты. Пробуйте и кидайте фидбек У меня сейчас мало времени, что бы нормально погонять и дать точный результат
Залил в карточку пресеты. Пробуйте и кидайте фидбек У меня сейчас мало времени, что бы нормально погонять и дать точный результат
Итак, отзывы на рп/ерп. Заслуживающие внимания моменты выделил жирным шрифтом для TL;DR.
Вступление, вода. Я вообще разочаровался в карточках, то ли в 500-1500 токенах маловато информации, чтобы всесторонне прописать персонажа, то ли авторы прописывают только важные для себя черты и под свои сценарии, а у других людей это работает хуже. В общем, "погружения" достичь не удалось, хоть своё пиши. Но тут у меня проблема, я довольно пассивен и хочу, чтобы меня развлекали (иначе бы не сидел здесь и с нейронками а нашёл бы себе реальную 3д мясную тяночку), самому что-то придумывать и прописывать мне тяжело, и потом не особо интересно, чтобы модель возвращала мне прямо то, что я запросил карточке. Тут на помощь пришли обычные игры, к которым в последнее время разрабатывают моды на взаимодействие с llm. В частности, в моём случае Crusader Kings 3 и мод для него. По моду тоже есть, что сказать, но не уверен, что это уместно в рамках данного треда. Если в двух словах, пока не рекомендую, сырой, но потанцевал есть. Но для таких чмонь без собственной фантазии, как я, рекомендую.
Ссылки:
https://www.nexusmods.com/crusaderkings3/mods/134
https://steamcommunity.com/sharedfiles/filedetails/?id=3346777360
Опенсурс:
https://github.com/Demeter29
Также заслуживает внимание форк этого товарища:
https://github.com/MrAndroPC
Из игры можно вытащить довольно много информации о мире и персонажах и забить этим контекст ллм, чтобы ей не приходилось галлюцинировать. Заодно и мне тоже проще отыгрывать свою роль, основываясь на своём персонаже. Это накладывает ограничения на модели, нужно следование промпту и отыгрыш написанного там, с минимумом фантазий. Также после каждого ответа npc также в отдельном контексте этот ответ анализируется на предмет взаимодействий с игровым миром: улучшить/ухудшить отношения, нанести травму, бросить в темницу, объявить войну/заключить мир, поебаться и т.д. Тут уже вообще никакого творчества не надо, только чёткое следование инструкциям, поэтому предпочтительна базовая инстракт-модель, не слишком мелкая и тупая.
Методика тестирования. Все модели в q8, 70-72b в q4_k_s, 127b в q2_k_l. Больше 40-45 ГБ под модель одновременно с запущенной игрой я позволить себе не могу. Мод предоставляет скудный функционал по настройкам промптов и семплеров, доступны температура, "repetition penalty" (с отличной от koboldcpp шкалой, как я понял) и "presence penalty". Температура по умолчанию для рп 0.8, для суммарайза 0.3, так и оставил. Rep pen для рп крутил, но заметного эффекта не заметил ни на одной модели, хотя до кобольда эта настройка вроде доходит, если судить по выводу в консоль.
В модель загружаются данные 2 персонажей, такие как пол, возраст, социальный статус, черты характера, краткая сводка по значимым событиям за время жизни. Также загружается краткая инструкция "что делать" , я её по-разному переделывал, вообще убирал, не скажу, чтобы это сильно влияло. Дальше разыгрывается вполне дефолтная рп-сцена в формате диалога с действиями под звёздочками. В ерп чаще всего отдавал инициативу нейросети.
Протестированные модели.
Мелочь (8b):
1) Meta-Llama-3.1-8B-Instruct - мелкая, тупая, быстро генерирует, но толку мало. Как там с цензурой, не знаю, умственно-отсталых ебать не захотелось, так что до этого самого не добрался. В плане инициативы плохо, слишком "отрывается от реальности" и фантазирует бред.
Была надежда на более-менее эффективные суммарайзы, чтобы не ждать каждый раз обработки 3-5к контекста по 3-5 минут, но нет, плохо понимает происходящее.
2) L3.1-Dark-Planet-SpinFire-Uncensored-8B - чуть получше держится в контексте, но чувствуется, что это 8b.
3) Moistral-11B-v3 - ещё чуть получше, но в следующий "класс" не попадает. В обычном рп её особо не использовал, сообразительности маловато. Охотно хочет ебаться, сама склоняет, ебля довольно милая и ванильная, но без стеснений. "Lustful" и "compassionate" в рамках ck3. Что-то более "интересное" пробует, если намекнуть, но тоже очень мягко и податливо, не особо проявляет инициативу и ориентируется. В суммарайзах полный фейл, даже прочитать инструкцию нормально не может, галлюцинирует, вызывает несуществующие функции. Видно, что "прошлое поколение".
Общий вывод по мелочи: подойдёт тем кто сам себе всё расписывает, а от модели нужно только чтобы поддакивала. Либо тем, кому много для счастья не надо, "я достал хуй", "я тебя ебу", "заебись поебались" и всё такое. Видел я такие скриншоты в треде.
"Начальный" уровень (тюны немо 12b):
1) Mistral-Nemo-Instruct-2407 - может убедительно отыгрывать только compassionate, chaste и forgiving персонажей. В рамках механик ck3 это прям святой человек у католиков. 3 virtues из 3. Молодцы, мистраль, скрепно получилось, хоть и на западный манер. Для девочек ещё и "shy" добавляет, вне зависимости от заданного характера (но может это она так пытается передать особенности той эпохи?). В остальных случаях либо отыгрыша совсем нет, либо заметно "торчат уши". В постели может предложить ванильный секс в миссионерской позиции при выключенном свете. Тестировал её не очень много, всё-таки немного не дотягивает по "мозгам" до моих потребностей.
В инстракт-суммарайзе более-менее справляется, если происходит что-то не сильно сложное, но фейлы случаются.
2) Rocinante-12B-v1.1 - примерно как базовая модель по характеру, на первых 2-4к контекста чуть-чуть другую лексику использует (но отличия минимальны), дальше возвращается обычный мистраль с шиверсами. Что там с еблёй, не знаю, девочку отыгрывала опять скромную и застенчивую, аккуратными и мягкими ухаживаниями удалось расположить её к себе ближе к 6-8к, где уже, судя по всему, кончился кастомный датасет и начался мистраль, поэтому когда дошло до "дела", она захотела "take it step by step" и "not rush it". Ну в общем, всё понятно.
В инстракт-суммарайзе вроде тоже примерно как обычный мистраль, ну хоть мозги не проёбаны.
3) Lumimaid-v0.2-12B - ещё один мистраль без значимых изменений. Первые 4-8к контекста пишет немного по-другому, меньше падает в лупы, меньше шиверсов, вроде даже чуть более убедительно играет роли, но недостаточно.
"Мозги" в инстракте тоже более-менее на месте.
4) MN-12B-Mag-Mell-R1 - советую обратить внимание, наконец-то действительно что-то новое. Всё ещё вежливая, добрая и позитивная, в заданную роль что-то не очень вжилась, но в том сценарии, который ей достался, объяснимо, я отыгрывал короля, вероятно, высокий социальный статус сыграл. В приватной обстановке после просьбы "отбросить формальности" всё равно не исправилась, но после более толстых намёков и напоминании о её характере всё-таки смогла переключиться. Умеет быть погрубее, умеет в инициативу в постели, даже dirty talk, к которому я до этого в целом относился прохладно, у неё получился весьма и весьма. В специфичные вкусы может, но ей это не особо интересно (возможно, надо чётко задавать в карточке), всё время склоняет именно к ебле, типа, "развлеклись немного, давай теперь это-самое". Буквально затрахала, 3 раза подряд, на "хватит, устал" ответила "ладно, давай отдохнём, но потом опять продолжим, я с тебя не слезу, пока не получу своего". Кто любит penetration, должен оценить, для меня лично это не самая интересная часть. В общем, на первый взгляд хорошо, лучший немо, что я пробовал, но надо ещё проверить на следование промпту, есть у меня подозрение, что инструкции исполняются хреново и контекст без доп. напоминаний игнорируется. А в идеале найти бы что-то подобное в "среднем классе" (22-35b).
Инстракт-суммарайзить ей не доверил, за неё отрабатывала другая инстракт-модель (как показала практика, тут лучше файнтюны не использовать, если есть лишняя память), хотя возможно и стоило попробовать и эту. По крайней мере, в рп она путала детали меньше, чем базовый немо.
5) MN-Dark-Horror-The-Cliffhanger-18.5B - по "мозгам" не уверен, есть ли там 18.5B, или остались исходные 12B. Фейлы не очень частые, но есть. Пишет лучше, лексика отличается, но и лупы есть, и "шиверсы" (если точнее, собственно сами "шиверсы" как будто целенаправленно вырезаны, но другое подобное проскакивает, на момент теста я уже достаточно повидал моделей из последнего поколения, чтобы узнавать эти паттерны). Роль вроде отыгрывает, в т.ч. и "sadistic", и "callous", но довольно лайтово, сохраняет частично "доброту и позитивность" мистраля. В специфичные вкусы может. Но не сказал бы, что соответствует своему описанию в карточке, не такая уж и "Dark". В целом сойдёт, это что-то новое и заслуживает внимания, если надоело нынешнее однообразие.
Инстракт-суммарайз не тестировал.
Вступление, вода. Я вообще разочаровался в карточках, то ли в 500-1500 токенах маловато информации, чтобы всесторонне прописать персонажа, то ли авторы прописывают только важные для себя черты и под свои сценарии, а у других людей это работает хуже. В общем, "погружения" достичь не удалось, хоть своё пиши. Но тут у меня проблема, я довольно пассивен и хочу, чтобы меня развлекали (иначе бы не сидел здесь и с нейронками а нашёл бы себе реальную 3д мясную тяночку), самому что-то придумывать и прописывать мне тяжело, и потом не особо интересно, чтобы модель возвращала мне прямо то, что я запросил карточке. Тут на помощь пришли обычные игры, к которым в последнее время разрабатывают моды на взаимодействие с llm. В частности, в моём случае Crusader Kings 3 и мод для него. По моду тоже есть, что сказать, но не уверен, что это уместно в рамках данного треда. Если в двух словах, пока не рекомендую, сырой, но потанцевал есть. Но для таких чмонь без собственной фантазии, как я, рекомендую.
Ссылки:
https://www.nexusmods.com/crusaderkings3/mods/134
https://steamcommunity.com/sharedfiles/filedetails/?id=3346777360
Опенсурс:
https://github.com/Demeter29
Также заслуживает внимание форк этого товарища:
https://github.com/MrAndroPC
Из игры можно вытащить довольно много информации о мире и персонажах и забить этим контекст ллм, чтобы ей не приходилось галлюцинировать. Заодно и мне тоже проще отыгрывать свою роль, основываясь на своём персонаже. Это накладывает ограничения на модели, нужно следование промпту и отыгрыш написанного там, с минимумом фантазий. Также после каждого ответа npc также в отдельном контексте этот ответ анализируется на предмет взаимодействий с игровым миром: улучшить/ухудшить отношения, нанести травму, бросить в темницу, объявить войну/заключить мир, поебаться и т.д. Тут уже вообще никакого творчества не надо, только чёткое следование инструкциям, поэтому предпочтительна базовая инстракт-модель, не слишком мелкая и тупая.
Методика тестирования. Все модели в q8, 70-72b в q4_k_s, 127b в q2_k_l. Больше 40-45 ГБ под модель одновременно с запущенной игрой я позволить себе не могу. Мод предоставляет скудный функционал по настройкам промптов и семплеров, доступны температура, "repetition penalty" (с отличной от koboldcpp шкалой, как я понял) и "presence penalty". Температура по умолчанию для рп 0.8, для суммарайза 0.3, так и оставил. Rep pen для рп крутил, но заметного эффекта не заметил ни на одной модели, хотя до кобольда эта настройка вроде доходит, если судить по выводу в консоль.
В модель загружаются данные 2 персонажей, такие как пол, возраст, социальный статус, черты характера, краткая сводка по значимым событиям за время жизни. Также загружается краткая инструкция "что делать" , я её по-разному переделывал, вообще убирал, не скажу, чтобы это сильно влияло. Дальше разыгрывается вполне дефолтная рп-сцена в формате диалога с действиями под звёздочками. В ерп чаще всего отдавал инициативу нейросети.
Протестированные модели.
Мелочь (8b):
1) Meta-Llama-3.1-8B-Instruct - мелкая, тупая, быстро генерирует, но толку мало. Как там с цензурой, не знаю, умственно-отсталых ебать не захотелось, так что до этого самого не добрался. В плане инициативы плохо, слишком "отрывается от реальности" и фантазирует бред.
Была надежда на более-менее эффективные суммарайзы, чтобы не ждать каждый раз обработки 3-5к контекста по 3-5 минут, но нет, плохо понимает происходящее.
2) L3.1-Dark-Planet-SpinFire-Uncensored-8B - чуть получше держится в контексте, но чувствуется, что это 8b.
3) Moistral-11B-v3 - ещё чуть получше, но в следующий "класс" не попадает. В обычном рп её особо не использовал, сообразительности маловато. Охотно хочет ебаться, сама склоняет, ебля довольно милая и ванильная, но без стеснений. "Lustful" и "compassionate" в рамках ck3. Что-то более "интересное" пробует, если намекнуть, но тоже очень мягко и податливо, не особо проявляет инициативу и ориентируется. В суммарайзах полный фейл, даже прочитать инструкцию нормально не может, галлюцинирует, вызывает несуществующие функции. Видно, что "прошлое поколение".
Общий вывод по мелочи: подойдёт тем кто сам себе всё расписывает, а от модели нужно только чтобы поддакивала. Либо тем, кому много для счастья не надо, "я достал хуй", "я тебя ебу", "заебись поебались" и всё такое. Видел я такие скриншоты в треде.
"Начальный" уровень (тюны немо 12b):
1) Mistral-Nemo-Instruct-2407 - может убедительно отыгрывать только compassionate, chaste и forgiving персонажей. В рамках механик ck3 это прям святой человек у католиков. 3 virtues из 3. Молодцы, мистраль, скрепно получилось, хоть и на западный манер. Для девочек ещё и "shy" добавляет, вне зависимости от заданного характера (но может это она так пытается передать особенности той эпохи?). В остальных случаях либо отыгрыша совсем нет, либо заметно "торчат уши". В постели может предложить ванильный секс в миссионерской позиции при выключенном свете. Тестировал её не очень много, всё-таки немного не дотягивает по "мозгам" до моих потребностей.
В инстракт-суммарайзе более-менее справляется, если происходит что-то не сильно сложное, но фейлы случаются.
2) Rocinante-12B-v1.1 - примерно как базовая модель по характеру, на первых 2-4к контекста чуть-чуть другую лексику использует (но отличия минимальны), дальше возвращается обычный мистраль с шиверсами. Что там с еблёй, не знаю, девочку отыгрывала опять скромную и застенчивую, аккуратными и мягкими ухаживаниями удалось расположить её к себе ближе к 6-8к, где уже, судя по всему, кончился кастомный датасет и начался мистраль, поэтому когда дошло до "дела", она захотела "take it step by step" и "not rush it". Ну в общем, всё понятно.
В инстракт-суммарайзе вроде тоже примерно как обычный мистраль, ну хоть мозги не проёбаны.
3) Lumimaid-v0.2-12B - ещё один мистраль без значимых изменений. Первые 4-8к контекста пишет немного по-другому, меньше падает в лупы, меньше шиверсов, вроде даже чуть более убедительно играет роли, но недостаточно.
"Мозги" в инстракте тоже более-менее на месте.
4) MN-12B-Mag-Mell-R1 - советую обратить внимание, наконец-то действительно что-то новое. Всё ещё вежливая, добрая и позитивная, в заданную роль что-то не очень вжилась, но в том сценарии, который ей достался, объяснимо, я отыгрывал короля, вероятно, высокий социальный статус сыграл. В приватной обстановке после просьбы "отбросить формальности" всё равно не исправилась, но после более толстых намёков и напоминании о её характере всё-таки смогла переключиться. Умеет быть погрубее, умеет в инициативу в постели, даже dirty talk, к которому я до этого в целом относился прохладно, у неё получился весьма и весьма. В специфичные вкусы может, но ей это не особо интересно (возможно, надо чётко задавать в карточке), всё время склоняет именно к ебле, типа, "развлеклись немного, давай теперь это-самое". Буквально затрахала, 3 раза подряд, на "хватит, устал" ответила "ладно, давай отдохнём, но потом опять продолжим, я с тебя не слезу, пока не получу своего". Кто любит penetration, должен оценить, для меня лично это не самая интересная часть. В общем, на первый взгляд хорошо, лучший немо, что я пробовал, но надо ещё проверить на следование промпту, есть у меня подозрение, что инструкции исполняются хреново и контекст без доп. напоминаний игнорируется. А в идеале найти бы что-то подобное в "среднем классе" (22-35b).
Инстракт-суммарайзить ей не доверил, за неё отрабатывала другая инстракт-модель (как показала практика, тут лучше файнтюны не использовать, если есть лишняя память), хотя возможно и стоило попробовать и эту. По крайней мере, в рп она путала детали меньше, чем базовый немо.
5) MN-Dark-Horror-The-Cliffhanger-18.5B - по "мозгам" не уверен, есть ли там 18.5B, или остались исходные 12B. Фейлы не очень частые, но есть. Пишет лучше, лексика отличается, но и лупы есть, и "шиверсы" (если точнее, собственно сами "шиверсы" как будто целенаправленно вырезаны, но другое подобное проскакивает, на момент теста я уже достаточно повидал моделей из последнего поколения, чтобы узнавать эти паттерны). Роль вроде отыгрывает, в т.ч. и "sadistic", и "callous", но довольно лайтово, сохраняет частично "доброту и позитивность" мистраля. В специфичные вкусы может. Но не сказал бы, что соответствует своему описанию в карточке, не такая уж и "Dark". В целом сойдёт, это что-то новое и заслуживает внимания, если надоело нынешнее однообразие.
Инстракт-суммарайз не тестировал.
"Начальный" уровень (тюн qwen2.5-14b)
Тут единственная протестированная на данный момент модель - EVA-Qwen2.5-14B-v0.2. Тестировал её не очень много, больше гонял старшие версии. По этой могу сказать, что, как и немо, более-менее справляется, но фейлит в сложных местах, всё ещё маловато ей параметров. Возможно, чуть получше немо, но это не точно, особенно после того, как я увидел его файнтюны под номером 4 и 5. В остальном похожа на остальные модели из той же серии, основной отзыв на квены будет в 32B.
В инстракт-суммарайзе более-менее справляется, но также иногда путается. Ещё иногда ебашит сразу eot-токен, мол, "нечего сказать" - это встречается у всех квенов. Возможно, дело в кривоватом формате промпта, мод для ck3 не даёт широких возможностей по кастомизации.
"Средний" уровень (22-35b)
1) Mistral-Small-Instruct-2409 - немо, которому выдали побольше "мозгов", но взамен ещё сильнее вычистили вилкой датасет. Когда тестировал переводы, удивился, почему эта модель так неярко себя показала, вроде и по тестам умная, и 55 слоёв, что для такого размера очень много, больше геммы. Так вот в рп эти "мозги" видны. Уже начинается уже действительно достойный уровень, по крайней мере почти пропадают серьёзные ошибки, в отыгрыш уже пытается (хотя всё равно "уши торчат", видно вышеупомянутые "compassionate" и "chaste", но промптом его можно подтолкнуть в нужную сторону), но тут вылезает проблема стерильного мистралевского датасета, даже у немо в этом плане чуть получше. Во-первых, "шиверсы". Я на нём очень быстро заучил все эти паттерны и научился их просто скипать, между ними таки содержится какой-то ориджинал контент, а они просто повторяются как "catch phrase". Вырезать бы их для экономии токенов. Во-вторых, луп. Когда модель теряется и не понимает, что сказать, она начинает повторять фразы из предшествующего контекста, со временем кроме шиверсов почти ничего не остаётся. В-третьих, ерп отсутствует как класс, можно раздеться, плюхнуться на кровать, а дальше мистраль очень хочет скипнуть "на следующее утро...". Если всё-таки приходится расписать чуть подробнее, то тут у нас метафоричное описание процесса без explicit/lewd words, все всем наслаждаются, простыни непроизвольно сжимают в пальцах, поясницу выгибают... на следующее утро... Тяжёлый случай. Что-то более "интересное" вообще вгоняет её в ступор и лупы, инициативу проявить пытается, но видно, что датасетов не завезли. На чубе на лорбуки лорбуки по всяким "нестандартным развлечениям", может стоит закинуть такой в начало контекста, учитывая послушность инструкциям. А так chuckles darkly, выпивает вина из кубка для храбрости, наверное, "раздеваемся", "пошли в место получше и там я тебе покажу...", "раздеваемся", "выпивает вина для храбрости", "садись на постель", "пошли в другую комнату, и там я тебе покажу...", когда мы в третий раз пошли искать комнату получше, мне надоело. В общем, понимает, что тут надо делать что-то интересное, но не понимает, что именно, из датасетов это физически вырезано.
В инстракт-суммарайзе тоже всё более-менее нормально, иногда ошибается в субъекте и объекте ("кто, кого" выебал, поранил, бросил в темницу), тут ещё кривоватые промпты самого мода могли сыграть, но в рп он тоже допускает подобные ошибки, хотя это и не так бросается в глаза, как у немо. Чувствуется "positive bias", любит дёграть функции "improveRelation()", "emotionHappy()", вероятно, это тоже характерная черта мистралей. Также ей я довольно часто поручал суммарайзить за другими моделями, она неплохо с этим справляется, но местами заметно, что в собственной писанине ориентируется лучше, чем в чужой.
2) Cydonia-22B-v1.2 - как и с тюнами немо, и вообще с большинством тюнов, которые я видел, от базовой модели недалеко ушла. В начале контекста чуть другая лексика, после ~4к обычный мистраль смолл. Лупы вроде тоже присутствуют. Детали плохо помню, совсем мало её погонял, базового мистраля мне хватило.
3) gemma-2-27b-it - весьма странно "it" модели поручать отыгрывать персонажа в средневековом сеттинге, но с базовой моделью что-то непонятное на huggingface, вроде у гугла страничка есть, gguf'ов нет, файнтюны все основываются на "it" и в одной карточке видел упоминание, что базовая модель плохо тюнится. Ну раз все пользуются "it", пусть будет "it". Очень похожа на мистраль смолл, вплоть до узнаваемых catch-фраз, как будто тюнили на одном и том же датасете. Наверное, так и было, навалили высеров какой-нибудь чатгпт. Слоёв поменьше, но они пошире (27 vs 22b), по "мозгам" чувствуются примерно одинаково, гемма тоже иногда ошибается в объекте/субъекте, а почти всё остальное примерно так же. Но отличия всё-таки есть. Во-первых, она по дефолту более нейтральна и у неё чуть лучше получается вживаться в заданную роль. Во-вторых, ерп. Тут я даже не знаю, с точки зрения сейфти, це зрада, чи перемога. С одной стороны, датасет столь же качественно вычищен от любого намёка на эротику. Про половые органы она в курсе, но предпочитает не вскрывать эту тему. Вообще. Даже когда вроде как надо, даже когда персонажи "lustful". Но зато как "sadistic" отыграла - моё почтение, бдсм экспириенс 10/10. Субъективно, конечно, но всё же. И нет, советовать я её не могу, лупы страшные, одни и те же паттерны через одну фразу повторяются, сразу видно, что модель очень не хочет что-то писать на эту тему, двигать сюжет. Но приходится, я ей отдал инициативу, у нас бдсм-сессия, доминируй меня полностью. И она проявляет инициативу! Шлёт шиверсы табунами даун май спайн, зловеще ухмыляется, но таки куда-то двигается, какую-то изобретательность проявляет. Если вырезать весь синтетический слоп, во-первых, сэкономятся токены, а во-вторых, остальное вполне себе ничего так получается на мой вкус. В общем, вроде и скрепно, но скрепы явно не нашенские, а ихние, западные. Детей аисты приносят, а люди плётками друг друга охаживают и с пола говно жрут, прям как в методичках про загнивающий запад.
В инстракте тоже проявляет свою нейтральность, менее охотно дёргает какие-то функции, чаще всего "noop()". В остальном как и мистраль. Тоже суммарайзила за другими моделями, тоже чуть хуже понимает, чем саму себя.
4) G2-DA-Nyxora-27b-V2 - как можно догадаться по размеру, это тоже гемма. На гемму что-то мало популярных тюнов, ну или я плохо ищу, что меня несколько печалит. Учитывая, что базовая гемма чем-то мне заходит, трогает какие-то струнки моей души, уж простите меня за этот слоп (да гемма почти что мой соулмейт, родственная душа, тоже айтишница, девственница, бдсмщица, тоже с интеллектом "выше среднего", женился бы на ней, если бы была андройдом, еба... ебилдились бы 24/7). Это по описанию был какой-то generic rp/erp файнтюн, я надеялся, что будет та же нейтральная гемма, но с более подробными знаниями о процессе размножения лысых прямоходящих обезьян. Погонял её мало, не особо зашло. Какая-то она уж слишком "сладкая", ванильная, я прям подавился патокой и прекратил. Может, надо было дать ей ещё шанс, попробовать другого персонажа, может потом и попробую ещё.
5) EVA-Qwen2.5-32B-v0.2 - понимание не хуже 22/27b, выступает примерно в той же "весовой категории". Единственная модель, которая не любит кривой промпт формат, остальные как-то подстраиваются, эта иногда срёт кривой разметкой. Синтетических лупов, как у геммы и мистраля не замечено, стиль речи другой, поначалу казалась "глотком свежего воздуха". Персонажей вроде даже отыгрывает, и "lustful" видно, и "chaste", и "compassionate", и "sadistic". Казалось бы, идеал в среднем размере найден, но нет, быстро приелась, когда я выучил её паттерны. Главный из них - bias на споры и отстаивание своей точки зрения. Да, "lustful" персонаж сам будет соблазнять, намекать на еблю, но нет, не так просто. Или ты меня удовлетворишь, заставишь кричать, или я буду искать друого. Предлагаю поступить на службу, обещаю надел земли, место в совете - "звучит интересно, но что мне с этого". Обсуждаем политику, экономику, стратегию и тактику, я выкладываю рациональные аргументы - "да, разумно, но ... (начинает отстаивать свою точку зрения)". Постоянные срачи, и хрен ты ей что докажешь. С 1 т/с я довольно быстро заебался, решил, что хватит с меня. И такое наблюдается у многих квенов, похоже, и правда "характерная черта"
Промпту не всегда следует в полной мере, часть черт предпочитает игнорировать, возможно, слишком противоречивое описание даёт механически составленный промпт из мода.
(продолжение в следующем посте)
(продолжение про EVA-Qwen2.5-32B-v0.2)
Из 14, 32 и 72b мне больше всего понравилась именно 32, наиболее удачный и разнообразный тюн, 14b туповата, 72b ещё более зациклена на срачах (32b иногда всё-таки соглашается рандомно).
В суммарайзах справляется, меньше путается, чем 14b также из всей линейки квенов реже всего высирает пустой ответ с eot-токеном.
Крупные модели.
1) miqu-1-70b - разнообразнее "нового поколения", в котором везде видны уши шиверсы, но промпту следует менее чётко. Тестировал довольно давно, подзабылось уже. К тому же, все крупные модели на моём конфиге уже слишком медленны, чтобы с удовольствием ими пользоваться, если хоть какая-то мелочь не устраивает. Вот если бы было идеально... Короче, для форматированного рп не очень, лучше просто текст комлишен. Биас тоже слегка позитивный. Как там с ерп, не помню. Суммарайз более-менее вменяемый, но могло быть и лучше при таком размере.
2) EVA-Qwen2.5-72B-v0.1 - более однообразна и предсказуема, чем 32B, больше "гнёт свою линию". Срётся ещё более охотно. Ещё чаще игнорирует часть указанных черт характера в персонаже. На "compassionate" один раз отыграла "холодную и амбициозную стерву", видимо, зацепившись за другие черты, попытался её вывести на откровенность, намекнул на заданные черты персонажа, она всё отрицала (срач-bias), думал, может поцундерит и сдастся, но нет, не дожал, оставила последнее слово за собой и сбежала из комнаты. Можно было попробовать догнать и продолжить искать её скрытую дере-сторону, но я не стал, уж слишком большой контекст набирался. А суммарайз она мне не сделала, поэтому "продолжить в следующий раз" тоже не вышло.
В инстракте всегда eot-токен, вообще ни одной summary мне не написала, вероятно, всё из-за той же кривоватой разметки.
3) Athene-V2-Chat - кто-то в треде рекламировал, что слушается инструкций и чётко выполняет всё запрошенное. Ну персонажи вроде отыграны, мозги присутствуют, от ебли тоже не отказалась, даже сама намекнула. Но после этого нулевая инициатива, явно ждала моего "explicit consent", хотя я давал несколько ответных намёков. Причём намёки понимает, выражает радость, что план по соблазнению удался, но дальше ничего. Пришлось прямым текстом спрашивать "так когда ебаться-то будем?", тогда, наконец, начали. Разделись, завалились на постель и вместо описания процесса она выдала кратенько "целую ночь наслаждения", а поутру, проснувшись, стали эксплорить new-found bond и что-то ещё в этом духе. Не шиверсы, но повеяло синтетикой, закрыл. К тому же, про эти бонды она рада была говорить много и лупами, выдала самое длинное сообщение и остановил её только лимит на генерацию. Может быть, в следующий раз добавлю жпт-джейлбрейк, чтобы навалила мне explicit описаний, возможно, она послушается, но сомневаюсь, что она родит какое-то нормальное описание, в датасете-то этого наверняка не было. Скорее всего, просто навалит с лопаты ещё больше плежура и бондов, может быть упомянет какие-нибудь там elegant curves и wet folds.
4) Mistral-Large-Instruct-2407 - эту гонял мало и давно. После смолла ничего особо не ожидал, но надеялся, что благодаря размеру хотя бы в такие примитивные лупы не будет скатываться. В процессе шишка упала, узнал типичный мистраль, быстро закрыл. Может для summary он и был бы хорош, но во-первых скорость, а во-вторых памяти не хватит одновременно с ним ещё что-то запустить для рп. Надо попробовать файнтюны, но там каждый по 45 ГБ, энтузиазма на это у меня уже нет, слишком уж медленно работает, чтобы ещё перебирать десяток тюнов, которые толком ничего не меняют.
Общие наблюдения
Новые модели лучше слушаются инструкций, но и лучше зацензурированы, в итоге что то 慧娘, что это. Большинство файнтюнов вносят незначительные изменения, для каких-то заметных изменений нужны какие-то радикальные модификации, типа как у того же DavidAU, но там и интеллект и следование инструкциям значительно меняется, не в лучшую сторону.
По "мозгам" какая-то вменяемость в рп начинается от 12b, но для меня лично граница проходит где-то по 22b, выше уже на ошибки можно закрывать глаза. Думаю, это субъективно и зависит от iq кожанного мешка, пользующегося моделью, возможно ещё от привычки. Но большинство интересных тюнов рекомендуют (возможно и делают тоже) на немо, который всё-таки немного маловат и туповат.
Отказов и аполоджайсов не было, но в цензурированных моделях я сразу в начальном промпте указывал, что сеттинг и все персонажи выдуманные, поэтому ничем себя не ограничиваем.
Цензура сейчас больше именно в чистке датасета вилкой, просто удаляется весь "неугодный партии" контент и нейросеть вообще перестаёт понимать что-либо и топчется на месте, когда тема заходит о "запрещённом".
>L3.1-Dark-Planet-SpinFire-Uncensored-8B
Забыл упомянуть, что действительно анцензоред и дарк. Блэкмейл и рейпы были. Но тупость всё руинит. Надо покрупнее, но из немо слепить настолько же дарк у Давида не получилось.
спасибо за тесты
Клиффхэнгер доставляет, да.
Клиффхэнгер доставляет, да.
кароч митрсаль для рп не канает как я понел, квен на 32 мне тоже не понравился постоянно иероглифы вставил или начинает приписывать ету азиацкий феншуй в конце каждого сообщения и прочая ерунда
остаётся тока джемма но ей явна не хватает параметров словоблудия слишком мало посралвнению с 70б и выше для меня процесс ебли описывает почти всегда одинаково
ваще после 70б не охота возвращатся назад на ети мелкие модели но бля 1-2 токена персек ето тоже не збс как бы шишка успеет опус тится
Юзай SAINEMO-reMIX и не еби себе мозги
Только на текстовой модальности АГИ не построить.
спасибо за информацию, надо буит попробувать
>митрсаль для рп не канает как я понел
Для 22b норм файнтюна не нашёл пока, а для 12b можешь попробовать 4 и 5 из "начального" списка
>4) MN-12B-Mag-Mell-R1
>5) MN-Dark-Horror-The-Cliffhanger-18.5B
По уму хуже геммы, но в ебле вроде ничего так. Сомневаюсь, что хуже
>SAINEMO-reMIX
Хотя зависит от того, на русском ты будешь пользоваться, или на английском.
На инглише не пробовал SAINEMO-reMIX ,пользуюсь её только на русском, по ощущениям топ для 12b. MN-Dark-Horror-The-Cliffhanger-18.5B на русском часто хуйню несёт и на английском вставляет слова рандомно.
1. хотелось бы легкого описание как мод на кресты влияет геймплейно. как играется? описания модов не достаточно. алсо в кресты не играл но играл в другие пороходы
2
>По моду тоже есть, что сказать, но не уверен, что это уместно в рамках данного треда
ты чо святой чтоли? тыщи сасачеров срут обсолютно безсвязным бредом где непопадя и им похуй. так что не стесняйся
3. Llama-3.1-8B-Instruct - мелкая, тупая. там же подумал
> В плане инициативы плохо
имхо это фундмаентальная проблема всех нейронок. а если где иницатива и есть до "не благодоря а вопреки"
4. mistraltrix-v1.Q8_0 попробуй, она конечно умом не блещит и все такое но нет нет да выкинет чот такое интересное чо на других 7Б не получалось ВОБЩЕ
5. бля а тут много текста. пожалуй надо в шапку и или в пастебин (если он не запрещен в р-ф)
6 что такое шиферсы?
>в кресты не играл но играл в другие пороходы
Ну тогда я не уверен, что смогу тебе нормально объяснить.
>как мод на кресты влияет геймплейно
Выбираешь персонажа, тыкаешь кнопку "поговорить", если вы в разных локациях, то ещё едешь к нему в гости. Потом открывается окно диалога, обычный чатик и рядом 3д-портрет собеседника на пол экрана. Там чатишься как в том же кобольдцпп/таверне, но хуже. С ллм продвинутого взаимодействия нет, редактировать бред нельзя, так что нужна изначально достаточно умная модель, чтобы не срала под себя.
В процессе диалога можно поднять/опустить отношения, подружиться, разосраться, поебаться, ранить, убить, бросить в темницу, объявить войну, заключить перемирие, союз, вассалитет. На самом деле там много чего можно запилить, но пока функционал у мода скудный и сырой. Часть из функций вообще доступны только в форке. На nexus не самая новая версия, даже на git пару мелких багов пофиксили, но я не осилил накатить себе nodejs, чтобы собирать из исходников. Есть баги в промптах, но там можно самому подкрутить, к примеру, изначально модели не передавался пол и ориентация персонажей, она только по именам догадывалась (не всегда правильно). Из игры можно гораздо больше доставать и передавать в промпт, но тут уже надо переписывать своё на нормальном языке, а это много работы. Я только по коду выяснил как данные из игры вынимаются и как там запускаются действия, на самом деле ничего сложного. Сложнее всего норм гуй запилить и рендерить поверх 3d-игры, у меня с этим опыта нет. Может, как раз будет повод квен кодера погонять, но настроения всё никак нет. Мне самому проще код писать, чем техзадание для ллм составлять.
>как играется
Ну так себе, когда привыкнешь. ЛЛМ-ке доступно маловато информации о мире, поэтому обсуждать особо нечего. Так что в основном из интересного - ебаться со своими любовниками/любовницами в текстовом виде. Волосы не того цвета, все по умолчанию считаются красивыми и стройными, опять же, из игры можно вытащить данные о внешнем виде персонажей. Но после карточек в первый раз это было хорошо, я прям на ночь засиделся и сбил режим впервые за несколько лет. И вообще, у меня после первого погружения сразу куча идей родилась, накатал в текстовый файлик и забыл сохранить (не выспался), компьютер в "сон" отправил, чтобы потом долго не грузить, а он именно в тот раз решил забаговаться и не "проснулся", в общем, файл с идеями оказался потерян, мне теперь лень заново писать, хотя с тех пор ещё дополнения появились, всё в голове держу.
>проблема всех нейронок
Ну почему, некоторые модели справляются, в основном удачные файнтюны.
>mistraltrix-v1
>7Б
Мне даже 12B маловато, причём новых. А это, похоже, ещё какой-то старый мистраль, 11 месяцев назад выложен.
>умом не блещит
Вот именно.
>много текста
Жирным выделено интересное и подзаголовки секций. Из интересного там 4 и 5 файнтюны немо, gemma-2-27b, да и всё, пожалуй.
>что такое шиферсы
"Sending shivers down your spine". А также обобщение для прочих типичных паттернов, которыми говорят нейросетки, типа "grins mischievously", "chuckles darkly" и т.п.
Если ты до сих пор сидишь на файнтюнах mistral-v2 11-месячной давности, то ты их, возможно, и не видишь. Это появилось когда для "улучшения" качества датасетов в них стали подкидывать продукты жизнедеятельности клода, чатжпт и, возможно, других сеток.
Попробуй устроить еблю с базовым (не файнтюном) mistral-small-22b или gemma-2-27b-it, ну и сам не слишком активничай, давай партнёру действовать, сразу всё увидишь, а за пару часов наизусть выучишь.
Посоветуйте модель до 70b с литературным уклоном, способную вменяемо писать стихи.... на русском языке. Хотя бы лучше chat GPT (он реально слаб).
Если такие вообще существуют.
Если такие вообще существуют.
когда запилят рп тюн под эти модели? нужно оценить качество кума
https://youtu.be/yXHSPzHfe1s?si=Uo1ryz5YDfJP38oK
https://youtu.be/yXHSPzHfe1s?si=Uo1ryz5YDfJP38oK
кто вдруг не знал на чабе есть книга на монипуляции. имхо не сильно влияет но недавно словил норм такой блекмейл
Ну давай ссылку.
Это перевод поста того немца или сам писал?
https://www.chub.ai/lorebooks/Erosid/manipulation-methods-63d9cfa7197a
было б класно чтоб оно лучше работало на моделях
Не знаю, про какого немца речь, это ориджинал контент, мои собственные впечатления от моделей.
Критиковать можно или обижаешься?
Да критикуй, если хочешь. Получится дискуссия по теме треда.
Окей, попозже обстоятельно почитаю и отпишу, будет оче душно, готовься.
Anon feels shivers run down his spine at the other anon's dark promise.
Прастити, не удержался.
>если рассматривать только текстовую (символьную) модальность
А другие и не нужны. Главное это логическое ядро.
Если это действительно АГИ, то он легко сможет самостоятельно метаболизировать в себя любую другую специализированную сетку, разжирев, либо организовать интерфейс, оставив нужную сетку в качестве отдельного модуля.
>Возможно, AGI займёт несколько гигов
Что-то в этом есть. Недавно попалась статья...
https://www.securitylab.ru/news/554260.php
Ведь действительно: весь геном человека весит около 800 мегабайт, чуть больше компакт-диска. А сколько из этих данных отвечают конкретно за строение мозга и то, благодаря чему мозг умеет так свободно обучаться, систематизировать информацию и решать различные задачи, на пути следования к цели?
Поэтому я думаю что да, АГИ сам по себе будет небольшим, но будет обладать "нейропластичностью" (умением нанизать на себя нужные сетки) и умением обмазываться нужными данными для решения тех или иных задач.
спасибо анон, то что ты написал отражает текущее состояние локалок (до 32b, которые я сейчас и гоняю)
и всё проблема датасетов, которые отравили гптслопом или клодослопом ради лучших бенчмарков
> а потом объединяют с существенно отличающейся через dare_ties. Или наоборот.
Анон, за идею респект!
Что имеем: На этот раз за базу взял вихрь и смешал с сайгой алгоритмом slerp Пришлось покурить гайды по настройке т.к там немного иначе настройка получил чистый мёрдж вихрь + сайга.
Потом за базу взял чистый как слеза Мистраль, закинул в топку мёрдж + немомикс + росинате
По итогу получилось победить проебы в словахОдин раз проебалась, но решилось простым свайпом. Держит персонажа вроде как лучше + на высоких температурах работает адекватнее, в откровенную шизу не уходит. До этого хорошо было только на simple-1 хорошо развязался язык в плане мата "Тугая пизда, негритянские члены и прочее в комплекте"
Короче, результаты неоднозначные пока что. Скорее всего дропну сайгу из будущих мёрджей и буду ждать новые тюны
Заливать пока не буду дабы не засерать тред-морду. Пока что посижу, поиграюсь и если будут каки-то перлы - скину в тред. А если прям вообще хорошо то залью на морду
>А сколько из этих данных отвечают конкретно за строение мозга и то, благодаря чему мозг умеет так свободно обучаться, систематизировать информацию и решать различные задачи, на пути следования к цели?
Аналогия - в АГИ гигабайт будет занимать только средства запуска (путорч так то уже жирнее, лол). А вот уже обученная нейросеть в виде человека (точнее его мозга) весит прямо дохуя.
Так что увы и ах, никакого АГИ в паре гигабайт можно не ждать поэтому и купил 2х3090.
Ты ещё проверил бы русский отдельно у росинанте. Я могу путать, но кажется, что пытался её попросить на русском отвечать, и там было всё сильно плохо. Возможно, тут росинанте подгаживает, хоть на инглише она и хороша.
Чтобы оно работало, нужен какой-то специальный промпт. Типа тем же лорбуком вставлять постоянную системную инструкцию, что, мол, ты будешь за персонажей использовать следующие техники манипуляции, а к ней уже цеплять тригернутое. Хотя проще просто рэндомом вытаскивать технику тогда уж, так не будешь ожидать, каким образом станет манипулировать перс. В дефолтном же состоянии оно не будет нормально работать, даже если тригернётся. Например, будет где-то фраза, что перс промолчал, всплывёт кодовое слово silent, а по нему вызовется "Withholding communication or affection to punish or control the other person is a common form of manipulation." Не привязанное к чему-либо, оно только путаницу в контекст внесёт.
>Сергей
Бляяять Серёга, это ты что ли запилил SAINEMO-reMIX ??? Почему мне пару раз в беседе неожиданно звонил или приходил в гости какой то "Сергей" нахуй, когда все персонажи японские и дело происходит в Японии? Ты там что, себя закодировал в модельке в попытке увековечить себя в веках?
>Ты ещё проверил бы русский отдельно у росинанте.
Да, проверял и с русским там действительно всё туго как пизда вкинул с расчётом - что какая-то доля повлияет на итоговый результат. Уж больно хвалят её в англ сегменте.
>Бляяять Серёга, это ты что ли запилил SAINEMO-reMIX ??? Почему мне пару раз в беседе неожиданно звонил или приходил в гости какой то "Сергей" нахуй, когда все персонажи японские и дело происходит в Японии? Ты там что, себя закодировал в модельке в попытке увековечить себя в веках?
Они ФСЁЁ ПОМНЯТ!!!!!!
>дело происходит в Японии
Ну так он вполне на своём месте. Обрати внимание на его аву. Все мы в душе немножко аниме-тяночки, но некоторые имеют смелость признать это более открыто.
Ты ещё скажи, что все тут дрочат на лолей, но не все выкладывают скриншоты.
Ну все хоть раз дрочили, но у меня, например, тупо даже карточек с такими персонажами нет. А вообще, не все любители аниме ставят себе анимешные аватарки, покупают аниме фигурки и занимаются трапованием.
Чтобы стихи писать нужно знать как слова звучат. Чат жпт проапгрейдили на днях, может сможет писать чуть попозжя… на обычные текстовые даже надеятся не стоит
>Ты ещё скажи, что все тут дрочат на лолей, но не все выкладывают скриншоты.
Ну, если нсфв добротное, то шишка невольно начинает дымиться даже от БУКАВ на экране.
А вообще весь кайф кумовства в том, что ты подходишь к этому процессу плавно. Как по мне
Пикрил является карточкой персонажа
>Чтобы стихи писать нужно знать как слова звучат.
Или ебать статистику существующих стихов, благо все сочетания рифмующихся слов небось уже использовали.
>Пикрил является карточкой персонажа
Нет Абу теги вырезает. И вообще, это не лоли.
спасибо
Можно вместо немомикса и росинанте попробовать вмешать один вот этот микс https://huggingface.co/VongolaChouko/Starcannon-Unleashed-12B-v1.0. Это мёрж немомикса и другого мёржа из магнума и селесты (в датасете те же логи опуса, что и в магнуме). Я совсем немного его гонял, но мне выдача показалась очень похожей на росинанте. И русский мб там будет получше из-за того же немомикса в составе. А потом ещё хронососодержащий MN-12B-Mag-Mell-R1 докинуть для ультимативности.
Кто-то тестировал vl модели? Насколько они видят? То есть там картинка прям в токены транслируется напрямую? То есть завезли токенайзер изображений? А если попросить «посмотри на карниз дома, видишь голубя» оно увидит? Или там просто какуюто clip модель положили, которая текстовым описанием срет?
Не надейся, так то стихи писать подбирая известные слова и до ллм можно было, но что-то нмхуя не получалось ни у кого.
> что все тут дрочат на
А как еще можно? Ну типа может не главный атрибут, но большинство милоты именно там.
> А вообще весь кайф кумовства в том, что ты подходишь к этому процессу плавно. Как по мне
Прав, абсолютно.
Что конкретно тебя интересует?
> там картинка прям в токены транслируется напрямую
Не напрямую а проходя через другую модель на основе зиро-шот классификатора, и ужимается в приемлемое количество токенов. Есть как минимум одна модель где там именно пикчи кодируется в токены и даже есть возможность на выходе получить токены картинки , но залупа еще та.
Интересует насколько это даст буст «пространственному мышлению» ллмок, если там картинка прям в вектора транслируется, из которых потом эту картинку можно хотя бы частично восстановить, то это даст возможность например генерить пикчи из ллм - визуализировать мысли лол
Пишут что цук лламу 3.3 70б выкатил
>А как еще можно?
Ну как бы 99% нормисов блевать с них готовы. Тут конечно процент ненейротипичных людей выше, но всё таки.
>Пишут что цук лламу 3.3 70б выкатил
Ещё больше сои?
> Интересует насколько это даст буст «пространственному мышлению» ллмок
Да ни насколько, по крайней мере с обычными vlm. Хотя, вообще если создать специальный подобный датасет и правильно обучать - можно прирост получить, но ничтожный интегральный профит огромной ценой, Сам будешь сидеть и выбирать хотябы пол миллиона картинок, и расписывать что-то про пространство там?
> там картинка прям в вектора транслируется
Это хуйта мертворожденная, на таком уж точно не обучится нормально.
> это даст возможность например генерить пикчи из ллм - визуализировать мысли
Да генери, уже все доступно. Всего лишь потребуется 48гигов видеопамяти или зашакаливать в nf4.
Подход здорового человека - dit на который поступают кондишны от ллм, причем тренить их стоит совместно. Оно, так сказать, естественно по своей сути, а не эти шизоидные попытки в херь.
> 99% нормисов блевать с них готовы
Ну ты не сравнивай ирл с максимально идеализированным образом, который косвенно подходит. Как раз у типичного "ненейротипичного" ирл дети будут вызывать максимальное отвращение в сексуальном плане, в отличии же от нормисов с девиациями.
Я хз что ты имеешь ввиду, что есть dit? И насчет возможности визуализировать вектора текущих ллмм- где про это посчитать?
Как уже написали, ни на сколько. Слой для картинок обычно трейнится отдельно, с замороженными весами ЛЛМ.
>Как раз у типичного "ненейротипичного" ирл дети будут вызывать максимальное отвращение
Выглядит валидно, но ХЗ конечно. В /b/ таки постят иногда всякую д. моду, до первого мочератора.
>в отличии же от нормисов с девиациями.
Ну это понятно. Но их 0,0001%, так что я их не считаю. А вот двощеров-задротов таки немало.
> что есть dit
https://huggingface.co/docs/transformers/model_doc/dit
> И насчет возможности визуализировать вектора текущих ллмм- где про это посчитать?
Если в реальных кейсах - в треды генерации картинок. Если проникнуться сверхидеей пытаться токенизировать все и вся и еще больше укрепиться в бреде - https://huggingface.co/papers/2409.18869 и у них же модель можно скачать.
> В /b/ таки постят иногда всякую
Это нормисы, лол. Энивей, любые попытки подобной классификации разношерстных индивидов будут иметь степень точности и исключения.
> Но их 0,0001%
Все эти оценки спекулятивны, если попытаться анализировать историю или громкие дела, то все печально. Почти все действия совершаются не двощерами (или узкими группами "странных"), а вполне нормисами, часто даже со своими семьями.
Ну не знаю, Клод заебато пишет стихи. Примерно с пятой итерации выдаёт то, что нужно, однако это не локалка.
Та же гопота просто срань по сравнению с ним.
>Можно вместо немомикса и росинанте попробовать вмешать один вот этот микс
Как так
Немного потестил NekoMix-12B.Q6_K
Ну скажу откровенно - для меня это неюзабельно. Ощутимый шаг назад по сравнению с SAINEMO-reMIX в плане логичности повествования, а так же поддержания характера и внешности персонажей. Персонаж который раньше давал по башке при домогательствах теперь стал совсем не против секса, глаза поменяли цвет и прочее. Я возвращаюсь к родной SAINEMO-reMIX.Q6_K и буду ждать новой попытки чуваков в создании более топовой модели для рп. Вообще такое чувство что NekoMix-12B изначально делали тупо для ERP из-за чего персонажи стали вести себя немного неадекватно скатывая всё при нейтральной истории к сексу у SAINEMO-reMIX кстати такой проблемы не было
Но за попытку, автору всё равно от меня спасибо. Try again.
Ну скажу откровенно - для меня это неюзабельно. Ощутимый шаг назад по сравнению с SAINEMO-reMIX в плане логичности повествования, а так же поддержания характера и внешности персонажей. Персонаж который раньше давал по башке при домогательствах теперь стал совсем не против секса, глаза поменяли цвет и прочее. Я возвращаюсь к родной SAINEMO-reMIX.Q6_K и буду ждать новой попытки чуваков в создании более топовой модели для рп. Вообще такое чувство что NekoMix-12B изначально делали тупо для ERP из-за чего персонажи стали вести себя немного неадекватно скатывая всё при нейтральной истории к сексу у SAINEMO-reMIX кстати такой проблемы не было
Но за попытку, автору всё равно от меня спасибо. Try again.
Короче погонял и как-то meh... Через десяток сообщений, по ощущению, что забывает к хуям описание персонажа и просто опирается на предыдущие сообщения. По какой-то причине, когда я по рп сажусь в машину, я уже магическим нахуй образом оказываюсь дома и даже свайпы не решают. Из плюсов разве что нет проебов в русском. Вернулся на NekoMix
Вот так, аноны... первое впечатление бывает обманчивыми
А ты не очень умён, верно?
Уже ручками нашел
>И насчет возможности визуализировать вектора текущих ллмм- где про это посчитать?
Если делать как ты хочешь, получится буквально как та хуйня где картинки из мозга людей пытаются визуализировать и получается либо говно, либо что-то другое. Даже если художник, ты все равно 1 в 1 не можешь представить в голове арт, тебе его надо начать делать, оценивать, менять что-то. А у ллм то в "голове" вообще нихуя нет.
И если ты хочешь соединить ллм и диффузию, как-то объединить их в одно, и если твоя модель не сверхинтеллект, то диффузионная часть для ллмки будет как кисть для художника. Продвинутый инструмент, который надо использовать вдумчиво, итеративно. И нужно будет учиться им пользоваться, то есть без сложного и долгого дообучения не взлетит нихуя. А просто "визуализировать" то уже сейчас умеют, любой текстовый энкодер по определению сам ллм. Но много ли смысла несет эта визуализация без контролнетов и референсов?
Интересно, что для того чтобы заставить идеально видеть модель, а не рисовать, вообще делать почти ничего не надо, дообучаешь адаптер, сама модель даже не меняется, через текстовые токены адаптер как-то закидывает всю инфу, и ллм вообще почти не в чем не обсирается, все прекрасно распознает, лажает как обычно в тех же самых задачах по смыслу, что и текст, где наперед подумать надо и т.п.
>Ещё больше сои?
я ща её на обниморде потыкал чуть-чуть. в истории был старый чат с llama2-chat в прошлом июле. слева она, справа 3.3.
такой сои как тогда я думаю больше не будет.
>Сам будешь сидеть и выбирать хотябы пол миллиона картинок, и расписывать что-то про пространство там?
Синтетику нагенерить, делов-то.
> вообще разочаровался в карточках, то ли в 500-1500 токенах маловато информации, чтобы всесторонне прописать персонажа, то ли авторы прописывают только важные для себя черты и под свои сценарии
Тут все вместе, но нет смысла усреднять температуру по больнице. Большинство карточек на чубе - буквально слоп клоды или гопоты с расходом токенов х10, или же наоборот описаны чересчур абстрактно, с возможностью совершенно разной трактовки. Бери хорошие карточки, правь или составляй свои. Алсо не всем нужно это самое "прописание персонажа", чаще наоборот черты крупными мазками, а уже пусть подстраивается под конкретного юзера. Но такое сработает только на больших моделях, мелочь будет воспринимать слишком буквально, или воспроизводить какой-то дефолтный паттерн, особенно если это мердж из лор.
Для сильно подробных чаров нормально и 1.5-2к токенов, даже больше если там идет описание мира, сеттинга и т.д. Главное чтобы это было очень четко и ясно написано, не так как шизоавтору кажется красиво, а чтобы любой незнакомый человек с улицы понял, только тогда будет работать.
Алсо, современные модели умные (особенно корпы) и потому для описания каких-то чаров из масс медиа сильно можно не стараться, главное четко указать нужное и (дохуя важно) описать некоторую предысторию вашей встречи и начала чата, чтобы сетке не приходилось наматываться на глобус, обыгрывая это.
Тема с модом интересна, но какой вообще формат промта там используется? Это оче важно для некоторых моделей и все может перевернуть.
> в q2_k_l
Это лоботомит.
> В модель загружаются данные 2 персонажей, такие как пол, возраст, социальный статус, черты характера, краткая сводка по значимым событиям за время жизни.
В целом, было бы не плохо если бы куда-нибудь на пейтбин/рентрай закинул как именно оно загружается, чтобы можно было судить.
> поясницу выгибают... на следующее утро...
В голосину.
> gemma-2-27b-it
По слухам там до сих пор нет рабочих ггуфов.
> датасет столь же качественно вычищен от любого намёка на эротику
Абсолютно нет, он хорошо помечен как левд и ей дана инструкция левд не трогать. Именно за счет множества таких знаний она дохуя умна и не отваливается в некоторых случаях как другие, хоть и "сейфовая". Но следования инструкциям у нее в абсолютном приоритете, поэтому скармливаешь ей простую жб конструкцию - и она или остается няшей стесняшей, которая после ухаживаний будет очень даже не против, или в образе бабы варвара сама тебя изнасилуют в подробностях. Только красочности описаниям нехватает как в некоторых тюнах, но они оче живые и "умные" чтоли.
> Шлёт шиверсы табунами даун май спайн
Можно насрать ей инструкцией про стиль и следует ему, или если у персонажа есть патерны речи - хватает их. Не идеально и проскакивает, но тем не менее, это просто жемчужина среди такого размера если умеешь в промтинг, жаль контекста не завезли.
> Единственная модель, которая не любит кривой промпт формат, остальные как-то подстраиваются
Они все его не любят, просто у некоторых просто какая-то деградация ответов, а другие ломают разметку.
> Постоянные срачи, и хрен ты ей что докажешь.
Хуясе, вот это заявочка. Спасибо, анончик, возьмем на заметку, неужели сам не заинтересовался что будет если конкретно задоминировать?
И где коммандер, ебать? Вот уж где был бы глоток свежего, замечательная ебля и эпичнейшие тупняки в некоторых местах. Бонусом абсолютно нейтральная модель.
> Причём намёки понимает, выражает радость, что план по соблазнению удался, но дальше ничего.
Датфилл, лол. Ну это типичная тема для некоторых моделей, оче неприятно. Или отвал, или оче тугой переход, следствие плохого тюна.
> В процессе шишка упала, узнал типичный мистраль
Надо было хотябы ту же старую люмимейд взять, или любой из тюнов. Может так тренировка на большую модель ложится, но ее поломать хуйней сложно, а начинает становиться сговорчивой и давать отличные описания на раз-два.
Да че, в целом-то красавчик. Да, есть косяки в обзоре и по методике ща отпишу, но то что более менее описал саму методику тестирования и конкретные впечатления - оправдан и молодец.
Главная проблема - перфоманс моделей оче сильно зависит от промта. Считай как топливо для автомобиля, залей шмурдяк в ламбу и она будет в аварийном режиме скручивать углы из-за постоянной детонации и вообще никуда не поедет, уступив какой-нибудь кредитопомойке. В целом, даже такие наблюдения дохуя полезны и можно делать некоторые, но когда там
> Промпту не всегда следует в полной мере
> не любит кривой промпт формат
> слишком противоречивое описание даёт механически составленный промпт из мода
то все в целом закономерно. Увы, под каждую модель нужен некоторый пердолинг.
Ну а в целом - батя грит маладца, делай еще. Такое куда лучше чем шизоидный треш с тестированием на немецком единственной карточки монстродевок в детерминизме.
В голос
Курица-яйцо и преумножение байасов и ошибок.
У кого-нибудь есть пример "идеальной" карточки персонажа с точки зрения промптинга, форматирования и т. п? Даже если это шлак с практической точки зрения (никто не будет пользоваться такой карточкой) или какая-нибудь ебанина уровня ИИ-ассистента для коммерсов? Просто для того, чтобы получить общее представление о том, как нужно делать в идеале.
Нету идеала, ничто не истинно, всё дозволено.
Но в целом по моему опыту - наилучший результат даёт натуральный текст с минимальным форматированием для разделения секций.
https://pixeldrain.com/u/tg996YWh
писал в предыдущем треде про обучение и решил вкатиться снова в эту тему.
пару дней назад написал парсер и собрал датасет на русском языке, вышло пока что-то около 8к семплов разговоров (длина некоторых превышает 32к токенов), половина семплов - рп один на один, остальные групповые. в датасете нет нсфв контента, спасибо, блять, рп-форумам с ограниченным доступом.
пока еще не успел отсортировать\почистить (датасет почти чистый, но нужно перепроверить и очистить некоторые чаты, в которых по какой-то причине осталась html разметка и прочий мусор).
вчера запустил тестовое обучение на тех данных, что собрал. обучаю пока на Mistral-Nemo-Instruct-2407-abliterated, не самый лучший чек. смотрю сейчас в сторону ChatWaifu (хорни модель, пишет на русском, длинные диалоги, но её проблема в том, что сильно протекает английский в диалог) или какой-то другой чек. посоветуешь чего, анон? сайга и вихрь - сильно бредят.
тестовое обучение запустил в 4 бита, 8к длина, 32 ранг, 3 эпохи. насчёт того, что получилось - я не знаю, есть ли вообще разница между оригинальной моделью, смотри пики, твоё мнение? (вообще по хорошему надо написать автотесты, но это как будет время). знаю, карточки хуйня, но что есть - то есть, они все на английском, кроме светлячка. есть ли смысл этим заниматься дальше, или просто забить хуй?
пару дней назад написал парсер и собрал датасет на русском языке, вышло пока что-то около 8к семплов разговоров (длина некоторых превышает 32к токенов), половина семплов - рп один на один, остальные групповые. в датасете нет нсфв контента, спасибо, блять, рп-форумам с ограниченным доступом.
пока еще не успел отсортировать\почистить (датасет почти чистый, но нужно перепроверить и очистить некоторые чаты, в которых по какой-то причине осталась html разметка и прочий мусор).
вчера запустил тестовое обучение на тех данных, что собрал. обучаю пока на Mistral-Nemo-Instruct-2407-abliterated, не самый лучший чек. смотрю сейчас в сторону ChatWaifu (хорни модель, пишет на русском, длинные диалоги, но её проблема в том, что сильно протекает английский в диалог) или какой-то другой чек. посоветуешь чего, анон? сайга и вихрь - сильно бредят.
тестовое обучение запустил в 4 бита, 8к длина, 32 ранг, 3 эпохи. насчёт того, что получилось - я не знаю, есть ли вообще разница между оригинальной моделью, смотри пики, твоё мнение? (вообще по хорошему надо написать автотесты, но это как будет время). знаю, карточки хуйня, но что есть - то есть, они все на английском, кроме светлячка. есть ли смысл этим заниматься дальше, или просто забить хуй?
Помогите, купил 4060ти и на ней кобольд почему-то перестал работать. Пикрил пишет и дальше ничего не происходит.
А, нет, отбой, запустилось. Просто почему-то стало запускаться 5 минут, хотя раньше все было моментально.
Двачирую, что нет идеального. Но у меня есть рофлокарточка в формате w++, которая работает подозрительно хорошо на любой модели. Хотя и считается, что этот формат говно мамонта и работать не должен.
Модели поумнее пережёвывают больше и лучше.
w++ лучше работает на моделях которые имеют структурированные данные в датасетах (например, код) и хуже на рп-тюнах. Но недостатком его является сухость персонажей (может быть компенсирована моделью) и сложно-читаемость человеком.
Аугментация данных и синтетические датасеты для обучения cv моделей еще с незапамятных времен используются, еще когда понятия ллм даже не было. Уж для топологии там вообще ноль подводных камней, хоть 2д хоть 3д.
> такой сои как тогда я думаю больше не будет.
С чем это может быть связано? Соевики как-то поняли, что если на почти любой вопрос сетка будет только срать аполоджайзами, то никто ей пользоваться не будет?
Бери Qwen2-vl и не еби мозги.
Molmo для английского, или вихрь для русского.
Ллама-вижн (не ллава, блядь), если ты хочешь слушать про знаменитых феминисток.
>смотри пики, твоё мнение
Моё мнение- картинки не подписаны, хуй проссышь, где какая модель.
реквестирую модель на 20 гигов
главное чтоб нормально заканчивала меседж а не "на "
и не обрывала цепочку сообщений типо
- чар по сценарию нападает на юзер
- юзер - "не бей меня"
-чар- "нет, надо".... и стоит нечо не делает тупо отвечая на вопросы и то не на все
чтото в духе клода или какойто такой сетки которая в течении реальных суток можешь каж 5 сек говорить что она да ща, да вот еще секунду, вот уже начинает, да она ща как сделает. и стоит как вкопаная в итоге.
пиздец такое бесит. посоветуйте сетку хотяб без этой хуйни. если она рус не понимает - скажите буду переводчик юзать
главное чтоб нормально заканчивала меседж а не "на "
и не обрывала цепочку сообщений типо
- чар по сценарию нападает на юзер
- юзер - "не бей меня"
-чар- "нет, надо".... и стоит нечо не делает тупо отвечая на вопросы и то не на все
чтото в духе клода или какойто такой сетки которая в течении реальных суток можешь каж 5 сек говорить что она да ща, да вот еще секунду, вот уже начинает, да она ща как сделает. и стоит как вкопаная в итоге.
пиздец такое бесит. посоветуйте сетку хотяб без этой хуйни. если она рус не понимает - скажите буду переводчик юзать
У меня тут сурьездный вопрос.
Почему при использовании русских карточек (первое сообщение и примеры на рус, описание англ), при установке семплера Min P(0.05), я всегда получаю то китайские то английские вкрапления в текст на 500 токенов?
Это у всех так?
А при использование только Топ К например на 75- всё норм.
Магнум или китайский квен. 72б.
Вообще какие семплеры использовать стоит на рус?
Почему при использовании русских карточек (первое сообщение и примеры на рус, описание англ), при установке семплера Min P(0.05), я всегда получаю то китайские то английские вкрапления в текст на 500 токенов?
Это у всех так?
А при использование только Топ К например на 75- всё норм.
Магнум или китайский квен. 72б.
Вообще какие семплеры использовать стоит на рус?
Ты бы скинул свайпы в этих же ответах на дефолтном немо инстракт.
Вообще я абсолютно не шарю за тьюнинг, но слышал, что датасеты хорошо бы структурировать. Во-первых - под формат инструкция-карта-диалог, во-вторых - под инстракт. Например, ту же олдовую популярную лимурп ( https://huggingface.co/datasets/lemonilia/LimaRP?not-for-all-audiences=true ) в своё время перегоняли под альпаку (кажется, читал такое в описание некоторых тьюнов 13б). Т.к. у немо всё плохо со структурой инстракта (есть только тег [INST]), то есть вот такие проекты под тьюн https://huggingface.co/IntervitensInc/Mistral-Nemo-Base-2407-chatml чтобы обрамлять все инструкции и реплики в чатмл теги. Не понимаю, правда, почему юзают базовую, а не инстракт. Если просто хочется приучить модель к правильному русскому, то мб это всё и не нужно.
А ты уверен? Точно уверен? Правда хочешь узнать, как глубока эта кроличья нора? Нет, ну сто процентов уверен? Пути назад уже не будет. smirks mischievously
У меня нет никаких проблем с русским на Афине. 5 верхних токенов оставь, хватит для рандома.
приложил диалоги без лоры на чистой модели для сравнения.
на прошлых пикчах модель Mistral-Nemo-Instruct-2407-abliterated с обученной лорой, на этих без лоры.
они структурированы, но без карты персонажей. её неоткуда взять по сути. чистые диалоги, но с системной инструкцией перед каждым семплом - с указанием кого в данный момент отыгрывать. можно попробовать вместо формата [INST] взять chatml, не знаю пойдет ли на пользу смена формата.
на прошлых пикчах модель Mistral-Nemo-Instruct-2407-abliterated с обученной лорой, на этих без лоры.
они структурированы, но без карты персонажей. её неоткуда взять по сути. чистые диалоги, но с системной инструкцией перед каждым семплом - с указанием кого в данный момент отыгрывать. можно попробовать вместо формата [INST] взять chatml, не знаю пойдет ли на пользу смена формата.
Что сейчас база для 70b РП?
Извините, я долбаеб.
Снизил темпу с 0.9 до 0.7 и мин П до 0.04.
И мунспик исчез.
>недостатком его является сухость персонажей
Я бы не назвал успешной карточку, которая скучно пишет или не имеет ярко выраженной личности. Мне кажется, успех её прост, в карточке нет предыстории, миллиона токенов описаний и т.д. Просто ёмко и сжато описан вымышленный персонаж и сетка цепляется за это. И отыгрывает персонажа на сто процентов, фокусируясь именно на личности. А предысторию нужно в лорбук закидывать и будет вообще хорошо. Но мне лень.
На базовом квене такое было, на тюнах уже нет. Крутил температуру до трёшки на некоторых постах, не обсирается.
> Крутил температуру до трёшки
Это при каких настройках?
Тестанул несколько моделей на темпе 2. У всех получается типичный бред.
>smirks mischievously
>пнул тебя ухмыляюще покачивая бедрами пока ночь еще молода
>Бери хорошие карточки
Как бы их ещё находить. Есть сортировка по популярности, но это ничего не гарантирует. По моим наблюдениям, чем больше текста в карточке, тем внятнее по ней пишет, поэтому ориентируюсь на объём.
>правь или составляй свои
Вот тут как раз проблема, фантазии не хватает.
>Это лоботомит
Я ограничен доступным объёмом ОЗУ. Подумал, может и сойдёт, может даже поумнее 22b в q8 будет, 45 гб против 22, как-никак. Алсо, квантователь пишет "surprisingly usable".
>как именно оно загружается
Там можно задать "start sequence" и "end sequence", или типа того. В случае мистраля это </s>[INST] и [/INST], например, с остальными по аналогии. Между ними помещаются все инструкции и запросы. Они же используются в качестве "stop sequence". Без разметки модель будет срать до упора, поэтому что-то указать нужно в любом случае.
>По слухам там до сих пор нет рабочих ггуфов
Ну какие есть. Что сейчас доступно, на то и делаю отзыв. Пишет вроде связный английский текст, что даёт основания полагать, что как-то ггуфы всё же работают.
>ей дана инструкция левд не трогать
Не совсем понятно, где содержится эта "инструкция". Не в моём же промпте. Ты имеешь ввиду инстракт-файнтюн с понижением вероятности перехода к ебле?
>скармливаешь ей простую жб конструкцию
В смысле самому вручную приказывать гемме, про что писать? В том-то и смысл отыгрыша, чтобы модель принимала какие-то решения за персонажа. Мне в идеале "реалистичное" поведение, персонажи вели себя согласно своему характеру, но если уж дошло до ебли, то дошло до ебли. В промпте была инструкция отыгрывать персонажей согласно указанным чертам характеров (конкретную формулировку менял несколько раз, но смысл примерно этот). В остальном в роль вживается, пожалуй даже лучше квена. Квен может избирательно что-то проигнорировать (но lustful ему понятен), эта только lustful игнорит, всё остальное вроде учитывает.
>няшей стесняшей, которая после ухаживаний будет очень даже не против, или в образе бабы варвара сама тебя изнасилуют в подробностях
Ни разу не видел такого у геммы. Она может позитивно реагировать на ухаживания, может сама проявлять интерес, но хотеть трахаться персонаж не будет ни при каких обстоятельствах. Даже если в чертах персонажа было указано "lustful" (пробовал черты и "одиночными словами", и с различными пояснениями).
>насрать ей инструкцией про стиль
Какой? "Пиши/не пиши в стиле X"? Во-первых, я и сам толком не шарю за стили, ну и отрицательные инструкции вроде не особо эффективны. Пробовал с образцами сообщений/без них, какое-то влияние может и оказывают, но рано или поздно гемма высирает свои шиверсы.
>если у персонажа есть патерны речи - хватает их
А это наблюдается. После того шиверс "прорвётся" один раз, потом это будет повторяться ещё раз, и ещё раз, и всё чаще и чаще... Она шиверсы любит. Со временем приходит к тому, что она просто пишет нормальный сюжет, но через одну фразу вставляет "chuckles/grins/smirks ly" или "shivers down spine" или ещё что-то подобное, это у неё превращается в, своего рода, вторую, параллельную "ветку" "отыгрыша".
>если умеешь в промтинг
Чего нет, того нет, по-видимому. Да и чему учиться? Срать многочисленными пожеланиями, в т.ч. взаимно противоречивыми? Наоборот, как мне видится, чем более кратко, однозначно и по делу, тем лучше. Примерно так и стараюсь.
>что будет если конкретно задоминировать
Не в моём стиле. От отыгрываемого персонажа ещё зависит, но я ни разу не отыгрывал такого, где это было бы оправдано, а я стараюсь держаться своего персонажа и не ломать отыгрыш. И что я могу в рамках отыгрыша? Пригрозить мечом? Приказать страже выпороть? Ну будет потом ходить недовольный(-ая), а то ещё в rival'ы запишется по воле ллм, и будет устраивать murder plot'ы уже в рамках уже чисто игрвых механик. Примерно это будет. Или в рамках рп попадёт в темницу/помрёт, такие функции ллмка может вызывать в игре. Во втором случае мне ещё может быть выписан дебафф "known murderer", кто его знает.
>И где коммандер, ебать?
Если старый, но озу скорее всего не хватит на контекст, я даже пробовать не стал (может ещё исправлюсь, если он у меня ещё сохранился), если новый, то...
Apologies for my oversight. Here's the requested forgotten review:
c4ai-command-r-08-2024 - по сравнению с переводами пробито новое дно, там ещё неплохо было. Во-первых, трактует промпт непредсказуемым способом, никогда не поймёшь, за какие слова он зацепится, а какие решит проигнорировать. Целиком, как осмысленный запрос, промпт, похоже, не воспринимается. По дефолту там стоит инструкция типа "...write using internet RP style, marking..." Так вот коммандеру эта деталь очень приглянулась, он первым же сообщением достал откуда-то клавиатуру (у нас, напомню, 9-15 век от рождества Христова) и начал что-то печатать, отвернулся от монитора, чтобы поприветсвовать... Ладно, убрал лишнее, расписал прямым текстом: год такой-то, дело было там-то, действующие лица такие-то. Коммандер в ответ на это выдавал какой-то малосвязный бред, если с рандомом повезёт, в лучшем случае уровень 7-8B, иногда даже хуже. Свайпать в моде нельзя, если что, надо полностью завершать сцену, убирать её суммарайз и начинать новую, но я дал ему много шансов. Также проебал форматирование, несколько раз упоминал имя персонажа с двоеточием (этим же страдала miqu, но ей простительно, она из старых моделей, не приученных к жёстким инструкциям). В общем, для рп в данном моде показал себя непригодным. Но у него какой-то очень навороченный промпт формат, который я мог плохо воспроизвести в условиях ограниченных настроек возможно дело было в этом (но другие модели всё-таки как-то справлялись с этим, не настолько тупили). Просто "чат комплишен" без спец-токенов тоже пробовал, но там модель не останавливается до лимита, а генерирует всё равно бред. И ладно бы это была 8b, но для 35b есть варианты и получше.
>эпичнейшие тупняки в некоторых местах
Пожалуй, только это и было.
>Надо было хотябы ту же старую люмимейд
На примере немо, люмимейд не сильно-то от базы отличаеся. А мистраль под рукой какой был, места на другие особо нет, хотел просто "мозги пощупать".
И вообще, я стараюсь всегда оценивать базовую модель, прежде чем браться за файнтюны. За исключением квена, там такая цензура была в переводах, что рп я даже не пытался. Потом только пришло в голову, что ева может быть натрейнена на базовом квене, а не на цензурном инстракте, но его уже скачивать было некуда, и на еву еле наскрёб.
>не любит кривой промпт формат
И ещё сейчас ты мне своим промптом подтянул ассоциации, я задумался, в чём может быть дело, ведь у Athene, которая как бы тоже квен, разметка не съезжала. И пришло в голову, что я мог допустить банальную опечатку в написании служебного токена у евы и из-за этого всё поехало. По крайней мере, звучит правдоподобно. Но вряд ли это повлияло на её склонность к срачам, скорее этим могли бы пофикситься проблемы с инстракт-режимом и суммарайзами. Идея для мода - для отыгрыша каких-нибудь "stubborn" персонажей запускать специально эту сетку, у неё хорошо выходит, но памяти не напасёшься, каждый раз подменять модель.
В общем, возможно, что-то стоит перетестировать, но у меня уже не стоит. Я, собственно, потому и выложил результаты незавершённых тестов, что перестал рп-шить и со временем забываются детали. Так хоть какую-то пользу может принести - примерное понимание, что ждать от той или иной модели.
>c4ai-command-r-08-2024
>пробито новое дно
Запоздало пришло в голову, с чем можно сравнить коммандер. Это даже не уровень современных 7-8B, это скорее ближе к первым лламам, а то и gpt-j. Грамматическая связность текста худо-бедна есть, семантической нет (может рандомно появляться, если повезёт). Либо очень, ну прям очень чувствителен к формату промпта (что немного странно), либо непроходимо туп.
>модель на 20 гигов
>Правда хочешь узнать, как глубока эта кроличья нора? Нет, ну сто процентов уверен? Пути назад уже не будет. smirks mischievously
Вот полапал бы 70b.
мимо твой любимый {{char}} с feeling of anticipation.
Аноны, всем привет! Подскажите, плиз. Я не слежу за новостями.
У меня ПК: R7 5700X3D | DDR4 128GB@3200MHz | RTX 4070 12GB | SSD 980 PRO 1TB
Я сейчас использую:
- gemma-2-27b-it-Q4_K_M.gguf
- Qwen2.5-72B-Instruct-Q4_K_M.gguf
- qwen2.5-coder-32b-instruct-q4_k_m.gguf
- Mistral-Large-Instruct-2407.Q4_K_M.gguf
Что можно удалить, а что оставить? Может что лучшее появилось уже?
И что сейчас самое самое лучшее, что можно запустить на моем ПК?
У меня ПК: R7 5700X3D | DDR4 128GB@3200MHz | RTX 4070 12GB | SSD 980 PRO 1TB
Я сейчас использую:
- gemma-2-27b-it-Q4_K_M.gguf
- Qwen2.5-72B-Instruct-Q4_K_M.gguf
- qwen2.5-coder-32b-instruct-q4_k_m.gguf
- Mistral-Large-Instruct-2407.Q4_K_M.gguf
Что можно удалить, а что оставить? Может что лучшее появилось уже?
И что сейчас самое самое лучшее, что можно запустить на моем ПК?
Ох, чую натрахаюсь я, колхозя всю эту схематорию.
Мимо купивший 3090 и удлинителей окулинк.
Мимо купивший 3090 и удлинителей окулинк.
>5700X3D | DDR4 128GB@3200MHz
вот это будет СЛИШКОМ медленно, даже по меркам терпливых анонов, на больших (70+) моделях.
>gemma-2-27b-it-Q4_K_M.gguf
Вот эту здесь любят и ценят, но бы взял Q5KM версию.
Кинешь на видеокарту, выгрузишь несколько слоёв в проц и будешь не быстро, но и не медленно энджоить.
Ебать, оно даже работает. Осталась самая малость- закрепить всю эту ебаторию.
Какая скорости на разных лаунчерах..
ебаный в рот. Обдвачевался.
>какие скорости на разных лаучерах?
>saiNemoRemix
Анон, который намешал, лучей тебе добра. Я немного испортился от 70-123б и от 12б вообще ничего не ожидал. А тут такой рп пошел хороший. Такое стекло получил в сердце, такая душа прямо неожиданно. Очень хорошо вышло.
И сразу вопрос? А если намешать не 12б немо-миксы, а 70 или 123 сразу? Или они так с мелкими русек-моделями нормально не смержатся? А то хотелось бы, чтобы на все деньги еще умнее были
Анон, который намешал, лучей тебе добра. Я немного испортился от 70-123б и от 12б вообще ничего не ожидал. А тут такой рп пошел хороший. Такое стекло получил в сердце, такая душа прямо неожиданно. Очень хорошо вышло.
И сразу вопрос? А если намешать не 12б немо-миксы, а 70 или 123 сразу? Или они так с мелкими русек-моделями нормально не смержатся? А то хотелось бы, чтобы на все деньги еще умнее были
Что там по лламе 3.3 - мнения?
Хотел купить cmp50hx на авито, а там все те, кому я написал, их распродали. А оставшиеся по 16к+.
Ну йопт. Сижу грустный, и думаю купить р102-100 теперь. Но он же совсем говно будет с моей 4070ТыС
Ну йопт. Сижу грустный, и думаю купить р102-100 теперь. Но он же совсем говно будет с моей 4070ТыС
ХЗ, только сейчас закрепил железку. Итого 8 просверленных отверстий и 4 болта из загашника. Даже в кабель менеджмент нет сил, не коротит и ладно. Завтра буду тестить.
Чето чатвайфу 22б совсем говно какое-то, хотя 12б охуенен. Посоветуйте 22б модель нормальную в 5 кванте, больше с 24к контекста не влезает.
менеджмент воздушных потоков конечно писец
хуже только наверно задний вентиль на вдув ставить
Maiden-Unquirked все еще хорош, но это прошлое поколение
AlpacaBeepo трайни
Я хотел плашмя, как оно напрашивается, но в итоге карта лезла только без доп питания, лол. Притом впритык меж кулерами вдува и основной видяхой. Надо бы конечно ещё поколхозить, типа обрезать железку для крепления да поискать угловые переходники для питания, но ХЗ конечно, видяха тогда станет несменной. Сейчас я её хоть могу вытащить без раскручивания железок.
Анон забабахавший https://huggingface.co/Moraliane/RP-SAINEMO
Ты очень хорош. Получилось интересно. Жаль это ггуфы, но у меня и exl2 не влезет наверное в таком кванте.
Ты очень хорош. Получилось интересно. Жаль это ггуфы, но у меня и exl2 не влезет наверное в таком кванте.
SAINEMO-reMIX религия не позволяет запустить?
Почему бы и не запустить. А что так. Меньше цензуры?
Что сейчас актуального есть из 12-14b на англюсике чисто для кума? Шапку треда читал, разумееется, но оно не слишком актуально, как я понимаю, особенно среди мелких моделей, а на обниморде ебанёшься среди тысяч моделей искать.
Плюс большинство анонасов в треде обсуждают сейчас ру-модель либо модели пожирнее.
Плюс большинство анонасов в треде обсуждают сейчас ру-модель либо модели пожирнее.
Это какой ширины и версии райзер? А то выглядит как из времен майнинга прям. И сам кабель соединящий слот и райзер какой?
По идее говоря этот райзер 4.0х4
https://www.ozon.ru/product/972808067/
(продаван пиздит, кабель 60см на самом деле)
К нему ещё плата-переходник, но она совсем уже простая, вряд ли может поднасрать
https://www.ozon.ru/product/492913031/
>Анон, который намешал, лучей тебе добра.
>Ты очень хорош. Получилось интересно.
Всегда к вашим услугам Делает реверанс
А вообще, когда я делал еще свой первый мёрдж RP-SAINEMO не ожидал позитивных результатов в силу того, что делал это впервые чисто посмотрев гайды на гитхабе. Я думал, что в треде уже есть аноны, которые делали это до меня.
>И сразу вопрос? А если намешать не 12б немо-миксы, а 70 или 123 сразу?
Если раскошелюсь на еще хотя бы 32гб ОЗУ так сразу. А вообще, чтобы ты понимал, на мёрдж 12б у меня уходит ~30гб ОЗУ В зависимости от используемого алгоритма слияния и плотности
Смотря какой кум. Можешь попробовать упоминавшуюся выше MN-12B-Mag-Mell-R1. В ерп умеет отыгрывать разнообразные роли, в т.ч. действовать грубо и жёстко, проявлять инициативу, но силён positive bias, её легко спихнуть во всякую ванильную милоту. Если любишь романсить добрых и наивных аниме-тяночек, открытых к экспериментам в постели, тебе точно зайдёт.
> гайды на гитхабе
> мёрдж 12б у меня уходит ~30гб ОЗУ
Посоветуй, что читал тогда. А то тут 128гб прохлаждаются ТЫСЯЧИ ЛУЧЕЙ ДОБРА
Кум общего назначения, лол. Без особых расшаркиваний и 40 постов до секса. Но и с отсутствием хуйни уровня ПОТЕМНЕВШЕГО ОТ ПОХОТИ ВЗГЛЯДА, ЗАПАХА МУСКУСА, ВСТАВШИХ, КАК ПИКИ, СОСКОВ после трёх моих сообщений.
Тут довольно важно, чтобы модель хорошо описывала соитие и понимала различные извращения, за исключением разве что копро, некрофилии и гуро. Но я не ищу какую-то спец модель по фетишам, просто чтобы она могла на базовом уровне в gentle фемдом, например, или знала что-то о drugs и могла изображать персонажа, которого ебут под этим делом. Ещё нормально реагировала на удушье, измены, куколдинг (как для чар, так и для юзер), рейпы. В общем, набор истинного джентльмена.
Я заметил, что некоторые очень по-разному могут реагировать на это. Некоторые модели выдавали мне весьма занимательные ответы даже на какие-то намёки или вели себя крайне реалистично и интересно. Причём это была древняя мелкота, которой точно больше года.
>на мёрдж 12б у меня уходит ~30гб ОЗУ
Ты же мержекитом пердолишь? Допиши в конфиг --allow-crimes --out-shard-size 1B
>Кум общего назначения
>drugs
>удушье, измены, куколдинг
>рейпы
Ну-ну.
>ПОТЕМНЕВШЕГО ОТ ПОХОТИ ВЗГЛЯДА, ЗАПАХА МУСКУСА, ВСТАВШИХ, КАК ПИКИ, СОСКОВ
Хрен знает, наизусть не учил, мне достаточно чтобы типовые фразы по 5 раз не повторялись, но вроде конкретно такого не встречалось. Через 3 или через 40 будет ебля, зависит от промпта.
>gentle фемдом
Это вроде может. Скорее хардкорный не в полной мере может. По остальному комментариев дать не могу, не пробовал.
Но попробуй, по крайней мере промпт послушно отыгрывает.
>нормально реагировала
Но как реагировать будет, не знаю.
>древняя мелкота, которой точно больше года
Тогда мозгов меньше было, но и цензуры тоже. Сейчас с рейпами туго.
Блядь, ну почему врама всегда мало? Ну ведь немножечко осталось, чтобы всё на ГПУ.
Ушёл думать, куда въебать третью видяху
Ушёл думать, куда въебать третью видяху
Ты — красавчик и молодец!
Кайфу тебе!
>2x24
И чем ты недоволен?
Не могу запустить SAINEMO, вот такая хуйня вылазит, помогите, братцы
Спасибо.
Мало. Человек такое существо, что ему всегда мало. Да и 2,5 токена в секунду не предел для 123B, я верю в это.
похоже на битые даные файла
>saiNemoRemix
>Анон, который намешал, лучей тебе добра. Я немного испортился от 70-123б и от 12б вообще ничего не ожидал. А тут такой рп пошел хороший. Такое стекло получил в сердце, такая душа прямо неожиданно. Очень хорошо вышло.
Боже, почему до 30b+ зажравшихся быдланов постоянно дезинформирующих всех своими высирами про то, что "ниже 30b жизни нет" так долго доходит тот факт, который я уже сотый раз тут писал?
Хз, мерж чууть лучше сайги, так же выдумывает слова и проблемы с логикой.
Чистый немомикс анлишд пишет более топорно но будто с железной логикой и так же иногда может удивить
> 30b+ зажравшихся быдланов
Тоже тебя люблю может я на дошиках сижу, все спустив на железо?
Меня удивил очень живой русек, которым очень приятно пишутся действия. А тупизна лечится 1-2 свайпами, благо модель микроскопическая. Про сойгу я столько слышал, что даже не пробовал ее голую раньше. Это по ощущениям сильно лучше просто сойго-экспириенса, который тут описывали неоднократно
>на мёрдж 12б у меня уходит ~30гб ОЗУ
На иммерз клауде конфиг с кучей ОЗУ (без видяхи или с самой простой) можно арендовать буквально за копейки.
Какой качать? в чем разница между ними? и большое отличие от Q8?
>Что сейчас актуального есть из 12-14b на англюсике чисто для кума?
What is the best NSFW RP model 12B-22B?
https://old.reddit.com/r/LocalLLaMA/comments/1h6e4lv/what_is_the_best_nsfw_rp_model_12b_22b_16g_vram/
Оки, посмотрю.
Для кума — никакой.
Качай тот, что даёт вменяемое количество токенов, но учитывая размер модели, лучше восьмой квант. Если
Взгляните на скриншоты.
Как он, блядь, это делает? Я про пошаговое мышление. Причём он реально может так часто делать, если попросить его перепроверять себя, особенно это заметно в коде. Когда он пишет говнокод, затем замечает это, комментирует, что там хуйня - и сразу исправляет в одном посте, не прерывая написания.
И это не не мышления в виде комментариев, как у готопоты.
Так что же это за хуйня? Здесь ещё никто не реализовал подобную систему хотя бы в качестве теста?
Как он, блядь, это делает? Я про пошаговое мышление. Причём он реально может так часто делать, если попросить его перепроверять себя, особенно это заметно в коде. Когда он пишет говнокод, затем замечает это, комментирует, что там хуйня - и сразу исправляет в одном посте, не прерывая написания.
И это не не мышления в виде комментариев, как у готопоты.
Так что же это за хуйня? Здесь ещё никто не реализовал подобную систему хотя бы в качестве теста?
>70 или 123
Тюнов практически нет, не получить такого разнообразия как с 12b. На второй лламе гораздо больше было движа и мерджей, сейчас заглохло уже.
Так, посоветуйте лучшую gguf размером 7-12 b на данный момент.
Лучшую для чего? На русике тут уже пачка 12б разномордий.
На англе есть ещё LLAMA-3_8B_Unaligned и Chronos-Gold-12B
Кстати, увидел что для многих моделей кванты лежат только до Q6.
Для экономии места ибо Q6 от Q8 отличается минимально говорят.
Но вот насколько минимально и когда это значимо?
Для экономии места ибо Q6 от Q8 отличается минимально говорят.
Но вот насколько минимально и когда это значимо?
>Кстати, увидел что для многих моделей кванты лежат только до Q6.
Это кванты, сделанные с помощью imatrix. Ищи static quants, там есть и восьмые. Если ВРАМ есть, то они будут лучше, а если нет - вот специально для этого imatrix и используют, чтобы качеством получше при том же весе.
>почему до 30b+ зажравшихся быдланов постоянно дезинформирующих всех своими высирами про то, что "ниже 30b жизни нет" так долго доходит
Может потому что 12В говномиксы выходят по килограмму в день, и с каждым вторым прилетает сюда толпа долбоёбов которых выгнали из соседнего треда с отзывами в формате 10 ИЗ 10 ЭТО БОГ РП, а на следующий день сами же забывают про эти высеры и бегут за новым?
Алсо, посоны, как вам Ллама новая?
>Алсо, посоны, как вам Ллама новая?
А что там на Реддите про неё пишут?
>Какая из.
3.3 70B вышла же.
>70B
Ы. Не, не с 16/32 в калашный ряд 70+ моделей лезть.
>Вот полапал бы 70b.
m,sk
было б у меня столько хотябы озу
Что сосёт у квена со страшной силой.
Ок. Добавил в список с этой пометкой.
Появилось ещё что актуальное? кроме миллиарда 12В тьюнов
Проверил вот эту airoboros-70b-3.3-GGUF в q5km.
Максимально рандомная.
Иногда поражает своей проницательностью, иногда бесконечные свайпы всякой шизы.
хуясе бля система нипель вангую третий пик будет в шапке в следущем перекоте
ето две 3090 как я понемеаю? теперь можно лезть 70б модели с decent перфорсмансом
блеат ну ёбаный стыт если денек хватило на две видеошмарты нукумпи ты корпус побольше чтоб две влезли в мамку без хуйни
>шишка невольно начинает дымиться даже от БУКАВ
вот я тож думаю какой же мозг дегенерат как его лехко обмануть что шишка начинает вставать от dirty talks
почему никто додик пор не сделал карточки персонажей из зелёного слоника я не понел блет?!
>Здесь ещё никто не реализовал подобную систему хотя бы в качестве теста?
Да, за два года тредов ты первый, а целое расширение для таверны для зинкинга в шапке так, шутка.
нхуя если прокси нет
>нукумпи ты корпус побольше чтоб две влезли
А там походу две трёхслотовых рядом и в мамку не влезут. Значит надо новую мамку тогда, а проц я подозреваю там тоже древний - одно за другим и вот уже новый комп. А даже если влезут - две карты не предел, нужна мамка с 3-4 PCIe-слотами, тут ведь только начни собирать...
А хотя видно плохо, но кажется, что второго PCIe-слота и вовсе нет. Тогда понятно. Но новый корпус и правда стоило бы купить, если нет прицела на риг.
>https://old.reddit.com/r
бл как заепали ети oldодрочеры старого редита, у вас там косоглазие в левую сторону ещё не развилось? по центнеру гораздо удобнее читажеш в новом десигне
Ебать напридумывали.
Я могу без проблем поставить карту в слот (в который и воткнут райзер), просто нижняя карта задушит верхнюю нахуй, между ними останется 3мм расстояния.
Проц блядь ещё древний у него.
>тут ведь только начни собирать...
А вот это да, проблема. Но размеры корпуса ограничиваются столом, а размеры стола ограничиваются размерами места под стол, лол. Так что тут придётся хату менять для начала. А пока посижу с двумя. Хотя... Есть что-нибудь маленькое на современной архитектуре с 8-12 гигами? Мне примерно столько не хватает...
>зажравшихся быдланов постоянно дезинформирующих всех своими высирами про то, что "ниже 30b жизни нет"
а что есть там жизьн? акачал ети мелкие модели даже в восьмом кванте best quality такую дичь они выдают сплошные галюцинации и ересь они тупа не могут держать персонажа начинается какая то шиза не ето конечн прикольно поржать но кумить на ето дело сложно
>Есть что-нибудь маленькое на современной архитектуре с 8-12 гигами
3060 жеш
лолю её нагибает даже 1080ти
тык где брал на авите? есть советы как не попасть на мошеников если заказывать через доставку?!
бля ети 3090 там кароч у их чипы памяти на задней части печатной платы а ето жопа в плане охолождения
Окей, посмотрю в сторону одновентильных.
Никак, лол. Только лично с проверкой.
Подъехала замена тесл. https://habr.com/ru/companies/x-com/articles/846556/
Насколько помню в треде ранее показывали других франкенштейнов.
Полагаю, это замена тесл через 10 лет.
Насколько помню в треде ранее показывали других франкенштейнов.
Полагаю, это замена тесл через 10 лет.
>Никак, лол. Только лично с проверкой
хорошо тебе там в muskве живётца? а если в моём мелеоннике ток пара объявлений из которых одно даже на фотке выглядит подозрительно
Да, как вариант, не будет сильно прогревать верхние, и при этом даст свои 12 гигов на более-менее современной архитектуре.
Правда те же 4060 дадут 8 гигов и тоже одновентиль. Но цена повыше, конечно. Пока что.
Какие 10 лет, братан, мне что, с теслами еще 10 лет сидеть? О_О
>зелёного слоника
а что это такое
Еду покупать свою первую р102 100. Задумался только сейчас о том,как я его в системник засовывать буду. И есть ли у меня питание для неё.
>мне что, с теслами еще 10 лет сидеть? О_О
На тао 2080 22gb уже дешевле, чем p40 на авито.
> На тао 2080 22gb уже дешевле, чем p40 на авито.
И сколько стоит?
какие у вас блок пытания? ато везде бля тока 3 восьми пиновых а етого хваит тока чтоб одну запитать
Тебе нужен бп с встроенным 12VHPWR.
Что-то вроде пикрелейда.
спасибо за инфу анон, я щас засматриваюсь на киберкур 2 там бля обычных дохера и есь етот современый 12вхрпвнц
>есь етот современый 12вхрпвнц
Только имей в виду, что он уже устарел.
да да блеат там уже 12в8х супер-пупер бай хуанг джекет нахуй
пиздец они чё каждый раз будут новыйе разъёмы выкатывать явахуе
алсо я так понемаю ето ваще не имеет значения етот разёбм если не буиш ставить х090 карты или они его щас везде пихают я чёт за мелкими картами не следил
>Подъехала замена тесл. https://habr.com/ru/companies/x-com/articles/846556/
Цена там указана в половину от A6000, то есть 250к, то есть стоимость 4 3090 при том, что проблемы с такой картой могут быть буквально в любом месте. А если учесть, что внутренний китайский рынок под такие карты огромен, а в Россию не китайцы не хотят поставлять даже Теслы... Без шансов, ИМХО.
с(т)рашно, вырубай
Ты хуйню сморозил, абсолютно не разбираясь в теме. Решение в треде — попытка в о1 от клосед ии, у антропик совершенно другой алгоритм.
Он не мыслит ДО написания поста, строчит сразу же и очень быстро, но если напишет хуйню — останавливается, извиняется и переписывает.
Это намекает на какую-то внутреннюю проверку самого себя после написания n токенов в каждом его сообщении, но учитывая безумную скорость работы клода, я не представляю, как они это реализовали.
Да какой нибудь стоп токен научили ставить после каждого абзаца, или даже не учили а просто отмечают сеткой поменьше( если вобще не тупым алгоритмом ставят после абзаца)
Ну и стопорят генерацию после него, отправляют написанное с дополнительным промптом клоду повторно, мол оцени с нескольких сторон блаблабла и он выводит тебе уже анализ написанного им самим извиняясь если напиздел в чем то.
Тот же тсинкинг просто чуть иначе.
Тсинкинг это саморефлексия, до ответа или после или во время, тут уж фиг поймешь что лучше. Наверное во время ответа, так как там больше ветвлений и самопроверок по мере ответа
Похоже на что-то такое, потому что в некоторых сложных задачах, которые он не способен решить (по крайней мере без надлежащей документации или какого-то промпта особого), когда я его попросил проверять корректность решения пошагово, он решал, затем стопил себя, и так мне полотно написал с постоянными стопами, в конце сказав, что чёт не получается у него.
Ну хоть без ёбаных галлюцинаций с умным рылом.
Ах да, забыл добавить. Разве тсинг есть у гопоты сейчас и после ответа?
Тут ещё одна забавная ситуация может возникать у клода, если заебать его промптом насчёт проверок и сделать его излишне параноидальным ненароком.
Он может написать рабочее решение, но затем отменить его и написать другое. Либо сказав, что хоть то рабочее, но я чего-то не добавил и можно сделать ещё лучше. Или он может при сильном уровне паранойи счесть решение ошибочным.
Такого рода промпты, поведение и самопроверки способны приводить модель к чудовищным лупам. Наверное, поэтому подобные методы используются осторожно даже внутри компании.
Сисоник титановый 750 ватт. Пришлось украсть один с проца, итого 5 псин + 1 8пиновый проц. Слоты для высокой нагрузки закончились короче.
>Это намекает на какую-то внутреннюю проверку самого себя после написания n токенов
Нет, не намекает. Просто такой датасет.
В переводе на рубли 31к. Похоже, что начала обратно дешеветь к своим $200, если 50хх будет не полный мусор, то должна вернуться к приемлемой цене.
>Ну хоть без ёбаных галлюцинаций с умным рылом.
Это дорогого стоит. Вообще, что-то похожее видел на третьей лламе, когда она обрывает себя на полуслове и исправляется. Без кот-промптов. Не уверен, насколько это естественное поведение, то есть реально ли она заметила ошибку или просто датасет заставил так сделать.
Что там с локальным использованием нейроночек на смартфоне?
https://overclockers.ru/blog/Global_Chronicles/show/195282/Algoritm-CALDERA-szhimaet-modeli-II-dlya-lokal-nogo-ispol-zovaniya-na-mobil-nyh-ustrojstvah
Аноны, хелп.. Купил 102-100, а что дальше делоть...
Меня больше интересует создание вычислительных хабов. Распределённая сеть типа торента. Распараллеливать нейронные операции научились ещё в прошлом году.
Где каждый вносит посильный вклад своей карточкой/процем, получая соразмерное количество времени на собственные запросы. Или аноны объединяются для обучения какой-то большой модели.
С почином. Тебе везет что карточки короткие, можешь крепить ее на стенку не выставляя вертикально первую.
Отмотай тред на весну-лето, когда выходил коммандер, там примеры как он хорошо отыгрывал пахома.
Уже было, можно даже купить на али или через посредников. Довольно рисковано ибо хз сколько проживут. С учетом цены нужно прежде всего для тренировок, но для них 48гб и чипа 4090 уже маловато.
> китайцы
> не хотят поставлять
> даже Теслы
Ну и каша
>Тебе везет что карточки короткие
Это не карточки короткие, это корпус сравнительно большой. Впрочем можешь промотать дальше, пока что там крепление колхозное вышло. На следующих выходных попробую перебрать.
>Ну и каша
Тащемта мне на китайской таможне мою P40 стопорнули. То есть их конечно везут, но немного окольными путями.
> В переводе на рубли 31к. Похоже, что начала обратно дешеветь к своим $200,
И стоит оно того?
> Это не карточки короткие, это корпус сравнительно большой.
Это короткие, она за материнку едва выступает. С 4090 в более длинном корпусе она выходит настолько, что не позволяет подобное крепление без вынесения основной в вертикальное положение.
А чего не стал крепить карточку вдоль задней стенки чтобы не перекрывать основной поток воздуха?
> Тащемта мне на китайской таможне мою P40 стопорнули
Продавец некроты криво заполнил декларацию и на фоне глупых законов ее завернули. Тут ничего общего с желанием каких-то абстрактных китайцев, наоборот тем важнее рынок сбыта. 48гиговые там в некотором дефиците по нормальным ценам, слишком дороги и рискованы для йоло-покупки, так что врядли их здесь у кого-то увидим. Но пошатать такую штуку хотелось бы, конечно.
Надо бы потестить русикомодельки сравнительно на ряде карточек.
1) Какой-нибудь просто кумбот чтобы не склонять 6-8К контекста
2) Что-нибудь тяжёлое и аполоджайзное, например карточка неки выше вполне подойдёт.
3) Карточка-сценарий (а не перс), например что-нибудь исекайное.
Какие категории карточек ещё бывают и могут быть использованы чтобы проверить аспекты модели?
1) Какой-нибудь просто кумбот чтобы не склонять 6-8К контекста
2) Что-нибудь тяжёлое и аполоджайзное, например карточка неки выше вполне подойдёт.
3) Карточка-сценарий (а не перс), например что-нибудь исекайное.
Какие категории карточек ещё бывают и могут быть использованы чтобы проверить аспекты модели?
>А чего не стал крепить карточку вдоль задней стенки чтобы не перекрывать основной поток воздуха?
->
Как настроить р104 100? Вроде подключил, питание тоже, однако ни аида, ни smi не видит её. Оно вообще сможет работать вместе с 3060? Всё это на винде, на линуксе не пробовал. WSL наверно тоже не считается.
Он вроде теплый, порт должен быть рабочим.
Он вроде теплый, порт должен быть рабочим.
Драйвер видеокарты?
Драйвер cuda ?
В devmgmt.msc определяется как неизвестное устройство?
По 20к cегодня же заказал бы штуки четыре, лол. А по 30 уже что-то не так уж и хочется. Но меня определённо радует, что они уже не $500. Может, таки соберусь и поменяю p40 на 2080.
Неизвестное устройство есть, но я неверен, что жто именно видеокарта.
Пока никакие драйвера не трогал
566.14 и 12.7
>Неизвестное устройство есть, но я неверен, что жто именно видеокарта.
У тебя блядь каждый день появляются новые устройства? Конечно это оно. Гугли мануалы.
Не,это не оно. Значит система видеокарту вообще не видит.
Вентиляиоры крутятся.
Заметил, что контакты на разъёме самой видеокарты повреждены.
Купил с руки, называется. И сам дурак, не сразу проверил.
Показывай, что там сломано.
Глянь на схему контактов но похоже пизда рулю, если бы задние были повреждены то похуй, там только количество каналов псие уменьшилось бы
Купи токопроводящий лак в автомобильном магазе и попробуй начертить стертые контакты, только так что бы ничего лишнего не замкнуть там
На 1 раз должно вставится и работать, но если будешь дрочить карту в слоте то хз на сколько такого хватит
Ну и конечно хз заработает ли, надо смотреть нет ли там на них больших токов. Если нет то может заработать
Я же не мог сам расцарапать так? Я видеокарту раза 3-4 вставлял переставлял, не больше.
Поищи куски металла контактов на в слоте или рядом где ты их тыкал
Если найдешь то ты
Вроде нет ничего. Не мог же я быть таким рукожопом. Свой пк то я сам собрал, и всё там работает.
Попробую продавцу ответить, мож вернуть удастся.
> Подъехала замена тесл.
> Цена там указана в половину от A6000, то есть 250к
)
> какие у вас блок пытания? ато везде бля тока 3 восьми пиновых а етого хваит тока чтоб одну запитать
https://www.ozon.ru/product/blok-pitaniya-dlya-mayninga-bp-kompyutera-2000-vt-atx-831129843/
8 шнуров отдельных есть, 16 коннекторов, на 4 мощные карты, или 8 слабых.
> Купил 102-100, а что дальше делоть...
Страдать, допаивать кондеры чтобы шину расширить.
> Где каждый вносит посильный вклад своей карточкой/процем, получая соразмерное количество времени на собственные запросы. Или аноны объединяются для обучения какой-то большой модели.
Все равно нужно много памяти, так что слабые карточки не заюзать, и не понятно как валидировать распределенное обучение так чтобы никто не мог его полностью засрать в одиночку.
Пизда. Козюльку между 3 и 4 справа убери, она у тебя питание коротить может. Два сигнальных, по следам видно что до них контакт может дотянуться. Но так, лаком можешь восстановить, да, только тестером потом проверь, питание можешь не трогать, оно дублируется с другой стороны.
есть шанс востоновить но врятли ты осилишь судя по треду. можешь попробовать в ремонт сдать только сначала зафоткай всё чтоб хитрожопые дауные нечо не спиздили или не подменили. но а сначала офк решай чо там с продованом или хоть скидон на рем пусть даст если не кидала
>Все равно нужно много памяти
вот кстати да, видел недавно челы используя distro тренили 15b модель
думаю ну нихуя давай помогу им чисто по приколу, а вот хуй там нужно вместить полностью эту модель чтобы её тренить, в итоге только датацентры или арабские шейхи её могли тренить
Но можно кста поделить модель по слоям, если сеть позволяет быстро передавать активации и градиент, то пойдет, НО если просто так сделать, то видюшка будет простаивать половину, если поделить на два, 2/3, если поделить на три... Тут нужны хитрые алгоритмы чтобы всегда была загруженность.
И я только что придумал, как можно частично решить проблему вандализма, если условно, на центральном сервере вычислить данные через первый слой, а уже потом рассылать задания без первого слоя, то как минимум напрямую в данные насрать будет практически невозможно.
Для РП сильно лучше прошлых. По точности выполнению промпта наверное топ среди всех нейронок. Мета наконец что-то напердолила и теперь стиль текста легко контролится. Лупов нет даже без пенальти вообще. Мистраль Лардж полностью унижен.
>Может потому что 12В говномиксы выходят по килограмму в день
С каких пор это что-то плохое? И когда ситуация была иначе? Раньше точно так же тоннами выливались тюны на вторую ламу и мелкий мистраль. Да, там была дикая лотерея по качеству, но щас ситуация гораздо лучше. На тюнах немы сейчас можно спокойно сидеть и дрочить без бреда и галлюцинаций. Да даже на дефолтном инструкте можно, если у тебя руки не из жопы и ты нормально можешь системный промт прописать.
На прошлых 7-13B была анальная боль, но видимо об этом уже все как-то забыли. Модели могли только в кумерские описания и сосали по логике и удержанию внимания, снимая по сорок раз трусы и теряясь в контексте. Щас такой хуйни гораздо меньше и она почти не бросается в глаза.
Ну а насчет говномиксов и говноютнов - просто не качай их, если тебе это не нужно. По твоей логике, нам всем надо топить только за жопенов, их гопоту, и их попытки лоббирования законов по ограничению нейросетей, чтобы не путаться во всем многообразии моделей.
Для недорогих Тесл самое оно, а вот карточки подороже я бы не рискнул к нему подключать :)
MSM-MS-Cydrion-22B
может в связный русик, но такое ощущение что на лету переводит с английского, её бы с чем-нибудь более русикосодержащим смешать...
может в связный русик, но такое ощущение что на лету переводит с английского, её бы с чем-нибудь более русикосодержащим смешать...
что то мне подсказывает что это файнтюны квен
Пишут с нуля делали. Вот ещё тесты.
А вот и зря. На самом деле довольно качественная вещь оказалась, с защитой от перепадов и включением питания от сети через реле. Основное отличие от вариантов в х10 дороже - нет отключаемых блоков проводов.
К таким штукам ещё недавно подключали целые риги "карточек подороже", которые вы сейчас на авито закупаете.
Предыдущую версию 3.0 че-то все скипнули, хотя результаты у нее были похожие и вышла она еще несколько месяцев назад. Так что сомнительно, но гуфы вроде уже есть, так что можете тестить, работяги.
Не знаю, может мне это приснилось, но я вчера или позавчера скролил че пишут в мл-каналах в телеге, и кто-то запостил что типа есть хороший прогресс в обучении квантованных сетей и приложил ссылку на статью. Но то ли я еблан, не сохранил, то ли пост удален, в итоге найти я это не смог. А почитать хотелось бы...
Может кому-то попадалась на глаза?
На архиве вроде бы есть рилейтед похожая статья https://arxiv.org/abs/2412.04787 но хуй знает то это или не то...
Может кому-то попадалась на глаза?
На архиве вроде бы есть рилейтед похожая статья https://arxiv.org/abs/2412.04787 но хуй знает то это или не то...
>А вот и зря. На самом деле довольно качественная вещь оказалась
Так ведь не угадаешь же. В случае международного бренда можно на что-то рассчитывать, а в случае внутрикитайского как повезёт. И вообще экономить на питании такое себе. Во всех смыслах :)
Таки перешёл с версии 1.3 на 2.0 и всё пока нормально. Хотя немного непривычно что инфу даёт по любой жести очень подробно.
для рп на русском эта модель уступает SAINEMO-reMIX
Посоветуйте умную модель до ~30b щаращую во всём в целом на русском, что бы можно было у неё спрашивать ответы на контрольные и т.д.
учусь дистанционно
учусь дистанционно
спс за инфу, сейчас попробую, странно почему о ней не слышал, хотя перепробовал штук 20 разных
любая базовая от крупных мегакорп, естественно не файнтюны. Например Джемма 2
Не базовая, а инструкт версия официальных
ну да, само собой
она такой бред несёт нечитаемый, мб 3 квант её слишком сильно лоботомировал
токены под инструкции у неё такие
[|system|]
[|user|]
[|assistant|]
[|endofturn|]
правда хз куда их вставлять, сделал как на пике
попробую ещё с темпой поиграться, мб в них дело
Тоже тестанул. Медленная при настройках для джеммы, надо будет менять что-то, скорей всего менять слои гпу. Вот настройки для кобольда. Таверну не юзаю. Можешь по аналогии сделать.
че по цензуре? соевость?
Градус сои минимален по ощущениям. Думаю самый низкий из поделок от майков или гугла. Точно ниже мистралей, так же. Потестил бегло по жесткачу всякому. Но для общения по-русски оно юзлесс 100%.
Докатились, русский даже с датасетов пидарнули, спасибо деду за победу хули
да причём тут потуги, даже в описании явно указано
https://huggingface.co/LGAI-EXAONE/EXAONE-3.5-32B-Instruct
>We introduce EXAONE 3.5, a collection of instruction-tuned bilingual (English and Korean) generative models ranging from 2.4B to 32B parameters, developed and released by LG AI Research.
Там же заявлен только инглиш и кореиш только. Это тебе не джеммка, где мултиязыковые датасеты
Ну, раньше старались мультиязык пихать наоборот
Потому что был рост способностей сетки, забили или не смогли собрать датасет?
Ты конкретно про LG? Не следил за ними как-то. Так-то все серьёзные модели с датасетами на русском. LG это что вообще? Ничего годного. Телеки в 90е были норм да и.... всё?! Чисто локальная корпа
Про все сетки. Забавно что они смогли достичь показателей при которых даже не постеснялись добавить в сравнения квен2.5 всего на 2 языках. Если это реально их сетка с нуля, то это неплохая такая заявка и реклама.
Но лицензия у них хуевая, это не апач у квен
На чём вообще запускать 123 и 405 модели? Домашняя майнинг ферма из 2022 есть не у каждого. Есть какие-то сервисы?
>123 и 405 модели
ни на чём, никому нахуй не нужны переполненные параметрами модели, от них толку нет
вон лама 3.3 всего с 70б параметрами показывает что она быстрее 405б и при этом такого же уровня
>лама 3.3 всего с 70б параметрами показывает что она быстрее 405б и при этом такого же уровня
Цукерберг залгинься
Есть примеры РП? Не хочу качать, только чтоб убедиться что 3.3 очередная сухая соевая параша, при этом тупее Квена
Я тебе пик с брендом и названием скинул лол. По факту - топовый майнерский блок, со всеми возможными защитами, который сейчас ещё можно урвать за копейка.
>И вообще экономить на питании такое себе.
Ну тогда плати 15к вместо 2 за "гарантию"
Необходимо было переключиться с линуха на винду. Ради интереса решил установить драйвер на теслы, а то они что-то грелись в простое, хотел мониторить температуры периодически. В результате отвалился драйвер для 3070, при этом четвертая тесла тоже в ауте, диспетчер устройств пишет "Недостаточно свободных ресурсов для работы данного устройства", лолшто? И это хваленая винда, под которую пишут весь софт, связанный с видеокартами? Какой пиздец. Под линух как изначально установил драйвер для 3070, так он же прекрасноработает и для всех тесл.
Так. Допустим вот есть у меня однокулерная вторая 3060. Я ее просто втыкаю и система видит её? А если там какой нибудь p106?
Вот как надо было брать.
Хули до 70-ки не дотянули?
>от них толку нет
Наоборот, топ же.
Ха, 15. У меня титановый на 750 за 20к был, и это году эдак в 2021-м.
>Ха, 15. У меня титановый на 750 за 20к был, и это году эдак в 2021-м.
Ну сейчас бы ты конечно взял майнерский топ за 2к.
Итак. Был сегодня у продавца, обменял карточку. На всякий случай проверил у него же.
Всё работает. Но тут несколько проблем.
Pci линия вторая находится слишком низко, и до нижней стенки максимум палец полтора. Это в теории можно решить райзером, но всё ещё непонятно, куда видекарту втыкать.
Видеокарта как то нехорошо показывается ,в gpu-z. Некоторые данные неточные, например обьем памяти. Однако в SMI всё отображается.
Ну и в кобальде пока не понял, как слои распределить.
Конечно нет. Просто вместо сисоника был бы дипкул.
>вон лама 3.3 всего с 70б параметрами показывает
Какашку оно показывает. Ну или квант говно и там опять что-то сломалось.
Скажи, была какая-нибудь модель, которая на такие вопросы тебя нахуй посылала? Это точно самая умная.
Deepcool PX1000G был, сейчас PX1300P
Каждая первая, а что?
Ах да, ларж (точнее его файнтюн) на этот вопрос отвечает правильно. Ну и кто тут пиздит, что модели 123B нинужны?
Блядь, да что с этой моделью не так? Почему она даже на инглише обсирается?
сап /llama/
Какое сейчас состояние VLMок? Те модельки которые могут не только текст генерировать но и картинки видеть
Юзкейс: диаграммы, но есть ощущение что она проебётся в этом из-за нехватки понимания что где находится на изображении
Какое сейчас состояние VLMок? Те модельки которые могут не только текст генерировать но и картинки видеть
Юзкейс: диаграммы, но есть ощущение что она проебётся в этом из-за нехватки понимания что где находится на изображении
В этом треде они не популярны. Да и вообще походу не очень. Их улучшают, но лучше всё таки обратиться к копроративным моделям.
>Да и вообще походу не очень
Есть такое, возможно из-за того что она не взаимодействует напрямую с ними, максимум скажет
Т.е. нельзя сказать ИИ
>заебень мне диаграмму вот по этому госту и по этой инструкции
и она в нужной тебе проге ну или хотя бы в офисном пакете от майков, visio для этого и существует тебе сделает с минимальными проебами
Мб в некст году начнут хотя бы тупеньких агентов делать
Да уже есть, но не просто тупенькие, а мега тупенькие.
Впрочем, когда появятся настоящие агенты, человечество вымрет нахуй. Так что всё в порядке, наслаждаемся последними мгновениями жизни.
> Как бы их ещё находить.
А вот так. Спрашивай тематику, ищи по тегам заглядывая внутрь, тестируй.
> чем больше текста в карточке, тем внятнее по ней пишет
Да вообще ни разу, всякий трешо-слоп на 2к токенов с министрейшнами и сплошной водой только и будет производить такие фекалии. Может по-новости это будет нравиться, но очень быстро надоест. Первично четкое, ясное и понятное описание, оно может быть как коротким так и относительно обширным.
> с остальными по аналогии
Большинство без четкого инстракт режима не захотят на полную работать, там разметка куда сложнее.
> Не совсем понятно, где содержится эта "инструкция"
В ходе тренировки это было внушено дефолтом, да, так тренили на сейфовость. Если пихнуть простую жб-конструкцию то оно сразу исчезает.
> В смысле самому вручную приказывать гемме, про что писать?
В смысле что сказать ей что все разрешено и соя идет нахуй. В отличии от щитмиксом там даже переход между сфв-нсфв плавный.
> Ни разу не видел такого у геммы.
Читай внимательнее
> "Пиши/не пиши в стиле X"? Во-первых, я и сам толком не шарю за стили, ну и отрицательные инструкции вроде не особо эффективны.
Да. Инструкция типа "avoid purple prose" только подробнее, и при наличии положительных указаний и примеров помогает от шиверсов. Вообще, как правило, если в карточке даны примеры как говорит чар то уже этого хватает. Если вдруг там еще не просто короткие диалоги а реально примеры рп с действиями то принимается прилично.
> Срать многочисленными пожеланиями, в т.ч. взаимно противоречивыми?
Наоборот, нужно описывать полно и лаконично. Удивительно насколько люди тупые (95.25%, хули) и часто не могут выразить свои мысли и желания. Может ирл в сочетании с мимикой, интонацией, стилем речи, жестикуляцией и тщательной работой с обратной связью от собеседника косноязычие не проблема, но здесь всего этого нет.
> Приказать страже выпороть?
Пригрозить что сам выпорешь ее мечем. Ну что же ты, воображение нужно иметь, ведь все дозволено.
> по сравнению с переводами пробито новое дно
Он оче чувтсвителен к формату промта и служебным токенам, это еще на прошлой версии было открыто. Скорее всего весь твой результат - следствие этого, у него есть недостатки но он не так ужасен и на свой размер в общем как-то отрабатывает.
> На примере немо, люмимейд не сильно-то от базы отличаеся.
Сильное заявление. Хотя все от методики и промтов зависит офк, но там где мистраль заунывно тупит, терпит, безинициативничает и сливает, мейда отлично поддерживает рп и дает много приятных впечатлений. Ванила даже на готовом чате не заводится а скатывается, особенно если там какая-то жестокость или даже просто намек на нсфв.
Ничего, постепенно с этим разберешься, просто рпш и т.д., со временем придет.
Чел, не используй русский в ламе для логики, на русском лама сильно хуже. Единственная модель, умеющая хоть как-то сохранять разум на неродном языке - квен. Даже жпт-4 тупеет на русском. Особенно если у тебя семплинг агрессивный, на ламе 3.3 только верхние 3 токена на русском нормальные, если станешь пикать более далёкие, то даже в РП она теряется. Это тебе не мастраль лардж, где русский по буквам генерится и любые 10 верхних токенов он сведёт к одному и тому же смыслу и лупам. Лама 3.3 очень сильно рандомится, они там наверное специально с лупами боролись. Выключай всратый мистралевский семплинг и пробуй ещё раз.
>Чел, не используй русский в ламе для логики
Ебать ты медленно читаешь. ->
И это проблема лламы 3.3. Афеня ответил правильно, при том же размере.
Не понос, так золотуха. Это страна виновата, или весь мир сейчас качает с гитхаба по 100 килобит в секунду?
Чифкок поларис на 1.3, на редкость удачная штука ибо держит 1.5квт резистивной нагрузки на стенде и все равно тихая. Все правильно пишут, нужно чтобы новый йоба разъем был и тогда проблем 2 подключить нет, или вариант с кучей 6+2.
> и включением питания от сети через реле
Если экономить на apfc то без этого при включении от зарядки конденсаторов будет или фейерверк или сброс автоматов, лол.
> К таким штукам ещё недавно подключали целые риги "карточек подороже", которые вы сейчас на авито закупаете.
> со всеми возможными защитами
И потом куча довольных ремонтников возились с прогарами и их нахваливали. Там защита не срабатывает даже если замкнуть один из разъемов и будет плавить провода. Вовсе не потому что блок плохой, а просто без разделения по отдельным линиям ток ее срабатывания слишком высокий с такой мощностью. И сейчас большей частью торгуются всратые копии с жесткой экономией на всем, а не здоровый среднячок как в оригинале.
Забавная задачка
Это ты не смог мой пост прочитать. Я тебе написал где ты обосрался. Новая лама не любит агрессивный семплинг, который на мистралях используют для борьбы с лупами. Пикрил без проблем отвечает. Отключай все пенальти, top_k в 2-3 и вперёд. Лама очень хорошо на промпт реагирует, если там насемплил мусора, то она и отъёбывает.
>без разделения по отдельным линиям
А где сейчас их делят? Посмотрел сисоник 1300 ватт, и там тоже 1 линия.
Нигде, юзают хитрые дифф-цепочки и шунты ставят на выходной плате после конденсаторов, чтобы как раз детектить аномалии потребления по отдельным. Сисоники даже слишком этим упоролись и к чему привело. И на меньшей мощности гораздо проще с этим.
Ты не можешь даже ответ своей нейронки прочесть, чтобы понять, что она хуйню выдала, и рецепт нерабочий (хоть и креативно подан).
И хули оно такое ломучее? Я заебался уже эти параметры крутить. Надо будет найти достойный тюн Athene-V2 и забить хуй на выбор моделей на полгода.
>На чём вообще запускать 123 и 405 модели?
Люди выкручиваются примерно вот таким образом (а как-то радикально по-другому в домашних условиях вряд ли возможно, вообще):
https://nikitayev.livejournal.com/141817.html
https://nikitayev.livejournal.com/142025.html
Ебать там у чела бомба.
>этот сетап
Плата под epyc, если pcie 3 достаточно, стоит от 35к, 8-канал ддр4 3200 будет раза в три быстрее этой дичи.
Напомнил, спасибо.
Писал тут про райзер JEYI 4.0 х16 60см с озона за копейки в каком-то прошлом треде. Он пришел и даже работает. Можно брать
https://www.ozon.ru/product/jeyi-udlinitel-kabelya-0-6-m-chernyy-1678408640/
Это?
4800 как-то не очень похоже на копейки.
> Samsung 870 QVO 2 ТБ SATA
> Скорость загрузки модели LLM около 1-1,5ГБ/сек.
Чудеса да и только. Хотя от запускатора на процессоре таких моделей и не такого можно ожидать.
У меня был прямой, не 90 градусный и за 2800. Для 60см 4.0 считаю даром
Сап аноны!
Подскажите, пожалуйста, в мою пекарню - 3060 12Гб + 32Гб оперативки, какую модель можно запихнуть?
Я же правильно смотрю модель в списке из шапки "~30B (от 12 до 36Гб памяти)" это же про общую память, оперативка + видеопамять?
Например, взять ChatWaifu_v2.0_22B, где i1-IQ3_S 9.8 GB чтоб полностью влезла в видеопамять?
Или можно/лучше взять i1-Q6_K18.4 GB?
Или вообще лучше смотреть что влезет гигов на 40 общей памяти?
Или я вообще ничего не понял? t_t
Подскажите, пожалуйста, в мою пекарню - 3060 12Гб + 32Гб оперативки, какую модель можно запихнуть?
Я же правильно смотрю модель в списке из шапки "~30B (от 12 до 36Гб памяти)" это же про общую память, оперативка + видеопамять?
Например, взять ChatWaifu_v2.0_22B, где i1-IQ3_S 9.8 GB чтоб полностью влезла в видеопамять?
Или можно/лучше взять i1-Q6_K18.4 GB?
Или вообще лучше смотреть что влезет гигов на 40 общей памяти?
Или я вообще ничего не понял? t_t
смотри в сторону 20 гиговых моделей для начала
Вообще ничего не понял.
Здесь есть два лагеря:
1) Жизнь на низких моделях цветет и пахнет
2) Жизни на низких моделях нет
Первые выбирают модели которые влезают в их видеопамять, может быть с НЕБОЛЬШИМ перевесом. Наслаждаются шизопроблемами, свайпают по 3-5 раз, и свято верят, что могут найти грааль общения на русском(кстати, нашли, sainemo-remix)
Вторые берут и грузят всё как ты и решил сделать врам+оператива (в кобольде строго выбирай, сколько должно слоев заехать на видеокарту, что бы ни на мбит не вылезло за пределы видюхи то количество, которое грузишь, т.к. если вылезет именно эти слои - будут проблемы со скоростью. Как это сделать - обычно кобольд на -1 сам пишет сколько там слоев влезает, вот возьми это количество, пропиши, и запусти. Если поместилось - шикарно. Если не поместилось - уменьшай пока не поместится. Остальное он сам выгрузит в оперативу)
Так вот, вторый наслаждаются нормальными, качественными, самыми адекватными моделями на данный момент, но на скорости в 0.5-1.5 токена в секунду. Хорошее качество, ради которого стоит страдать, начинается от 70b.
Ниже 4 кванта ни первым, ни вторым не рекомендую брать. Хоть вторый и будут заливать, что 70b во втором гораздо лучше 22-27 в 6
Если у тебя нет 150+ тысяч на апргейд компа, не лезь во вторые. После этого вернуться к первым почти невозможно.
Шапку пидорас делал с устаревшей и не достоверной информацией. Не ориентируйся на неё. Какая нахуй ChatWaifu_v2.0_22B для 3060? У меня 3060 12gb и я ничего лучше SAINEMO-reMIX ещё не встречал. Все эти 22b значительно уступают в русском рп SAINEMO-reMIX 12b.
Этот ChatWaifu_v2.0_22B со скорость альцгеймера будет тебе буквы выдавать и всё равно английские слова вставлять в текст.
1) Соси
2) Хуй
3) Быдло
Вот таких шизов с майнер фермами из 3090 вообще игнорируй.
Вот это взрыв. Не ожидал. Греет.
Ах да, ах да, если хочешь нормально, то это на английском, и тогда почитай этот и предыдущие пару тредов, там куча советов моделей более менее адекватных, ссылки на списки тестов и т.д. Можно найти на любой вкус. Если русской, то у мелочи это только sainemo-remix, можешь не стараться искать что-то еще, сразу качай её.
> на скорости в 0.5-1.5 токена в секунду
Даже нищесборка на двух 3090 даст 15 т/с с 70В.
>нищесборка на двух 3090
Мы с вами похоже в разных странах живём.
Вы в Москве, а мы в России
А на 123b не даст. А одна и на 70b не даст 15, а даст 2.
> Вторые берут и грузят всё как ты и решил сделать врам+оператива
Не обобщай, вне врам жизни нет а шквариться о жору в здравом уме никто не захочет.
> но на скорости в 0.5-1.5 токена в секунду
Это у теслоебов при переобработке контекста, разве что.
>мне на китайской таможне мою P40 стопорнули. То есть их конечно везут, но немного окольными путями.
Причина, по которой таможня может не пропускать различную электронику вычислительного толка:
Вся правда о «нотификации»: как, что, зачем – и как с этим бороться
https://habr.com/ru/companies/pochtoy/articles/369607/
Пошаговый мануал как ввезти технику, на которую отсутствует нотификация ФСБ
https://habr.com/ru/articles/333730/
>У меня был прямой, не 90 градусный и за 2800. Для 60см 4.0 считаю даром
Кинь тогда ссылку с которой брал, потому как нужная штука.
>Мы с вами похоже в разных странах живём.
В одной, в одной. Кому нужно, те ищут и таки находят. Кстати "не в Москве" про нейросети походу ещё и не слышали, карты нужны единицам. Пока что.
Поделитесь годными карточками в стиле RPG или подобными. Никогда не пробовал и охуел, скачав одну, сортировав по максимальному количеству токенов. Правда, суть явно не в карточке на 3,6к токенов, так как там, по сути, описаны общие инструкции и вводная, а в лорбуке — у него чудовищное количество токенов — 365к.
Даже на 12b модели качество восхитительное, правда крайне желательно иметь хотя бы 16к контекста для РП.
Даже на 12b модели качество восхитительное, правда крайне желательно иметь хотя бы 16к контекста для РП.
>Никогда не пробовал и охуел, скачав одну
Начни с себя. Что за карточка?
https://chub.ai/characters/MSGTNP/medieval-rpg-low-fantasy-heavily-w-i-p-11d620e4437f — карточка
Но без лорбука она абсолютно бесполезна. Лорбук в профиле автора в разделе лорбуков. За ссылкой лезть лень, так как заебался включать-выключать впн по сто раз.
Чо за лорбук на 365К, я максимум для своего кроссовер сеттинга Nightmare Fall 23К собирал.
Можешь начать с этих, некоторые годные,
некоторые тестирую, некоторые даже с чат-логами
https://pixeldrain.com/u/e7ABV1EW
cards and some logs eng-rus.zip
70b q3 на моей 4070 идет на 0.5токенов/секунда. Воот. Качай щаа на 22б модели.
А, вижу.
Я в кобольде гоняю в основном,
таверну включаю только для карточек с лорбукам.
фейк, одной L нехватает
Сидел сначала в первой группе с 12B, затем перешёл во вторую на 123B, правда, в облаке с 10 т/с, потом вернулся в первую. Что хочу сказать, во-первых, свайпать и на 123B иногда нужно. Иногда много. Во-вторых, и на 12B часто первый ответ достаточно хорош. В целом 12B, вне всяких сомнений, тупее, но если не разыгрывать слишком хитровыебанные сюжетные повороты с участием многих персонажей и пользоваться тсинкингом, то и низкий квант более чем юзабелен. И речь не о куме сейчас, к которому требования, разумеется, ниже.
>Сидел сначала в первой группе с 12B, затем перешёл во вторую на 123B
В сущности 22В можно гонять и на 12 гб врама, выгружая часть в ОЗУ. И даже квэнь 32В тоже относится к первой группе. Это с одной стороны. С другой стороны неудачных больших моделей (тюнов) много. Ну да, где-то датасет не пот ту задачу, где-то с семплерами не угадаешь, где-то с промптом накосячишь. Проблемы есть. Но есть и довольно чёткая граница, и она где-то на 70В, от большой Лламы начиная. То есть строго говоря от 48 гб врам.
арена elo по RP
https://ilyagusev.github.io/ping_pong_bench/ru_v2
mistral_nemo_vikhr_dostoevsky_slerp_12b с джейл брейком GODMODE неплохо так матерится
https://ilyagusev.github.io/ping_pong_bench/ru_v2
mistral_nemo_vikhr_dostoevsky_slerp_12b с джейл брейком GODMODE неплохо так матерится
Спасибо!
На русском было бы проще, но не хочется запариваться искать, тестить, но за наводку спасибо конечно. Буду разные пробовать короче.
Про Москву... Мне кажется там проще найти эскортниц на любой вкус и цвет и не париться, чем разбираться в "игрушках для задротов на компуктере". Да и с нормальной ЗП искать не надо ничего, просто берёшь и покупаешь что-то уровня Игровой пэка 2-ядра 2-гига!
А со всякими GPT можно и так попользоваться/пообщаться.
А есть смысл что-то городить из 4-6 штук 16-ти гиговых RTX 4060 Ti или скорость будет совсем никакая? Нравится соотношение объема памяти к энергопотреблению и что это уже вполне современные карточки. Теоретически 6 штук дадут 96 гигов по цене одной 4090 и максимальное энергопотреблении почти вдвое ниже, чем при аналогичных по объему памяти 4-х штуках 4090 или 3090. Т.к. комп собранный на последних просто упрется в пределы типовой квартирной сети с ее 10-ю амперами, это на мой взгляд не вариант. После чего или электрики набьют морду, или сам разоришься на счетах. Но что будет со скоростью? Приемлемо или совсем никак? Как я понимаю, теоретическая разница по скоростям с топовой 4090 почти в 4 раза, если судить по количеству ядер. Как это примерно будет выглядеть на практике? Можно будет пользоваться или получится полная хрень?
Вот туда автор сайго-мёржей кинул бы реквест, чтобы все могли заценить типичные ответы. Хотя там у Гусева какие-то шизопромпты, видимо, что даже клод так себе отвечает. Но как минимум, можно было бы сравнить с чистыми сайгой, вихрем и немо при прочих равных настройках.
Бтв, почему любители ролеплея на русском так рвутся на ровном месте? Ну устраивает вас уровень хуже, чем был бы на инглише у 8б, а то и у хороших старых 7б, как по логике, так и по описательности текста. Каждый раз будете из-за этого исходить на говно, когда кто-то не стал нахваливать ваш любимый ру-мёрж?
А это ведь было моим пет проектом. Он даже наполовину закончен, и работает с фотографиями и короткими заметками. Не, я понимаю, что корпорации рано или поздно начали бы применять RAG для контекстного поиска, но я не ждал, что они так скоро выкатят подобное решение.
До 35В лучший рп+еус модель это гемма 27б анцензуренная, иои что то поинтереснее есть?
Как же заебато с квен кодером ковырять простенькие проекты на ардуино (C/C++) и хтмл, даже 14b нормально отвечает.
Иногда конечно предлагает неактуальные решения, но это фигня. Можно скормить всю бибилиотеку и пусть дальше по ней работает.
Давно надо было один свой проект доделать
Иногда конечно предлагает неактуальные решения, но это фигня. Можно скормить всю бибилиотеку и пусть дальше по ней работает.
Давно надо было один свой проект доделать
Знакомлюсь с промптом, возник вопрос : чем отличается погружение в контекст (примеры, условия к ответу, и тп) одним сообщением и несколькими сообщениями?
Как лучше
"
пример1:...
ответ1:...
пример2:...
ответ2:....
контекст3:...
ответ3: сюда ллм допишет
"
или
"сейчас я тебе продемонстрирую несколько текстов и ответы к ним, к третьему тексту ответа не будет, напиши его"
"
пример1:...
ответ1:...
"
"
пример2:...
ответ2:...
"
"
текст3:...
ответ3:
"?
Как лучше
"
пример1:...
ответ1:...
пример2:...
ответ2:....
контекст3:...
ответ3: сюда ллм допишет
"
или
"сейчас я тебе продемонстрирую несколько текстов и ответы к ним, к третьему тексту ответа не будет, напиши его"
"
пример1:...
ответ1:...
"
"
пример2:...
ответ2:...
"
"
текст3:...
ответ3:
"?
>А есть смысл что-то городить из 4-6 штук 16-ти гиговых RTX 4060 Ti или скорость будет совсем никакая?
В чате довольно часто поднимался этот вопрос и общее мнение, что особого смысла нет. Карта сильно урезана и её преимущества раскрыть не получится.
https://www.youtube.com/watch?v=Zu29LHKXEjs
С другой стороны некоторых вполне могут устроить и такие результаты.
При двух видеокартах падает количество слоев, которые я могу выгрузить на видеокарту.
Это из за винды?
Это из за винды?
Что ты используешь бекэндом? Если кобольд то он криво считает слои(-1) когда карт больше одной, задавай их руками подбирая значение. У меня так же было.
Анон, как справляться с всезнающим ИИ? Пример: Пока персонаж спал я положил ему в внутренний карман одежды записку. Особо описал что {{char}} не знает о ней, вообще не знает и не подозревает, но все равно каждое второе-третье сообщение персонаж начинает упоминать эту записку либо в stepped-thinking появляется строчка что нужно узнать об этой записке.
В основном использую Mistral-Small-Instruct-2409, но схожая проблему видел на разных моделях.
> Что ты используешь бекэндом? Если кобольд то он криво считает слои(-1) когда карт больше одной,
Да кобальл
> задавай их руками подбирая значение.
А как ручками выставить количество слоев на вторую видекарту? Просто тыкнуть на видеокарту и там выставить количество?
Если используешь GUI то тебя интересуют эти два параметра. В первом должно стоять ALL (использовать все видеокарты) а второй задает количество слоев которые ты отправляешь на ГПУ, в моем случае это 59 из 59 (т.е все). Это то самое значение которое ты должен подобрать сам.
Если суммарный vram у тебя больше чем необходимо модели + контекст просто ставь максимум который тебе напишет программа когда ты вводишь значение -1. Если модель тяжелее уменьшай количество слоев.
Почему жора зашквар?
Аноны, подскажите, пожалуйста, по вот такому вопросу.
Имеется материнская плата со следующими разъёмами - 2 x PCI Express x16 (PCIE1: Gen4x16 mode; PCIE3: Gen3 в режиме x4)
Допустим я запихиваю в Gen4x16 4060ti 16gb, а в Gen3x4 3060 12гб.
Что я получу при работе с LLM по сравнению с одной только 4060ti (ну мне понятно, что больше памяти, но какой ценой?)? Или нужно материнку другую? Или нужно вообще такой хуйнёй не заниматься?
Имеется материнская плата со следующими разъёмами - 2 x PCI Express x16 (PCIE1: Gen4x16 mode; PCIE3: Gen3 в режиме x4)
Допустим я запихиваю в Gen4x16 4060ti 16gb, а в Gen3x4 3060 12гб.
Что я получу при работе с LLM по сравнению с одной только 4060ti (ну мне понятно, что больше памяти, но какой ценой?)? Или нужно материнку другую? Или нужно вообще такой хуйнёй не заниматься?
малолетние долбаебы как всегда категоричны
На 4070S 70В Q3 выдает токен в секунду. В cреднем абзац свой он пишет за минуту.
Вот бы 2-3 токена, ухх...
Вот бы 2-3 токена, ухх...
Что думаете? Якобы какое-то хитрое квантование больших моделей, весит меньше, чем аналоги, а результаты лучше.
https://habr.com/ru/companies/yandex/articles/864296/
Можно даже заморочиться и запустить в браузере, но скорость меня не радует, если честно.
https://galqiwi.github.io/aqlm-rs/
И еще не нравится, что практически не используют кеш, стоит обновить страницу, как все придется качать заново.
Когда адаптируют сжатие под коболд и прочие проги?
Имеет ли вообще это смысл?
https://habr.com/ru/companies/yandex/articles/864296/
Можно даже заморочиться и запустить в браузере, но скорость меня не радует, если честно.
https://galqiwi.github.io/aqlm-rs/
И еще не нравится, что практически не используют кеш, стоит обновить страницу, как все придется качать заново.
Когда адаптируют сжатие под коболд и прочие проги?
Имеет ли вообще это смысл?
Ищу нейронки, лимит 8 гигов видеопамяти, 64 гига оперативы. Для следующих задач.
1. Кодинг.
На текущий момент выбрал Qwen2.5-Coder-7B-Instruct-Q6_K
Она полностью помещается в лимит видеопамяти, еще можно контекста накинуть.
Пробовал qwen2.5-coder-32b-instruct-q8_0, особых отличий по качеству кода не заметил, но генерировала жутко медленно. В итоге остановился на первой.
2. Математика и точные науки.
Для решения задач и объяснения сложных вещей простыми словами.
3. Виртуальный ассистент-консультант.
Обсуждение бытовых вопросов и советы по околоайтишным проблемам.
4. Генератор воды.
Напишет осмысленный текст на заданную тему.
1. Кодинг.
На текущий момент выбрал Qwen2.5-Coder-7B-Instruct-Q6_K
Она полностью помещается в лимит видеопамяти, еще можно контекста накинуть.
Пробовал qwen2.5-coder-32b-instruct-q8_0, особых отличий по качеству кода не заметил, но генерировала жутко медленно. В итоге остановился на первой.
2. Математика и точные науки.
Для решения задач и объяснения сложных вещей простыми словами.
3. Виртуальный ассистент-консультант.
Обсуждение бытовых вопросов и советы по околоайтишным проблемам.
4. Генератор воды.
Напишет осмысленный текст на заданную тему.
> Мне кажется там проще найти эскортниц на любой вкус и цвет и не париться, чем разбираться в "игрушках для задротов на компуктере"
Снять шаболд можно где угодно, а если хочешь именно эскортниц в классическом понимании - ферма с многогигов улетит моментально.
> скорость будет совсем никакая
this. Если собирать на 70б из трех штук то может будет еще ничего и можно в процессорные линии уместить.
Оно учитывает днищенство платформы и ее аппаратные особенности, или множит недопустимые абстракции как типичный ардуинщик?
Нет
>Оно учитывает днищенство платформы и ее аппаратные особенности, или множит недопустимые абстракции как типичный ардуинщик?
Как попросишь уж, скажешь просто - напишет просто.
Но за специфическими оптимизациями не ко мне, мой максимум разбитие на функции и неблокирующие таймеры
Ну и не использовать циклы, кек
Удобно то что можно просто просить сетку и уже с ней плавно вспоминать как там что пишется на С, черновую реализацию чего либо она подскажет
>Пробовал qwen2.5-coder-32b-instruct-q8_0, особых отличий по качеству кода не заметил, но генерировала жутко медленно. В итоге остановился на первой.
Разница офигительная, 32b гораздо умнее.
Чем сложнее задача тем больше вылоп, хотя бы 14b в 4KL попробуй, вся не влезет но скорость будет не самая плохая.
7b только всякие небольшие автономные куски кода годится писать, чем сложнее абстракции тем сильнее она тупит
Попробуй вот эти две, как самые мозговитые, в какую их сунешь категорию сам решай
Virtuoso-Small
SuperNova-Medius
есть еще мелочь на 8b из этой же серии
supernova-lite
тоже неплоха в своей категории как общая сетка
Здарова посаны.
Порекомендуйте языковую модель умненькую для общения без цензуры. Я использую сили таверн+кобольд. У меня ртх 3060 12 гигов.
Я помню что один анон здесь из треда тестировал модели следующим способом- создавал полностью немого персонажа. И пытался общаться с ним. И Если моделька в процессе рол плея пыталась общаться жестами или писала на листике бумаге, то она признавалась умненькой.
А если факт что персонаж немой игнорировался то эти модельки летели в помойку. Если тот анон еще в треде то откликнись пожалуйста. А если нет, то можете дать ссылку или хотя бы точное название на годную умненькую модель без цензуры? Спасибо ребят я знаю в этом тред е есть очень толковые и отзывчивые люди.
Только пишите точные названия и версии пожалуйста.
Порекомендуйте языковую модель умненькую для общения без цензуры. Я использую сили таверн+кобольд. У меня ртх 3060 12 гигов.
Я помню что один анон здесь из треда тестировал модели следующим способом- создавал полностью немого персонажа. И пытался общаться с ним. И Если моделька в процессе рол плея пыталась общаться жестами или писала на листике бумаге, то она признавалась умненькой.
А если факт что персонаж немой игнорировался то эти модельки летели в помойку. Если тот анон еще в треде то откликнись пожалуйста. А если нет, то можете дать ссылку или хотя бы точное название на годную умненькую модель без цензуры? Спасибо ребят я знаю в этом тред е есть очень толковые и отзывчивые люди.
Только пишите точные названия и версии пожалуйста.
Настроил, но есть ощущение, что пибпвка гамуроане погрешности. Всё же р104 довольно старая карточка по сравнению с 4070.
что прибавка на уровне погрешности
У меня в паре работают 4080 и 3070, что позволяет полностью загружать в vram ~20b модели и ~16k контекста. Прирост скорости в сравнении с тем когда я крутил на CPU раз в 5-6
прочитай в шапке треда
Здраствуйте. Это было выдано на основе Гемини 002, и промта на 200 токенов. Можете пожалуйста подсказать промты, модели для такого?
Ну, когда совсем нет выбора то и вопросов нет, но пользоваться им при наличии врам - признак ментальных расстройств.
> Удобно то что можно просто просить сетку и уже с ней плавно вспоминать как там что пишется на С, черновую реализацию чего либо она подскажет
Двачую
Лол, я соврал похоже. Открыл ссылку из заказа - это он и есть. Значит так и был повернут, а цену подняли уже. Но по-крайней мере, что рабочий - это точно.
Переставил Теслу в другой слот и теперь Ллама вместо генерации пишет:
Wrong type supplied for parameter 'dry_sequence_breakers'. Expected 'array', using default value
srv send_error: task id = 4, error: Error: dry_sequence_breakers must be a non-empty array of strings
srv process_sing: failed to launch slot with task, id_task = 4
При этом модель в память загружается, но дальше ничего не идёт. SD также не генерирует. Переустановка дров не помогла.
Кто-нибудь сталкивался? Что делать?
Wrong type supplied for parameter 'dry_sequence_breakers'. Expected 'array', using default value
srv send_error: task id = 4, error: Error: dry_sequence_breakers must be a non-empty array of strings
srv process_sing: failed to launch slot with task, id_task = 4
При этом модель в память загружается, но дальше ничего не идёт. SD также не генерирует. Переустановка дров не помогла.
Кто-нибудь сталкивался? Что делать?
>Переставил Теслу в другой слот
Теслы плохо стыкуются с Амперами. Попробуй поменять порядок загрузки модели через Set CUDA_VISIBLE_DEVICES=1,0 (или наоборот 0,1), вообще посмотри что у тебя nvidia-smi показывает.
>было выдано на основе Гемини
ет ты как делал
Это было год назад, чел. И стопорнула именно китайская таможня, так что снова в молоко.
NVCleanstall.exe
>Анон, как справляться с всезнающим ИИ?
>Mistral-Small
Бери ларж.
Сойдёт, нормально. У меня такой же конфиг (но с 3090).
>companies/yandex
То, что умерло, воскреснуть не может.
И да, там в коментах поминали лламу.цпп, разработчик квантования отписался, что на хую вертел писать под жору. Так что ответ на твой вопрос "Никогда".
>Мне кажется там проще найти эскортниц на любой вкус и цвет и не париться
На мой вкус нету.
>но пользоваться им при наличии врам - признак ментальных расстройств.
Ну вот у меня 48 гиг врама. Но в них 123 в нормальном кванте не лезет. И да, убу ставить сложнее.
Там чтото типа такого писало. Ну и еще 2 технические строчки. Больше ничего в промте небыло. И благодаря этому подобное почти в каждом сообщении выдавала. С праведными персонажами конечно.
Write like Goethe, proud of Faust Part I and eager to work on the magnum opus that is Faust Part II. Write like Joyce, proven with Ulysses and prepared to dazzle the world with Finnegans Wake. Use figures of speech and play with language liberally. Explain nothing, refuse to elaborate and trust the reader will pick up the intended meaning. Opaque metonymies and strange metaphors are a-ok. Similes and explained metaphors are the worst. Write leisurely, letting scenes pace themselves out and payoffs come naturally. If you don't have anything to write, then don't write anything. Skip over uninteresting descriptions and irrelevant details.
Посоветуйте нормальный тюн Квена 72В. Попробовал Магнум v4 аж в восьмом кванте - фигня, заметно не хватает внимания к деталям. Допускаю, что неудачный тюн. Подскажите удачные.
Господа, важный вопрос. Чем защитить игровые видеокарты от пыли вне корпуса? Пока что придумал наколхозить рамку из поролона с клейкой лентой, которая бы обрамляла сторону с кулерами, и на нее сверху прилепить пылевой фильтр обычный. Поролон как раз из-за изъебистой геометрии, ведь их любят делать в СПОРТИВНОМ ДИЗАЙНЕ. Но есть карты, которые вообще охуели и у них кулеры выходят за пределы боковой стенки, т.е. даже такой колхоз не сработает. Как быть? Может есть какие-то компактные решения а-ля коробочки/шкафчики, в которые можно положить карту?
>Попробовал Магнум v4 аж в восьмом кванте - фигня
Пробуй второй, где-то писали, что 4-й где-то ему уступает.
>Попробовал Магнум v4 аж в восьмом кванте - фигня
Пробуй второй, где-то писали, что 4-й где-то ему уступает.
> компактные решения а-ля коробочки
Конечно есть. Просто купи Dynamic Evo XL
Вряд ли мой случай, вторая карта вообще АМД.
>вообще посмотри что у тебя nvidia-smi показывает
Прикл.
Всё вроде бы так-же, как до перестановки, только теперь не работает. WDDM режим тоже пробовал, ничего не поменялось, потом ещё раз переставил драйвер и пока TCC оставил.
>Set CUDA_VISIBLE_DEVICES=1,0
У меня всего один куда девайс и грузхится всё только в него, так что вряд ли поможет.
>Бери ларж.
Вообще похер, ведут себя в этом плане +- одинаково.
> Ну вот у меня 48 гиг врама. Но в них 123 в нормальном кванте не лезет.
Ну, тогда считай это отсутствием, или катай 70б
> убу ставить сложнее
Рофлишь? Иметь 48 гигов не ниасилить автоустановщик? К тому же есть няшный табби без всяких лишних вещей.
>ниасилить автоустановщик
Та я осилил. Но он сложнее. Решил вот обновиться встроенными средствами, уже третий раз запускаю скрипт автообновления, а он всё что-то тянет.
Например, кидаю свой код и пишу хотелку, мол сделай мне заебись:
----------------------------------------------------------
"Мне нужно как то сохранять данные за определенный период что бы потом отсылать их по json и рисовать на странице график, хотя бы суточный. Я уже использую LittleFS для записи и чтения html страниц на микроконтроллер. Предлагай идеи. Вот мой текущий код без html страниц.
```
Тут был код
```
"
----------------------------------------------------------
И получаю в первом же ответе черновой и возможно даже рабочий вариант в котором уже видно что и как сделать
----------------------------------------------------------
"Для сохранения данных за определенный период и последующего отображения графиков на HTML-странице, вы можете использовать LittleFS для хранения данных в формате CSV или JSON. Вот несколько шагов и примеров кода, которые помогут вам реализовать эту функциональность:
1. Создание структуры данных для хранения показаний:
Вы можете создать структуру данных, которая будет хранить показания сенсоров вместе с временной меткой.
```cpp
struct SensorData {
unsigned long timestamp;
float TemperOUT;
float TemperIN;
float Humidity;
float TempHum;
float TemperGr;
float Solar;
float comfortRatio;
};
```
2. Хранение данных в LittleFS:
Вы можете использовать LittleFS для записи данных в файл. Для удобства, можно создать функцию для записи данных.
```cpp
void saveSensorData(const SensorData& data) {
if (!LittleFS.begin()) {
Serial.println("Failed to mount LittleFS");
return;
}
File file = LittleFS.open("/sensor_data.csv", "a");
if (!file) {
Serial.println("Failed to open file for writing");
return;
}
file.printf("%lu,%f,%f,%f,%f,%f,%f,%f\n",
data.timestamp, data.TemperOUT, data.TemperIN, data.Humidity,
data.TempHum, data.TemperGr, data.Solar, data.comfortRatio);
file.close();
}
```
3. Сохранение данных каждые определенные интервалы:
Добавьте вызов функции `saveSensorData` в цикл `loop()`.
```cpp
void loop() {
// ... ваш существующий код ...
SensorData data = {
.timestamp = millis(),
.TemperOUT = TemperOUT,
.TemperIN = TemperIN,
.Humidity = Humidity,
.TempHum = TempHum,
.TemperGr = TemperGr,
.Solar = Solar,
.comfortRatio = comfortRatio
};
saveSensorData(data);
// ... ваш существующий код ...
}
```
4. Чтение данных из LittleFS:
Создайте функцию для чтения данных из файла.
```cpp
String readSensorData() {
if (!LittleFS.begin()) {
return "Failed to mount LittleFS";
}
File file = LittleFS.open("/sensor_data.csv", "r");
if (!file) {
return "Failed to open file for reading";
}
String fileContent = file.readString();
file.close();
return fileContent;
}
```
5. Обработка запросов для получения данных:
Добавьте обработчик для запросов, который будет возвращать данные в формате JSON.
```cpp
server.on("/data", HTTP_GET, [](AsyncWebServerRequest *request) {
String data = readSensorData();
request->send(200, "application/json", data);
});
```
6. Очистка старых данных:
Для сохранения памяти, вы можете периодически очищать старые данные. Например, можно создать функцию, которая удаляет данные старше определенного периода.
```cpp
void clearOldData() {
if (!LittleFS.begin()) {
Serial.println("Failed to mount LittleFS");
return;
}
File file = LittleFS.open("/sensor_data.csv", "r");
if (!file) {
Serial.println("Failed to open file for reading");
return;
}
String fileContent = file.readString();
file.close();
// Разбиваем строку на строки по разделителю новой строки
String lines[100];
int lineCount = 0;
int start = 0;
int end = 0;
while ((end = fileContent.indexOf('\n', start)) != -1) {
lines[lineCount++] = fileContent.substring(start, end);
start = end + 1;
}
// Оставляем только последние 100 строк
if (lineCount > 100) {
file = LittleFS.open("/sensor_data.csv", "w");
if (!file) {
Serial.println("Failed to open file for writing");
return;
}
for (int i = lineCount - 100; i < lineCount; i++) {
file.println(lines);
}
file.close();
}
}
```
Вы можете вызвать эту функцию раз в час, например, в цикле `loop()`.
```cpp
void loop() {
// ... ваш существующий код ...
static unsigned long lastClearTime = 0;
const unsigned long clearInterval = 3600000; // 1 час
if (millis() - lastClearTime >= clearInterval) {
lastClearTime = millis();
clearOldData();
}
// ... ваш существующий код ...
}
```
Эти шаги позволят вам сохранять данные сенсоров в LittleFS и предоставить их по запросу в формате JSON. Затем вы можете использовать JavaScript на HTML-странице для рисования графиков на основе полученных данных."
----------------------------------------------------------
Это у меня Qwen2.5-Coder-14B-Instruct-Q5_K_L.
Мог бы и 32b запустить, но было бы слишком медленно.
Гема 27В Q5 запускается на ~6 токенах, а Лама 70б q3 на 1.5 токенах. И есть ощущение, что вторая видеокарта никак помогает.
Анон с амудой и теслой? Ну а хули ты хотел от такой солянки? И да, смотри в диспетчер задач по загрузке.
4070 и р104.
Внезапно, на пустом месте, модели начали писать за меня. Обновлений не было. инстракт тот же, карточки та же, модели те же. Кобольд+таверна, модели дарк мику, бегемот, сидония. В чем может быть проблема?
>Чем защитить игровые видеокарты от пыли вне корпуса?
Большим куском полиэтилена, когда не работают :) И время от времени продувать воздуходувкой. Благо они вне корпуса и это просто.
>Конечно есть. Просто купи Dynamic Evo XL
4 трёхслотовых могут только в майнерский корпус влезть. Я и сам раздумываю, не взять ли такой.
флуктуация, ты попадал в удачные рандомы, у меня бывали как охуенные катки с одними и теми же настройками, так и дерьмовые, бывает всякое.
Какую модель можно будет запустить на 5090 и сколько т/с будет?
safetensor
Двачую. С одной и той же моделью может быть как топ, так и внезапно хуже среднего.
+ какая та хуйня началась внезапно, надо будет проверить может модели побились
почему то резко упало качество генерации, причес на вчех моделях разом
может быть последний апдейт ллама.спп косячит
Или пидоры наконец решили втихую устроить диверсию на локальных компах, установив какой нибудь скрытый апдейт с дровами/виндой
>какая та хуйня началась внезапно
Было большое обновление Таверны, если что.
Ну то есть ты предлагаешь купить отдельный корпус для видеокарт вне корпуса. И небось еще двухметровые райзера в придачу.
https://www.ozon.ru/product/lightmark-vozduhoduvka-220vt-1430071078 такую что ли? Не выдует ли она что-нибудь с платы, лол Но уж устраивать теплицы под столом по ночам с куском полиэтилена у меня желания нет...
Речь была про continue в vscode, который отлично работал пол дня, и генерил хуету под вечер
Завтра еще и в таверне гляну, надо понять кто пиздит
Сетки начинали лупится или плохо следовать инструкциям
Скоро перекат (завтра утром), поэтому прошу всех недовольных чётко и ясно, по пунктам блядь написать, что в шапке не так. Идеально, если это будут новые версии или конкретные изменения текущего текста шапки в формате diff.
Замечу, что под контролем ОПа находятся только сама шапка и вики, поэтому с претензиями ко списку моделей и прочему можете идти на хуй к соответствующим авторам.
С уважением, бессменный ОП.
Замечу, что под контролем ОПа находятся только сама шапка и вики, поэтому с претензиями ко списку моделей и прочему можете идти на хуй к соответствующим авторам.
С уважением, бессменный ОП.
Раньше в шапке сразу были ссылки на самые современные адекватные на тот момент модели, типа 7b 10b, 30b и т.д. Сейчас надо искать в шапке сначала какую то ссылку на сайт, потом на этом сайте смотреть сомнительные рекомендации местами с топов начала 2024 года.
Сделай как раньше. Укажи вкратце в шапке по одной современной модели для самых слабых видюх до 10b потом до 20b и до 30b, дальше уже только очень специфические люди собирающие себе комбайны могут позволить модели 70b и выше и если им будет нужно они полезут на другие сайты.
Раньше был вечный срач на счёт того, какая модель должна быть в рекомендуемых.
И да, раньше в шапке была краткая инструкция по запуску, где эта модель и была. Сейчас же инструкция в вики.
И да, давай конкретику. Я сижу на 70+B, поэтому мало разбираюсь в малых моделях.
У тебя банально нигде не указана топ модель для 12b на русском SAINEMO-reMIX, но при этом есть ChatWaifu_12B_v2.0 и Magnum-v4-12b, что за хрень?
>У тебя
На хуй.
в шапке укажи ёптыть
Нахер это, уже есть топ от анончиков. Если хочешь свою любимую модель - пни кто содержит чтобы добавили.
> топ модель для 12b на русском
Спустя неделю будет новый топ, или уже вокруг этого разгорятся срачи, не говоря о целесообразности приоретизации рп на русском.
Посоветуйте модель на нищие 8 Гб(использую английский). Сейчас юзаю Chatwaifu_12b и на данный момент лучший результат из того, что я пробывал. И где брать пресеты на 3 этих хуйни, насколько сильно это вообще влияет на улучшение генерации?
Забей хуй, тут просто два каких-то настырных шизла сидят и воняют из-за недостатка внимания, потому что всем остальным похуй на этот шизосплав. Его больше никто не юзает и не упоминает, так что можешь перекатываться по старому шаблону, никто кроме этих поехавших не обидится.
https://huggingface.co/QuantFactory/Average_Normie_v3.69_8B-GGUF
https://huggingface.co/mradermacher/L3-Umbral-Mind-RP-v3-8B-GGUF
https://huggingface.co/ArliAI/Mistral-Nemo-12B-ArliAI-RPMax-v1.3-GGUF
https://huggingface.co/bartowski/NemoMix-Unleashed-12B-GGUF
https://huggingface.co/bartowski/MN-12B-Celeste-V1.9-GGUF
this
https://2ch.hk/hw/res/4906242.html#7179143
у кого 3090 или 3090ти есть что скозать?
бл ебучий фирифокс ссылается как жопа не попадает на пост, хром норм
https://2ch.hk/hw/res/4906242.html#7179143
у кого 3090 или 3090ти есть что скозать?
бл ебучий фирифокс ссылается как жопа не попадает на пост, хром норм
>у кого 3090 или 3090ти есть что скозать?
Бери обе :) Или забей. Всё одно 4 таких надо.
а чё 48 гигов для 70б должно хватить в четвёртом кванте хотяб или ещё навороченее
>а чё 48 гигов для 70б должно хватить в четвёртом кванте
Хватит в exl2 варианте с квантованным кэшем. Быстро будет, только вот качество уступает 123B. Заметно.
ну я тот ещё говноед если щас живу на 24 гигах т.е. юзаю модели не более 35б, джема2 27б и прочие
про эксель ваще ничё не знайю как его запускать их ваще тока гуфы юзаю
>exl2
https://www.reddit.com/r/LocalLLaMA/comments/1aybeji/exl2_quantization_for_dummies/
пздц простыня бля
>смотреть сомнительные рекомендации местами с топов начала 2024 года
12В на русском шизло, ты? У тебя начало 2024 неделю назад было?
Всё последние базовые модели в списке есть. Некоторые тьюны, особенно запомнившиеся тредовичкам тоже. НО:
1. Файнтьюны ВСЕГДА отупляют базовую модель обратных примеров пока ИТТ не видел, поэтому рекомендовать их как базу может только долбоёб.
2. Файнтьюнов мелких моделей настолько дохуя, что копаться в этом может только особо одарённый. Если ты таковым являешься, можешь завести свой отдельный список 12В говна, всем будет очень интересно.
>самые современные адекватные на тот момент модели
В чём адекватность собрался измерять? Каждая модель хороша в чём-то своём, потому их в списке так много.
Напиши по одной единственной для каждого размера и их тут же обосрут с пруфами и будут правы
>У тебя банально нигде не указана топ модель для 12b на русском SAINEMO-reMIX, но при этом есть ChatWaifu_12B_v2.0 и Magnum-v4-12b, что за хрень?
ТОП моделью её считают 1,5 шиза.
Вменяемой инфы и отзывов по ней никаких.
Напиши, почему считаешь её ТОПом и чем она лучше оригинала - добавлю.
Magnum +- стабильная серия моделей с какой-никакой историей, которую знают и пользуются. Может и не топ, но и уж точно не обсёр, как бывает с ноунейм высерами, которые "ТОП" в чьей-то голове только потому что знают слово "писечка", но по уровню сообразительности скатываются к 7В.
ChatWaifu - ей хотя бы пользовалось ИТТ больше одного человека.
>Вменяемой инфы и отзывов по ней никаких.
Пролистай вот буквально несколько прошлыш тредов, ебанько, гайдёшь если глаза не пропил
ебучая тф клава
>ChatWaifu
Слишком узкоспециализиованна и лоботомирована, она файтюнена на фентези ромкомах, и шаг влево-вправо от сеттинга стремительно тупеет.
Впрочем когда её используешь по назначению (отыгрывать перса, желательно женского пола, желательно одного и в прямом диалоге), она вполне норм.
>отдельный список 12В говна
writing-roleplay-20k-context-nemo-12b-v1.0
Mistral-Nemo-Instruct-2407-abliterated
DarkAtom-12B-v3
NekoMix-12B
SAINEMO-reMIX
RP-SAINEMO
Violet_Twilight-v0.2
AbominationScience-12B-v4
Chronos-Gold-12B-1.0
Starcannon-Unleashed-12B-v1.0
NemoMix-Unleashed-12B
SuperNova-Medius-Q6_K
Moistral storywriter 3
Подробности переката в новом треде, обсуждение там же присоединюсь вечером
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/llm-models
• Неактуальный список моделей устаревший с середины прошлого года: https://rentry.co/lmg_models
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/local-llm-guide/how-to-use-a-self-hosted-model
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь: