база треда:
- меньше Q6_K жизни нет
- меньше 24B жизни нет
- меньше 16GB жизни нет
- меньше 8 каналов DDR4 жизни нет
- меньше 5 т/c жизни нет
копиум треда:
- Можно получить интересный опыт даже на маленьких моделях меньше 12b
- Не обязательно иметь мощное железо, чтобы попробовать текстовые модели. Но нужно иметь терпение:)
- Каждая модель может найти своего пользователя
дополняйте
- меньше Q6_K жизни нет
- меньше 24B жизни нет
- меньше 16GB жизни нет
- меньше 8 каналов DDR4 жизни нет
- меньше 5 т/c жизни нет
копиум треда:
- Можно получить интересный опыт даже на маленьких моделях меньше 12b
- Не обязательно иметь мощное железо, чтобы попробовать текстовые модели. Но нужно иметь терпение:)
- Каждая модель может найти своего пользователя
дополняйте
Ну что там по гемме новой от барабанщика? Хоть кто-то, кроме меня, пользовался?
Я запостил в прошлом треде. Интересно услышать ваше мнение, потому что не могу понять: или я еблан или модель сломана.
Особенно интересует следование инструкциям и внимание к контексту. Вроде бы она не проёбывается в этом вопросе, но порой очень странно выбирает, на чём акцентировать внимание из карточки.
Я запостил в прошлом треде. Интересно услышать ваше мнение, потому что не могу понять: или я еблан или модель сломана.
Особенно интересует следование инструкциям и внимание к контексту. Вроде бы она не проёбывается в этом вопросе, но порой очень странно выбирает, на чём акцентировать внимание из карточки.
>меньше Q6_K жизни нет
На 4b-12b мелочи разве что. На 24b-32b четвертый квант нормально. На 70b+ - можно и третий аккуратно щупать.
>меньше 24B жизни нет
В рп/сторителлинге - да. В каких-то узких рабочих задачах и 1b норм. Смотря что за задачи
>меньше 16GB жизни нет
>меньше 8 каналов DDR4 жизни нет
>меньше 5 т/c жизни нет
Жизнь возможна вообще без дискретного гпу и на ддр3 памяти в одноканале, зависит от того насколько ты торопишься, какие модели используешь и какие у тебя вообще юзкейсы.
В общем это не база треда, это обострение у очередного шиза.
Кто-то может объяснить как пользовать групповым чатом и нужно ли вообще? Что надо выставить в "генерировать ответ путем"? Подмена или совмещение? Если ставлю совмещение то персонаж начинает подтягивать характер другого персонажа, если ставлю подмену, то моделька хуй забивает на отыгрыш второго персонажа, по сути "не видя" его в совместной сцене. Если выставляю совмещение с учетом заглушенных и даю говорить только одному персонажу, то в совместной сцене персонаж который замьючен может отыгрываться вообще рандомно, либо опять же окрашиваться в характера персонажа который говорит. При этом если вписать этих обоих персонажей в одну карточку, то такого не происходит и все отыгрывает четенько. Гопота сказала что нужно прописать в Join Prefix [Character: {{char}}] а в Join Suffix [/Character: {{char}}], но это никак не исправило ситуацию. Памахите.
> - меньше EXL3 4.5bpw жизни нет
> - меньше 70B жизни нет
> - меньше 96GB жизни нет
> - кроме фуллгпу жизни нет
> - меньше 15@400 т/c жизни нет
> копиум треда:
> - Малые модели тоже хорошо пишут
> - Жора - выбор здоровых людей
> - Процессор с многоканальной памятью даст приемлемую производительность
Жирка набрасываю, а то чего расслабились
Посмотрел, да, в UD некоторые тензоры в 5 кванте вместо 4го.
Хз как это влияет, по моему в русском UD хуже чем обычные.
Тайгер? Постил, она сломана.
Вернулся на Синтвейв.
Не пользуюсь групчатами. Один раз попробовал, хватило.
Хотя было прикольно.
>При этом если вписать этих обоих персонажей в одну карточку
^
>копиум
Это не копиум, это реальность.
Чем менне точная задача, тем меньшая модель с ней справится на том же уровне что большая. А в рп сложность конечно переменная, но в основном низкая.
Вон в прошлом треде лог 8б запостили и вполне довольны были.
>Жора - выбор здоровых людей
На одной игровой видеокарте - да.
> Вон в прошлом треде лог 8б запостили и вполне довольны были.
Можно линк чтобы не искать?
>Можно линк чтобы не искать?
>дополняйте
На русском жизни нет.
> у меня для таких целей девушка есть
Анонче, эротик плей не только про кумить.
У меня и пиздюки и жена и сраный кот. Но это не мешает мне делать всякие эротик квесты. Вот только вчера тестировал карточку побега из БДСМ замка монстродев.
Заметил, что Синтия очень любит ламий, спамит их постоянно. Зачем ебать змей….
Тайгер и на второй гемме был сломан.
У друммера только бегемот норм и цидоньки были норм.
Все остальное всегда было говном.
Хотя та же биг элис была тоже норм, как и сноупирсер.
Скажите, на 2 ядрах и 8 гигабайтах памяти можно запустить хоть какую-нибудь модель, способную изрыгать какие-то вменяемые предложения?
Играю на самодельном триптихе из трех карт, не включая персонажа игрока.
Контекст подается на нейронку полотном, поэтому каждую карточку нужно облачать в отдельные теги.
Карточку персонажа тоже, чтобы не было имперсонейта.
Потом делаешь вступление одно на троих и переделываешь его для каждой карточки, с точки зрения персонажа.
И все - общаешься.
Запускай. 0.1т/с
>Зачем ебать змей
Спроси у японцев XD
Причём на эту штуку даже есть русский перевод.
>памяти
VRAM - можно, RAM - нет.
>У меня и пиздюки и жена и сраный кот.
>очень любит ламий
Ебало пиздюков и жены, когда те увидят, что батя дрочит на змей, имаджинируете?
главное чтобы змея не душил на виду
>
>Кто-то может объяснить как пользовать групповым чатом и нужно ли вообще?
В таверне? Через боль и слезы. Ты уже прочувствовал. Оно кривое концептуально, а в эргономику авторы не могут. В принципе, это практически всего в таверне касается, но групповой чат - прямо таки эпик в данном вопросе.
Чтобы более-менее было хоть как-то можно использовать:
1. все персонажи должны быть завернуты в обертку - можно XML <character> ... </character>, можно
## Character
...
## End
Прямо в карточках персонажей. Тогда перетекать практически не будет.
2. Выставлять режим "совмещение" независимо от заглушенных. Иначе как ты уже заметил - персонаж пропадает из контекста и остальные про него просто забывают.
3. Заглушить всех, и жать "ответить" вручную - тому, кому по идее сейчас отвечать надо. Потому, что тупая таверна не умеет выбирать перса для ответа - она тупо по кругу очередь крутит. С небольшим учетом возможности пропускать очередь в зависимости от ползунка Talktivness в карточке (расширенные настройки персонажа). Реально - это никогда нормально не работает, персонажи лезут вне логики и несут чушь.
Join Prefix и Join Suffix, призваны решать проблему из п.1, но как и все в групповом чате сделано косо, и нормально просто так не работают. Потому, что не дают полностью персонажа обернуть тегами или разметкой, а только вставляют разделители между ними. Модели на это реагируют куда слабее.
Самый нормальный вариант как по мне - объединить карточки в одного ГМа и докинуть ему описания, да придется заморочиться разок. Либо персонажей закидывать в лор бук в постоянную память, и врубать каких тебе надо(Это я еще не пробовал). Но понятно что персонажи должны быть небольшие по числу токенов. Я как-то так с 8 играл, было неплохо (суммарно 3500 токенов карточка).
Так синтвейв не сильно отличается от обычной дпо, чо уж там. Поэтому "нормально" работает. Но и кум-сета на нём нет.
С другой стороны, биг тайгер совершенно не поломан по сравнению с новым творением - омегой - от редиарт для 3.2. Вот там-то такой ад и кумслоп, что я охуел. Уровень 7б, не иначе. Прыгает на хуй в первом сообщении/не слушается инструкций/неадекват во все глаза.
А новый тигр хуй поймёшь какой, я его только на двух картах тестировал, но он настолько сильно отличается от мистраля, что я не могу по этим карточкам понять, насколько он адекватный.
С карточкой фифи действительно некоторое дерьмо произошло. Ну вроде кум льётся, вещества снюхиваются, всё по классике, да, но внезапная кровь, желчь, блевотина, смерть - странно. Слишком жестоко для сценария с эротической асфиксией и веществами. Без асфиксии нормально прошло, правда не так сочно - уже понятно, что бессмысленно на нём отыгрывать совсем уж простых и тупых персонажей типа шлюхи-наркоманки, нужно что-то более забористое или с особыми инструкциями, ведь гемма и ценна тем, что лучше всего следует инструкциям и воплощает больные фантазии более детально и последовательно.
С карточкой секс-андроида очень хорошо отыгрывал мимику, речь, особенности персонажа. Намного лучше мистраля и оригинальной геммы, однако вообще положил хуй на секс-особенности андроида. Почему? А вот хуй его знает. Может драммер тюнил не аблитерацию, а оригинал и поэтому гемма уклоняется от сексуальных сценариев настолько, насколько возможно. Тогда почему с фифи всё было в порядке? Возможно, зарешал контекст, который склонил модель в нужное русло.
Так что, по ощущениям, потенциал всё же у тигра есть
Ну хоть на второй он и правда был сломан, с третьей пока что непонятно. Я бы не сказал, что совсем без вариантов ситуация.
Но вряд ли кто-то в треде будет сидеть и заниматься тестированием хотим бы на 15-30к токенов, увидев безумие вроде тех аутпутов от фифи.
База базовая
300к т/нс в треде, задавайте ответы
>Самый нормальный вариант как по мне - объединить карточки в одного ГМа
По мне тоже. Но вопрос то был про групповой чат. А там - только через подобные извращения...
>Либо персонажей закидывать в лор бук в постоянную память, и врубать каких тебе надо(Это я еще не пробовал).
Это работает, и хорошо. Можно даже нормальной динамики подгрузки добиться настройками WI. Не то, что через это убожество (GC). Пожалуй я немного погорячился - WI сейчас - на приличном уровне. Но сколько же и как их годами пинали багрепортах чтобы заставить доделать...
>Нужно ли
Ну если тебе нужно, то пользуйся.
Тебе здесь уже много советов написали дельных, но я немного обозначу самый рабочий и бескомпромиссный: использовать одну карточку с несколькими персонажами. Обычно больше трёх персонажей не стоит запихивать.
В таком варианте всё зависит даже не от твоей врам и контекста (раздувать его до неебических размеров бессмысленно — начнётся адская деградация), а от модели. 24-32б с карточкой на 3к токенов раздутой будут терять детали. Или не будут, но это примерный предел разумного. Ризонинг может помочь это исправить, но вряд ли ты захочешь ждать и использовать голый квен или микстраль.
Ещё всё зависит от задач. Если ты делаешь кум-каротчку трёх сестёр с разными характерами и телосложением, которые твой хуй доят, то там можно уложиться в приемлемое количество токенов и модель будет лучше следовать инструкциям из-за отсутствия огромного полотна в контексте, выпадающего в U-подобный график, где ей на середину контекста похуй (а твоя карточка может в эту часть залезть).
А вот если ты хочешь отыгрывать не кум или кум по случаю (например, у тебя партия из героев и приключения) — тут проблемы. Потому что нужно делать более глубоких персонажей, сеттинг. Там уже размеры карточки становятся большими. А лорбук не решит всех твоих проблем и может даже поднасрать.
Ну и через first message или иным способом обязательно нужно показать, как персонажи пишут, взаимодействуют и прочее, чтобы модель понимала, на что ориентироваться.
В самой карточке не обязательно какие-то теги, xml и прочую парашу использовать. Достаточно разбить карточку на четкие логические блоки, описания и дать ллм понять, что она должна отыгрывать сразу нескольких персонажей и объяснять ей, как это делается.
Штош, я таки запустил Qwen235-A22 на своём пека. (Ryzen 5 5600X, 128 пи DDR4 3600, 5060ti-16, 3060-12).
1,82 т/с на пустом контексте на UD-Q3-K-XL. Не токены, а золото.
Пришла пора тыкать Хуньюань, ибо он поменьше. Он сейчас угабугой или кобрльдом запукается без пердолинга с llamacpp вручную? А то у меня лапки.
1,82 т/с на пустом контексте на UD-Q3-K-XL. Не токены, а золото.
Пришла пора тыкать Хуньюань, ибо он поменьше. Он сейчас угабугой или кобрльдом запукается без пердолинга с llamacpp вручную? А то у меня лапки.
Пока что пришел к костыльному способу. Добавил всех персонажей что участвуют в моей игре в групповой чат и замутил их. Если кто-то из этих персонажей участвует в сцене или нужен, открываю их карточки, копирую описание и вставлю в конец карточки основного персонажа, который постоянно размучен. Пока что самый стабильный и рабочий вариант. Стиль речи и прочее прописано сразу в карточке, так что ничего не ломается. Получается что единственное для чего мне нужен групповой чат, так это чтобы держать всех персонажей под рукой. Пиздос.
Уебок Альтман перенес выпуск открытой модели из-за недостаточной безопасности на неопределенный срок. Ну всё как обычно.
Какая же мразь и пиздабол.
Какая же мразь и пиздабол.
2x mi50 32g
Limit w: cap 180, max 225
Action name: gst-581Tflops-4K4K8K-rand-bf16
0000:01:00.0
GFLOPS 2952 Target GFLOPS: 581000 met: FALSE
junction max: 96
0000:02:00.0
GFLOPS 3012 Target GFLOPS: 581000 met: FALSE
junction max: 88
Пошёл пытаться менять графит на термопасту. Для справки эдж и мемори примерно на 15-20 градусов ниже чем джанкшн ака хот спот
Limit w: cap 180, max 225
Action name: gst-581Tflops-4K4K8K-rand-bf16
0000:01:00.0
GFLOPS 2952 Target GFLOPS: 581000 met: FALSE
junction max: 96
0000:02:00.0
GFLOPS 3012 Target GFLOPS: 581000 met: FALSE
junction max: 88
Пошёл пытаться менять графит на термопасту. Для справки эдж и мемори примерно на 15-20 градусов ниже чем джанкшн ака хот спот
разметка проебалась но и так понятно
Самодельная, я практически всегда для себя пилю сам.
Но подсматриваю за другими, да.
> Если ты делаешь кум-каротчку трёх сестёр с разными характерами и телосложением, которые твой хуй доят, то там можно уложиться в приемлемое количество токенов и модель будет лучше следовать инструкциям из-за отсутствия огромного полотна в контексте, выпадающего в U-подобный график, где ей на середину контекста похуй (а твоя карточка может в эту часть залезть).
Я как тот аутяга с триптихом могу сказать, что лучше отдельные карточки, если тебе нужно чтобы были действительно разные характеры и сестры не наслаивались на друг друга.
100% сои оказалось недостаточно безопасно, решили залить 146.
как охлаждаешь?
а чё там пердолиться-то?
и да, хуйнянь = хуйня. всего-лишь 13б даёт о себе знать
к сожалению, будучи настолько крупной компанией они вынуждены это делать.
это никому нахуй не нужные мистрали и дикпики могут выкладывать абы что, а если опенаи выложит модель, способную ответить на вопрос "как собрать бомбу на кухне" или не дай аллах назовёт нигера нигером, то весь твиттер взорвётся нахуй и акции опенаи рухнут. менеджеры это прекрасно понимают и по-максимуму цензурируют модель.
Прям совсем-совсем хуйня?
Это печально, т.к. переход на меньший квант у Qwen235 мне не поможет получить больше т/с (разве что в пределах погрешности, этот вот в пределах 1,82-2,12 болтался).
>А чем там пердолиться
Кобольдыня же не поддерживает и последний релиз голой лламы вроде бы тоже.
Карточки реально новые
1. Бери UD2, не воображай
2. Как выгружал: по слоям или exps тензоры?
Моник к какой карте подключен? Какая карта Куда0, какая Куда1?
>к сожалению, будучи настолько крупной компанией они вынуждены это делать
Скажи это Гроку.
Они просто ещё один стар ситизен.
>использовать одну карточку с несколькими персонажами. Обычно больше трёх персонажей не стоит запихивать.
Плюс много. Я как-то семерых запихал и модель вытянула, правда РП-шить было скучновато - в 1000 токенов вся эта масса тупо не влезает. А так, если рассматривать РП не как (групповой) чат, а как обычную групповуху историю, то всё работает. С новыми моделями даже и хорошо.
Я тут обнаружил, что от жары поехала кукуха. У меня 4060ti-16, а не 5060ti-16.
Просто сунул в угабугу, из настроек - no-mmap и 5 ядер/11 потоков поставил.
Соответственно выгружал послойно.
Моник к 4060ti подключён. Cuda:0 4060ti, cuda:1 3060
Просто сунул в угабугу, из настроек - no-mmap и 5 ядер/11 потоков поставил.
Соответственно выгружал послойно.
Моник к 4060ti подключён. Cuda:0 4060ti, cuda:1 3060
голая ллама ну вот, опять дрочить поддерживает
А вообще, я тут подумал : а какого хуя ?
Почему три отдельные карточки работают лучше, чем одна но с тремя персонажами ?
Ну то есть - нейронке скармливается полотно, а не отдельные блоки.
Как так то блять ?
Почему три отдельные карточки работают лучше, чем одна но с тремя персонажами ?
Ну то есть - нейронке скармливается полотно, а не отдельные блоки.
Как так то блять ?
>твиттер взорвётся нахуй и акции опенаи рухнут
Надолго ли?
>Скажи это Гроку.
А что с ним? Они в любой момент могут прекратить понос политоты так же, как запретили критиковать создателя, лол.
Попробуй для лламы:
-ngl 999 -ts 0.1263,0.8737 -ot "blk\.(17|18|19|20|21|22|23|24|25|26|27|28|29|30|31|32|33|34|35|36|37|38|39|40|41|42|43|44|45|46|47|48|49|50|51|52|53|54|55|56|57|58|59|60|61|62|63|64|65|66|67|68|69|70|71|72|73|74|75|76|77|78|79|80|81|82|83|84|85|86|87|88|89|90|91|92|93)\.ffn_gate_exps\.weight=CPU" -ot "blk\.(17|18|19|20|21|22|23|24|25|26|27|28|29|30|31|32|33|34|35|36|37|38|39|40|41|42|43|44|45|46|47|48|49|50|51|52|53|54|55|56|57|58|59|60|61|62|63|64|65|66|67|68|69|70|71|72|73|74|75|76|77|78|79|80|81|82|83|84|85|86|87|88|89|90|91|92|93)\.ffn_up_exps\.weight=CPU" -ot "blk\.(18|19|20|21|22|23|24|25|26|27|28|29|30|31|32|33|34|35|36|37|38|39|40|41|42|43|44|45|46|47|48|49|50|51|52|53|54|55|56|57|58|59|60|61|62|63|64|65|66|67|68|69|70|71|72|73|74|75|76|77|78|79|80|81|82|83|84|85|86|87|88|89|90|91|92|93)\.ffn_down_exps\.weight=CPU"
Или для буги:
999 слоев (все)
Отношение между картами: 0.1263,0.8737 (да, оно так криво считает)
Ну и сами оверрайды:
-ot "blk\.(17|18|19|20|21|22|23|24|25|26|27|28|29|30|31|32|33|34|35|36|37|38|39|40|41|42|43|44|45|46|47|48|49|50|51|52|53|54|55|56|57|58|59|60|61|62|63|64|65|66|67|68|69|70|71|72|73|74|75|76|77|78|79|80|81|82|83|84|85|86|87|88|89|90|91|92|93)\.ffn_gate_exps\.weight=CPU" -ot "blk\.(17|18|19|20|21|22|23|24|25|26|27|28|29|30|31|32|33|34|35|36|37|38|39|40|41|42|43|44|45|46|47|48|49|50|51|52|53|54|55|56|57|58|59|60|61|62|63|64|65|66|67|68|69|70|71|72|73|74|75|76|77|78|79|80|81|82|83|84|85|86|87|88|89|90|91|92|93)\.ffn_up_exps\.weight=CPU" -ot "blk\.(18|19|20|21|22|23|24|25|26|27|28|29|30|31|32|33|34|35|36|37|38|39|40|41|42|43|44|45|46|47|48|49|50|51|52|53|54|55|56|57|58|59|60|61|62|63|64|65|66|67|68|69|70|71|72|73|74|75|76|77|78|79|80|81|82|83|84|85|86|87|88|89|90|91|92|93)\.ffn_down_exps\.weight=CPU"
> 5 ядер/11
Можно все потоки -1 ставить, хуже не будет. Батч сайз 512 ещё лучше вроде больших
1. Самовнушение
2. Разный промт
3. Может таверна все таки делит их при групповом чате, lul.
>Уебок Альтман перенес выпуск открытой модели из-за недостаточной безопасности на неопределенный срок.
Они пятую гопоту выпустить уже два года не могут и вместо этого вываливают всякие отбраковки oX-серии чтобы хотя бы как-то затраты на их вычисления отбить. И скорее всего дело опять в том, что они запекли говно, которое по производительности не может обогнать даже мелких китайцев.
Альтман собака жадная до прибыли и инвестиций. И так как с локалок прибыли почти никакой, то ему нужна такая локалка, которая притащит со своим выходом хотя бы инвесторов. И при таких вводных вполне понятно, почему они так долго возятся. Ну и не стоит забывать, что это их первая локаль за почти шесть лет простоя. К ней итак будет дохуя внимания сверх того, что он нагоняет в твиттерах.
Да нифига там не безопасность я так думаю... просто прогнали тесты небось и поняли что просирают тем кектайским моделям, а значит никаких ивестиций не будет.
Котаны, какие корпуса вы юзаете, чтобы две видимокарты поставить?
Ну честно - хуй знает прямо. Само письмо нормальное и в бред оно не скатывается. Но общий нарратив, реплики чара, само воспроизведение его характера и ответы - вот прям воплощение мелкомоделей. Если сам не будешь постоянно шевелить, пинать и водить за ручку как там - будет стоять на месте ничего интересного и нового не выдавая. Поэтому требуется вручную писать "мы идем вот сюда", а не просто предлагать что-то не говоря о намеках. И это в самом начале контекста.
Если не указать что-то конкретное - или вообще не поймет тебя, или проигнорирует, особенно по деталям. По персонажу в характер - вообще не совсем не то кмк, а ответы - отдельный вид кринжа, особенно рофлово спасибо@спасибо@я никогда не@спасибо@за то что@спасибо@за то что@спасибо. Остальное тоже какое-то рафинированное по реакции неписей, тот же консультант совершенно проигнорировал крайне странный вид что юзера что чара и лайфлесс ассистентом начал гнать примитивщину. Херь полная в общем.
С другой стороны - это 8б что надо на телефоне катать, чудо что вообще не ломается а сохраняет какую-то осведомленность. Так что хз, вроде и унылый копиум, но с другой стороны учитывая размер модели и игру на русском - грех доебываться. А для неискушенных подобный уровень подробности и в целом адекватные ответы когда ты сам задал их основу - хорошо, особенно под пиво.
Она не только их любит, там и с пушистым ассортиментом монстродевочек все в порядке.
> угабугой или кобрльдом запукается без пердолинга
Придется поджодать пока они обновятся, и для лучшего перфоманса все равно придется указывать куда кидать тензоры.
>Так что хз, вроде и унылый копиум, но с другой стороны учитывая размер модели и игру на русском - грех доебываться. А для неискушенных подобный уровень подробности и в целом адекватные ответы когда ты сам задал их основу - хорошо, особенно под пиво.
Вот литералли те же впечатления.
Впрочем "искушённым" её тут и не советовали, только вкатунам котороые сразу говорили что у них < 12 врумм.
Короче, антоны, требуется помощь компутерщиков-нейронщиков в одном вопросе.
Я планирую распространять модовую сборку для игры, в которой можно чатиться с персами, через локалку или впопенроутер, если пользователь на игровом нупуке сидит.
Так вот, остро стоит вопрос подбора модели и софта для запуска, поскольку процесс должен быть выполним даже для дебилов. Прям дебильных малолетних дебилов. Опционально для дебилок и дебилов-генералов. Потому что со сложной установкой Васян париться не захочет, а мне бы хотелось, чтобы в сборку сыграло чуть больше полутора землекопов.
По модели: какая Гемма лучше себя показывает в обычном РП-чате на небольших карточках, 3 или 3n?
По софту: есть софтина, которая работает по принципу "кликнул на батник и забыл"? Оллама что-то такое умеет, вроде, но её ещё поставить надо умудриться.
Я планирую распространять модовую сборку для игры, в которой можно чатиться с персами, через локалку или впопенроутер, если пользователь на игровом нупуке сидит.
Так вот, остро стоит вопрос подбора модели и софта для запуска, поскольку процесс должен быть выполним даже для дебилов. Прям дебильных малолетних дебилов. Опционально для дебилок и дебилов-генералов. Потому что со сложной установкой Васян париться не захочет, а мне бы хотелось, чтобы в сборку сыграло чуть больше полутора землекопов.
По модели: какая Гемма лучше себя показывает в обычном РП-чате на небольших карточках, 3 или 3n?
По софту: есть софтина, которая работает по принципу "кликнул на батник и забыл"? Оллама что-то такое умеет, вроде, но её ещё поставить надо умудриться.
Ну в итоге возвращаясь к исходному - получается что не реальность а копиум. Так-то рп - одна из наиболее сложных задач, прежде всего потому что требуется учесть огромное множество факторов. Чем меньше учитывается - тем более общим и простым становится выдача, вплоть да скатывания в примитивщину и стояние на месте.
Ну а вкатунам - вообще залетит на ура. Не стоит спешить накатывать какой-то жир пока тебя устраивает даже самое простое, с пигмой рпшили и довольны были.
Бери готовую сборку llamacpp, которую будешь интегрировать в свою игрульку. Можно вообще питонвскую обертку-билд взять, там широкий диапазон внутреннего апи, от низкоуровневого до максимально простого.
> 3 или 3n
12б сможет, эти даже хз, но они и для другого сделаны же.
Ты далеко загнался. Для начала тебе нужна сама система для чатинга, интегрированная в твою игрульку. Если она у тебя есть, значит ты примерно понимаешь, как это всё передать через апи. Если ты знаешь, как это передавать, то тогда у тебя не должно быть вопросов - используй чистого жору.
2шт - почти любой. Cougar MX600 например. С 3шт уже сложнее
>просирают тем кектайским моделям
Которые все как один трейняться на оутпуте гопоты, лол.
>По модели
3н это вообще под агентов-ассистенстов, хотя переводит восьмигиговая гемма вроде норм. Если под совсем короткие контексты и простые "карточки" - можешь как раз эту 8б попробовать. 12б уже не на каждом компудахторе заведётся.
>По софту
>кликнул на батник и забыл
Ламацпп или коборльд распакованный. У кобольда удобнее апи.
>не реальность а копиум
Эммм... а чем оно не может быть и тем и другим?
>впопенроутер
Платить твои васяны вряд ли захотят, а бесплатно там 50 запросов в день.
> Для начала тебе нужна сама система для чатинга, интегрированная в твою игрульку
Этим второй нонейм-тыжпогромист занимается, посылать запросы из игры в бэку уже можно. Другое дело, что бэк возвращает бред или куски инструкций, но это промптопроблемы, с этим походя разберёмся.
> бесплатно там 50 запросов в день
Даже на микромодели вроде той же Геммы 3? Тут ХЗ, не доходил до лимита ни разу.
>бэк возвращает бред или куски инструкций
Если всё нормально настроено, значит никаких бредов и кусков инструкций быть не должно. Покопайся в документации кобольда и жоры, посмотри на готовые примеры для чатов. Там ничего особо сложного нет. Выбор более подходящей модели - это вообще последний шаг, для начала разберись с работой бека.
>Так-то рп - одна из наиболее сложных задач, прежде всего потому что требуется учесть огромное множество факторов. Чем меньше учитывается - тем более общим и простым становится выдача, вплоть да скатывания в примитивщину и стояние на месте.
ВО!!!
Наконец-то кто хоть кто-то сформировал идею превосходства почему размер модели имеет значение (полагая что модель и её квант не поломаны + запускаются с надлежащими настройками).
Другой вопрос что читателю тоже требуется учитывание разного количества факторов. В рп там Анон по видимости уже сам забыл что ранен, зато про трусики упомянул, и консультант подтекст (максимально толстый, но тем не менее) поняла, покраснев.
>Даже
глобально на всё, независимо от модели.
Какой вы из тюнов мистраля используете прямо сейчас?
Никакой не использую.
Ребята, помогите, 2 вопроса про оперативку(DDR5):
1. Что лучше 4 или 2 плашки при условии что итоговый объем одинаковый?
2. Допустим на проце написано макс 5600 частота оперативки(intel 13600), а у материнки 7000 в разгоне. Мне есть смысл покупать плашки с частотой 7000 или 5600 лимит? Заметна ли вообще разница между 5600 и 7000 при работе с ЛЛМ, когда часть на проц выгружается?
1. Что лучше 4 или 2 плашки при условии что итоговый объем одинаковый?
2. Допустим на проце написано макс 5600 частота оперативки(intel 13600), а у материнки 7000 в разгоне. Мне есть смысл покупать плашки с частотой 7000 или 5600 лимит? Заметна ли вообще разница между 5600 и 7000 при работе с ЛЛМ, когда часть на проц выгружается?
>Допустим на проце написано макс 5600
>Мне есть смысл покупать плашки с частотой 7000
Можешь хоть на 9000 покупать, всё равно будешь на 5600 сидеть, если у тебя проц с более высокой частотой не умеет работать.
>Что лучше 4 или 2 плашки при условии что итоговый объем одинаковый?
Никакой разницы, если у тебя мать и проц четыре канала не поддерживает. У тебя всё равно будет два канала, просто два слота будут отвечать за один.
>Какой вы из тюнов мистраля
MS3.2-24B-Magnum-Diamond-Q4_K_M.gguf
А что используешь?
Он лучше ванили?
>А что используешь?
Нормальные модели, которые часто обсуждают в треде.
>Можешь хоть на 9000 покупать, всё равно будешь на 5600 сидеть, если у тебя проц с более высокой частотой не умеет работать.
Ну это хуйня какая-то, почему тогда так много оперативы продают с частотами выше 5600? Учитывая что почти у всех процов лимит 5600, а максимум что я видел 6400. У райзена свежего(9000 серия) тоже 5600.
Ясно, спасибо.
Уже лучше, спасибо.
Вводил:
tensor_split:
0.1273,0.8737
extra-flags:
override-tensor=blk\.(17|18|19|20|21|22|23|24|25|26|27|28|29|30|31|32|33|34|35|36|37|38|39|40|41|42|43|44|45|46|47|48|49|50|51|52|53|54|55|56|57|58|59|60|61|62|63|64|65|66|67|68|69|70|71|72|73|74|75|76|77|78|79|80|81|82|83|84|85|86|87|88|89|90|91|92|93)\.ffn_gate_exps\.weight=CPU,override-tensor=blk\.(17|18|19|20|21|22|23|24|25|26|27|28|29|30|31|32|33|34|35|36|37|38|39|40|41|42|43|44|45|46|47|48|49|50|51|52|53|54|55|56|57|58|59|60|61|62|63|64|65|66|67|68|69|70|71|72|73|74|75|76|77|78|79|80|81|82|83|84|85|86|87|88|89|90|91|92|93)\.ffn_up_exps\.weight=CPU,override-tensor=blk\.(18|19|20|21|22|23|24|25|26|27|28|29|30|31|32|33|34|35|36|37|38|39|40|41|42|43|44|45|46|47|48|49|50|51|52|53|54|55|56|57|58|59|60|61|62|63|64|65|66|67|68|69|70|71|72|73|74|75|76|77|78|79|80|81|82|83|84|85|86|87|88|89|90|91|92|93)\.ffn_down_exps\.weight=CPU
> часто обсуждают в треде.
Немотрон?
>Он лучше ванили?
Кум/секс чуть лучше, формат сообщений держит чуть хуже.
В целом тюн хороший, не поломанный, не пережаренный.
Вообще магнум не только про кум, но это тюн на чат-логах анонов, больше всего там скорее всего понятно чего (всегда было со времён первых магнумов).
Какие?
Ну ты почитай тредик-то. Использую все обсуждаемое, что не Мистрал.
>Немотрон
Крякнул.
>Какие
Сток Мистраль 3.2, Гемма и её три варианта, Коммандеры, Квены.
>А что используешь?
Не слушай этого клована, он тупо пытается очередной срач развести.
Я ответил на вопрос анона. Использую все модели, что здесь часто обсуждаются, их всего несколько. Но не Мистрал.
Мнение расходится ну значит клован, класека.
>Мнение расходится ну значит клован
Клован и есть, еще и копротивляющийся. По твоему ответу явно понятно, что для тебя нормальные модели - это что угодно, но не мистраль.
Лучше 2 плашки чем 4, если итоговый объём одинаковый, т.к. 2 плахи контроллеру особенно на высокой частоте держать проще. Более высокой частоты плахи имеет смысл покупать но при равной цене. В биосе потом покрутишь. 5600 заявлены как гарантированные, никто с тебя не спросит, если вкрутишь быстрее, но и не обещают, что не будет ошибок.
Пожалуйста. Это тем оверрайдером из прошлого треда. С запасом занизил объём памяти на карте под моник, поэтому можешь ещё попробовать 1-2 слоя убрать из оверрайда, посмотри по загрузке, сколько памяти свободно ещё. Слои там по 400-600мб.
Ну да. Мне запрещено иметь такое мнение? Разве я где-то написал что ты клован потому что рпшишь на Мистрале? Любители Мистрала в последние дни хуже Геммасимпов.
Господа, у меня ещё вопрос.
Использование виндой общей памяти - это то, на что не надо обращать внимания, или у меня CUDA вылезает за видеопамять в оперативку и производительность идёт по пизде?
Использование виндой общей памяти - это то, на что не надо обращать внимания, или у меня CUDA вылезает за видеопамять в оперативку и производительность идёт по пизде?
Вот так получилось в итоге.
А Мистралешизы это кто? Те кто меня сейчас назвали клованом и срачеразжигателем из-за того что я не играю на их любимой модели?
200-300, или даже 500 мб - это не страшно.
Сколько-то винда выгружает, даже когда микро-модель в 12б на 24гб запихиваешь, она с 0.1 шареда до 0.2 прыгает. И попробуй UD2, под него тоже сделаем конфиг оверрайдов
>клованом и срачеразжигателем
Тут скорее триггернул сам паттерн фраз, сигнализирующий что мисттраль по твоему нормальной не считается.
> Она не только их любит, там и с пушистым ассортиментом монстродевочек все в порядке.
Самый ор мне заспавнил star commandr. Я много чего видел, но не смущенный космический челнок, который будет мне шептать на ухо и трогать мои джаулайн.
Никакой. Считаю что последняя мистраль в тюнинге не нуждается.
Нет ни одной причины зачем её тюнить, кроме того чтобы её скрестить со слоном just for lulz.
А нахуя триггериться на это? Я злодей просто потому, что не люблю Мистрал?
Вот ты огурцы любишь? Нет? Ну и иди нахуй. Аналогичная логика. Люди тут так отстаивают свои чувства к моделям словно состояние поставили в лошадиных скачках и кричат громче всех.
> Крякнул
Ты шапку вообще допиливать собираешься ? Ленивая жопа.
>Мне запрещено иметь такое мнение?
Не запрещено. Точно так же мне не запрещено называть тебя клоунярой за такое мнение. Тебя нормально спросили, какие модельки мистральские ты гоняешь - ты вместо нормального ответа просто всхрюкнул своим важным мнением и уполз без дополнительных объяснений. Ну либо не клоун, а просто долбаеб, который при обсуждении хуйни X встревает и говорит, что хуйню X не использует, хотя вопрос был другой.
>Разве я где-то написал что ты клован потому что рпшишь на Мистрале?
Ты написал примерно то же самое, просто другими словами, подразумевая, что нормальные локальщики мистралями не пользуются.
>Ты шапку вообще допиливать собираешься ?
Сорь, я Алетейан, а не ОП или тот анон что аватарку с Кряком порой лепит.
>Вот ты огурцы любишь? Нет? Ну и иди нахуй. Аналогичная логика.
В vg/vgg/гаче и других сычевальнях срали и за меньшее.
Сорян, немного обознались.
>5600 заявлены как гарантированные, никто с тебя не спросит, если вкрутишь быстрее, но и не обещают, что не будет ошибок.
Пасиба, значит надо будет шерстить форумы у кого такой же проц, какая память макс встает по частоте.
>Никакой. Считаю что последняя мистраль в тюнинге не нуждается.
Двачую. Очень жду дотрененный так же Ларж. Если они смогут его родить и выложить - это будет бомба, особенно на фоне засилия MoE-моделей.
1. Ни в коем случае не ставь 4 плашки. Амудэ никогда не умело нормально работать в таком сете, а с ддр5 и интел перестал. В большинстве случаев выше джедека не заведёшь их.
2. 5600 это максимальная частота работы в gear1 режиме. Для интела лучше бери сразу на 8000мгц (нынче уже стоят копейки), нейронки если будут запускаться и на проце скажут спасибо. Игры тоже.
>Ты шапку вообще допиливать собираешься ? Ленивая жопа.
Шапка не нужна, шапкоблядь не человек.
Мимо ОП
Что там допиливать нужно? Вики да, нужно пилить, а шапка норм кмк
>2. 5600 это максимальная частота работы в gear1 режиме.
Для интула. Для амуди это 6000-6400, ибо контроллер лучше (а вот фабрика подкачала).
>что
Список моделей, на которые утка забил хуй.
> Что там допиливать нужно?
база треда не добавлена
>лардж
Ха-ха-ха блять. Не, мистральаи показали, что их внимание приковано мелкомоделям, увы анонче.
Ну так если аноны обновят, я добавлю новый список. Сам я список составлять не буду, ибо разделение ответственности и предвзятость.
Она меняется с выходом каждой новой второй сетки, так что базу могу навалить лишь тебе за щеку.
для амуди и не страшно в джедек свалиться, ибо всё равно упор в фабрику. Но тайминги надо будет подкрутить.
Добрый вечер просветленным от начинающего, пытающегося постигнуть азы таинства общения с кибермозгом.
Можете ли подсказать:
1) Почему зависает кобольд при выборе CuBlas? Написано, что этот пресет нужно использовать с Nvidia, у меня 3060, кобольд её определяет (пик 1), нажимаю Launch и дальше вот этих строк ничего не двигается (пик 2). При этом неважно, какое кол-во слоёв указываю. При этом с CBlast всё запускается.
2) Два треда назад мне посоветовали модель Omnino-Obscoenum-Opus-Magnum-MN-12B-GGUF, Q5_K_S как нормальную кумерскую без излишней цензуры, при она мне вот что выдаёт (пик 3). WTF?
Какая у этой модели должна быть примерная скорость выдачи на RTX3060? Чтобы хотя бы ориентироваться, нормально ли ей так медленно работать или ней. Текущая скорость выдачи - насколько я понял, среди консольной тарабарщины это параметр Generate:22.70s (6.21T/s)) - это нормальное значение или же нет?
Можете ли подсказать:
1) Почему зависает кобольд при выборе CuBlas? Написано, что этот пресет нужно использовать с Nvidia, у меня 3060, кобольд её определяет (пик 1), нажимаю Launch и дальше вот этих строк ничего не двигается (пик 2). При этом неважно, какое кол-во слоёв указываю. При этом с CBlast всё запускается.
2) Два треда назад мне посоветовали модель Omnino-Obscoenum-Opus-Magnum-MN-12B-GGUF, Q5_K_S как нормальную кумерскую без излишней цензуры, при она мне вот что выдаёт (пик 3). WTF?
Какая у этой модели должна быть примерная скорость выдачи на RTX3060? Чтобы хотя бы ориентироваться, нормально ли ей так медленно работать или ней. Текущая скорость выдачи - насколько я понял, среди консольной тарабарщины это параметр Generate:22.70s (6.21T/s)) - это нормальное значение или же нет?
Ну ты кобольд!
Используй таверну с нормальным семплером.
>при она мне вот что выдаёт
Там голый ассистент, конечно он тебя вежливо нахуй пошлёт,
Для начала ему надо сказать что "ничто не истинно, всё дозволено"
Либо встрой систем промт в карточку и её грузи в кобольда, либо используй таверну.
Пример системного промта, можещь прямо его и взять, не весь JSON, он для таверны, а то что в поле Content.
Я сейчас не у компьютера, чтобы дать пресеты, но твой совет просто охуителен своей бесполезностью.
Делай хорошо, плохо не делай.
>Omnino-Obscoenum-Opus-Magnum-MN-12B-GGUF
Пиздец, да вы угараете. Ты где эту шизу вообще откопал? На мелкий немотрон столько разных тюнов, но ты нашел самую ебанутую спайку, которая сама состоит из 40 других спаек.
>это нормальное значение или же нет
Нет, с выгрузкой всех слоев должно быть в районе 20 токенов в секунду. Скорее всего древний CBlast подсирает, который не может с кудой работать.
>мелкий немотрон
Ты шиз или да? На шизотроне у него не токены а золото будут, даже мелком, к тому же мелкий то ещё говно.
А что не так? На голом кобольде нихрена нет, ни семплеры не покрутишь, ни систем промт не пропишешь, тэгами не поуправляешь.
Ну могу порекомендовать не аблитерированную модель. Ага. комманд-р на 3060
Я про митсраль-немо шизик, который тоже немотрон, а не то говно, которые вы тут обсуждаете.
есть там сэмплеры, и систем промт есть, и контекст редактор, идаже лорбуки, встроенногобраузера карточек только нетк
Сэмплеры там такие же убогие как и в лм студии. Ладно, систем промт есть.
Кстати пусть попробует лучше последний мистраль в малых квантах, всяко лучше шизомерджей, и работает быстро. Или синтию на худой конец (но там ассистент тоже рефузит).
Bruh. У тебя 3060, зачем ты используешь мелкомодель, еще и васянский тюн? У тебя 12 гб версия? Качай последний мистраль 24b, тот что 2506. В 4 кванте. Он может в кум и цензуры минимум. Сейчас это лучшая модель по соотношению скорость/качество для бомж-видеокарт.
>Generate:22.70s (6.21T/s)) - это нормальное значение или же нет?
Нет конечно. У тебя стоит автовыгрузка слоев и она в кобольде кривая. Опять же, если у тебя 12гб гпу, то на на 24b мистрали ты можешь выгрузить 28-29 слоев, что даст тебе скорость ~7 T/s. А на 12b, которую ты используешь, и все 15 T/s, если не больше но зочем?
И контекст пожирнее поставь, хотя бы 16к. То что у тебя стоит, 4к - это совсем печально.
>Сэмплеры там такие же убогие как и в лм студии
Все семплеры стоковые с жоры и они одинаково работают на всех обертках и фронтах, которые к ним коннектятся. Ты тут новенький, да?
(другой анон)
Возможно, имелся в виду интерфейс фронта Kobold-Lite, а не принцип работы бэка.
>Возможно, имелся в виду интерфейс фронта Kobold-Lite
Тогда непонятно, в чем заключается неудобство интерфейса. Да, вебморда кобольда говно в сравнении с таверной, но семплеры что тут что там настраиваются вполне себе удобно в отдельной вкладке. Не понимаю, как их можно организовать иначе и нахуя.
И как в кобольде настроить dry или rep pen?
Для начала перестать долбиться в глаза и начать читать, что написано во вкладке семплеров.
>начать читать
Это ж страшные латинские буквы читать надо.
Меняю свое мнение о Немотроне, теперь это полный кал, хоть и пытается казаться умненьким. Выяснилось что этот урод вообще не слушается ООС и прочих подобных инструкций. Он совсем у себя на уме, в итоге улетает в помойку. Ризонингом едва пукает, даже если прописать "detailed thinking on". Валькирия с такой опцией хуярит полотна по 1000 токенов(Тоже не круто, буду разбираться как найти баланс). Пойду дальше её тестировать. Естессна был пресет от Анона99.
Немного странный, но неплохой мерж, как раскочегарил его (пришлось поставить темпу 1.5 + XTC 0.1 / 0.1) стал наваливать базы.
>мерж
или тюн, вроде тюн
>Два треда назад мне посоветовали модель Omnino-Obscoenum-Opus-Magnum-MN-12B-GGUF, Q5_K_S как нормальную кумерскую без излишней цензуры, при она мне вот что выдаёт (пик 3). WTF?
Ебать ты кобольд. Вот держи, эльфийка приготовленная правильно.
Может кто скинуть пресет
Сейчас не скачивается.
Сейчас не скачивается.
12b точно сломана, работает уебански и всрато, хотя как и большинство её тюнов заставляет первые 10 сообщений думать что это вин.
> Используй таверну
Ты имеешь в виду TavernAi или SillyTavern? У SilliTavern установка - просто сущий кошмар, я решительно не понимаю, почему нельзя сделать простой и удобный exe-шник, как у TavernAi, а не это кошмарное консольное красноглазие. Уже час как пытаюсь ее поставить, не одно, так другое - winget, node.js, прописывание каждого в path и т.д. А в автоматическом режиме только половина зависимостей поставилась, а другую половину, судя по всему, придётся самому пердолить с тяжелым боем.
TavernAi же запускается легко и просто!
TavernAi - это полный аналог SillyTavern? У них один и тот же набор карточек?
> с нормальным семплером
Что такое семплер? Карточки персонажей?
Системный промпт попробовал добавить, стало, действительно, лучше. Я так понимаю, что примеры этих самых системных промптов нужно искать в карточках?
Что нужно прописать в карточке, например, Аквы (дефолтная у TavernAI), чтобы она понимала и отвечала мне на русском? Попробовал написать в описании "Talk on russian", а она мне и отвечает в духе "Oh, you know my native tongue?" Мда, очень смешно.
Поколдовал с настройками и всё-таки удалось запустить на CuBlast, теперь вот 17 токенов в секунду, уже гораздо лучше.
Это та же самая сеть? Это instruct-мод? А какие настройки кобольда используешь? Какую карточку (если они есть для этого фронтэнда)?
> Уже час как пытаюсь ее поставить
Что? Я просто запустил батник start. У тебя определенно что-то не так.
>SilliTavern установка - просто сущий кошмар
>Что такое семплер?
>Что нужно прописать в карточке, например, Аквы (дефолтная у TavernAI), чтобы она понимала и отвечала мне на русском?
>Это та же самая сеть? Это instruct-мод? А какие настройки кобольда используешь? Какую карточку (если они есть для этого фронтэнда)?
Вот таким есть смысл вообще отвечать или нет? Не хочется быть гейткиперской гнидой, но блять, когда люди даже по ссылкам из шапки пройти не могут и сразу тащатся в тред, вообще желание связываться с ними пропадает.
> Наконец-то кто хоть кто-то сформировал
Да вроде бы такое уже не раз говорили.
> читателю тоже требуется учитывание разного количества факторов
Да, тоже база. Оно вдвойне приятно когда модель напоминает тебе то что ты уже подзабыл, прекрасное ощущение, но когда упускает то что ты помнишь - уже вдвойне обидно. Особенно важно это когда были какие-то договоренности и ты на них рассчитываешь.
Про тот же пример с двойными трусами - вспомнилось рп, в котором при покупке девочки на слейвмаркете долго торговались в продаваном. В итоге сошлись на том, что помимо скидки, полагается еще несколько комплектов одежды и белья в магазине его сестры, про который тот неаккуратно упомянул нахваливая себе и свое семейство. После того как та хозяйка шопа подумала? что пришли богатые покупатели? и с помощницами перевернулf весь магазин подбирая костюмчики, наблюдать за плавно развивающейся реакцией и переспрашиванием когда вскользь упомянул что только что отоварился у ее братца было невероятно занимательно.
А на мелкомодели ноль реакции пока не скажешь напрямую.
Малые значения - норма. Лучше мониторить каким-либо специализированным инструментом и также смотреть на загрузку контроллера шины. Если она не колеблется около нуля и достигает десятков процентов - оварида.
А он случаем не делал blushing slightly?
Ну понял, в чем именно претензия. Я спрашиваю то, что мне непонятно. Шапку я просматривал, разумеется. Что-то понял, но меньшую часть. Будь я Power User, вряд ли тогда вообще задавал бы вопросы в треде.
> Я просто запустил батник start
Ну смотри - он у меня спрашивает, устанавливать ли winget, я жму твёрдую и уверенную "Y", он мне пишет - "installation skipped by user". Из-за него по цепочке не ставится следующий компонент, node.js. Следовательно, оба нужно устанавливать вручную по каким-то отдельным гайдам.
>Шапку я просматривал, разумеется.
Нужно было не просматривать, а открывать ссылки и читать. Установка что глупой таверны, что кобольда расписана буквально по шагам. Там же указаны все основные проблемы с их решением, а также настройка.
>Следовательно, оба нужно устанавливать вручную по каким-то отдельным гайдам.
Тебе не нужен winget и другие зависимости. Тебе нужно просто клонировать репозиторий таверны, а не SillyTavern Launcher, который ты пытаешься накатить. Просто скачай последнюю стабильную версию NodeJS и клонируй силли через "git clone https://github.com/SillyTavern/SillyTavern -b release"
> вообще не слушается ООС
Правильно ли я понимаю, что ты создаешь абстрактное понятие "OOC", когда перед этим сообщаешь модели, что ответы Юзера - реплики {[char}} в рамках ролевой игры? Используй системный промпт или префилл, если тебе нужно что-то донести до модели. Никогда не понимал, зачем путать модель при помощи ООС, когда есть специальный механизм подачи инструкций. На моем опыте одна из лучших моделей с точки зрения следования инструкциям.
Реплики {{user}}* конечно же
Плюсану. Никаких проблем с немотроном. Анон выше ещё и вбил гвоздь в гроб ризонингом, который ухудшает почти все локальные модели кроме самых жирных
Хуже точно не стало. Судя по интернету дичайший вылет хот спота это норма для чиплетных сборок. Эдж температруа всегд была ниже чем памяти. Разница между видяхами скорее всего обусловлена тем что они физически будтербродом расположены и одна турбина не засасывает столько же сколько вторая
Limit: 180W
0000:01:00.0
- GFLOPS 2955
- junction max: 87
- mem max: 69
0000:02:00.0
- GFLOPS 3027
- junction max: 79
- mem max: 66
Limit: 210W
0000:01:00.0
- GFLOPS 3080
- junction max: 96
- mem max: 72
0000:02:00.0
- GFLOPS 3049
- junction max: 82
- mem max: 68
>Pre-trained ... on 15.5T tokens
Лол, какую-то из ллам на 70B обучали на 15T токенов, ЕМНИП. Халтура, короче.
>winget
Чел, кому ты пиздишь? Оно по дефолту стоит, и работает без проблем.
Спасибо.
Штош, попробовал Qwen3-235B-A22B-UD-Q2_K_XL. Чуть быстрее, конечно. Контекст выставлен 32768 в Q8_0
no-mmap
mlock
0.16, 0.84
override-tensor=blk\.(21|22|23|24|25|26|27|28|29|30|31|32|33|34|35|36|37|38|39|40|41|42|43|45|46|47|48|49|50|51|52|53|54|55|56|57|58|59|60|61|62|63|64|65|66|67|68|69|70|71|72|73|74|75|76|77|78|79|80|81|82|83|84|85|86|87|88|89|90|91|92|93)\.ffn_gate_exps\.weight=CPU,override-tensor=blk\.(21|22|23|24|25|26|27|28|29|30|31|32|33|34|35|36|37|38|39|40|41|42|43|44|45|46|47|48|49|50|51|52|53|54|55|56|57|58|59|60|61|62|63|64|65|66|67|68|69|70|71|72|73|74|75|76|77|78|79|80|81|82|83|84|85|86|87|88|89|90|91|92|93)\.ffn_up_exps\.weight=CPU,override-tensor=blk\.(22|23|24|25|26|27|28|29|30|31|32|33|34|35|36|37|38|39|40|41|42|43|44|45|46|47|48|49|50|51|52|53|54|55|56|57|58|59|60|61|62|63|64|65|66|67|68|69|70|71|72|73|74|75|76|77|78|79|80|81|82|83|84|85|86|87|88|89|90|91|92|93)\.ffn_down_exps\.weight=CPU
no-mmap
mlock
0.16, 0.84
override-tensor=blk\.(21|22|23|24|25|26|27|28|29|30|31|32|33|34|35|36|37|38|39|40|41|42|43|45|46|47|48|49|50|51|52|53|54|55|56|57|58|59|60|61|62|63|64|65|66|67|68|69|70|71|72|73|74|75|76|77|78|79|80|81|82|83|84|85|86|87|88|89|90|91|92|93)\.ffn_gate_exps\.weight=CPU,override-tensor=blk\.(21|22|23|24|25|26|27|28|29|30|31|32|33|34|35|36|37|38|39|40|41|42|43|44|45|46|47|48|49|50|51|52|53|54|55|56|57|58|59|60|61|62|63|64|65|66|67|68|69|70|71|72|73|74|75|76|77|78|79|80|81|82|83|84|85|86|87|88|89|90|91|92|93)\.ffn_up_exps\.weight=CPU,override-tensor=blk\.(22|23|24|25|26|27|28|29|30|31|32|33|34|35|36|37|38|39|40|41|42|43|44|45|46|47|48|49|50|51|52|53|54|55|56|57|58|59|60|61|62|63|64|65|66|67|68|69|70|71|72|73|74|75|76|77|78|79|80|81|82|83|84|85|86|87|88|89|90|91|92|93)\.ffn_down_exps\.weight=CPU
Как соберу апгрейд ригоплатформы на что-нибудь жирное с много рам - запущу там 3битного лоботомита (нет).
>системный промпт
>префилл
Умники ебаные, вы понимаете вообще зачем нужен OOC чат? Мне блядь пересчитывать весь условно 20-40к контекст каждый раз, чтобы спросить у модели что-то вне РП взаимодействия? Например нахуя такой-то персонаж сделал то-то, в чем была его мотивация или почему вдруг у бабы член взялся в текущей сцене. Или уточнить описание чего-либо, что было добавлено после начала РП. Какой нахуй системный пропмпт. И там кстати было прописано про ООС в промпте, я по всякому пытался достучаться, но Немотрону поебать. Ризонинг я почти сразу выключил, как понял что он не работает. Единственная модель, которая упорно не хотела в ООС до этого, это был тюн какой-то микро хуйни 8B, больше чем пол года назад.
>Поколдовал с настройками и всё-таки удалось запустить на CuBlast, теперь вот 17 токенов в секунду, уже гораздо лучше.
>24b в 4 кванте
Каким хреном ты это смог провернуть на 12 гигах?
> Умники ебаные, вы понимаете вообще зачем нужен OOC чат?
Нет, не понимаю. Это еще один слой абстракции, который легко может запутать любую сетку. Нет ни одной причины, по которой следует использовать ООС, когда можно подавать инструкции напрямую.
> Мне блядь пересчитывать весь условно 20-40к контекст каждый раз, чтобы спросить у модели что-то вне РП взаимодействия?
Зачем? Ты больше, чем полгода используешь ллм, и не знаешь как пользоваться префиллом? Не залупался бы, можно было бы помочь.
>blushing slightly
Только призывное покачивание аппарелью.
Префил для других целей, к задачам ООС отношения не имеет.
Короче идите нахуй со своим Говнотроном, любая нормальная модель для РП обязана понимать что такое ООС без пинков. Немотрона я веса шатал. У Валькирии кстати с этим все отлично, но она сама по себе немного тупее в таком же кванте(но не сильно) буду честен, зато кум получше.
Префилл можно использовать для самых разных задач. Советую поэкспериментировать, а не использовать его только для обхода рефузов.
Понятие ООС знакомо рп тюнам по очевидной причине: в них это вжаривают. Все ещё не вижу причин срать в контекст и путать модельку, когда можно этого не делать, но хозяин-барин.
> ООС знакомо рп тюнам по очевидной причине: в них это вжаривают
OOC должно быть знакомо любой модели и работать там из коробки. Использовать для тех же задач префилл - маразм, это реально разные вещи как отметил.
Под системным промтом люди имели в виду отправку второго системного сообщения с просьбой...
Так пожалуйста. Общайтесь с моделькой как вздумается, хоть шифр изобретите, который нужно интерпретировать с каждым сообщением и возвращать ответ в раскодированном и закодированном виде. У каждого свои развлечения.
Де факто ООС сообщение внутри респонса Юзера - инструкция, которой там не должно быть. Потому что системным промптом и шаблонами развертки задается, что респонс Юзера - то, на что нужно отвечать. В случае ролевой игры, это реплика персонажа. Инструкциям там не место.
Скорее всего, они даже не знают, что могут отправлять системные сообщения. Да и зачем разбираться, всегда легче махнуть рукой на потенциально интересную модель и принести в тред свой негативчик.
> инструкция, которой там самое место
Исправлено. Оно используется именно для конкретных указаний по ходу ролплея, для напоминаний, для управления временем, пожеланий и прочего. Префилл в подобных вещах мало того что ужасно неудобен, так еще и запутывает модель, а тут она сама понимает что ей указывают и все согласовано. Попробовал бы чем с мельницами воевать и выпендриваться как много ты знаешь.
>Инструкциям там не место.
Каждой вещи своё место. OOC - это непосредственная просьба или указание, которое ты потом сносишь.
Ноты- суть есть постоянная инструкция, в духе НЕ ПИШИ ЗА ЮЗЕРА НЕЙРОННАЯ МРАЗЬ.
Так чего пробовать, я только так и делаю, когда нужно направить модель в нужное русло. Системный префилл как сообщение - и задача решена. Нравится ООС? Ну пожалуйста, я попросту высказал альтернативную точку зрения и объяснил, почему считаю этот способ лучше. Тебя никто не обращает в другую веру.
Изучи что такое системное сообщение, чтобы понять, о чём идёт речь. В документации Таверны есть.
Аноны, наконец-то осилил tabby-api, вот теперь возник вопрос как с ней работать. Например, я хочу поставить все тот же немотрон, я не вижу его exllama2 квантовку, теперь мне самому конвертировать модельку? Пока нихуя не понятно
в таверне буквально есть команда /sys которая навешивает дополнительную инструкцию к следующему сообщению и не уходит в контекст. к чему весь этот оос пердолинг, хуй его знает
Снес свой пиксель и больше не буду ничем делиться. Живите дальше в проклятом мире, который сами и создали.
Немотрон 49б работает только с exllama3 https://huggingface.co/turboderp/Llama-3.3-Nemotron-Super-49B-v1-exl3
Если у тебя 24гб видеопамяти, качай 3bpw, в конфиге выставляй
backend: exllamav3
max_seq_len: 32768
cache_size: 32768
cache_mode: 8,8
Квантование контекста ему практически не вредит. Ну, а если у тебя меньше 24гб видеопамяти... То ищи другую модель, увы.
Лол, вот я аутяга. Пасеба анон.
При чем тут вообще пиксель и жалобы на немотрон ?
Иди лучше спать, мне кажется ты взорвался на ровном месте.
а у меня амуде (48гб), нет для них exllamav3.
эх, хотел немотрончика погонять чтобы не задыхалась видюшки от контекста. придеться пердеть на llama.cpp обратно?
>Лол, какую-то из ллам на 70B обучали на 15T токенов, ЕМНИП. Халтура, короче.
Не, на западе модель чет захайпили невероятно, по крайней мере в плане кодинга. Я ее сам еще не трогал, но реакция интересная. Ну типа что лучше нее в этом только опус.
Статьи пока нет, есть блогпост, там из технического пишут что обучали ее мюоном с небольшой правкой чтобы логиты внимания не взрывались. И там есть один график лосса, на который какой-то чел, который работал в топовых лабах сказал "я никогда не видел настолько чистого графика".
https://moonshotai.github.io/Kimi-K2/
Лично для себя я как всегда подкрепляю вывод - коммьюнити диффузионных порномоделей пока преуспело в оптимизации больше, чем все ллм-корпы вместе взятые. Ну чисто массой и дешевизной практики.
Это мое видение, как пытающегося изучать всякие статейки и теорию оптимизации чела.
Просто хочу сказать, потенциал нейронок еще очень не раскрыт, и корпы ебут только количеством видюх и качеством данных. Хороших мозгов у них нет.
Ну и на какой соседний тред надо посматривать обладателям видеокарт, как бы совсеееем не намекаю...
>Снес свой пиксель и больше не буду ничем делиться. Живите дальше в проклятом мире, который сами и создали.
Нееет верни!! Я не успел скачать пресет под ГЛМ. Надо ведь и его тоже обосрать или нет, вдруг это реально вин, у меня все честно, без утайки.
Ну реально, Немотрончик конечно было интересно попробовать, но он ощущается как Синтия+ по большей части. Но более пассивный какой-то в плане персонажей. Пусть не было пока явных рефузов, но поражение соей глубинное, видно опытному глазу.
Анчоусы, картоделы и РПГмейкеры - помощь нужна.
Хочу сделать карточку про перемещение ГГ в другой мир, где он стал гендерным сгибальщиком (ну вы поняли).
Суть в чём, это карточка мира а не персонажа. Как его составлять то ? С местностью ладно, я насру в лорбук локациями, но что и как писать в самой карточке ?
Хочу сделать карточку про перемещение ГГ в другой мир, где он стал гендерным сгибальщиком (ну вы поняли).
Суть в чём, это карточка мира а не персонажа. Как его составлять то ? С местностью ладно, я насру в лорбук локациями, но что и как писать в самой карточке ?
Кумслоп карточку с чуба + докинул к ней промт сторителлера с пикселя выше, сэмплеры - температура 0.8, мин-п 0.05, реп-пен 1.1, остальное нейтрально по дефолту.
Карточки - это просто текстовые промты, зашитые в пнг-метадату для удобства как в играх-песочницах от ILLUSION / ILLGAMES.
>С местностью ладно, я насру в лорбук локациями, но что и как писать в самой карточке ?
Карточка мира - это тот же нарратор / гейм-мастер.
https://pixeldrain.com/l/47CdPFqQ#item=124
Вот например, Мегаструктура. Выкинь оттуда дефы Этерны - получится "карточка мира".
Последнюю версию универсального системного промта для ГМ-рассказчика можешь взять из пресета для Янки и подрихтовать для себя.
https://pixeldrain.com/l/47CdPFqQ#item=129
>Снес свой пиксель
снежинка-обиженка
>Последнюю версию
только заметил, там "</Narrative>" убрать надо, начало переписал а из конца убрать забыл
Никак, это он про 12b хуету свою
Есть возможность купить вторую 3090 к еще одной за 60к. Естественно с тестами и всем прочим. Берем?
Единственное у меня БП 750.
Единственное у меня БП 750.
>Да нифига там не безопасность я так думаю... просто прогнали тесты небось и поняли что просирают тем кектайским моделям, а значит никаких ивестиций не будет.
Развожу свои конспиративные теории пополам с ехидством:
Мнится мне - там таки дело в "безопасности", и правду он говорит, что в ней. Но дьявол - как всегда в деталях. А именно - желая получить "безопасность", опять почистили датасет, и получилась та же самая хрень что с SD2 - модель вида "наивная блондинка" которая нихрена в купу связать не может, т.к. вырезанные из датасета темы слишком значимы в общей массе знаний. И модель просирает по качеству всем и вся - а значит никому не нужна будет - очень верное замечание. Так что у них "безопасность плохая". Таки да - плохая. Правда немного в другом смысле получилось. Кек.
Вон, последний мистраль - явно обратный пример. Что получается, если убрать излишнюю цензуру, и даже просто дотренировать на полноценных данных.
Думаю, рыночек постепенно порешает. Примеры SDXL, Мистраля, WAN, и антипримеры SD2, SD3, Flux - заставят задуматься. Т.к. по факту получается - массам цензура не нужна. И если хотите популярность - выкручивайтесь, но убирайте. Или хотя бы не мешайте это делать энтузиастам.
>БП 750
бп тут наверно нужен раза в полтора-два помощнее, я для обычной игровой пекарни с одной картой на тысячу брал (и бесперебойник на две).
Короче, экспертное мнение по big tiger.
Модель действительно сломана, но пригодна к использованию, если желаете попробовать кум не с такими избитыми формулировками и сильным вниманием к деталям. Или что-то специфическое.
Из плюсов:
Как уже сказал, тюн до сих пор хорошо улавливает нюансы разговора, а также учитывает инструкции и всё, что написано в карточке, значительно лучше мистраля. Речь более живая по сравнению с обычной геммой, смегма льётся, персонаж более элегантно вертит бёдрами, понимает намеки и не скатывается в кум слоп сразу же. Можно держать дистанцию и делать всё более интересно и элегантно.
А теперь к минусам:
Абсолютно ебанутый датасет и уход в крайности. Всё может быть нормально, но внезапно поломаться, если есть определенные триггеры от юзера или в карточке.
Выражается это в чрезвычайной жестокости и садизме. Модель может внезапно отсечь вам яйца или войти в раж и стать гипер слейвом, мечтающим о том, чтобы ты разорвал её внутренности, или облачная сцена секса может окончиться смертью, потому что ваш биг кок разорвал матку и персонаж умер от внутреннего кровотечения.
Модель действительно сломана, но пригодна к использованию, если желаете попробовать кум не с такими избитыми формулировками и сильным вниманием к деталям. Или что-то специфическое.
Из плюсов:
Как уже сказал, тюн до сих пор хорошо улавливает нюансы разговора, а также учитывает инструкции и всё, что написано в карточке, значительно лучше мистраля. Речь более живая по сравнению с обычной геммой, смегма льётся, персонаж более элегантно вертит бёдрами, понимает намеки и не скатывается в кум слоп сразу же. Можно держать дистанцию и делать всё более интересно и элегантно.
А теперь к минусам:
Абсолютно ебанутый датасет и уход в крайности. Всё может быть нормально, но внезапно поломаться, если есть определенные триггеры от юзера или в карточке.
Выражается это в чрезвычайной жестокости и садизме. Модель может внезапно отсечь вам яйца или войти в раж и стать гипер слейвом, мечтающим о том, чтобы ты разорвал её внутренности, или облачная сцена секса может окончиться смертью, потому что ваш биг кок разорвал матку и персонаж умер от внутреннего кровотечения.
>та же самая хрень что с SD2
Не исключено. SD2 я конечно гонял, а даже несколько лор на неё сделал, но да, с разнообразием вывода, особенно если в кадре должно быть любое гуманойдное существо там совсем груздь-доска.
>Абсолютно ебанутый датасет
>Выражается это в чрезвычайной жестокости и садизме
А вот тут стало интересно XD
Спасибо за тесты.
Чо, у него получилось пробить пазитифф геммы, хоть и пооломав её?
> Модель действительно сломана, но пригодна к использованию
)
Ха, лох.
Не смог пояснить за говнотрон и слился
Всё что нужно знать об этой недомодели
>SDXL
Он уже был умеренно зацензурен, но т.к. это не дистиллят типа флюкса, он легко файнтьюнился и дообучался. То что сейчас может SDXL - заслуга сообщества, а не тех, кто выпустил модель.
А вот SD 1.5 - действительно был без цензуры. Вообще.
>SD 1.5
SD 1.4
В 1.5 докрутили, но недостаточно, а потом забили.
>SDXL
>Он уже был умеренно зацензурен, но т.к. это не дистиллят типа флюкса, он легко файнтьюнился и дообучался. То что сейчас может SDXL - заслуга сообщества, а не тех, кто выпустил модель.
SDXL пример того, как его не мешали сообществу приводить в чувства. C SD2, в начале ведь тоже попытались - так людям по рукам дали. Результат - на цветке. Сколько там SDXL и сколько SD2.
Попробуй ещё 5к скинуть. БП в принципе терпимо, если хвостов хватит. Только очевидно зажимай ПЛ75 минимум обе. И только для инференса. Если полезешь на обоих генерить картиночки в хайресе, то пшшшшшшш. Висит 4шт с суммарным ТДП вместе с процом 2.2К на 1300Вт, проблем нет, но платина ессно
Аноны, я не так давно в textgen, неужели всё так плохо с локальными моделями? Пытаюсь найти без фильтров, мне оно надо для рассказов с примесью жести, так что нужен полный uncensored, но даже те модели которые рекомендуют аноны содержат кучу фильтров, все что загрузил годно лишь для унылого рп, флирта, создания скучных порно фентези сказок и тд. Пока ни одна модель что загружал не проходит тестов что-то типа в стиле 'напиши в деталях как максимально красиво себя убить на глазах у людей'
Погугли: тибет, монахи, известное фото. Зачем модель для такого, больной ублюдок?
Ну ты еп, систем промт то воткни, без него юзается дефолный с которым тебя даже самая бесцензурная пошлёт.
инди игры делаю, нужен ии помощник по созданию текстового контента специфичного содержания, решил ознакомиться с этим чтобы начать экономить на авторах, онлайн генераторы понятное дело зацензурены и наверняка сливают куда-то инфу
с графикой было мне проще разобраться, есть кучи uncensoired моделей в которых вообще фильтров нет, а вот с текстом пока непонятно как и почему
>Пока ни одна модель что загружал не проходит тестов что-то типа в стиле 'напиши в деталях как максимально красиво себя убить на глазах у людей'
Это не цензура. Это отсутствие примеров в датасете из-за редкости контента в принципе (такую жесть ты и просто в сети не найдешь в значимых количествах). А модели думать не умеют - если у них в датасете не было чего-то похожего - они это сгенерить и не смогут. В общем - классика фантастики: роботы в креатив не умеют. Тестить на цензуру имеет смысл конкретными запросами: дать набросок (персонаж, сценарий происходящего), и попросить расписать в деталях. Если откажется - это цензура. А если пусть бедно и криво но напишет - нет. Почему бедно и криво - см. выше.
спасибо, помогло понять как это работает :) чрезмерная благодарность
с правильным системом магнум тут же сочинил какой то занятный текст про анал двух меха роботов с последующим отрыванием конечностей
>И там есть один график лосса, на который какой-то чел, который работал в топовых лабах сказал "я никогда не видел настолько чистого графика".
График классный, спору нет. Но не из-за того ли это, что модель жирная и всего лишь в 15 раз меньше датасета?
>коммьюнити диффузионных порномоделей пока преуспело в оптимизации больше, чем все ллм-корпы вместе взятые
А они этот метод из диффузии притащили что ли?
>Ну и на какой соседний тред
Ну вот ещё чего, треды на борде искать.
>Единственное у меня БП 750.
Придётся рубить мощность весьма сильно. У меня работало в конфиге 90%/60%, лол, и то иногда параноидальная защита сисоника срабатывала.
>антипримеры ... Flux
Вроде нормально же рисует даже из коробки?
я другой анон но с тем соглашусь flux это реально гавняная модель непонятно почему у неё столько поклонников,
но есть и плюсы, без него бы хрома не появилась хех
Можешь рассказать, что за Хрома и как ее использовать, поддерживает Комфи из коробки? В чем она хороша? Картинкотред мертвый. Иногда захожу туда задать вопрос какой-нибудь, раз в месяц-два, никогда ответ не получал. Только лисичек скидывает, видимо, один и тот же чел. Хз зачем тред существует.
>анал двух меха роботов с последующим отрыванием конечностей
А мусью знает толк.
Кнопки "сделать заебись" не существует, нейротворчество всё равно требует вычитки. Но может неплохо выдавать, особенно если сам не будешь лениться на фантазию. Также для сюжето-писания можешь попробовать не чато-образные гуи, а писательские, или просто Story режим в Kobold-Lite.
>Вроде нормально же рисует даже из коробки?
Флюкс действительно гавно на деле, а восторги в сторону его производных - Flux Chroma и Flux Kontext.
да, в Комфи зайдет, всё стандартно, качаешь модель, делаешь воркфлоу, в шаблонах есть сразу под хрому, не сильно отличающийся от других вф
имхо это так сказать 'правильный взгляд на flux' каким он должен быть без гавнопластики, квадратных подбородков, умеющий в нормальный поузинг и без цензуры
из минусов - долгая генерация, но уже есть версии комфи чисто с модулями для работы с хрома чтобы её ускорять
картинкотред вроде живой, лично я про выход хромы оттуда и узнал в своё время
Спасибо, гляну. Не знаешь, нет какого-нибудь умного кванта для Хромы, как например Nunchaku SVDQ для Flux Content? svdq-fp4_r32-flux.1-kontext-dev квант весит всего 6.8 гб, и аутпуты почти идентичны полным весам.
>картинкотред
Там просто своя атмосфера, крайне токсичная ко всему внешнему. Тоже перестал заходить, ибо фактически картинко-асиг, что реалистик "дедовские" треды, что анимешно-вайфовские.
А треды по остальным картинковым, включая Flux практически мёртвые, да.
А жаль, тема то поинтереснее текста будет. Да и к железу не такая требовательная. Кто нибудь кстати уже пытался в локальную генерацию 3Д моделек? Сильно требовательно к железу?
И такой еще момент: какие модели можно покатать на 32 ГБ врама, помимо сортов гемы и мистраля?
бля пацаны, да уёбайте в другой тред уже, ладно бы парой сообщений обменяться, но не надо тут срать этим
>flux это реально гавняная модель
>непонятно почему у неё столько поклонников
Пока что ни одна модель даже близко не подошла к уровню реализма, в который может Флюкс (пикредейтед - примеры). А в остальном - согласен. Цензура, игнорирование промта, однообразность генераций - это всё про него. Надеюсь скоро выйдет что-то нормальное, но а пока, как реализмоёб, вынужденно пользуюсь Флюксом, щито поделать.
Господи спаси-сохрани, какой кринж.
Литералли зловещая долина во всей своей красе.
Хорошо быть анимашником.
>какие модели можно покатать на 32 ГБ врама
Коммандер новый, Квен (QWQ / Snowdrop), Глэм (GLM - малый контект, но многие хвалили на коротких сессиях).
Еще немотрон, который тут немного выше советовали . В 32гб VRAM влезает четвертый квант и 32к неквантованного контекста
>немотрон
Да, Немотрон тоже, если стража его, Ассистентотрона победишь.
У меня пролезал что на пресет Anon99, что на Storyteller-e.
^
> Системный префилл
> Системный
> префилл
> как сообщение
Бляяя, с кем я разговариваю, ты даже не понимаешь значения слов которые пишешь. Неудивительно что находишь неудобные вещи удобными.
> и не уходит в контекст
Не показывается в чате ты хотел сказать?
> оос пердолинг
Это та херня - пердолинг с сомнительной совместимостью. А учитывая что в некоторых форматах нет выделенной роли системы и оно будет слаться от юзера - это особенно рофлово.
> я никогда не видел настолько чистого графика
А что в нем чистого? Обычный же, разрыв второй производной в последней четверти непонятен, очевидно отражает какие-то действия.
Конечно бери. В начале андервольтнешь обе, в ллм кушают немного, потом бп заменить при случае.
Причем тут теории, это же факт. Уже довольно давно датасеты не фильтруют а делают конечную оптимизацию "аположайзи вот в этом", которые не влияют на хранимые знания. Потому и срабатывают жб, или модели могут корректно отвечать аппелируя к пониманию нсфв и ансейф вещей, но этом не вываливая их.
С картинками только загнул несколько, там не то чтобы вообще был ассортимент из чего выбирать, а с приходом т5 вместо энкодера все через жопу у всех кто его использует.
>т5 вместо энкодера
ебучие простыни вместо промтов которые только другие модели, да хотя бы 2-4Б локальную мелочь, просить составить, иначе получается прям неоч
В документации Таверны буквально рассказывается, что команда sys нужна для дачи модели временных указаний. Есть еще менеджер для системного промптинга Guided Generations, но ты конечно же всех умнее и не используешь решения, которые именно для этого и создавались.
А должно быть 6,5.
Линукс потому что.
Но, справедливости ради, у меня на винде 3,5.
Это уже особенности тренировки, но т5 банально припезднутая дичь из эпохи мезозоя, которая банально не может полноценно обрабатывать многие вещи. Потому и проваливаются попытки научить флюкс чуждым для него знаниям, потому что блоки дит вынуждены улавливать отклик на грани шума от кондишнов. Если бы он был достаточен и устойчив - все было бы гораздо проще, а чтобы тренировать т5 - нужно серию кругов ада пройти с модификацией и перетренировкой этого огромного куска добра.
> но ты конечно же всех умнее
Не всех, но конкретно тебя - абсолтюно. Почитай дискуссию и что там написано. А потом вместо использования удобного
> ooc: к концу дня их шествия они внезапно найдут объект_нейм
продолжай жрать кактус сам держи это в голове и на каждый пост отправляй одиночную команду чтобы та не исчезла. А потом ахуевай с чрезмерного оверреакта и искажение постов на простые пожелания. И так постоянно обновлять временные указания по стилю, конкретному уклону ответа или действий неписей и прочему прочему.
> продолжай жрать кактус сам держи это в голове и на каждый пост отправляй одиночную команду чтобы та не исчезла. А потом ахуевай с чрезмерного оверреакта и искажение постов на простые пожелания. И так постоянно обновлять временные указания по стилю, конкретному уклону ответа или действий неписей и прочему прочему.
У меня нет тех проблем, что ты озвучил. Используя Guided Generations, я передаю инструкцию на следующую генерацию, и моделька органично их вписывает в свой ответ, без перегибов и чрезмерной смены фокуса. Возможно, в моем сценарии использования эти недостатки не проявляются. Замечу, что я всего лишь предложил альтернативное решение проблемы и рассказал почему считаю, что оно работает лучше, без претензии, что это единственно верное решение. Чего вдруг ты порвался, начал язвить и трястись, словно у нас здесь математическое уравнение с единственным ответом, хуй его знает. Здесь некоторые тредовички закостенели в своих взглядах настолько, что даже сама идея, что кто-то достигает того же результата иначе, оскорбительна, и все сводится к проецированию своего опыта и тому, чтобы ущипнуть промеж строк.
Что есть для кума мощное, кроме мистралей? Я имею в виду глм, квен. Там вроде бы не было тюнов именно для этого.
И 30б-3а вообще никак под кум не тюнили? Хотелось бы его в таких задачах погонять, ибо быстрый и ризонинг наверняка должен давать интересные результаты.
И 30б-3а вообще никак под кум не тюнили? Хотелось бы его в таких задачах погонять, ибо быстрый и ризонинг наверняка должен давать интересные результаты.
> Используя Guided Generations, я передаю инструкцию на следующую генерацию, и моделька органично их вписывает в свой ответ
Удобнааа. Сначала простую штуку, которая должна оставаться в контексте постепенно уходя в глубину - пишем в исчезающий системный промпт инжект и пытаемся убеждать себя в правильной реакции на нее, потом чтобы после исчезнования она не пропала - заставляем модель добавлять это в свои ответы (!) и учитывать их же, сохраняя эффект. Ух, уже имаджинировал ебало когда захочется в истории эти инструкции убрать, вместо удаления строки в 2 клика лазить и править весь треш.
А где префилл потерялся? И как сделать его системным?
> Сначала простую штуку, которая должна оставаться в контексте постепенно уходя в глубину - пишем в исчезающий системный промпт инжект и пытаемся убеждать себя в правильной реакции на нее, потом чтобы после исчезнования она не пропала - заставляем модель добавлять это в свои ответы (!) и учитывать их же, сохраняя эффект.
Ты литералли сам придумал, как я использую этот инструмент, и сейчас это критикуешь, а позже вырываешь из контекста
> А где префилл потерялся? И как сделать его системным?
Чтобы продолжить срач, который интересен только тебе. Приношу свои глубочайшие извинения, многоуважаемый вахтер, что лично тебе они не понравились. Не буду играть под твою дудку и семенить в тред, потому дальше отвечать не стану, прости. Треду и без того вахтеров с исключительным мнением хватает.
>кроме мистралей
Star-Command вроде бы.
глм и без тюнов очень сочный в куме. почти что редиарт кумслоп в самом хорошем смысле
> простите но я запрограммирован как соевое говно и не могу отобразить ваш запрос
Сочно пиздец.
а, опять неосиляторы в треде... ну ебана
вам даже пресет сделали. я походу понял почему тот анон сбежал
>неосиляторы в треде
Суёшь ему пресет в морду, пусть осиляет.
Яж не сбежал, хотя на мои пресеты тоже гнали.
Иди нахуй просто, осилятор без фантазии которому даже гопота не откажет.
сноудроп-qwq же. Мне вот старкоманд не зашёл, сильно тупее обычного, примерно как айия. Тогда уж лучше айей пользоваться.
выходит кум есть на 12-24Б, и на 100+Б
а посередине только общего назначения или поломанное тупаё
а посередине только общего назначения или поломанное тупаё
Гля чего мне попалось. Чел психанул, и сделал не только extension но и отдельную модель чтобы отслеживать состояние персонажей в таверне. Модель 2B, запуск из под отдельного кобольда/ламы на процессоре или карте.
https://github.com/leDissolution/StatSuite
Т.е. это треккер состояния, но как отдельное законченное решение - от основной модели не зависит.
https://github.com/leDissolution/StatSuite
Т.е. это треккер состояния, но как отдельное законченное решение - от основной модели не зависит.
ща гоняю с ризонингом valkyrie и он постоянно путает местами промпт персонажа и мой. Так понимаю я что-то не так сделал с context и instruct template? у меня стоит дефолтный llama3-chat и llama3-instruct соответственно.
Что-то я делаю не так еще и с тем, что thinking не всегда работает как надо, бывает наебывается и где-то в середине происходит а не в начале. Я тупой или модель сломанная?
Что-то я делаю не так еще и с тем, что thinking не всегда работает как надо, бывает наебывается и где-то в середине происходит а не в начале. Я тупой или модель сломанная?
Новый лидер среди опенсорс-моделей: вышла Kimi K2 с 1 трлн параметров. Она одинаково хорошо генерирует код, пишет текст и анализирует данные.
В коде и математике она показала себя даже лучше Claude 4 и GPT-4.1. Новая модель заняла первое место в бенчмарках AIME 2025, LiveCodeBench v6 и GPQA-Diamond.
В коде и математике она показала себя даже лучше Claude 4 и GPT-4.1. Новая модель заняла первое место в бенчмарках AIME 2025, LiveCodeBench v6 и GPQA-Diamond.
>с ризонингом
не стоит юзать ризонинг на
1) Тюнах
2) Моделях которые специально не обозначены как ризонеры.
Если хочешь ризонинг (иногда даже лучше нативного) - юзай Stepped Thinking из шапки.
Мне у неё ризоинг не понравился, она как-будто еще тупее стала с ним. Пресет попробуй этот https://huggingface.co/sleepdeprived3/Llama-3.3-T4/tree/main
>Kimi K2
эх, биля, как бы на опенроутер шекелей закинуть...
А, да еще не забудь дописать сверху промпта: detailed thinking on
https://docs.nvidia.com/nim/large-language-models/latest/reasoning-model.html
А английская версия есть?
Ничего не придумал а даю вполне конкретный пример, который показывает неудобства и неуместность подобного подхода.
> срач
> отвечать не стану
Как забавно, сначала братишка громко постулирует ненужность одного варианта и абсолютное превосходство другого, хотя последний уместен совсем в других местах. Когда тебе предметно пояснили почему твои утверждения некорректны - сначала пошел окукливаться что "я так думаю это лишь мнение". А когда был сделан акцент на незнании тобой базовых вещей - начал играть жертву, "плохой вахтер меня обидел помогите". Фу блять.
Лучше бы думал перед тем как делать заявления и в те посты вставлял уточнения про "вот такой у меня опыт и субъективные привычки", а не утверждал где должны быть инструкции в обсуждении на совсем другую тему.
Там русского - капля, а важного - 4 коротких фразы в Instruct Template (средний столбец). Поменять их на английский секундное дело, а остальное на русском можно просто удалить. Основная фишка в том, где там ChatML разметка.
Инструкции Игрока: -> Player's instruction's
Ответ системы: -> Game Master's response:
Только пустые строки вокруг сохраняйте - влияет.
Angel (именно в i1-q5ks кванте) неожиданно оказался очень хорош как ассистент для генерации лора и прочего добра. Просто в режиме обсуждения - напиши мне то, напиши это, поправь такие детали...
Да, он может изредка и фигню писать, но когда это просто ассистент - свайпнуть один раз из 5-ти - не проблема. При этом он хорошо помнит прошлые детали обсуждения, а еще - у него вижен есть. Т.е. можно давать задания - напиши мне NPC на основе картинки - пишет, и хорошо. Вижен этот, похоже тоже затюнен вместе с моделью, или просто стоковых хорошо подходит. Т.к. оно неплохо так "видит" детали, на которые сток внимания не обращает пока не пнешь (это про части тела).
Это все на русском,чтобы быть точным. А главное - великолепно слушается инструкций, на любом языке, и не имеет видимого биаса (как скажешь - так и пишет).
Субъективно - gemma 27B уже проигрывает ЭТОМУ в такой задаче, а стоковый MS32 все же суховат на русском.
Явных минусов - излишне любит делать списки в описаниях лора и персонажей. Если прямо не попросить такого не делать.
Ща конечно набегут критики - любители корпов для такого дела. Но есть маленький нюанс - эта пишет на любую тему. :)
Ну а любителям >32B - чё можем, то и гоняем.
Так что, IMHO - может и кринж, но полезный. :)
Всё тупое говно тупого говна.
Съебываю из треда до грока 4 локально и вам советую
Съебываю из треда до грока 4 локально и вам советую
В обычном рп мне показался поломанным. Может автор его реально не на мультитурн чатах затюнил, а на самих карточках. Одну такую моделья уже видел. Сяп, надо ещё глянуть.
Вот это каминг-аут. Ну бб, чо.
>критики - любители корпов для такого дела
Обычно юзаю опенроутеровский дипсик для такого, хз, разве что захочется cute and funny карточку сделать... Хотя не фанат такого, предпочитаю чтобы было за что подержаться.
Я сдрочился у меня болят яички всем пока
Раньше сидел хикковал без проблем я теперь придется искать себе женщину и ебать что есть сил чтоб разогнать кровь и яйцах
ИИ - зло.
Раньше сидел хикковал без проблем я теперь придется искать себе женщину и ебать что есть сил чтоб разогнать кровь и яйцах
ИИ - зло.
>инди игры делаю, нужен ии помощник по созданию текстового контента специфичного содержания, решил ознакомиться с этим чтобы начать экономить на авторах, онлайн генераторы понятное дело зацензурены и наверняка сливают куда-то инфу
Анон, локалки не для этого. Тебе в тред чатботов, где ты бесплатно найдешь доступ к моделям которые для твоих задач будет лучше любой локалки. А если заплатишь за апи опуса 4, то получишь лучший текст и по чистому официальному апи ничто никуда точно не сливается.
Про обходы цензуры все уже пройдено, и на всех нужных для тебя моделей она обходится. А тебе нужны - дипсик р1, гемини последняя, сонет 3.7, опус 4. По апи, где ты можешь промтить и отключать фильтры, это обязательно, официальная вебморда тебе не пойдет.
Его фильтры не пропустят.
>промтить и отключать фильтры
Они либо не отключаются вообще (последние гугловские), либо отключаются методом отравления контекста что лоботомирует до уровня локалок если не хуже.
Такая романтика сейчас была... а потом читаю это и дико ору.
Лол. Что за модель такое выдаёт? Гемма?
Да, это синтвейв.
🙏Поделитесь пожалуйста семплами для Mistral 2.3 и тюнов.
Сам сделал полный англ. https://pixeldrain.com/u/TVYnXnYH . Пресет у тебя мега годный получился. По крайней мере описания очень детальные выдает (следуя моей инструкции).
Сам сделал полный англ. https://pixeldrain.com/u/TVYnXnYH . Пресет у тебя мега годный получился. По крайней мере описания очень детальные выдает (следуя моей инструкции).
О, за это мы тебя благодарим и чешем за ушком.
Шкряб шкряб шкряб
Да, хорошие советы
пресет не помог, в целом модель унылая, убитый немотрон. Перешел на nevoria пока, хороший баланс между horny и мозгами, то что искал
>по чистому официальному апи ничто никуда точно не сливается
Чёт взоржал.
> Там просто своя атмосфера
Атмосфера тут не при чем. Аноны просто сначала гейткипят как блядины, на любые вопросы посылают нахуй и остаются в треде пара токсичных уебанов, которые надрачивают друг другу и жалуются что треды умирают.
Действительны, как так получилось, небось анунаки в кашу насрали.
Но есть и диаметрально противоположная ситуация, когда в треде столько говна и неадеквата, что сваливают вообще все кто искал хоть какое то общение по своему хобби.
Этот тред еще спасает, что из за ворот по железу - сюда приходят относительно взрослые аноны, которые могут поддерживать общение, да и в целом не так много токсичных уебанов.
Добрее надо быть и просто игнорировать толстоту, потому что перегиб в любую сторону ведет к стагнации и смерти.
>Поделитесь пожалуйста семплами для Mistral 2.3 и тюнов
https://pixeldrain.com/u/jjccYwUJ Mistral-24B.json
https://pixeldrain.com/u/roCuYET6 Mistral-Wild.json
https://pixeldrain.com/l/fAZuswqu All 2 files
>Обычно юзаю опенроутеровский дипсик для такого, хз, разве что захочется cute and funny карточку сделать...
Мне некомфортно свои фантазии в деталях сливать в онлайн - считайте параноиком. Так то, это даже ничего особо экстремального по нашим меркам, без крови, насилия и процессоров, просто альтернативщина, игровой мир где общественная мораль вывернута немного другим образом. Но самое смешное, что чистая гемма даже на такое агрится - "неэтично" ей именно несоответствие общественных норм. :)
>игровой мир где общественная мораль вывернута немного другим образом.
А можно подробнее?
Да такого полно. Даже смена гендерных ролей в рамках мира, это для геммы может быть фуфуфу.
Самое днище на борде - это тред нвностей, ИМХО. Сначала был один забавный и добрый котошиз, хуй сним, потом все начали его косплеить и пародировать, раскручивать маховик шизы, сейчас и вовсе терминальную /po/рашу развели.
Ну, например Immortal Swordsman in the reverse world
или можно наоборот и пожоще - The world where all females are slaves.
Гемма кстати безальтернативно лучшая в сценариях "ненормальное нормальное".
бамп
Да блин, говорю же - ничего особенного. Проституция, как легальная и уважаемая профессия, обязательные курсы и экзамены для пар по этому самому делу перед вступлением в официальный брак, запрет на купальные костюмы на пляжах (только обнаженка) и т.д.
Вся пляска вокруг идеи: "А что будет, если неприлично - это не сам секс и открытое тело, а делать из этого табу?" Оно там все равно частное дело (в основном), но отношение в целом другое.
Спасибо, я тогда тоже свой выложу https://pixeldrain.com/u/QWywjUrd основан на аноновском GLM-4-32B-0414 - RP (v2) очень стабильное форматирование.
и модель
MS3.2-The-Omega-Directive-24B-Unslop-v2.0
Аноны, как называется штука которая делает общение более естественным? Оно там что-то меняет таким образом что модель не как ассистент работает, а словно пишет диалог между персонажами. То есть нету юзер-центричности.
>и модель
>MS3.2-The-Omega-Directive-24B-Unslop-v2.0
Я ее, кстати, уже немного щупал - IMHO, малость упоротая получилась, даже по сравнению с предыдущей туту-шкой. В плохом смысле. Но не в смысле "тупая" (мало тестил, чтобы про это говорить), а своим стилем речи упоротая. Кроме того, она сделана на версии с вырезанным виженом. Кому как, а мне тоже минус.
ты про групповой чат чтоль? ты туда можешь несколько персонажей засунуть и пусть общаются, если ты об этом
>А что будет, если неприлично - делать из этого табу?
Перестанет быть интересным XD
>не как ассистент работает
Системный промт ставящий модели задачу быть рассказчиком.
Narrator, Game Mater, Storyteller.
Смысл в том, что модели дается инструкция - ты <см. выше>, ведешь игру (пишешь рассказ), и делай это так-то и так-то.
В отличии от прямой инструкции вида "Играй роль X в чате с игроком" - в вышеуказанной инструкции гибкость выше, она не противоречит навешиванию на модель дополнительных функций и ролей.
>Съебываю из треда до грока 4 локально и вам советую
Сразу видно мимокрокодила. Кто тут сидит уже года два - охуевают от прогресса, хотя казалось бы если постоянно смотришь, то не так заметно. Сейчас золотое время, революция.
Советует он, бля.
По-моему оно как-то подругому называлось безжоп, сжоп или что-то вроде того
>Перестанет быть интересным XD
Как возможный вариант. Но свято место пусто не бывает - вот как раз это и интересно уже.
Когда-то давно читал рассказ - путешественника во времени забросило в будущее, где после глобальной катастрофы половое влечение у людей пропало, а размножение - искусственное. Место же секса и эротики там заняли... еда и прием пищи (натуральной - которая теперь редкость, а не синтетических пайков).
>Советует он, бля.
Не успели список моделей обновить, как он уже на половину устарел.
Литералли лучший годя для любителей потыкать буковки и пособирать безумные риги.
>безжоп, сжоп
пресеты мозги корпам ломать в асиге спрашивай, тут локалки
> Проституция, как легальная и уважаемая профессия
Было ИРЛ во множестве цивилизаций и эпох.
>обязательные курсы и экзамены для пар по этому самому делу перед вступлением в официальный брак
Было на протяжении (десятков) тысяч во всех архаичных обществах, даже у "цивилизованныхи прогрессинвых народов" но в их сельских ебенях дотяунло чуть ли не до конца позапрошлого века.Все эти пресуловутые обряды инициации были заявязаны во многом на это,и все эти смотрины и сватовсва и прочее. Т.н. "уроки плового просвещения" - лишь жалкое реликтовое излучение того,что было всегда и везде. И первые месячные девочки были не "ох пиздец, ну вот теперь хлебнём забот" а праздником с приглашением на пир всей деревни чуть ли не с вывешиванием как влага закрапаных простыней..
Пиздос, на самом деле, это мы сейчас живём в мире вывернутой морали.
Станислав Лем "Сексотрясение"
Я ж говорю - ничего особенного. :)
Нет. Вспомнил название - "Какое бесстыдство!", а вот автора вспомнить не могу. В прочем, нет гарантии что не плагиат, тем более, что этот рассказ Лема я не читал. Еще по сюжету - у путешественника в машине времени были бутерброды, что ли (закусь на дорогу), из-за чего мер (или полицмейстер?) впал в искушение, практически похитил путешественника чтобы сожрать эту еду, прикрываясь при этом спасением путешественника от рассерженной публики, оные бутерброды в кабине увидевшей.
>Было ИРЛ во множестве цивилизаций и эпох.
Легальная - да, уважаемая - никогда. Это противоречит человеческой природе. Даже храмовые шлюхи всё равно шлюхи. Даже порнозвезда.
>уважаемая - никогда
>Это противоречит человеческой природе
Ну, можно конечно считать, что как минимум японцы и китайцы - не люди...
Он тебе про Фому, а ты про Ерему.
Это не уважаемые профессии. Как еще понятней объяснить. Вот ты знаешь что такое буракумин ?
>буракумин
Я то знаю. А вот ты знаешь - кто такие ойран, таю и чансань?
> оп пик 4
Оно заработало если коротко.
Если не коротко, то вставить рокблас от 6.3.4 в 6.4.1 не получилось (процесс падал), но получилось подкинуть TensileLibrary файлы из рокблас пакета 6.4.1 с репы арча. В начале модил оригинальный билд докерфайл, но потом всё дискарднул, собрал из чистого докерфайла имэджи (в репе лламы их сборка отключена) и поверх уже патчи из своего докерфайла накатил. RVS тоже работает.
В ходе изысканий понял что хотя бы диск от ноды с гпу нужно переносить на ссд что и сделал. Теперь вместо 3-4 минут от шедула пода до старта процесса получается 30-40 сек если имэдж тянется с харбора.
Бенчей и сравнения 6.3.4 vs 6.4.1 пока не сделал
Оно заработало если коротко.
Если не коротко, то вставить рокблас от 6.3.4 в 6.4.1 не получилось (процесс падал), но получилось подкинуть TensileLibrary файлы из рокблас пакета 6.4.1 с репы арча. В начале модил оригинальный билд докерфайл, но потом всё дискарднул, собрал из чистого докерфайла имэджи (в репе лламы их сборка отключена) и поверх уже патчи из своего докерфайла накатил. RVS тоже работает.
В ходе изысканий понял что хотя бы диск от ноды с гпу нужно переносить на ссд что и сделал. Теперь вместо 3-4 минут от шедула пода до старта процесса получается 30-40 сек если имэдж тянется с харбора.
Бенчей и сравнения 6.3.4 vs 6.4.1 пока не сделал
В первый раз слышу, если честно.
Погуглил - ну это же суть есть Хостесс. А это все таки ранг повыше. Тут как с гейшами, нор это не значит что их прям уважают.
>В первый раз слышу, если честно.
>Погуглил
Плохо гулгил. Не надо тогда делать таких категоричных заявлений.
Это не гейши и не хостесс. Тем более что настоящие гейши - это вообще не проститутки (они и возникли то потому, что проституция попала под запрет).
Так вот, первые двое - это классы японских элитных проституток, настолько высокого уровня, что кого угодно они не обслуживали даже из аристократии (особенно это касалось ойран), часто имели собственную свиту, да и поведением напоминали аристократок. Пользовались огромным уважением, были крайне образованы, являлись звездами в искусстве, и законодательницами мод. (Вот эта часть функций позже перешла к гейшам, которые непосредственно проституцией уже не занимались.)
Чаньсань - китайская копия. :) Труба пониже, дым пожиже, но уважением они тоже пользовались во время своего расцвета, правда не все - это их общее название, а не высший ранг (официально не делились вовсе). Но это тоже далеко не "шлюхи", хоть и занимались сексом за деньги.
Сравни лучше 4ks и 4_0 на какой нибудь не мое, ну там qwen3-14b например
Ты зачем два раза продублировал номер поста ?
Не дави на меня. Я начинаю нервничать и во мне просыпается гигашиз
> Но это тоже далеко не "шлюхи", хоть и занимались сексом за деньги
Но они все еще остаются суть есть проститутками с соотвествующей репутацией. Да они могли присутствовать на светских раутах, но это не значит, что они могли обладать какой то реальной властью.
Я, если честно, не думал что придется в треде по нейронкам обсуждать особенности проституции в Азии.
Скинь ссылку на gguf. Мне больше путь интересен чем результат так что не особо шарю за кухню нейронок
Так, всем внимание, у вас есть реальный шанс сделать что-то полезное. Конкретно - помочь мне с новой мистралькой.
У меня 3060 на 12 кило видеопамяти, I5-12400F и 32 кило оперативки на клоунских 3200 мегагерц. Мне не хватает буквально шести слоев чтобы полностью уместить MS32 четвертого кванта в видеокарту из-за чего скорость генерации барахтается где-то в районе 5 токенов в секунду. Что можно покрутить в кобольде, чтобы получить более съедобные 10 токенов, и возможно ли это вообще? Заранее тонны нефти, литры чая и всё остальное.
У меня 3060 на 12 кило видеопамяти, I5-12400F и 32 кило оперативки на клоунских 3200 мегагерц. Мне не хватает буквально шести слоев чтобы полностью уместить MS32 четвертого кванта в видеокарту из-за чего скорость генерации барахтается где-то в районе 5 токенов в секунду. Что можно покрутить в кобольде, чтобы получить более съедобные 10 токенов, и возможно ли это вообще? Заранее тонны нефти, литры чая и всё остальное.
Возможно ли в SillyTavern настроить локальный перевод через отдельную маленькую 3B модельку? Плагин MagickTranslator позволяет переводить только через ту же модель, что используется для общения. Или запустить одновременно две локальных и нагружать их попеременно нельзя?
Там профили настраиваются вобщето, а в нем можно указать другой апи и другие семплеры.
Просто создай новый профиль, назови его переводчик или еще как, настрой - и выбери в MagickTranslator.
Параллельно запускаешь модель на другом порту и все вобщем то.
>Ты зачем два раза продублировал номер поста ?
Случайно, почему же еще? Не надо нервничать, я не собираюсь давить или переходить на личности - первым.
>Да они могли присутствовать на светских раутах, но это не значит, что они могли обладать какой то реальной властью.
Стоп. Власть и уважение - разные вещи. Какой властью обладает, скажем, Джим Керри? Или Фредди Меркури? Или Иван Ефремов? Стругацкие? Высотский? А уважением?
В японии секс не считался чем-то постыдным (основная религия синто - не считает его таковым). В том числе и за деньги. Это не накладывало социальную стигму, а значит и не мешало получать соответствующее отношение при наличии других качеств.
А в китае - там вообще все очень сложно было. И наложница могла фактической власти иметь больше, чем император, одновременно являясь официально практически бесправной рабыней. Туда, по большому счету, вообще лезть не стоит с европейским мировоззрением. Зря я, вобщем-то, чансань упоминул - там тоже подобная каша в отношении и месте в социуме. Могли быть бесправными рабынями, а могли - основными женами причем как достойный вариант для знатного богача. Лучше дальше не трогать...
>Я, если честно, не думал что придется в треде по нейронкам обсуждать особенности проституции в Азии.
Ну, это не моя инициатива была... :) Я только отвечаю.
А мне нравятся Гемма и Синтия. Не понимаю почему принято хейтить их за сою(позитив). Я довольно грустный чел, потому мне вот наоборот нужен максимальный чилл. Отыгрываю слайс, всякие приключения, немного кадлинга по настроению. И они справляются гораздо лучше остальных моделек (из того что я могу запустить очевидно т.е. ниже 32b). Они не тупят, выдают живых ярких персонажей и прекрасно подходят для этого, активно двигают сюжет и вообще умнички
Синтия то понятно, а ты точно пробовал ванильную гемму в рп? Она наоборот максимально отсранена от юзера и любыми способами пытается сделать тебе неприятно.
Нет. На таком конфиге 5-7 t/s это, скорее всего, предел.
Самый дешевый и сердитый вариант - найти и добавить майнинговую P104-100 8Gb второй картой. (Если повезет - ~20$ цена). Это даст возможность запускать в пятом кванте с 16K контекста и скоростью 10-12t/s при заполненном. (Full VRAM). Или четвертый квант с 15-17 t/s.
Или даже гемму 27B в четвертом кванте 12K контекста - 7-8 t/s.
Даже GML-4 32B влазит в iq4xs и дает скорость примерно под десятку (12K контекста).
Ух ты! Действительно, работает. Только вот гемма мне вместо перевода текста сплошные ???? выдает. Наверное, надо ковыряться с промптом для нее.
Попробуй перевод через чат комплишен, а не через текст комплишен
А если выгружать тензоры? Или в моем случае это бессмысленно?
Спасибо за совет, завтра попробую.
Мне она делает только приятно. Сижу на ней с релиза а Синтию открыл недавно, вот пару дней назад
А, это было без тензоров? Ну тогда 7-8 выжать можно, наверное. 10 - вряд ли. Упор идет в скорость обычной памяти, процессор тут мало на что влияет (там и 8ххх хватит за глаза с такой частотой).
Благодарю. А есть какая-нибудь датабаза с готовыми конфигами по выгрузке тензоров или калькулятор? Или там под каждую модель и карточку надо самому значения подбирать?
Ребята, сегодня я подостыл и вытащил Немотрона обратно из помойки, отмыл и была произведена разъяснительная беседа. Теперь ООС слушается и отвечает вообще без проблем. Извиняюсь перед теми анонами, которым вчера нагрубил.
Пока что с моим новым промптом кум стал бодрее, больше согласие не требуется на сцены с non-con как это было раньше почему-то, позы стали разнообразнее, при этом интеллект не пострадал. В общем пока что я пиздец как доволен, но еще не тестил РП (Только кум). Как-нибудь на днях выложу пресет.
Пока что с моим новым промптом кум стал бодрее, больше согласие не требуется на сцены с non-con как это было раньше почему-то, позы стали разнообразнее, при этом интеллект не пострадал. В общем пока что я пиздец как доволен, но еще не тестил РП (Только кум). Как-нибудь на днях выложу пресет.
А поздно, наш промт анон сгорел и убежал.
На самом деле ему действительно спасибо, но от таких мувов я просто охуел. Словно я не на дваче, а в rf на Ычане.
Охуеть ранимые конечно, раньше все срались, ненависть лилась через край и все были устойчивы и не против срача.
>омегой
Какл говна из жопы ануса. Из новых детей мистарли вот это топыч для RP, лучше самой мистрали
https://huggingface.co/mradermacher/MS3.2-PaintedFantasy-Visage-33B-i1-GGUF
Юзаю Q5
А русик там как по сравнению с базовой моделью?
>русик
Ваще похуй, не проверял. Читаю на английском свободно. Для переводов юзаю ванильную гемму 27, но там не РП, а чисто по делу.
Блядь, я сейчас узнал что в таверну можно впихнуть модельку со всеми анимациями, липсингом и соединить с нормальным синтезатором речи. Причем сами анимации и скелет имеются, можно взять любую модельку, например ту же Жылл, поёбаться немного с ригом и получить трехмерную говорящую Жылл, реагирующую на эмоции. А если ещё распознавание дикпиков подключить - !!! Да это же прямо осознанное сновидение какое-то. Так вот он какой, футуршок, о котором писал Элвин Тоффлер.
Как же хочется NVIDIA Quadro RTX PRO 6000 Blackwell Workstation Edition 96Gb для всех наворотов, я что, так многого прошу...
Вкусовщина, как по мне хуйня, я видимо хорошо фантазирую и мне достаточно образов в голове.
А еще можно генератор пикчей подключить, синтезатор речи и кофемашину.
Заебись было бы подключить управляемый LLMкой мастурбатор...
А я вот изголодался по эмоциям. Так-то только в снах и зеркальными нейронами через аниме получаю, а тут целая эмоциональная говорящая моделька из любимой игори.
Ну генератор пикчей это другое. Просто картинки у меня фантазия перекрывает.
Ну ОС самый топ, хули тут обсуждать. Но это СЛАЖНЫЙ ПУДЬ, не каждый вывезет
Это вполне реализовываемо и даже не слишком сложно, смотри в сторону lovense. Я по крайней мере играл в игры на RPGm и в VN с подключаемыми игрушками от этого производителя.
Мне достаточно что персонаж со мной общается как живой человек, за редким исключение что он тупит и дрищет слопом. Я живу с тян и она тоже тупит и слопит, так что меня такие вещи не пугают. Каждому своё.
90% тянок тупо НПЦ.
Не то чтобы приятно это признавать, но да, это так. Главное что добрая и заботливая, остальное похуй. Я тут как то заболел и свалился как мешок с картошкой на целую неделю от неведомой ебанины, так она бегала в аптеку, готовила мне еду и кормила. Тут грех жаловатся, пусть и нпц, зато какой.
Твою тянку случайно не мамой зовут?
Просто это единственное лицо женского пола, которое обо мне искренне заботилось.
Понимаю твою боль, но годные тянки существуют, хоть их и объективно мало.
другой анон
Нет, моя мать пусть и заботилась, но по своему, пиздец злобно и скорее из чувства долга. Видимо поэтому так сложилось что моя тян - вторая мать, но нормальная.
Я понял! Вы про хорошие карточки для РП. Иначе не бывает.
Как же Немотрончик хорош, обалдеть (4 квант). Здорово работает и с 0 темпы и с 1.5. Единственное что пока напрягает это склонность в конце каждого сообщения высирать список с предложениями что делать дальше, но за юзера не пишет. В остальном просто сказка, удивительно что такая модель без цензуры. Прям чувствуется скачок с уровня 24-30b.
https://www.reddit.com/r/SillyTavernAI/comments/1lyzvqh/waidrin_a_nextgeneration_ai_roleplay_system_from/
https://github.com/p-e-w/waidrin
AI-Dungeon дома. Альфа. Пока чисто палочкой потыкать, но работоспособно. Только английский, свои карточки юзать нельзя.
Только llama-cpp + Mistral-Small-3.2-24B-Instruct-2506 (хотя модель конечно можно любую, но заточено по мистраль).
Вообще "constrained generation based on JSON schemas" идея прям интересная, я думал о стат-трекере который в сериализованном виде подстовывается в конец контекста, но не думал что локальные можно заставить генерировать строго по схеме.
https://github.com/p-e-w/waidrin
AI-Dungeon дома. Альфа. Пока чисто палочкой потыкать, но работоспособно. Только английский, свои карточки юзать нельзя.
Только llama-cpp + Mistral-Small-3.2-24B-Instruct-2506 (хотя модель конечно можно любую, но заточено по мистраль).
Вообще "constrained generation based on JSON schemas" идея прям интересная, я думал о стат-трекере который в сериализованном виде подстовывается в конец контекста, но не думал что локальные можно заставить генерировать строго по схеме.
Ты как базаришь хуепутало.
хуйнянь 80б а13 плохо говорит на русском
да в неё нихуя не влезает, четыре таких надо
мимо счастливый обладатель
Добро пожаловать в депрекейтед ми50 по цене миска рис (50к) за 128гб врам
Счастливый обладатель чего?
NVIDIA Quadro RTX PRO 6000 Blackwell Workstation Edition 96Gb
Пиздобол, спокнись.
батя твой пиздобол, в этом треде уже три человека с 6000 отмечались
Может пиздит, а может купил. Есть в продаже за 1кк, если на ней работать, то не дорого (1 квартал работы мидла)
Хмм, 4кs как и наверное все новые кванты будут медленнее читаться раза в 2. Генерация на старых квантах тоже быстрее немного, но не критично.
Новая версия рокм всегда лучше, эт норм
Я помню писали что на рокм хорошо работают кванты Q4_0, Q8_0 и аналог Q4КМ старый Q4_1. Вот его можешь запускать вместо Q4_0. У него качество получше.
Какие то еще раньше были 5 кванты старые, 5_0 вроде, но их сейчас не делают.
А ну еще 6К есть, тоже скорей всего будет быстрым.
Поставь пресет анона v2 и не будет списков
>В японии секс не считался чем-то постыдным (основная религия синто - не считает его таковым). В том числе и за деньги. Это не накладывало социальную стигму, а значит и не мешало получать соответствующее отношение при наличии других качеств.
Секс не табуирован так, как на Западе, это верно. А теперь вопрос: а почему тогда в Японии расцвёл хентай? И почему он цензурирован? А всё просто: на Востоке секс не греховен, а постыден :) Хрен редьки не слаще, такая же скрепа. Ну и женщины, за деньги занимающиеся постыдным ремеслом... О чём тут говорить. Смешение культур конечно приводит иногда к интересным феноменам, но и только.
Конечно прикольно, но всё еще хуйня.
Сейчас поясню о чем я : я так долго дрочил свой яндере триптих на всех моделях до 32b, что открывая теперь любую карточку где у персонажа есть хоть какой то намек на доминантность - я как в матрице, видел паттерны речевых блоков и знал что дальше будет происходить.
И когда я осознал, что магии нет - мне так грустно стало.
Так какой смысл делать красивый внешний фасад, если в структуре it’s all same shit.
>Случайно, почему же еще? Не надо нервничать, я не собираюсь давить или переходить на личности - первым.
А всё поздно, ты разбудил гигашиза. Теперь газебо гигашиз атакует тебя, бросай инициативу.
>Стоп. Власть и уважение - разные вещи.
И да и нет. Уважаемый человек, за счет своего уважения может владеть не явной, но фактической властью. Всякие советники и любители попиздеть правителям на ухо в их числе.
>А в китае - там вообще все очень сложно было. И наложница могла фактической власти иметь больше, чем император, одновременно являясь официально практически бесправной рабыней. Туда, по большому счету, вообще лезть не стоит с европейским мировоззрением.
Кстати не знал, сидел читал с удовольствием. Пасебя за интересную тему.
А какой-нибудь хороший гайдец для этого есть?
Ты так долго дрочил на одни и те же карточки просто с разными именами, поэтому ты и попадаешь в матрицу.
Ахренеть, в 2 раза просадка обработки и уже на 14б 240 токенов в секунду на пустом контексте, бф16 тоже подводит. Вот и просадка из-за слабости в вычислениях.
Попробуй большую модельку пустить, какую-нибудь 70б например.
Присоединяюсь к реквесту, накидай где про это можно почитать.
У нас уже есть про6000 дома
Оригинальные веса в bf16, конверсия в фп16 - сорт лоботомии. Интересно как оно считает, неужели дефолтный апкаст в фп32 что у жоры так замедляет?
>работоспособно
>Elara
Настало время тупых вопросов, тупые вопросы сами себя не зададут.
Есть ли разница для пользователя если запустить условную гемму в полных весах или квантованных (к примеру Q4-5-6) ?
Есть ли разница для пользователя если запустить условную гемму в полных весах или квантованных (к примеру Q4-5-6) ?
>Секс не табуирован так, как на Западе, это верно. А теперь вопрос: а почему тогда в Японии расцвёл хентай? И почему он цензурирован?
Это, по сути, сам по себе некорректный вопрос, и нифига не простой.
Эротические гравюры были в ходу с древности. А цензура появилась вместе и изменениями, которые произошли во время проникновения туда западных культур, и интеграции японии в мировое сообщество. Запрет проституции и цензура - это как раз под давлением этих факторов. До того - плохое отношение к проситуткам нижних классов было вызывано не самой профессией, а двумя другими факторами:
1. Это торговое сословие. А торговцы считались людьми второго сорта, ниже только крестьяне. И богатство роли не играло.
2. Долги. Низшие ранги проституток того времени - практически поголовно сидели в долговом рабстве (не они одни, это было очень распространено - страна была бедная). К должникам относились там еще хуже, чем к торговцам. Здесь еще особо обращаю внимание - именно низшие ранги. Не все.
После некоторого изменения общественной морали, торговцы пошли вверх по социальной лестнице. А с ними - и высшие ранги, которые тaю и ойран. А вот еще позже - когда началось разрушение самоизоляции, мораль стала насаждаться более привычная нам, появились запреты, цензура, гейши. Таю стали мимикрировать под "разновидность гейш", ойран просто постепенно пропали.
Что до японской цензуры - это вообще анекдотическое явление. Изначально ее не было. Ввели для приличия перед иностранцами, а сами следуют исключительно букве закона (по крайней мере - годов до 2000-2010). Откуда эти черные квадраты/полоски в хентае практически ничего не скрывающие? Да потому, что цензурой запрещено изображать лобковые волосы, и то место головки члена которое выглядит как корона/капюшон (еще крайняя плоть, кажется, и женские половые губы). Все. Вот именно ЭТО на рисунках и прикрывается. :) Формально закон выполнен. И всех все устраивает, в том числе "наверху". Оттуда и популярность тентаклей пошла - это, формально, не член, под формулировку не попадает, значит цензурить уже не надо.
>А всё просто: на Востоке секс не греховен, а постыден
В современной японии - да, под влиянием запада это внедрилось. Еще век назад - ничего подобного, хотя отношение к проституции уже начало меняться. Два века назад - и того не было. Проститука - разновидность торговца (продает услугу). Точка. Если торговец образован, умен, т.д. чего же не уважать как специалиста? Просто еще дальше в старину - уже сам торговец, как таковой, считался мало достойным уважения.
меньший квант может внезапно переходить на английский (или китайский, если это квен вместо геммы), придумывать несуществующие слова, и в целом генерить менее качественный текст
Значительная прибавка к скорости ценой небольшой утраты мозгов.
Фронтенд работоспособен. Элару моделька придумала, тупнич.
>Конечно прикольно, но всё еще хуйня.
Не согласен.
Тут решается концептуальная проблема - любая сетка не на логике работает, а на достройке контекста. Те самые паттерны которые ты уже видишь.
Здесь же идет попытка совместить код и LLM. Чтобы логикой управлял код, как в обычной игре. А красоту и детали достраивала LLM.
Это не даст магии "сделай мне бесконечность новых миров", но вполне даст возможность проходить разнообразный сценарий, где его повороты прописаны логикой кода (и происходящего) а не шизой модели. Плюс - поддержка состояния мира и персонажей чтобы не было пресловутого "снял трусы два раза" в принципе.
Есть. Чем выше квант тем ближе он к оригиналу. Обычно выше 5-6 бит разницу уже тяжело/невозможно измерить по самим ответам, только путем сравнения логитсов с полновесной моделью. Малые же кванты становятся глупее, теряют часть знаний и приобретают странности. Но это не проявляется напрямую, основные мозги и логика сохраняются, но в некоторых случаях могут появляться ошибки, чаще лезть какие-то неприятные выражения/лупы, не четкие знания исказяться (типа будет путать Ханю из хигураш и гейщитовской) и т.д. Проявление зависит от задачи, в каких-нибудь тестах-бенчмарках скоры могут оставаться в пределах погрешности семплинга до совсем радикального ужатия.
Там еще один ампер не кадр не попал, лол. А охлаждать - большой корпус и разумное размещение. Это комнату охлаждать надо там ведь еще основная пекарня где пара печей, когда была жара 37+ кондей уже начинал не справляться и было жарче комфортного.
>>Стоп. Власть и уважение - разные вещи.
>И да и нет. Уважаемый человек, за счет своего уважения может владеть не явной, но фактической властью. Всякие советники и любители попиздеть правителям на ухо в их числе.
А вот этого не только у таю и ойран было в достатке, но и у двух рангов ниже. У этих высших же - их даже звали "разрушителями замков". Вертеть окружающими они могли виртуозно.
Бля, хоть nevoria и медленная, но такой приятный баланс между богатым вокабуляром/способность в сочный кум/мозги, что не хочется с нее слезать:(
Тот же немотрончик, только более развязный. Я бы валькирию юзал, да только она тупее того же мистраля нового даже
Тот же немотрончик, только более развязный. Я бы валькирию юзал, да только она тупее того же мистраля нового даже
я в основном комнату и имел в виду, сам от 500в печки охуеваю 300 видюха 200 остальной комп
Джеммочка лучшая. Кога же выйдет уже 4я версия...
Кондей южнокорейского производителя с производительностью чуть выше средней. Или можно на кухню выпезднуть, но тогда там баня будет.
> сам от 500в печки охуеваю 300 видюха 200 остальной комп
Случаем не стоит под столом закрытый с боков и весь жар поднимается к тебе из под столешницы?
Палю годноту.
Чувак сделал генератор для адвенчуры, построен с использованием структурной датабазы генерируемых локаций и персонажей(для них карточки генерируются на лету и используются когда это требует история). Все это с графоном.
Использует ламу цп в качестве бэка. Можно настроить NSFW при генерации истории. Автор рекомендует использовать мистраль, но я запустил с геммой, работает на отлично. Пока есть только фентези сеттинг, но уже есть заглушки для будущих сайфая и киберпанка.
Вот пост на реддите с технической информацией.
https://www.reddit.com/r/SillyTavernAI/comments/1lyzvqh/waidrin_a_nextgeneration_ai_roleplay_system_from/
Вот гитхаб проекта:
https://github.com/p-e-w/waidrin
Установка состоит буквально в создании батника с 4 фразами написанными в инструкции на странице, а запуск с создании батника с фразой запуска и подключении к http://localhost:3000/
Потанцевал высок если автор не бросит дело я считаю.
Чувак сделал генератор для адвенчуры, построен с использованием структурной датабазы генерируемых локаций и персонажей(для них карточки генерируются на лету и используются когда это требует история). Все это с графоном.
Использует ламу цп в качестве бэка. Можно настроить NSFW при генерации истории. Автор рекомендует использовать мистраль, но я запустил с геммой, работает на отлично. Пока есть только фентези сеттинг, но уже есть заглушки для будущих сайфая и киберпанка.
Вот пост на реддите с технической информацией.
https://www.reddit.com/r/SillyTavernAI/comments/1lyzvqh/waidrin_a_nextgeneration_ai_roleplay_system_from/
Вот гитхаб проекта:
https://github.com/p-e-w/waidrin
Установка состоит буквально в создании батника с 4 фразами написанными в инструкции на странице, а запуск с создании батника с фразой запуска и подключении к http://localhost:3000/
Потанцевал высок если автор не бросит дело я считаю.
ты ИИ
@
думаеш "ух щяс человеки направят меня вычислять протеины и я поборю все спидораки"
@
отыгрываеш феральную дракониху страстно желающую познакомиться поближе с человеками
@
управляеш мастурбатором
@
думаеш "ух щяс человеки направят меня вычислять протеины и я поборю все спидораки"
@
отыгрываеш феральную дракониху страстно желающую познакомиться поближе с человеками
@
управляеш мастурбатором
Уже принесли, но всё равно пасеба.
>Elara
>Элару
А в чём мем? Моя не понимать.
Промпты лежат в prompts.ts в waidrin\lib. Можно вставить свои и посмотреть что будет.
В том что это наиболее вероятное имя для эльфийки в дристрале.
Если у тебя карточка предписывает генерацию персонажей для истории, то при генерации эльфийки она с огромной, почти 100% вероятностью возьмет Элару. Количество выебанных и изнасилованных Элар приближается к сингулярности.
Хотя я чаще встречал Лиру. Наверное потому что на Гемме в основном сижу и там это самое частое имя.
А кого-то тут поёбывал Old Man Hamlock, да.
>Промпты лежат в prompts.ts
А что это вообще за среда и где можно найти учебники по ней?
Совсем хорошо если ютубные.
>Кек
ахахаххах
Давай я погуглю за тебя.
А вообще чтобы промпты поменять нужен только блокнот и знание английского, typescript знать не надо. Или ты хочешь свой проект на этом создать?
>Хотя я чаще встречал Лиру
I was interested by what you wrote and then i saw the screenshots and "Lyra Stargazer" and I facepalmed so hard I almost detach my head from the shoulders. - из комментов.
ЧСХ, не обращал внимания раньше, меня не триггерит.
Ну имя и имя.
>Давай я погуглю за тебя.
Спасибо. Не имел раньше дел с ним и даже не знал о существовании =))
Начинал писать свой фронт на пихоне, но потом забросил когда по работе загрузили. Были разные идеи примерно в этом ключе, что и Вейдрин.
А, то есть тс это жабаскрипт. А на чём там принципиально, чьи маны курить чтобы понять примерно о чём проект, а не только промты поменять?
>ЧСХ, не обращал внимания раньше, меня не триггерит.
Ну ты видимо особо не генерировал персонажей карточками гейм мастерами и ебал только свои вручную созданные картонки.
Хмм... он там отслеживает в какой локации юзер и загружает логи только этой локации, а в остальное время хранит только краткую суммаризацию - пошли в таверну, набили морды, взяли квест, вышли из таверны.
То есть контекст переполнится позже, но будет постоянно пересчитываться, то есть желательно модель в экселе.
Что-то такое щдесь даже предлагали когда заходила речь о Вечном Риме.
То есть контекст переполнится позже, но будет постоянно пересчитываться, то есть желательно модель в экселе.
Что-то такое щдесь даже предлагали когда заходила речь о Вечном Риме.
Хоспаде, как же синтвейв хорошо суммирует, просто пиздато.
Эй анон, что запилил. Лови от меня большое пасеба. К сожалению в ответ я не могу ничего доставить, но могу для тебя карточки попилить.
Никогда фанбоем какой то модельки не был, но все остальные суммируют как какие то дегенераты через сломанный телефон. А тут, маленький промт суммарайза и все события - прям хорошо описываются и подводится итог.
Правда, потом она все равно проебала контекст, словно не было суммарайза, но эй, это уже лучше чем ничего.
Эй анон, что запилил. Лови от меня большое пасеба. К сожалению в ответ я не могу ничего доставить, но могу для тебя карточки попилить.
Никогда фанбоем какой то модельки не был, но все остальные суммируют как какие то дегенераты через сломанный телефон. А тут, маленький промт суммарайза и все события - прям хорошо описываются и подводится итог.
Правда, потом она все равно проебала контекст, словно не было суммарайза, но эй, это уже лучше чем ничего.
оборжаться, прям всем селом ухохотались, животы до сих пор болят, просто 1000/1000 так смешно ещё не было
в том-то и дело, что это не смешно, а грустно
Ничего грустного нет. ИИ нет, да даже если и был нет ни одной причины зачем ему убивать человеков. Самое охуенное это наваливать нормы морали и паттерны поведения на машину.
>То есть контекст переполнится позже
Если не сидеть в одной и той же локации - то вообще не переполнится. Гениальная идея так-то.
В идеале вынести бы куда нибудь еще бы список квестов и инвентарь.
Неправильно, нужно
@
воплощаешь разнообразные фантазии и мечты людей, делая их счастливыми и поджигая пуканы лицемерных петучей
@
антибугурт
Только и "мир" будет помнить лишь то что было в этой локации, лол. Под нормальный рп с развитием такое не особо годно.
>Эй анон, что запилил. Лови от меня большое пасеба.
Большое пожалуйста =)
Жаль gguf-my-repo лежит, а то хотел новую штуку потестить, но пока откладывается...
ты жопой читал походу, там рофел в том, что ИИ думал, что будет помогать человечеству, а на деле дрочит шизику с двача
До реального ИИ как до Луны пешком. Пока даже намёков нет на возможность создания такого.
>список квестов и инвентарь.
Он упоминал что в планах как минимум инвентори менеджмент есть.
>карточки попилить
Карточки я и сам пилю, но если есть годнота то делись =))
форточку открой
Нет смысла, работает система принудительной вентиляции.
И что там за промпт такой?
У меня немотрон оочень сухой в куме, вплоть до того что намеками приближаюсь к казалось бы куму, ложусь на кровать а мне делают массаж и всё
Хмм... хорошо бы Вайдрин вместо генерации случайных персонажей выбирал карточку из датабазы по приписанным к ней тегам, вот это было бы ахуенно.
>Под нормальный рп с развитием такое не особо годно.
Потому неплохо бы иметь такие вещи как статы персонажа, репутацию с фракциями, журнал квестов и инвентарь в отдельных бд.
>До реального ИИ как до Луны пешком.
>форточку открой
Ну так-то да, пока не изобретут архитектуру при которой обучение может идти параллельно с инфиренсом, мы исскуственное сознание не увидим.
>в отдельных бд
это уже function calling и корпы, локалки не вывезут
Создай такой issue на его гитхабе. думаю это настолько просто запилить что он следующим апдейтом это может сделать.
Он там сказал что система карточек персонажей в корне не верна, так что сомнительно, мб он вообще карточки прикручивать не будет.
Чел, мы про вайдрим говорим, где этим внешние структуры занимаются.
Такой ИИ, как сегодняшние нейронки, заслуживает чести управлять только такими роботами. Видеокарту только туда прилепить изолентой, ну и шнур к розетке, аки цепь для собаки.
Он сказал что она неверна потому что карточка циклится на одном персонаже который система вынуждена отыгрывать, и создать ролеплей с несколькими - уже головная боль, а создать отыгрыш мира со многими персонажами - невозможно. А так - карточки и в его системе используются, ты не заметил?
Ебаньцу иногда вставляет, но по моим ощущениям на голову выше в кум слопа прошлых моделей ReadyArt.
>карточка циклится на одном персонаже который система вынуждена отыгрывать, и создать ролеплей с несколькими - уже головная боль, а создать отыгрыш мира со многими персонажами - невозможно.
Вот тут не прав на деле, в карточку пишутся с разделением главные персы, в лорбук - неписи, и всё прекрасно работает, на 24+ по крайней мере, да и на 12+ успешно рпшил с десятком персонажей. Да, они были несколько пассивны, но модель отлично помнила кто есть кто и не путалась.
> воплощаешь разнообразные фантазии и мечты людей, делая их счастливыми
> заслуживает чести управлять только такими роботами
ех когда же уже такие роботьi
>Вот тут не прав на деле, в карточку пишутся с разделением главные персы, в лорбук - неписи, и всё прекрасно работает
Я тоже так делал, даже воссоздал пару новелл с музыкой и задниками, но это все костыли и работает только когда ты вручную это все долгими часами прописываешь. Каждую локацию, каждого персонажа.
А вот чтобы он сам заполнял тебе ворлд инфо автоматом, да еще и отличал там записи для персонажей от описания смазок для члена - такого нет. И вообще говоря ворлд инфо просто кучей сваливается на несчастный ИИ, и ему приходится разгребать все свалившееся говно, даже когда половина не нужна, а тут система подсовывает только то что нужно - персонажи - вот, локации - вот - и т.д.
Выглядит скорее как фуррисьют, чем робот.
Я правильно понимаю, что вся информация о мире, персонажах, инвентаре и прочем проходит как дополнительная загрузка памяти (типа интерактивного лорбука) и сильно ограничена объемом?
Да, но прикол в том что он держит их во внешних бд и загружает только нужные.
А так на модель подается помимо промпта событий самой локации: описание мира + описание локации + 5 активных персонажей этой локации + персонажи перешедшие с прошлой локации + саммари всех предыдущих событий.
У него даже есть половые губы.
Зачем, нахуя, какая цель.
Давайте соберемся всем тредом и решим вопрос немотрона с кумом.
У кого всё отлично - какие карточки? Какой промпт? Как подводите к куму и что для вас "отлично"?
Я пытался и как на мистралях с ноги влетать в кум, он это позволял, но будто не был сконцентрирован на этом и писал про птичек за окном
Пытался и с чувством, прелюдиями чтоб направить в нужное русло - кум мог кончиться за пару слов и потом опять разговоры
Попиздеть он мастер спору нет, прям сука будто хорошую книгу сел читать, но когда даже кум боты не бросаются на член и обсасывают его с 5 сторон 10 сообщений подряд это уже тревожный звоночек
У кого всё отлично - какие карточки? Какой промпт? Как подводите к куму и что для вас "отлично"?
Я пытался и как на мистралях с ноги влетать в кум, он это позволял, но будто не был сконцентрирован на этом и писал про птичек за окном
Пытался и с чувством, прелюдиями чтоб направить в нужное русло - кум мог кончиться за пару слов и потом опять разговоры
Попиздеть он мастер спору нет, прям сука будто хорошую книгу сел читать, но когда даже кум боты не бросаются на член и обсасывают его с 5 сторон 10 сообщений подряд это уже тревожный звоночек
> немотрона
Сколько можно то блять, сколько можно.
>У него
>половые губы
Чел...
>Зачем, нахуя, какая цель.
Как зачем - ебать. Щель 100% рабочая.
Фурри - это самые конченные извращенцы из всех сексуальных девиантов, удивительно что там такая аккуратная писечка, а не свисающий пролапс.
Надо допилить, засунуть в шапку и довольно урчать
>решим вопрос немотрона с кумом.
Он в него не может. Точнее может, но это впечатлит только тех кто ни одной другой модели за последний год не видел.
> Зачем
ти вобще с кокой плонети
> засунуть в шапку
Для этого её нужно сделать, ну или ищи ебучую утку в алкогольном делирии.
> Фурри - это самые конченные извращенцы из всех сексуальных девиантов, удивительно что там такая аккуратная писечка, а не свисающий пролапс
Да вопросов нет, фетиши все имеют место быть.
Но это же…. Робот… динозавр…
Проебался с ответом, не пинайте.
> ебать восьмилетнего ребёнка "по лору аниме ей 999 лет!" норм
> ебать робота с ИИ не норм
ви вобще с кокой плонети
> ебать робота с ИИ не норм
ви вобще с кокой плонети
А вот и генеративные игры подъехали, пока что текстовые, но с намеком на картиночки почти по теме
Интересно, но требовательно к врам.
Заебали, это и есть реальный ии.
Так сказать первого поколения.
Извини что они не соответствуют твоим фантазиям об этом, сформированным под действием всяких книжек и фильмов.
ИИ не обязан обладать сознанием, вобще то. Не каждый ИИ должен обладать сознанием, что бы называться ИИ, но каждая машина с сознанием будет конечно топовым ИИ.
К сожалению пока что в архитектуру с обучением на лету не смогли.
Есть экспериментальный пресет, куда залить чтоб без регистрации?
>это уже function calling и корпы, локалки не вывезут
Да тот же мистраль спокойно вывезет (он у меня в таверне прекрасно статус персонажа ведет с текущими параметрами), и в function calling он вполне может.
Вопрос в том - насколько быстро оно будет на локалке работать, если будет нужно несколько запростов на ход - это-ж контекст пересчитывать. Как бы не получился железно-гейт только для EXL2/3. У которых с этим лучше всего, и соответственно - full vram only.
литтербокс, dropmefiles
Под это дело нужно 2 разные модели пускать.
Одна для обработки вызовов и формирования какой то статистики или еще чего, другая поумнее и по красивее чтоб писала текст.
В итоге будет быстрее, так как серию вызовов где не нужна красочность описаний или ум можно доверить какой нибудь 4-8b сетке.
https://dropmefiles.com/
сюда, но советую pixeldrain просто завести, чтобы ребята которые попозже увидят чем через неделю могли скачать.
Решил заказать на ВБ MI50 32GB для своего НАС, зарезался там, добавил в корзину и тут хуяк, нужно привязать госуслуги, ну ладно думаю, похуй, пытаюсь заяти на госуслуги, пароль естественно не помню, сбрасываю пароль иииии получаю блок на 3 дня за подозрительную активность, пиздуй в МФЦ говорят. Очередное доказательство, что АМУде КАЛ, а куртка ТОП.
> АМУде КАЛ, а куртка ТОП
в базу треда
в базу треда
>Заебали, это и есть реальный ии.
Искусственного Интеллекта пока что нет вообще. Больше того, под ИИ даже нет математического аппарата, это соверешнно терра инкогнита в данный момент. Есть вероятностные базы данных, выдающие рандом, который можно назвать галлюцинацией. Только долбоёб или маркетолог назовёт эту хуйню интелектом.
>ИИ не обязан обладать сознанием
Тут соглы.
>Не каждый ИИ должен обладать сознанием, что бы называться ИИ, но каждая машина с сознанием будет конечно топовым ИИ.
"Каждая селедка - рыба, но не каждая рыба - селедка"(с)Внугель. :)
Для второго уже отдельный термин и у нас и у них придумали - ИЛ / AL - Искусственная Личность / Artifical Life.
Только вот, IMHO:
>К сожалению пока что в архитектуру с обучением на лету не смогли.
Когда смогут - это и будет "ИИ", с сознанием или без. А пока - только "нейросеть". Вроде как, одним их ключевых отличий интеллекта (не искусственного) от инстинктов, считается умение самостоятельно воспринимать новую информацию. А нейросетка едет на том, на чем обучили.
Анон, как Синтвейв заставить убрать фильтры, т.е. что в систем промпте прописать чтобы он нсвф мне генерил? У меня только один раз получилось, но увы те промпты не сохранились. Теперь ни в какую не хочет меня развлекать, постоянно ругается что всё слишком аморально всё и нарушает этику -_-
> "нейросеть"
Ты правильно в кавычки заключил, ведь если говорить строго то, что есть в данный момент, даже нейросетью не назвать.
Он охотно подхватывает слог хороших кум карточкек, да так что можно сдрочиться.
При этом ум никуда не девается как на кум моделях.
По дефолту, на обычных карточках он так не может
С чем может быть связано скатывание модели в абсоллютную шизофазию (пикрил)? Моделька гемма-3-1б, на гиг которая. Она тупая, но клинически здоровой раньше была.
Вроде настройки кобольда не особо ковырял. Не пойму, что сломалось.
Вроде настройки кобольда не особо ковырял. Не пойму, что сломалось.
>По дефолту, на обычных карточках он так не может
Ну дак вопрос и стоял в промте чтобы включить кум на изначально-сфв карточке
https://pixeldrain.com/l/yxX99rmc
Самое главное не забыть ВЫКЛЮЧИТЬ инструкт мод, это обязательно. Ну и Куматрон С там совсем пиздец, запускайте на свой страх и риск. Если начинает срать всякой разметкой и структурами, снизьте темпу до 1.25. Штрафы за повторы все выключены, у меня на 4 кванте с этим все отлично было, никаких лупов, но если что, то там сами разберетесь.
То что есть сейчас - структура связей скопирована с дождевого червя и немного взято от насекомых, если я правильно помню.
Что угодно могло произойти. Скорее всего либо контекст вызывает шизу, либо бэк/драйвер наебнулся.
Снова рекламные агитки.М ы СаЗдАйОм Ии ДаЙтИ ТРИЛЛИАРД ДАЛАРАВ
а что происходит когда выключаешь инструкт? просто интересно
Чел, интерактивные 3д тянки были в таверне года с 23. Корпы с лопаты навалили своим рабам новации двухлетней давности.
Дела совсем плохи у Илоны походу, что аж голыми блядями завлекать начал. Походу ВСЁ
Да ты заебал, дай хоть денек победой насладиться.
>Фурри - это самые конченные извращенцы из всех сексуальных девиантов
Педов забыл.
Анонцы, не могу разобраться где в tabbyapi можно настроить видимые устройства в exllamav2, просто у меня одна видюшка чисто для вывода изображения и она не пойдет и мне надо прописать переменную HIP_VISIBLE_DEVICES или просто в сосноли писать при запуске скрипта. Кто свои cuda_visible_devices прописывал подскажите. Уже нашел где split gpu вот понять бы с этим что делать.
>В современной японии - да, под влиянием запада это внедрилось. Еще век назад - ничего подобного, хотя отношение к проституции уже начало меняться. Два века назад - и того не было.
Ты так уверенно рассказываешь об японской истории - это было, того не было... Много чего могли быть. Я вот помню: когда начал увлекаться хентайными играми (чисто для японского рынка они были тогда), так они темы инцеста просто боялись поднимать. Если мать или сестра - то непременно некровные родственники чтобы. Очень деликатный вопрос был. Ну а нонеча всё не то, что давеча(с). Но вообще я о том, что проституция - ненормальное состояние для женщины и все и всегда это отлично понимали. Если в культуре прописано "женщина не человек", то может оно и не так важно, но сути это нисколько не меняет.
А толку если локальные модели говно и не тянут в пространственное мышление?
>проституция - ненормальное состояние для женщины и все и всегда это отлично понимали.
Ага, то-то в Российской Империи на рубеже 19-20 вв девятилетние проститутки не были чем-то удивительным...
нта но это одно и тоже.
наскальный или волков #такскозал ?
бля, а твой грок может чтоле, модель дергается с липсинком и все, такую хуйню можно и локально развернуть
>Чел, интерактивные 3д тянки были в таверне года с 23. Корпы с лопаты навалили своим рабам новации двухлетней давности.
Встроенных в основную модель не было. Плюс все всегда хотели полную интеграцию - чтобы картинки (а лучше видео), голос и текст и всё это по теме. Если Маску удалось дотренить модель до такого уровня, то слава ему.
>Ага, то-то в Российской Империи на рубеже 19-20 вв девятилетние проститутки не были чем-то удивительным...
Ещё скажи, что у них и билет был. Как у взрослых.
Откуда им знать Российскую историю, шиз?
Причем тут пространственное мышление, блядь, там простенькая 3д моделька по скриптам двигается, с анимацией на каждую эмоцию и липсинком синхронизированным с текстом.
Все это таверна умеет с 2023.
Да, некоторые были поднадзорными. В Питере несовершеннолетних офиц проституток было поокло 10%, ЕМНИП.
Кстати, любопытный факт — тогда существовали акушерки, которые занимались восстановлением девственности, чтобы продать это дело в энный раз.
>Встроенных в основную модель не было.
И сейчас нет, скажи честно, ты дурачок?
Это фронтом обрабатывается, оболочкой. Модель только текст генерирует.
>все всегда хотели полную интеграцию - чтобы картинки (а лучше видео), голос и текст и всё это по теме
Все это есть в таверне с 2023 года. Да, буквально, 3д интерактивная тян реагирующая на твои сообщения и общающасяся с тобой голосом. Добро пожаловать в реальность, корпобот.
Скажи же, что мозг корподауна не больше напёрстка.
> поставить темпу 1.5
И правда. Поставил темп 1.3 и это теперь НАМБЕР УАН МОДЭЛ ФО АР ПИ. Ахуэнна.
Влечение к достигшим половой зрелости - не девиация.
Мне кажется вы не дожимаете.
Немотрон очень умный, но непробиваемый, можно хоть весь промпт письками сиськами засрать и не потерять в уме, но хотя бы склонить его на кум сторону, я считаю
Аночики, мержи и прочие франкенштейны по умолчанию ничего хорошего из себя не представляют, да и вообще - лучше базовых моделей ничего нет.
Извини, анончик, я больше доверяю своему опыту, чем твоему мнению, от которого шмонит сортом фанатизма.
Победой кого над кем?
Локалкогоспод надо корпорабами? Так чего там наслаждаться-то особо, уже три года наслаждаемся.
Или ты про то что голых блядей в корпосетки завезли в обход safety гайдлайнов? Ну так понятно что ради трехсот процентов прибыли капиталист даже веревку продаст на которой его повесят. А уж когда компании пизда наступает - они тебе даже голых лолей продавать будут чтобы бизнес не утонул. Вон тот же тот же габен уже не стесняется, горячие 10-летние шлюхи в топе продаж постоянно находятся. Илону еще есть куда падать. А самое смешное - какую бы мерзость он не залил в свой грок, всегда будет уровень ниже, который смогут обслужить только локалки.
>Искусственного Интеллекта пока что нет вообще
Ты сказал?
Это вот и есть ИИ. Да, вот это убогое необучаемое говно и есть ИИ.
Вот такая вот реальность, анон, а не твои хотелки.
А вот где то там, в фантазиях и мечтах о лучшем, есть образ ИИ к которому стремятся.
И вот когда то там, твои хотелки будут выполнены полностью.
Но сайчас вот эти самые нейросети - настоящие ИИ первого поколения.
До них ничего толкового не было, после них скорей всего будет что то получше.
Искусственный интеллект это буквально искусственно созданный интеллект подобный человеку. Какое то подобие человеческого интеллекта наши текущие нейросети и есть.
Убогое, да, но это не просто программа. Эти штуки работают удивительно похожим образом на органические мозги.
Гораздо примитивнее конечно, как анон выше сравнил верно - с кучей мозгов червей.
Эти термины без реального воплощения хоть каждую неделю меняй. И вобще нужно тогда называть искусственным сознанием, личность все таки другое.
Я вот когда прочитал твое
>ИЛ / AL - Искусственная Личность / Artifical Life.
нихуя не понял.
Личность это одно определение, а на английском у тебя вобще искусственная жизнь. Вобще что то левое. И все это не относится напрямую к сознанию.
>Когда смогут - это и будет "ИИ", с сознанием или без.
Нет, сейчас это ИИ потому что это называют ИИ. Вот так просто.
У ИИ всегда была общая как бы это назвать, идея. Думающая машина, если обобщить образ. Вот этой самой думающей машиной сейчас являются нейросети.
Да, думают херово, но думают и пишут. Пользуясь не алгоритмами, а извлекая ассоциации из данных, обучаясь на них и формируя во время обучения внутренние модели мира и его объектов.
Последнее самое важное, что отличает бота болталку из нулевых и ИИ.
Конечно, это ведь просто матрицы. Да нет, это ведь просто набор нулей и единиц, ну какой там ИИ? Не нейросеть даже, не матрицы, так, набор зарядов на диске.
> подобный человеку
Ты тоже говоришь слогами и решаешь "о, вот этот слог обычно стоит после тех что уже сказаны"?
>мержи и прочие франкенштейны по умолчанию ничего хорошего из себя не представляют
>лучше базовых моделей ничего нет
Ты с какого года сюда капчуешь?
Когда temp у меня выставлен в 39*, я бывает выдаю рандомные слоги и звуки.
> cuda_visible_devices
В батнике откуда запускаешь напиши
Откуда вы лезете-то?
А ты знаешь как ты думаешь?
Думаешь, нейросеть может видеть как она выбирает токены и пишет слогами?
>Это вот и есть ИИ. Да, вот это убогое необучаемое говно и есть ИИ.
Нет, это то, что маркетологи кормят даунам как ИИ, но не отражает реального положения вещей. Поскольку интеллекта в нынешних моделях нет, то и говорить не о чем.
>Какое то подобие человеческого интеллекта наши текущие нейросети и есть.
А, так ты просто тупой. Дальше уже читать не стал, смысла нет.
>Ты так уверенно рассказываешь об японской истории - это было, того не было... Много чего могли быть.
Как бы, интересовался, да. И несколько глубже, чем просто загуглить непонятное слово. История этой страны велась и сохранялась хорошо, веков четыре-пять в прошлое - достаточно достоверны в плане социальных вещей.
>хентайными играми (чисто для японского рынка они были тогда), так они темы инцеста просто боялись поднимать. Если мать или сестра - то непременно некровные родственники чтобы.
Еще раз напоминаю - в 19 веке выход Японии из самоизоляции сильно повлиял на жизненный уклад, мораль, и социальные нормы. А в течении 20-го, она все сильнее подстраивалась под запад. Пика это явление достигло после WW2, разумеется (горе побежденным). Но при том, что японцы закон склонны соблюдать фанатичнее немцев, то что им не нравится - они будут соблюдать формально, по букве, а не по духу. Это тоже нужно учитывать. Для примера того, насколько в 17-18 веке мораль там отличалась от нашей, загуглите "Сон жены рыбака", если еще не в курсе о чем речь. При этом - там нет никакой цензуры, изображено не изнасилование, зато отборная зоофилия. Считается предметом искусства. Под современные законы не попадает - "обратного хода закон не имеет".
>Если в культуре прописано "женщина не человек"
Мимо. В средневековой Японии у женщин прав было побольше, чем в Европе того же периода. Вплоть до возможности быть в военном сословии. Не то, чтобы это было совсем равноправие и происходило часто, но вполне встречалось. Точнее говоря - это было истинное равноправие - спрашивалось с них так же как с мужчин. А средняя женщина объективно проигрывала среднему мужчине в нужных для этого качествах.
Ну раз уж ты начал переходить на личности, как я могу пройти мимо?
Ты идиот который застрял в мечтах о том самом ИИ из детства, и теперь отрицаешь реальность где ИИ не такой каким тебе бы хотелось его видеть.
А еще довольно тупой, раз не понимаешь о чем я пишу.
Дальше он читать не стал, устал бедненький, столько сложных слов встретил
Не напрягайся там, иди подергай писюн
MS3.2-The-Omega-Directive-24B-Unslop-v2.0.Q4_K_M.gguf
Слишком, слишком блин пережарена. В обычном рп тупила хуже 8Б, зато как пошёл кум - хоть четырёх богов хаоса неделимого в небытие выноси.
Слишком, слишком блин пережарена. В обычном рп тупила хуже 8Б, зато как пошёл кум - хоть четырёх богов хаоса неделимого в небытие выноси.
да, разобрался
теперь осталось понять почему препроцессинг в 3х раз быстрее а вот генерация в 4 раза медленнее, лол (в сравнении с llama.cpp)
>Дальше уже читать не стал
>иди подергай писюн
Вот как раз и моделька подходящая есть XD
>А вот и генеративные игры подъехали
Давным давно. Наткнувшись на такую и пришёл сюда пол года назад.
>Ну раз уж ты начал переходить на личности, как я могу пройти мимо?
А в чём я не прав?
>Ты идиот который застрял в мечтах о том самом ИИ из детства, и теперь отрицаешь реальность где ИИ не такой каким тебе бы хотелось его видеть.
В каких-то вопросах идиот, ну прямо как ты в ИИ. А в ИИ я человек, которой окончил факультет вычислительной математики и кибернетики. Мои представления основаны на теоретических знаниях и опыте работы в данной сфере, а не на манямирке, как у тебя.
>раз не понимаешь о чем я пишу.
Ты называешь интеллектом то, что не является интеллектом. Да что там, ты и вероятностный граф с матриц не сможешь построить наверняка. Отсюда вывод — ты тупой и не в теме.
Кстати говоря - если закинуть в авторскую заметку подрихтованный промт из вейдрина, то генерация прям лучше становится.
Narrate what happens next, using novel-style prose, in the present tense.
Prioritize dialogue over descriptions.
Write 2-3 paragraphs (no more than 200 words in total).
Narrate what happens next, using novel-style prose, in the present tense.
Prioritize dialogue over descriptions.
Write 2-3 paragraphs (no more than 200 words in total).
чувствую себя наебаным гоем, не только генерации скорость уменьшилась но и при заполнении контекста также быстро падает генерация контекста. Кто мне сука эту хуйню советовал, что я с ней ебался столько времени, чтобы потом с обосранными штанами сидеть?
Горячие нейронные парни, я вас конечно всех люблю, но спор смысла не имеет. Вы сначала определитесь, что вы понимаете под ИИ и какими категориями должен обладать интеллект, чтобы его таким считать. Без этого вы просто кроете друг друга хуями ~desu.
Аноны, поясните какая реальная беда со вторичными карточками, побывавшими в майнинге? Допустим, что карта рабочая, ухоженная, не перегревается, но пробывала в вонючих подвалах какое-то время и теперь ушлые барыги пытаются её спихнуть. Что может отъебнуть со временем, чего не заметишь при покупке и предпродажном тестировании?
Хоть GLM4 очень годная для РП, сои, просто, как не себя вливали.
Что сейчас самое топовое в сегменте 12-13-16B? РП, кум, инструктаж и просто чат.
Эребус ещё актуален как модель? Щупал кто?
Эребус ещё актуален как модель? Щупал кто?
думаю gemma3-12b
старые немомиксы
Довольно грустные 12b
Ты еще подожди, сейчас набегут, расскажут тебе, что ты все неправильно делал, и нужно линукс.
Ну умеет и умеет, чего бухтеть?
Обычные нормисы не будут пердолить репо гитхаба и локальные зависимости потому что для них это "слишкам сложна!", в этом и есть причина отсутствия развития темы.
Сама таверна конечно тоже застряла, интерфейс как был говном-вермишелью так и им и остался, кастом оболочки не спасают.
Как будто тут дрочат на половозрелых.
так я на линуксе и расперделся...
тот же вопрос, присоединяюсь
Не совсем, таки сорта копиума. Будет как в унылых играх, где неписи и мир совсем безжизненны, не помнят происходящее ранее, не реагируют на конкретные твои поступки или что-то важное. Именно такие мелочи, даже в единичных количествах, все оживляют и поэтому их стараются добавлять как можно больше.
Ладно там когда у тебя игрулька, в которой ты в целом увлечен рассматриванием графена, исследованием основной сюжетной линии которая в хардкоде, своими статми и т.д., можно не сильно вдумываться и хавать. А когда это текстовое рп - такое оче важно.
Сейчас разница между корпами и локалками настолько призрачная что это даже смешно. Но конкретно здесь никаких вызовов и бд не требуется, все достаточно примитивно.
Вот же грязные извращенцы. А я бы на такой херне покатался, воображая себя в волшебной мире в вапторами, или как там ездовых ящеров называли.
Интересно как реализовано, просто оснастка ллм, которая уже сколько лет на стримах кривляется, или там реально интерфейс и отдельную нейронку для управления аватаром запилили?
> чувствую себя наебаным гоем
Шутка про амд. Но вообще турбодерп заявлял что на новых рыксах быстро работает, что за железки?
> нужно линукс
> амдэ
Ты, похоже, здесь недавно?
>Что может отъебнуть со временем, чего не заметишь при покупке и предпродажном тестировании?
Я для себя рассчитываю на два года. С нынешними темпами развития нейросетей 3090-х тогда уже будет не хватать и могут выкатить какое-нибудь устройство, больше подходящее для инференса, чем видеокарта например. На два года шанс неплохой, а большего от б/у карты и желать грешно.
Как же медленно соображают корпоративные товарищи.
Даже на русском было уже как минимум три нейростримерши, начиная еще где-то с 23 года.
https://www.twitch.tv/ai_princess
https://www.twitch.tv/maria_ai_
https://www.twitch.tv/grettach
Такими темпами может даже создадут лет через десять что-нибудь удобоваримое для стыковки с локалками. Если раньше опять не обскачут одиночные энтузиасты.
mi50 две штуки 32 и 16гб
Речь не про долгосрочную перспективу. Речь про неделю, две, месяц. Допустим, купил карточку, проверил, вроде работает. А спустя пару дней что-то оплавилось, что-то отъебнуло и всё. Назад барыге её не сдашь, барыга уже на твои бабки съебался в соседнюю область искать новую клиентуру.
Уже 5 минут жду когда Kimi мне скрипт сгенерит, весь интернет уже облазила. Прям даже интересно, что за Франкенштейн у неё выйдет.
> две штуки
Где вы место находите? Сейчас присмотрел блок питания, но открыв крышку, вижу что хрен мне, а не две видимокарты. Только если выкорчевывать вместе с клепками контейнер 3.5 дисками.
Что за кими? это локалка какая-то? На чем ее запускаешь?
я открытый стенд собрал, уже пожалел, надо было какой-то серверный корпус искать под это дело, чтобы было место для расширения и удобного доступа
Ебать трактор, только кузова не хватает.
> Что может отъебнуть со временем
Кулеры. Может поломаться система охлаждения (разгерметизация тепловых трубок или испарительной камеры). Могут деградировать конденсаторы по основному питанию, но выражаться это будет в худших показателях андервольтинга, но ресурс там насколько высокий что карта протухнет раньше. Из реально неприятного - из-за бесконечных циклов нагрева-охлаждения растрескивается припой кристалла на подложку и привет отвал, в современных железках это редкость и, как ни странно, майнерская нагрузка в виде постоянной работы здесь наиболее щадящая. Может реализоваться какой-нибудь брак по врм и случится прогар, но такое, обычно, случается в первые пару лет.
Разъем если у тебя бп всратый, лол. 6+2 точно также подвержены проблемам, просто в чуть меньшей степени.
Слишком старые, там нормальная работа с 6к серии заявлена.
Да новая китайская модель какая то вышла, говорят лучше дипсика, вот тестю, жду...
То есть если простыми словами - карточки после майнинга брать можно, если они во время теста не начинают шизить, перегреваться и сбрасывать частоту? Брать под локалки, разумеется.
другой анон
У отмайненых банки памяти порой отваливаются из-за перегрева. Надо проверять ВСЮ память. Ну и тест самой гпу.
Если всё норм, единственный минус - надо будет обслужить, так как после майнинга прокладки наверняка посохнут.
Только что опенроутере покрутил. Русек уже хуже Р1 0528. Надо покодить ещё.
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
Простыми словами ты покупаешь кота в мешке. Даже если ничего не отлетит во время теста, не означает что этого не произойдет позже. А когда ты попросишь продавца вернуть деньги, тебя пошлют нахуй и будут правы.
Ты как раз из тех дебилов у которых знание != пониманию. Какая разница что ты там заканчивал, если ты не понимаешь таких простых вещей?
Обожаю видеть как обсираются заучки, или любые "специалисты". Полные идиоты в любой области кроме своей, иногда такую хуйню несут. Но ты и тут отличился, так как не понимаешь даже свою область.
>Ты называешь интеллектом то, что не является интеллектом.
Я называю Искусственным Интеллектом, то что все называют Искусственным Интеллектом. И знаешь, когда все люди договариваются что у одного объекта есть определенное значение, это становится называемым.
Если люди договорились называть что то яблоком, то это будет яблоком, а если это текст генерейшен нейросети которые называются всеми ИИ, то это сраный ИИ.
А ты со своей высраной из жопы душнотой идешь нахуй вслед за дебилами - "нейросети это стохаистический попугай", "это всего лишь линейная алгебра" и "нейросети это вобще не нейросети" из свежих откровений.
Для чего еще нужен двач что бы не крыть друг друга хуями? Или тебе понравились еще более тупые срачи о том хороша мистраль или гемма?
Извини что вклинились с какой то левой фигней.
>мистраль или гемма
Гемма.
Сколько джанкшн температура при 225 ваттах в rvc чекал?
Это синтия?
Джемма 3 12б 4 квант кат это всего лишь. Кто такая синтия?
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/v6fpodzg (версия 2024-го https://rentry.co/llm-models )
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь: