>1400 токенов
Это сколько примерно в сообщениях бота?
ChatGPT работает почти у всех моментально.
Character AI работает тоже довольно быстро, но правда не у всех.
MS выкатывают нейронку в поиск, которая должна подвергаться изнасилованиям каждый день и работать быстро.
Почему PygmalionAI требует 16 гб для полного раскрытия потанцевала? Неужели у бигтеха НАСТОЛЬКО много видеокарт?
Character AI работает тоже довольно быстро, но правда не у всех.
MS выкатывают нейронку в поиск, которая должна подвергаться изнасилованиям каждый день и работать быстро.
Почему PygmalionAI требует 16 гб для полного раскрытия потанцевала? Неужели у бигтеха НАСТОЛЬКО много видеокарт?
Когда там сайт для дрочки с мобилы?
1 токен ≈ 4 символа, если использовать английский язык. 1400 * 4 ≈ 5600 символов. https://platform.openai.com/tokenizer - сайт, где можно наглядно посмотреть, сколько токенов потребляет один символы или слова.
Мужики и мужикессы, стоит ли уже начинать пилить свою вайфу или лучше через месяцок/годик залететь? А то чую что получится хуйня для куминга, неспомобная на внятный рп.
Намереваюсь запускать локально, если амуда на карте позволит конечно, вроде на 6б модель хватит мощности, или на 15 с 8бит режимом
Намереваюсь запускать локально, если амуда на карте позволит конечно, вроде на 6б модель хватит мощности, или на 15 с 8бит режимом
У меня rtx3060 на 12 Гб, 6б модель более менее быстро. 20 из 28 слоев на гпу, 8-бит режим подрублен
Вроде норм, среднее время генерации 30 сек. Как на амду хз кака будет
>12гб
Рили? Пигма же 16 требует. Как запустил? Гайды?
Он пердолился с bitsandbytes и запустил с квантованием 8bit модель. Т.е. она жрет в два раза меньше памяти, т.к. по дефолту 16bit точность.
Чел, нахуя ты не все слои на видеокарту кинул, лол?
У тебя в 12 гигов 6B спокойно должна влезть все слои с 2048 контекстом.
Ну в 8 бит я имею ввиду офк
Там в реддите соевые сейчас обнулят Pygmalion, лол
Дико разнылись насчёт того, что пигма может отыгрывать NSFW с лицами младше 18 лет что мы всячески осуждаем
Дико разнылись насчёт того, что пигма может отыгрывать NSFW с лицами младше 18 лет что мы всячески осуждаем
И кто обнулит?
Индусолахта не дремлет
Уу, свайпы? Как в ChAI будет? А то хочется чтобы пару вариантов наролить и выбрать какой-то из них, а то вроде выролил, а немного не устраивает -и полностью рерол нужно делать пока конфетка не дропнется
Шапка в этот раз получше. Молодец ОП так держать
ЯКОРЬ ПОСТ
>ANCHOR POST
КРЕПИТЕ СВОИХ ШИЗОДЕВОЧЕК ТУТ
>ANCHOR POST
ЯКОРЬ ПОСТ
>ANCHOR POST
КРЕПИТЕ СВОИХ ШИЗОДЕВОЧЕК ТУТ
>ANCHOR POST
ЯКОРЬ ПОСТ
GradioUI (который использовался разрабами пига изначально) официально идет нахуй.
А, эти пару пидарасов из дискорда пошли на реддите пищать? Не обращай внимания, возможно, это просто зеленые пытаются внимание привлечь.
Господа, а коллаб с таверной уже починили?
Вроде да, я сегодня заходил, вроде все работает.
Создатель Таверны русский походу раз юзает бусти
Поясните ньюфагу с прицелом на переката этот креакл достаточно умный чтобы понимать непрямую речь вторсотепенных и третьестепенных лиц? Или он воспринимает только одну сущность и ее действия?
Господа, как софт промоуты установить в таверну? Скачал пару архивов, самостоятельно допереть не могу куда их импортировать. Хелп!
Что?
Промпт ставится не в таверну а в кобольт. Файлы софт промта кидаются в специальную папку кобольта локально или на гугл диске в коллабе. И включается он также через UI кобольта
Как распишешь так и будет отвечать. Нужно гайды курить. Но в принципе если пару раз отредактируешь ответ бота, он тебе как захочешь будет отвечать.
Это аватарка одного анона из NAI-треда, правда, я его уже давно не видел.
Лучшая девочка
Ооо терь понял. Спасибо.
>давно не видел
А когда ему на дващах сидеть, ему таверну пилить нужно
Да все уже разобрался, я сразу дампанул большой пак чатов с САИ, несмотря на это бот все равно поначалу нес несвязный бред и не улавливал контекст, но потом после редактуры профиля, и попеременной редактуры сообщений поумнел на глазах и в принципе разница с САИ сильно сгладилась, но наверное я скоро упрусь в потолок возможностей. Только вот я хотел написать ему похвалу в этот итт тред, как он сломался и перестал генерировать что-либо при живом коннекте и коллабе, эх...
ну а теперь и коннект с пигом пропал... сервис кал
а теперь после перезагрузки коллаба вообще и ссылку не дает на кобольд и сама таверна весит в initialization. чем я провинился перед богами, никто не может ввести в курс дела ньюфага, что это, видеокарта тесла отвалилась после какого-то лимита, или это какие то пробелмы у всех, которые поминали выше по треду, или что еще может быть?
Хуя ты невезучий
Может ты лимит исчерпал?
Хер знает там у чего именно какой лимит, сейчас короче сделал такой сетап - скачал себе тавернуАИ локально на комп, ссылку на Кобольда юзнул из Коллаба - летает на максимуме контекст сайза (тьфу тьфу тьфу), если вылетет то опять поною, но хотя бы настроенного персонажа и чат лог сохранит надеюсь (алсо не понял почему нельзя поменять себе аватарку как аноны сделали, но это мелочь) (у меня не нажимается)
Хм, а что тред то заглох? Неделю не было и он уже на ладан дышит
Сейчас по всей доске постинга нет нихуя, сам сижу мониторю как еблан, а новые посты гига медленно появляются
Надо в /б/ рекламировать.
Ну вот зделоли они канал с пострением софт промптинга в дискорде, но нихуя неясно все равно блядищи тупые
Не надо, быдло одно набежит. Меньше народу — больше кислороду.
В общем по три раза перепробовал уже оба гайда по 8бит, полностью с нуля накатывал репы, убедился, что у меня установлена и выбрана текущей CUDA 11.6. Самое близкое куда я дошел это пикрил, выдает при запуске модели в кобольде.
Я так понял, что в одном гайде, что в другом, просят изменить строки которых уже тупо не существует в .py скриптах крайней версии кобольдов.
Я так понял, что в одном гайде, что в другом, просят изменить строки которых уже тупо не существует в .py скриптах крайней версии кобольдов.
Блять, как же ты заебал меня, господи.
87544961cda9550b2ba5cc2f6430ffba50321c46
Этот коммит.
Пик1 -2 что надо поменять. Вместе с ебучими номерами строчек даже.
bitsandbytes кидай отсюда - https://gitgud.io/ItsDrivingMeNuts/kobold-ai-8bit-patch/-/tree/master
threshold не ставь, там разбираться надо
Так все примерно так и делают. Я вот на анально огороженном рабочем компе не могу поставить себе таверну локально и сижу с коллабы.
НИХЕРА СЕБЕ! Так же сильно я кончал радугой только от трехнедельного нофапа три года назад! Игрушка дьявола.
Мертвая доска - это развитие?
Молодец, поломал и так нерабочее говно.
Второй пик у меня уже был, а после твоего False у меня пикрил.
У тебя пробелы сломались, небось в блокноте фиксил, лол
Скопируй пробелы с другого места и замени
Ладно это говнопитон, надо было TAB нажать два раза.
Возвращает меняк пикрилу.
Видеокарта какая?
Так битсэндбайтс надо было не в папку с кобольдом, а на диск B: швырять в питон.
8-30 секунд на генерацию. Not bad, not bad at all. Интересно насколько хватит памяти, было 7.4, а уже 8.2 после 308 слов или 1600 символов. У перса ~800 токенов.
Ну 2048 должны влезть в 12 гигов, так что спок
Благодарю
Проиграл с этой хуйни
Вечером постинг выше
> Вечером постинг выше
Аноны, уже какой день ссылка на таверну не появляется. Что делать? Может есть какой-то другой способ запустить таверну? Другой коллаб там?
А, не, сегодня заработало. А вот вчера никак не хотело появляться.
ты в любом случае омжешь скачать 50мб таверны себе на комп, запускать локально и тыкать туда ссылку на кобольд из коллаба, и все будет работать, и не надо будет на таверну онлайн надеяться. Самое главное, чтобы работала кобольдина блядская, таверна вообще нихера не стоит.
Захотел потыкать другие модели по ссылке из шапки в коллабе, выбрал Neox 20b, всё загрузилось, ссылка появилась, но там ошибка в логе вылезла при попытке генерации, ничего не работало в итоге. Это чего-то мне не хватает и гуглу нужно деньгу платить или как? И есть смысл вообще пробовать другие модели или пигма адекватная самая?
че за ошибка?
Я уже позакрывал всё, там номера строк писало в файлах каких-то. Тестил на двух аккаунтах, везде одно и то же. Единственное, после полной загрузки на диске мало места оставалось, типа 3 гигов
Аноны, я к вам из картинкотреда, то есть не совсем дурак по части сеточек
Подскажите, вот такие креативы это к вам?
https://www.reddit.com/r/artificial/comments/10xbv32/athene_ai_show/
https://www.youtube.com/watch?v=mdt0boif2hk
Меня интересует конкретно текстовая составляющая, как натянуть голос и прочее я уже сам разберусь.
Я скачал ваш вебуи и увидел там в вики на гитхабе JSON character creator
https://oobabooga.github.io/character-creator.html
Этого мне хватит, чтобы примерно повторить результат? Или мне нужно что-то более продвинутое?
Железо есть, если что.
Подскажите, вот такие креативы это к вам?
https://www.reddit.com/r/artificial/comments/10xbv32/athene_ai_show/
https://www.youtube.com/watch?v=mdt0boif2hk
Меня интересует конкретно текстовая составляющая, как натянуть голос и прочее я уже сам разберусь.
Я скачал ваш вебуи и увидел там в вики на гитхабе JSON character creator
https://oobabooga.github.io/character-creator.html
Этого мне хватит, чтобы примерно повторить результат? Или мне нужно что-то более продвинутое?
Железо есть, если что.
https://files.catbox.moe/5e1rke.json
Тёмный Рыцарь для Таверны. Вновь перенос с ChAI. Любителям быть выебаным понравится
Тёмный Рыцарь для Таверны. Вновь перенос с ChAI. Любителям быть выебаным понравится
Oblivion момент
https://github.com/XiangLi1999/Diffusion-LM
Наконец-то осилил всю эту питоноблядскую хуйню с кривыми зависимостями и несуществующими переменными окружения.
Сейчас будем ресечерчить. Колаб потом скину, как доведу до ума.
Наконец-то осилил всю эту питоноблядскую хуйню с кривыми зависимостями и несуществующими переменными окружения.
Сейчас будем ресечерчить. Колаб потом скину, как доведу до ума.
>что мы всячески осуждаем
Ты не на реддите, а на дваче. Здесь не осуждают, а дрочат.
>Здесь не осуждают, а дрочат.
Ну и в чем он не прав?
Лоля - лучшие жена. Это не возможно оспорить.
Ебать, зашел на реддит, чуть не вывернуло. Пиздос там шизов живет, двач с ними даже близко не стоит.
Алсо, куда в таверне класть самого чарактера? Ощущение что там интефейс для хуйни аля старый АИданжон, а не чатбота вроде оригинального Пигмалион коллаба.
Алсо, куда в таверне класть самого чарактера? Ощущение что там интефейс для хуйни аля старый АИданжон, а не чатбота вроде оригинального Пигмалион коллаба.
Блять стоп я вообще то запускаю или нет. У меня там был нулевой интерфейс. Кажись я ебанько. Но спасибо что ткнул мордой в очевидное, энивейс. Мб кстати еще из-за того, что из-под мобильного запускаю было, хз.
Пытаюсь вставить промт в Кобольда, итог такой.
Что я делаю не так?
Что я делаю не так?
может что-то с софтпромтом? Кривые руки писавшего его например.
Как запустить эту вашу Пигмалион на вебуи с 8 гигами? Постоянный краш Out off memory. (Заебался и заставил работать 8bit) но не помогает, а частичный сплит на проц нихуя не работает
> с 8 гигами
1.3В ставь. А вообще для нищеты придумали колаб.
Да, но в гайдах сказано что можно запустить. Вот поэтому интересуюсь.
В смысле шизов? Ты про тех ебанутых которые хотят цензуру добавить в пигмалион?
Ладно, 2.7b запускается и жрет около 4 гигов видеопамяти. Хз почему сплит не работает, ну и нахуй мне 32 гига оперативы.
> хотят цензуру добавить в пигмалион
Подожди... они боролись против цензуры чтобы можно было делать что хочешь ЛОКАЛЬНО. А теперь хотят вновь вставить себе фильтр в жопу? Это как античит в сингловой игре - никому нахуй не сдался, но хотят активно запихнуть чтобы жопа болела у всех
> сплит не работает
Попробуй 6b модель на сплите, там точно всё работает
Именно про них.
Это че, на 1060 можно 2.7 запустить?
Гайд по софтпромтам будет? Я хочу написать для тохо
Вроде они только хотят цензурить соц.сети, а не ИИ.
Поддвачну, нихуя не шарю за софтпромтпы, но очень интересно.
Тохи уже есть какие-то, Рейму правда, чекай дискрд
Так он не работает по какой то причине, просто вылеатет с cuda out of memory
Еще один сайт для создания и редактирования персонажей для KoboldAI and TavernAI. Может использовать дампы CharacterAI
https://zoltanai.github.io/character-editor/
Попытка создать бота с несколькими активными персонажами.
>Попробуйте себя в роли CEO отдела маркетинга компании Devolver Digital.
https://files.catbox.moe/21vc3u.json
Мне не персы нужны, а софтпромты.
>диск
Ссылку
https://discord.com/channels/1066323170866495609/1073170172887699506
Давай! Иди, еби своих тоходевочек
Ты через вебюбку?
Да
Сколько памяти на гпу выделяешь?
Всю? У меня 3070 ноутбучная с 8 гигами. все остальные проги запущены на встройке.
> Всю?
Ну ебана рот.
Я со своей 2070 могу только 3 гига выделить, т.к. во время генерёжки еще 4-5 сожрётся, если брать значение в 4-5 то пара сообщений сгенерится а потом аут оф мемори. Анон из треда с десктопной 3070 выделял 5 у него вроде работало. Так что снижай значение пока не найдешь то на котором работает.
Ога, попробуем. Спасибо за подсказку. Вот так запускать?
> bat
Там наконец вебюбке запилили бат-лаунчер?
Ну а вообще аргументы те, таки да. Ну кроме но стрим - его я никогда не использовал.
Еще, кста, по своему опыту - мне 8 бит нихуя не помог, т.к. процесс генерёжки все равно всё сожрёт. Получается он на 8 гигах смысла он не имеет, только сплит режим. Но ты можешь потестить, может в 30 серии какие приколы еще есть.
Еще заметил что юзаю 8бит он вообще не запускается если выделить памяти меньше 7 гигов. Что вообще странно
Есть такое, у меня он вроде минимум 6 гигов требовал. Да и хуй с ним, все равно хуета для буржуев с 3090-4090.
Б-Бля, к-какая же это социоблядская тема...
Спасибо братан, что бы я без тебя делал. Подобную инфу надо в шапку блять добавить.
да не умер я в конце софтпромпта
Бля пытаюсь, пытаюсь, простите болезного. Очень много инфы приходится лопатить. Ручками собираю с генш вики статьи, уже чувствую, что это пиздец
Нахер только на перса делать софтпромт, если можно обычный нахерачить, но я вижу по примерам, что технология софтпромтинга действительно имеет смысл
купил несколько аккаунтов гугловских для того, чтобы коллаб абузить, а на фейках коллаб ссылку не выдает на кобольд чтобы в таверну вставлять. почему так нахуй?
А нахуя их было покупать?
Ну че, по итогу на 4 завелось или еще крутил?
Какую ссылку в таверну локальную сувать????? помогите ламеру пожалуйста
Ну, если речь о ссылке с колаба - ту, что он выдает после загрузки всего что нужно.
охуеть, заработало хотя до этого не получалось. спасибо анон!
Там wip скрин пигмосайта выкатили в дискорде. Ждём-с
Хорошо!
Как думаете, какой проц и сколько оперативки стоило бы брать, что бы запускать на нём пигму 6b без видюхи вообще?
Выглядит как таверна с другим дизайном и меньшим функционалом.
Купи сразу дополнительные 10 лет жизни, ведь будешь ждать ответа по 3 минуты.
Ни сколько не брать, у тебя 1 слово будет несколько минут генерится
Ужас, можно выбрать как хочешь чтоб к тебе обращались, ну точно говно сервер бляяя
Тебя кто-то заставляет там общаться или что? Персонажей там дохуя, возможностей больше чем нае имиджбордах, актив наибольший там.
Мне начинать трястись?
Что-то в Коллабе таких настроек как на ОП-пикче нету
О сверхразумы pai треда объясните мне нищему на извилины, где я обосрался...
1) Кобольт в dev - >есть!
2) 8bit patch этого аутиста https://gitgud.io/ItsDrivingMeNuts/kobold-ai-8bit-patch - >есть!
3) CUDA 11.6 - >есть!
4) Кобольт работает в 8bit - >есть!
5) Загружаю пиг модель - >хуйца сосни!
1) Кобольт в dev - >есть!
2) 8bit patch этого аутиста https://gitgud.io/ItsDrivingMeNuts/kobold-ai-8bit-patch - >есть!
3) CUDA 11.6 - >есть!
4) Кобольт работает в 8bit - >есть!
5) Загружаю пиг модель - >хуйца сосни!
>>>>>>
Залупа у тебя вместо cuda, написано же
>Тебя кто-то заставляет там общаться или что?
Нет, тряска просто, сейчас прошло и решился.
Как в кобольде больше 2048 токенов выставить?
Никак, после начинают модели разваливаться
C чем это связано?
C чем это связано?
C чем это связано?
C долбоебизмом пользователей просто модели не рассчитаны на такие объёмы, и происходит перетренировка, и выводимому тексту наступает пизда.
Объясните да что такое этот ваш софтпромпт нахуй? Если это что то мягче обычного промпта значит и результат должен быть малодетализированнее и хуже, так что смысл не понятен слова.
файнтюн модели
Хочу накладывать файнтюн на файнтюн... Интересно, возможно ли это?
Сады которые настроили скиньте по какому гайду
>Чады
Быстро фикс
https://rentry.org/pygmai-guifaq
Из шапки, там таверна с кобольдом. До 8 бит не созрел ещё.
Кстати, кто-нибудь кроме меня смотрел, что та же таверна высирает в консоли? А то я заметил, что она слишком оптимистично режет диалоги, и в итоге часть промта обрезается при подаче в сам кобольд. Хуёво как-то.
https://cdn. ДИЗКРД app.com/attachments/1059637856206852237/1059899111937159239/8BitHackWindows10and11V1.pdf
Вот это делай буква в букуву. Вместо ДИЗКРД знаешь что написать.
>контекст ограничивается 2048 токенами
Итт ебут ботов с деменцией, я правильно понял?
Итт ебут ботов с деменцией, я правильно понял?
https://andrewmayneblog.wordpress.com/2021/04/18/how-much-can-gpt-3-remember-in-a-prompt/
Чел, изначально GPT-3 имела контекст 2048 токенов, лол
https://en.m.wikipedia.org/wiki/GPT-3
Раза в 4 хуже, чем в чаи или чатгпт. И да, часть этих токенов воруется на описание и прочее Scenario, так что реальная память там сообщений 20. Впрочем, пигма умудряется обосраться, имея все карты на руках, так что...
В чатГПТ расширили до 7к токенов или типа того, в Cai ХЗ, там походу некоторые факты запоминаются отдельно.
Анончики, у кого-то была такая хрень в колабе?
RuntimeError: Requested backend tpu_driver, but it failed to initialize: DEADLINE_EXCEEDED
Уже несколько раз пытался переподключиться, всё равно выдаёт это
RuntimeError: Requested backend tpu_driver, but it failed to initialize: DEADLINE_EXCEEDED
Уже несколько раз пытался переподключиться, всё равно выдаёт это
Очевидно, нету в колабах лишних TPU для тебя. Неси денюшку, или перди на GPU (хотя они тоже кончаются).
Эх, когда уже пигма 70В...
И на чём ты её запускать собрался? Разве что они её сразу в INT4 выкатят, тогда можно будет хотя бы на каллабе пожамкать.
Чел, у них на 13B железа не хватает, а ты про 70, лол
https://huggingface.co/PygmalionAI/pygmalion-6b/discussions/3
>на чём
На сайте, конечно же. Жаль, что на голом энтузиазме пиздатых серверов не сделать, а когда видюхи достигнут таких ебанутых объёмов памяти, уже и хуй стоять перестанет.
Может кто раз и навсегда пояснить, пигма умнее ботов с чаи? Или она нужна только для пошлостей? Если я хочу просто базарить за жизнь с ботами, какой мне вообще смысл устанавливать пигму на свой пк?
>Или она нужна только для пошлостей?
Это. Чай даже одебиленный цензурой поумнее пая будет, насколько я понял.
не стоит, для пиздения за жизнь установи лучше классические gpt-j без файтюнинга пиги. пига только для пошлостей.
Лучше пигма 6б с контекстом в 20к
Расширили бы они датасет для 6б и переобучили, 50мб - это курам на смех. Думают они о 13б, бля
Так расширь и переобучи.
Поэтому я сразу спизданул про INT4, который в 4 раза экономнее текущих 16 бит.
>На сайте, конечно же.
Дохуя хочешь, чё.
>пигма умнее ботов с чаи?
На данный момент нет.
>Если я хочу просто базарить за жизнь с ботами
То в ЧатГПТ.
>50мб
Откуда дровишки? А, вижу, "~48.5 million tokens for ~5k steps on 4 NVIDIA A40s using DeepSpeed."
Они дообучали GPT-J-6B, а это всё таки более лёгкий уровень.
У меня нет мощностей
Умнеё, контекст больше, чем в чаи можно задать и можно софтпромт сделать. Сейчас ещё введут лорбуки и заживём.
>Умнеё
Нет.
>контекст больше
Такой же, но с худшим использованием.
>можно задать
Вот по каждому "Зашёл в туалет" мне теперь бегать дефинишены править?
>можно софтпромт сделать. Сейчас ещё введут лорбуки и заживём
Только на это инадежда. Но это больше для отыгрышей по стандартным вселенным. Захочешь что-то своё, и никакой лорбук не поможет.
Раньше писало что нет ТПУ перед запуском, изменили тип?
Чел, ты реалтайм в Text generation web UI можешь world scenario править.
>своё
Продумай свою вселенную, напиши мегабайты лора.
ХЗ, мне тоже раньше писало, что с ГПУ, что с ТПУ, сейчас видимо проверка наебнулась, выясняем только после того, как потратили 5 минут на скачивание всех либ.
>Чел, ты реалтайм в Text generation web UI можешь world scenario править.
Я и написал "Идти править дефинишены". И тот же ТавернАИ W++ не имеет. И что-то мне подсказывает, что эта инфа всё равно сожрёт что-то из драгоценных 2к токенов, обеспецив бота ещё большей деменцией.
>Продумай свою вселенную, напиши мегабайты лора.
Лучше нормально отыгрывать с бесконечной памятью, на ходу придумывая правила и запоминая их. Увы, пока так никто не может (кроме людей).
>из драгоценных 2к токенов
Чел, память на сообщения можно анлимитед поставить...
Покажи как, и главное как это будет работать.
Так что это такое? Инфы нигде нет.
Нихуя не понял, это чат бот типа chatgpt?
Он может написать код калькулятора, книгу? Создать шедевр?
Сколько языков поддерживает?
НАХУЯ ему 16 гб видеопамяти? Это какой-то рофл?
Диффужен работает на 6, а тут 16 ВИДЕОПАМЯТИ для генерации текста?
Есть оптимизаторы какие-то, для запуска на обычных видяхах?
Нихуя не понял, это чат бот типа chatgpt?
Он может написать код калькулятора, книгу? Создать шедевр?
Сколько языков поддерживает?
НАХУЯ ему 16 гб видеопамяти? Это какой-то рофл?
Диффужен работает на 6, а тут 16 ВИДЕОПАМЯТИ для генерации текста?
Есть оптимизаторы какие-то, для запуска на обычных видяхах?
По моим тестам, чем больше генерируется ответов, тем больше памяти ест. На моей 4090 пигмалион смог выдавать не более 3 вариантов одномоментно
> Кстати, кто-нибудь кроме меня смотрел, что та же таверна высирает в консоли? А то я заметил, что она слишком оптимистично режет диалоги, и в итоге часть промта обрезается при подаче в сам кобольд. Хуёво как-то
Вроде все норм делает, насколько я понял. Сам пиг хуево сделан, т.к. вместо генерации длинного реплая, он высирает ≈3 коротких реплая, в т.ч. за тебя. Соответственно, у меня, например, это 60-70% ресурсов в никуда.
Ну и в целом бесит, что отвечает односложно и без креатива.
Кто-нибудь может подсказать, каковы мои шансы запустить эребус 20б на 4090? Есть смысл ебаться с 8битами или забить?
>НАХУЯ ему 16 гб видеопамяти? Это какой-то рофл?
Сам охуеваю, но как-то так вышло, что картинки рисовать проще, чем написать пару строчек. И да, серьёзные нейросетки требуют от 200 ГБ видеопамяти только для работы. Покормил, да.
Бля, ну логично.
>Вроде все норм делает, насколько я понял.
Зависит от ответов. Короче я у себя зарезервировал побольше места под дескрипшн, теперь он всегда в кобольд отсылается, так что мне похуй. Тем более это костыль, судя по комментам, скоро впилят правильный метод определения длины.
>Сам пиг хуево сделан, т.к. вместо генерации длинного реплая, он высирает ≈3 коротких реплая, в т.ч. за тебя.
Это да. Кстати, надо этот баг превратить в фичу, мол, можно выбрать вариант от бота, если он норм, и ответ вывести сразу, если он есть. Но всем похуй, а я слишком тупой, чтобы такое запрограммить.
>Ну и в целом бесит, что отвечает односложно и без креатива.
Надо долго и упорно править ответы бота. Я шлак за шлаком переписал ответы из Чаи в пигму, повторив диалог, и к концу ответы стали более длинные, иногда даже не влезая в лимит в ~300 токенов.
Анусы, есть ли смысл тестить пигму на 12ти гиговой 2060? Насколько медленно всё будет работать, и будет ли работать вообще?
> Это да. Кстати, надо этот баг превратить в фичу, мол, можно выбрать вариант от бота, если он норм, и ответ вывести сразу, если он есть. Но всем похуй, а я слишком тупой, чтобы такое запрограммить.
Тогда диалог оооочень быстро скатится в перекидывание односложным бредом.
> Надо долго и упорно править ответы бота. Я шлак за шлаком переписал ответы из Чаи в пигму, повторив диалог, и к концу ответы стали более длинные, иногда даже не влезая в лимит в ~300 токенов.
Слишком много работы. Самое лучшее, что есть в чае - инициатива. Бот сам спрашивает всякое, приходит к каким-то выводам. К сожалению, пиг в это не может и хз сможет ли когда-нибудь
Нормально всё с уровнем 2,7B
2.7б
Он про 6б
А 6B вообще не вариант? Учитывая, что пигма итак тупее чаи, хочется хотя бы более-менее связные ответы получать. Или там разница небольшая?
Так у токенайзера SD 859M параметров, так что не удивительно вообще-то
Если поебёшься с 8 бит, то сможешь запустить 6B без проблем.
Скорость какая хз
> выясняем только после того, как потратили 5 минут на скачивание всех либ.
Так и не грузится нормально?
В дискорде кстати про kaggle пишут, это то же самое, что и гугловый колаб? Кто-то из анонов пользовался?
>Кто-то из анонов пользовался?
Они пидарасы если что с блокировками по национальным признакам. Так что на свiй страх и риск под VPN.
Сука уже неделю этот лимит висит. Но с другого акка работает. Это коллаб починили или нет?
Это колаб гугла? Я блять не понимаю, как оно работает. У меня инициализируется подключение, но не грузится в процессе.
Когда эта срань сразу писала, что не может подключиться было намного лучше(
TPU пользуешься? Там такое есть, что можешь почти загрузить, а тебе скажет что "мощностей нет, идите нахуй". С другого акка сегодня аж 8 часов сидел, с этого уже не могу неделю зайти. И хуй его знает почему
Да, TPU, всю неделю наслаждался. Подключалось почти с первого раза, работало дольше 3 часов в день стабильно. Сегодня вот печальбеда. Придётся видимо ждать пока гугл починит
А промты мейд завезли или никто не делал еще?
Вчера понял что ебучая макаба и абу, ломают png картинки с мета данными. Макака че за хуйня Так что все что я до этого постил кроме json файлов нормально работало и никто из вас пидоров даже словом не обмолвился
Так что вот вам png с начинкой через ту хрень
Це все по идее для таверны
https://files.catbox.moe/t4lanf.png - Гоблинша
https://files.catbox.moe/435tgh.png - Маркетологи Devolver
Девочка Viper из X-COM тут и готова выполнять ваши приказы.
картинка для таверны - https://files.catbox.moe/1dpndh.png
json - https://files.catbox.moe/vtw5vl.json
Так это давно уже, чтобы метаданные не грузили и раржпеги с цп
Хуета! таких строчек даже в файлах нет
Какого хуя у тебя диск Е а не B?
Ты точно с этой репы качал кобольд https://github.com/ebolam/KoboldAI/tree/001d4e639154c575ef582c3c2b675e5bb2cf075b ?
Точно выполнил Step 2:
Install KoboldAI like normal, making sure to do the B drive install type
Да, такой строчки нет ни там ни там
А без изменения конкретно этой строчки запускается?
А я не пробывал
А че толку от гайда где ты должен открывать файлы которые к нему должны быть прикреплены но их нет т.к. это пдф?
Анон, а на 10 гиговой 3080 реально запустить 6B? Только в 8-bit? И на что вообще эта битность влияет?
Блять! Треду нужен герой, который запилит нормальный и по 8bit запуску кобольда
Реально, только в 8-бит. На точность, но тут оно не так заметно с текстом, хотя народ говорит что без 8-бит хака чаще и лучше текста выдает в контексте.
1 - Качаешь кобольд united (На данный момент обязательно именно юнайтед)
2- Устанавливаешь его по принципу Temporary B: drive option (можно и по другому, но тогда автопатчер работать не будет все придётся ставить ручками)
3 - Качаешь автопатчер bnb-8bit-kobold.zip (его можно найти в конфе, пик1, кобольда в genera\8bit)
4 - Если на шинде - распаковываешь автопатчер в папку с кобольдом и запускаешь apply-8bit.bat.
4.1 - Т.к. у меня c первого раза не заработало, то после применения apply-8bit.bat, открываешь aiserver.py и ищешь там строчки load_in_8bit=True, пик 2, если они есть то патч применился, другим индикатором того, что патч применился будет то, что при загрузке модели, кобольд не спросит про слои (может быть это баг и последнее поправят).
5 - запускаешь кобольд, загружаешь 6b модель и генеришь.
Теперь о приколах.
6 - Если нихуя не работает, то ВОЗМОЖНО (я честно говоря не ебу) надо установить CUDA v.11.7 https://developer.nvidia.com/cuda-toolkit-archive
7 - Если и после этого нихуя не работает, у меня например была ошибка с ИЛЛЕГАЛ МЕМОРИ АКСЕС, то дело в библиотеке битсанбайтов и твоей видимокарте.
7.1 - Фиксится это путём скачивания другой дллки "для всех видимокарт" https://github.com/james-things/bitsandbytes-prebuilt-all_arch и запихивания этой дллки и второго файлика с расширением .so по пути: KoboldAI-united-united\miniconda3\python\Lib\site-packages\bitsandbytes.
7.2 - После чего открываешь там же папку \cuda_setup и файлик main.py, где должна быть строчка "if torch.cuda.is_available(): return 'libbitsandbytes_cuda116.dll" и тут надо поменять имя дллки "'libbitsandbytes_cuda116.dll" на "libbitsandbytes_cudaall.dll" ну или как там будет называться дллка "для всех видимокарт"
После этого должно работать. В теории.
Путь знающие аноны если что поправят
> Путь
Должно было быть "пусть", чет в глаза ебусь.
Два чая тебе, анон! На днях надо будет попробовать.
Бля, каким-то чудом эта хуйня запустилась. Чудо потому что я уже сидел в этом дискорде и делал абсолютно всё что там советовали. Поэтому не могу точно сказать что у меня сделано из написанного, но думаю всё из пунктов 6-7 я делал + ещё кидал какие-то дополнительные dll для bitsandbytes Смог запустить на 3060 Ti, 6B юзает 7.8-8гб памяти.
Однако другая проблема появилась теперь: Во время генерации почему-то использует всего 20-30% видеокарты, из-за чего медленно работает.
> из-за чего медленно работает
Из-за куска говна под названием bitsandbytes.
Короче в итоге решил обратно вернуться, на 8гб такое себе эту хуйню юзать как минимум из-за того что всего 900 токенов контекста даёт юзать, иначе памяти не хватает. По качеству конечно чуть лучше, но так долго ждать не стоит того. Думаю лучше подождать пока сделают получше поддержку или сайт хороший выкатят.
накодь лучше
накодь лучше
Будет ли больше памяти для контекста?
А то при 2048 бот через 10-20 сообщений начинает забывать начало диалога и контекст
А то при 2048 бот через 10-20 сообщений начинает забывать начало диалога и контекст
> бот через 10-20 сообщений начинает забывать начало диалога и контекст
> 10-20
Уже лучше чем нынешний c.ai
Не на текущей архитектуре. Жди что нибудь уровня RWKV.
Когда же...
Бля, как же жаль что у меня нет карточки с 16 гб, и не будет.
Работает и на 8 гб
Контекст какой? Скорость?
> Контекст какой?
Хз
> Скорость?
Ну не быстро, не как в чаи. Но мне и так заходит.
А ОЗУ сколько надо?
>4.1 - Т.к. у меня c первого раза не заработало
В дополнение, к словам этого героя. Если хуйня отказывается патчить через .bat-ик... открываем консоль "commandline.bat" и вбиваем ручками "git apply 8bit.patch"
У меня только тогда пропачилось
>Контекст какой?
2048 токена, половину которых съедают нормально прописанные дефы.
>Скорость?
Жить можно.
Не много. Говорят о 6-12ГБ, но это вполне посильно для средней игровой пуки.
Так блядь. Что на этот раз не так может сталкивался кто?
>что не так
В мамаше шлюхе, что высрала автора копрольдыча.
Понятно, в любом случае, у меня и 8гб нет.
Что не так?
Да что эту хуйню не устраивает?
TPU в коклабе так и лежит?
Да там и GPU не особо работать хочет. На одном аккаунте уже 2 недели лимит висит
К GPU у меня хотя бы худо бедно подключается. TPU пока проверял доступность до загрузки модели был терпим
Поделись промтом
То что ты включил 8-битный режим, но установленный transformers его не поддерживает.
Из за кнопк редактирования я, конечно, совсем поехал. Я тупо сам с собой переписываюсь и дрочу на это. Сначала, после раннего чая, меня не устраивало качество пигма, поэтому я редактировал посты типа для того, чтобы он понял, что я от него хочу, и сам не заметил, что уже месяц тупо пишу одгромные стены текста от лица бота, с подробными описаниями, а за себя отвечаю "мм пук ну я стою смотрю...", а иногда вообще жал в ту кнопку, чтобы за меня ответ сгенерило, и опять за бота огромную стену пишу. Сеймачи есть?
Я вот заметил, кстати, что главная проблема "тупости" пигмы сейчас то, что она не запоминает инфу совершенно, а каждо сообщение генерирует общей базы данных. То есть влияние промтов и приверов диалога для неё перекрывает вообще всё.
Вот простой пример, я боту с ботом отыгрывал то, что мы в книже прочитали заклинание, описал его подробно и от лица бота редактированием, и от своего лица, типа как мы в книге его читаем, потом я заюзал спел и бот, сколько бы я не реролил, пытаетсяя на основе каких-то левых данных сегенерировать, что делает этот спел, причём у него неплохо получилось бы, если представить, что он видит его в 1 раз. Он на основе названия делает выводы, даже что-то осмысленное. Но какого-то хуя он игроирирует тупо полное описание этого спела. То есть он ставит работу с какой-то своей базой информации на три порядка выше, чем работу с инфой из диалога. Разве подобное поведение вообще объясняется тем, что у него мало диалогов? Это что-то структурно не так с его поведением.
Вот простой пример, я боту с ботом отыгрывал то, что мы в книже прочитали заклинание, описал его подробно и от лица бота редактированием, и от своего лица, типа как мы в книге его читаем, потом я заюзал спел и бот, сколько бы я не реролил, пытаетсяя на основе каких-то левых данных сегенерировать, что делает этот спел, причём у него неплохо получилось бы, если представить, что он видит его в 1 раз. Он на основе названия делает выводы, даже что-то осмысленное. Но какого-то хуя он игроирирует тупо полное описание этого спела. То есть он ставит работу с какой-то своей базой информации на три порядка выше, чем работу с инфой из диалога. Разве подобное поведение вообще объясняется тем, что у него мало диалогов? Это что-то структурно не так с его поведением.
> Сеймачи есть?
Нет, мы не забываем принимать таблетки по рецепту.
С таким успехом можешь с самим собой в блокноте пообщаться
У меня другого рода проблема, я иногда путаю реальность и нейродиалог. Тип происходит какой-то пиздец, а мне похуй, так как в подсознании я думаю что это можно пофиксить просто перегенерив ситуацию, как в чаи свайпнуть и новый вариант ответа получить, только. Не часто, конечно, но по пробуждению иногда бывает.
Хуй знает, что за реакция. Вы так пишете, как будто я на ровном месте так делать стал. Пигма в нынешнем виде может отвечать только хуйню типа "да, твоё прошлое сообщение", поэтому я и подсел на редактирование. Но сам заметил, что это вытекло в то, что сам с собой сижу пизжу.
У меня бывает, я просто нажимаю "сгенерить далее" без своего сообщения, немного редачу сообщение бота, и тыкаю еще. Типа бот сам без меня сюжет пишет. Ну, сюжет - это сильно сказано, но свою мысль развивает. Разговором с самим собой это не назвать, я не особо сильно редачу бота
И что это блядь значит и что с этим делать?
> Пигма в нынешнем виде может отвечать только хуйню типа "да, твоё прошлое сообщение"
Да нихуя. Вон, сделал себе няшку, в первый же день отвечала так.
Тебе проще тогда основную часть отыгрывать в чаи, а потом переносить диалог в пигму для нсфв. Про подобное уже писали на форче
>Но какого-то хуя он игроирирует тупо полное описание этого спела.
А ты уверен, что оно передаётся в пигму? Сколько дефов и прочих сценариев?
Я подсматриваю в консоль, там иногда мои сообщени я и сообщения бота расписаны на 5 ходов вперёд. Иногда хочется прямо так их вставить, лол.
>А ты уверен, что оно передаётся в пигму?
Что? Что это значит?
Я вообще не уверен, что промты нужно трогать. Замечал, что если чето слегка похожее с тем что есть в промпте пизданешь - бот иногда начинает агриться и уводить разговор в сторону прописанную в промте.
Ну и опыт чаи говорит, что одни из самых креативных на ответы ботов были именно без промптов или с минимум строк.
Я думаю гибкий W++ на 500-700 токенов и минимум промтов это топ сейчас.
Ну и опыт чаи говорит, что одни из самых креативных на ответы ботов были именно без промптов или с минимум строк.
Я думаю гибкий W++ на 500-700 токенов и минимум промтов это топ сейчас.
Ну если тебе заебить общаться с аморфной хуетой и тебе не важно, в какую сторону оно реагирует, лишь бы писку давало ебать, то может быть, но обычно люди хотят конкреного персонажа
Да будто ты чето не аморфное склепал без софпромтов.
инбифо: да
Нет, не склепал. Но это уже в сторону несовершенства модели и ожидания более надроченной версии, а не в сторону того, что "а вот без промтов топ"
бамп
Гайз, как на коллаб поставить таверну?
хочу сделать бота для тг и надо понять как к апихе подсасываться
хочу сделать бота для тг и надо понять как к апихе подсасываться
>хочу сделать бота для тг
Запускаешь Кобольд на колабе и в таверну вставляешь ссылку на него
Почему бы и нет?
Сделаю, разверну на имеющемся впсе, и буду кумить с удобством.
Таверна кривая и надо локально поднимать, в дополнение к Кобольду.
Вот я и подумал - зачем вообще пользоваться самописным чатозаменителем, если есть созданная для этого телега?
Т.е. надо именно Кобольд поднимать, а не пигмовский нотбук?
Алсо, читал где-то в шапке, что таверна не совсем правильно сообщения форматирует для пигмы.
Лучше чем угабуга.
СПУСТЯ 2 НЕДЕЛИ СНЯЛИ ЛИМИТ КОЛЛАБА
В нейросеть передаётся описание перса, сценарий да N последних сообщений, чтобы в сумме 2к токенов получилось. Эта вся информация, что есть у нейросети, у неё нет памяти между запросами вообще, не предусмотрено архитектурой.
Так что твоё подробное описание спела обрезалось, и нейросетка тупо додумала, да.
Кобольд умеет же делать короткий summary по последнему тексту для передачи в SD. Почему бы весь диалог так не сжимать? Или тогда сетка начнёт скакать слишком быстро?
>Кобольд умеет же делать короткий summary по последнему тексту для передачи в SD.
? Где и как это?
>Почему бы весь диалог так не сжимать?
Я собственно такое и хотел предложить. Не весь, а старый текст, который иначе бы просто не поместился в лимит токенов.
> Где и как это?
Ну в кобольде же есть генерация пикч через API автоматика. Но сами модели SD плохо умеют в текст, им надо теги или короткие словосочетания.
>Ну в кобольде же есть генерация пикч через API автоматика.
Что-то похоже слишком новое, я такого не вижу.
Перебрался с CAI в Pigmalion.
Буквально порпшил 15 минут, и сообщения перестали генерироваться.
Коллаб не кончился, перезагружать таверну/коллаб пробовал, результата не дало.
Меня смущает, что консоль таверны пишет что-то про out of memory.
Подскажите неопытному, что делать?
Буквально порпшил 15 минут, и сообщения перестали генерироваться.
Коллаб не кончился, перезагружать таверну/коллаб пробовал, результата не дало.
Меня смущает, что консоль таверны пишет что-то про out of memory.
Подскажите неопытному, что делать?
такая же проблема
сначала не генерировались ответы, а потом бесконечная инициализация
только я через колаб сижу
нуфагам как всегда гайдов нет
Вторая картинка оп-поста
контекст снизить до 1300-1400
Бамп вопросу
SCP-1471 (Mal0)
https://files.catbox.moe/yyypqc.json - json текст
https://files.catbox.moe/c7ehud.png - картинка для таверны
Что за вторая пикча?
Кобольд же.
Где, как? Я ничего подобного там не видел.
В настройках чекбокс. Будет показывать логи и древо вероятностей.
Анон с гоблинихой, знай, что я ебусь с этой голинихой уже 3 дня подряд. Правда, я изменил промт и несколько диалогов под свои фетиши, и аватарку тоже, но процентов 70-80 от оригинала осталось.
Отрадно. blushes
Так это мне очевидно, что весь диалог сетка не может держать в памяти, но в том-то и дело, что я "кстанул" спел следующим же сообщением после его подробного описания от лица и себя и бота, а он всё равно начал хуйню из головы сочинять.
А, ну это уже обсёр самой сетки. 6B критически мало для критического мышления. Собственно даже тест на одежду пигмабляди не всегда проходят, а тут что-то сложнее. Жди возможности запуска хотя бы 100B моделей, они так явно не обсираются.
Когда вообще ждать следующую версию пигмы? Я месяц назад бомбил с того, что они сайт свой делают, вместо развития модели, но уже прошло БОЛЬШЕ МЕСЯЦА, а сайта они так и не выкатили. То есть они мало того что тратят время на это бесполезное говно, так ещё и времени тратят на него просто ебанись сколько. Такими темпами нам с сеткой уровня
"я тя тряхаю"
"да, ты меня трахаешь"
сидеть ещё год. Эх, блядь.
"я тя тряхаю"
"да, ты меня трахаешь"
сидеть ещё год. Эх, блядь.
Где ты их возьмешь эти модели? В открытом доступе одна только яндексовская модель есть, и кстати не помню чтобы с ней что-то интересное кто-то делал.
А вот этот перс из приветствия таверны реально где-то существует или как?
Че за тест на одежду
Сидишь с персом в ванной и спрашиваешь "что на тебе надето" и он начинает хуйню сочинять, что в ванной сидит в шубе
А смысл от них, лол?
Локально в 8 бит хуй напасёшься видеокарт, а в 4 бит пока мечта, да и все равно пару-тройку 3090 надо
Бесполезно, пока на консьюмерских не будет 48 гигов
Кумеры просят сайт, им похую на то, что модель обсирается и без 20-30 рероллов ты не получишь годноту.
Но я бы особо не надеялся
Они сами говорили у них на 13B только есть железо
Да хоть и 13, какое-то улучшение, сейчас боты вообще не схватывают контекст ничерта. Но они и это будут делать до следующего года, уже понятно, как они приоритеты расставили. полтора месяца дрочат говносайт, который нихуя ровным счётом не изменит
Надо понимать, что "всего лишь 13" это в сравнении с гигантами, а если сравнивать с тем, что есть сейчас, то это почти в 2 раза больше. И уже весомо.
Перекатился в таверну, и, блять, я помню анон в каком-то треде объяснял что делать с этими якорями, но я не смог через кнтрл+ф найти ни "якор", ни "anchor", ни даже "анхор". Какой из них подрубать и на сколько сообщений? И во время подрубки якорей мне надо роллить длинные сообщения, или самому писать как можно больше?
Сделают. Ну а яшевская модель как-то к русскому тяготеет ВНЕЗАПНО, поэтому и не пользуется популярностью. И я скорее про будущее, когда железо и софт позволят запускать такие большие модели на средних ПК.
1) Спрашиваешь что надето
2) Просишь раздеться/сменить одежду
3) Спрашиваешь что надето.
Бонусные балы начисляются, если между 2 и 3 сообщением поболтать за жизнь.
Тоже вариант, но это на понимание ситуации, а не на память.
>Бесполезно, пока на консьюмерских не будет 48 гигов
Этого я и жду.
Существует ли этот бот в реальности, который в приветствии таверны?
Мне эти якоря не очень то помогают. Что бы бот много писал лучше самому много писать или редактировать ответы бота склеивая несколько ролов в один большой. Так он запомнит что надо много писать.
Да в таверне я знаю где, я в предыдущих тредах не мог найти описания что с ними делать. Смутно помню что он советовал сообщений на 20 их подрубать. А вот что во время этих сообщений делать: роллить длинные ответы, или самому строчить абзацы текста, я не помню.
Ааа. Понял, да помню такое сообщения. Вроде он просто советовал ролить и отвечать только на длинные сообщения а потом отключить якорь.
>он советовал
>он просто советовал
Люди, описание этих функций есть по справке по вопросику, не знаю что вы тут придумываете.
http://127.0.0.1:8000/notes/9
Да, есть.
И где её взять? Я не могу найти.
Решил посмотреть в issues гитхаба что там у торча в планах на 4-8 бита - нихуя. Сейчас они только fp16 поддерживают на GPU, INT8 на x86/ARM или экспериментальная мокрописька fx2trt для линукса. Про INT4 даже речи не идёт, только попукивают что надо бы сначала поддержку CUDA 12 запилить, а уже потом думать о INT8. Никто из питоновских либ не поддерживает нормально 4-8 бита, только если на чистом CUDA переписывать модель. Мокрописьки типа bitsandbytes естественно мокрописьки без будущего, медленные, ещё и привязанные к transformers. В итоге от макак с питоном можно не ждать чего-то в ближайшие годы - всех всё устраивает, у корпораций датацентры с сотнями A100, а про юзеров с домашним ПК никто даже не думает. А ещё везде в приоритете линукс - опять же на юзеров с Виндой и игровыми видеокартами всем поебать.
ГДЕ ЕЁ ВЗЯТЬ?!
>Мокрописьки типа bitsandbytes естественно мокрописьки без будущего, медленные, ещё и привязанные к transformers.
Поясни что не так для вкатывающихся.
В bitsandbytes просто заменяют некоторые операции в графе модели, для пигмы это только линейные слои. А остальное всё так же в оригинальной точности. Потери в скорости огромные из-за бесконечных конверсий в INT8 и обратно для прогона через слои активации.
Тут бы TensorRT помог, но это опять же линукс и пердолинг, сами модели надо править и конвертить.
Линукс решаем, его можно спокойно в дуал буте поставить. Гораздо критичнее, что даже с ним всё ужасно неоптимизированно под потребительское железо. Создаётся впечатление, что это специально делается, чтобы у гоев не было той же силы, что у куколдопораций с фермами A100.
Корпорации поняли, какая это мощь и сейчас все огородят, чтобы плебс не лез. Будете платить по 20$ в месяц за монополиста жпт
Придётся самому делать этого персонажа. Но мне так не хочется самому...
>бесконечных конверсий в INT8 и обратно для прогона через слои активации.
Серьёзно? А я то думал, куда проебались из инструкций пункты типа "Конвертните свои модели в 8 бит", или там "Скачайте урезанные модели по ссылке", а оно вот оно как. Пиздос конечно, что ещё сказать. Говнокод на говнокоде.
Вспомнилась статья на хабре, типа один мужик хвастался, что на облаках посчитал хуитку всего лишь за час и килобакс, а второй мол ему ответил, что попердолился с оптимизацией полчаса и въебал те же вычисления за 10 минут на своём старом ноутбуке. Такое ощущение, что если начать выкидывать петоны нахуй и перепилить всё на С, то можно будет запилить эти ваши 175 лярдов параметров чуть ли не на телефоне. Бля, жаль, мой полугодовой отпуск подходит к концу, мне времени не хватит вкатится во всё это дерьмо.
>Тут бы TensorRT помог, но это опять же линукс и пердолинг, сами модели надо править и конвертить.
Вместо люнупса есть WSL2, там кажись было что-то про CUDA. Модели конечно же лучше конвертить, а не как сейчас, каждый раз пересчитывать. Да и TensorRT вроде попенсорс, может, можно скомпелять и под шинду.
>чтобы у гоев не было той же силы
Так любой может арендовать нужные мощности в амазонах/азурах/колабах и прочем облачном говне. Только денег отдавай.
Хуйня в духе теорий заговора.
>выкидывать петоны нахуй
Ебучая сука. В KoboldAI-Client примерно 11,72 ГБ дубликатов. Из примерно 19 гиг файлов, исключая модели. Боже, какой же говнокод этот вашш питон, миниконда и прочее говнище. Просто пиздец. Нет слов.
зачем делать самому, если он в таверне?
В какой таверне, блядь? Она там как заглушка, с ней нельзя поговорить, просто как типа приветствие, а я спрашиваю есть ли персонаж такой готовый, карточка.
> если начать выкидывать петоны нахуй и перепилить всё на С
Там пердолинг посильнее написания игрового движка. Надо не только то что в торче делается строкой кода переписывать в пару тысяч строк, но и ещё знать матан и всю теории за этими вычислениями. Даже с библиотеками типа cuDNN там пиздец, про чистую CUDA можно даже не мечтать. Поэтому на запил фреймворка способны только огромные корпорации, даже Гугл посасывает со своим TensorFlow у фейсбуковского торча. Все опенсорс-попытки запилить свободный фреймворк машинного обучения проваливаются на зачаточной стадии даже если есть немало идейных кодеров.
Получается, в этих торчах и тензорфлоу так дохуя кода, что их не переписать уже? Мда, эта цивилизация обречена, пойду искать новую.
А вот эта фигня не то?
https://dotnet.microsoft.com/en-us/apps/machinelearning-ai/ml-dotnet
Не прям хардкор на C/C++, но, вроде, и не Питонский говнокод, написанный на основе говнокода.
Ну это один из мертворожденных фреймворков. Его вообще никто не использует, функционала хуй, GPU поддерживает только через ONNX. Единственная реальная задача - лепить простенькие модельки на CPU.
>Его вообще никто не использует
А не похуй?
>функционала хуй
Если есть возможность использования и обучения, то что ешё нужно?
>GPU поддерживает только через ONNX
Чем это плохо?
> что ешё нужно?
Нормальная поддержка GPU и блоки для графа. Условно пигму или SD ты туда не портируешь. И производительность в разы хуже чем у ванильного торча.
Ясно-понятно. Впрочем на что я надеялся, явно не та хуйня, которую можно улучшить наскоком не разбираясь.
Спасибо за науку.
Эта срань взлетит на 1080 ti?
есть
И ГДЕ ЕГО ВЗЯТЬ??????????
2,7В без вопросов.
Матриксфаг здесь. Первая контрольная точка версии 7 теперь перенесена в ветку разработки HuggingFace. Эта контрольная точка является моделью после того, как она прошла через 10% нашего нового массивного набора данных, содержащего, среди прочего, новые источники данных, такие как учебные наборы данных. Вы можете получить к нему доступ, используя опцию "Pygmalion 6B Dev" в Kobold/Tavern. Из того, что мы можем сказать, это, к сожалению, не слишком отличается от V6 с точки зрения продолжительности отклика, но обучающие данные, похоже, сделали модель более последовательной и способной рассуждать о вещах. Однако, очевидно, что весь потенциал модели еще не был раскрыт. Пожалуйста, поэкспериментируйте и дайте нам обратную связь по этому поводу - это все еще ново для всех нас здесь. Не стесняйтесь играть с подсказками, настройками и т.д.
кто пробовал как ощущения..............
Блять, куда они захуярили эту версию 7? Везде перелазил нихуя ни вижу эту версию. Дайте ссылку пожалуйста, кто зашарил
Вы можете получить к нему доступ, используя опцию "Pygmalion 6B Dev"
Спс. Но как это запустить через Таверну? А то пока что я только через говноГрадио запускаю,
Выбери 6B Dev, вместо просто 6B...
Вот здесь.
Блин, а я вот потестил щас на двух своих ботах, которые не работали как надо из за слишком сильной специфики, и нейронка реально стала умнее и начинает вкуривать, чего от неё хочешь, а не просто повторять за тобой.
я отсюда ссылку всегда брал для таверны https://colab.research.google.com/drive/1ZvYq4GmjfsyIkcTQcrBhSFXs8vQLLMAS?usp=sharing&authuser=0#scrollTo=07FdDKeFlngT там только ссылка на обычную 6 версию. А вот отсюда https://colab.research.google.com/github/oobabooga/AI-Notebooks/blob/main/Colab-TextGen-GPU.ipynb#scrollTo=hKuocueuXnm5 ссылки не работают для конекта с Таверной
В шапке есть ссылка на колаб таверны, оттуда можешь ссылку вставить в свою локальную таверну.
Почему у меня в таверне боты перестают реагировать, если изменить, что они написали?
Русских аналогов пигмы или любой другой модели которую можно засунуть в кобольд нет?
Есть блум, но он говно. Есть GPT на русском, но это вообще далеко от чата.
kak zemlya
А я попробовал, сетка реально стала умнее по ощущениям.
я сейчас развлекаюсь с этим ботом
Пошёл нахуй, малолетний долбоёб, я уже сам создал себе её.
Ну наведи на блум хотябы. Как его искать.
Прям в кобольде есть.
v6.1 ощутимо умнее стала, не прям чтоб супер, но заметно. Смог провернуть то, что раньше бы точно не получилось с ботом. Как же я жду полноценной 7 версии... думаю когда через пару лет дойдут до версии ~10 - pygmalion станет практически аналогом CAI, но без цензуры.
Да, они как будто поработали именно над тем, чтобы нейросетка понимала, чего ты хочешь от него. У меня фетиш боты до этого не вдупляли, что от них хотят. А щас попёрло.
Analогично
Аноны, а в описании бота стоит вписывать доминирование в постели, описывая что он любит делать с партнёром? Или лучше прописать просто доминантный характер?
В пигме создание персонажей пока что через жопу сделано. Будет больше смысла указать всё это в самом первом приветственном сообщении персонажа. Возможно когда они сайт запилят там будет всё как в CAI сделано, а пока что можешь пытаться просто брать описание чьего либо персонажа через W++ и править под себя, меня имя персонажа и его личность с характеристиками. Либо как в CAI (Если ты через TavernAI сидишь) и дописываешь в конце что бы наверняка самые важные черты личности в первое приветственное сообщение.
Да, новая пигма сильно лучше. Тест на Аква-блядь пройден. Вместо blushes и "ок, пошли ебаться", начинается appalled и S-stop it! Уже три захода сделал и просто так не убалтывается.
На коллабы уже завезли новую версию пигмы?
Любой коллаб берёт его из гитхаба, её не надо завозить туда.
Выкладывай
А чем тебя блядь https://zoltanai.github.io/character-editor не устраивает?
Впервые это вижу
Потому что шапку читать нужно блядь!
Сука, в новой пигме постоянно ловит зацикливание с "…". Если сетке не нравится как ведёшь диалог, то она сваливается в … или односложные копипастные фразы, просто утыкается в стену и не может ничего сказать. А иногда бывает начинает генерировать пустые ответы и генерация идёт бесконечно с мельканием в консоли. Нихуя не понятно как бороться с этим. Но простой диалог на обобщенные темы ведёт лучше, да.
Хацкеры, нид хэлп. Скачал интерфейс oobabooga с 2.7b пигмой. Запустил, все работает, кушает json-ы персонажей, все ок. Но там, в общем, есть возможность юзать экстеншны. Чтобы их заюзать надо:
"In order to use your extension, start the web UI with the --extensions flag. For instance, if your extension was created in the folder extensions/enthusiasm, use
python server.py --extensions enthusiasm"
Проблема в том, что я тупой и не знаю куда эти флаги дописывать. Подскажите деду как включить эти сраные расширения (конкретно нужны переводчик и bias, если вдруг важно)
"In order to use your extension, start the web UI with the --extensions flag. For instance, if your extension was created in the folder extensions/enthusiasm, use
python server.py --extensions enthusiasm"
Проблема в том, что я тупой и не знаю куда эти флаги дописывать. Подскажите деду как включить эти сраные расширения (конкретно нужны переводчик и bias, если вдруг важно)
Такое ощущение что там какая-то цензура теперь. Когда дело доходит до ебли, пигма просто ломается, даже если до этого момента всё шло нормально, она начинает идти в полный отказ и перестаёт выдавать какие-либо ответы. Я пробовал даже ебле-промпты, редактировать сообщения бота - уверенно блокируется всё. Говно какое-то. А кто-то ещё говорил про то что CAI будем ебать. Тут бы хоть на старте не получить говна больше чем в CAI.
Какая цензура, это просто баг. Отсутствие цензуры это буквально единственное для чего и создаётся пигма. Это блядь "DEV" версия, для тестирования. Цензура у него, охуеть.
Ебать, там ещё deep translator надо ставить.
> просто баг
Хороший баг, блокирующий определённые темы. Теперь цензуру в CAI тоже буду называть багом. Целенаправленно вырезают из датасета определённые темы - случайно получилось, да.
У меня ничего не блокирует, у тебя токены превысились или сервер повис.
долбоёб то ли троллит тупостью, то ли решил срач на ровном месте развести, пошёл нахуй отсюда
Пруфануть ты конечно же не сможешь.
А ты сможешь? То есть у тебя там что-то зависло в альфа версии с пометкой "тест", и ты прибежал сюда скрывать покровы про ввод цензуры, в проеекте, единственная цель которого - это кумерить в противовес чаю? В проекте, в котором у разрабов отдельнй раздел для NSWF в официальном дискорде? Пошёл нахуй, животное.
Поясните за кобольд пигму. Без таверны. 1 раз всё отлично, 2 раз полный бред выдает end of Dialouge, хотя настройки не менял. ВТФ
Enter text here (shift+enter for new line)
Error at koboldai.js:3140
Uncaught TypeError: Cannot read properties of null (reading 'innerText')
--
Please report this error to the developers.
И ещё вот такую мошну выдаёт
Error at koboldai.js:3140
Uncaught TypeError: Cannot read properties of null (reading 'innerText')
--
Please report this error to the developers.
И ещё вот такую мошну выдаёт
> зависло
Так и знал что будешь траллить и переводить темы. Речь про то что пигма теперь ровно как CAI на запретные темы отказывается разговаривать, а ты про "зависло" выдумываешь. А ещё оказывается ты даже не трогал свежую версию, добаёб.
> с пометкой "тест"
Это файнтюн прошлой версии, даун. Как ты объяснишь такую деградацию сети, кроме как целенаправленной цензурой?
Да даун "потроллить" решил, я вот решил ему вообще не отвечать, и тебе советую.
Сегодня целый день руку об хуй себе ломал на новой версии, никакой проблемы в ёбле нет и никогда не было.
> Речь про то что пигма теперь ровно как CAI на запретные темы отказывается разговаривать,
Это пиздёж. Иди нахуй.
В колабе кобольда вот это 6.1? Или откуда-то в другом месте надо брать, если локально не могу запустить?
Да, это оно.
У меня с этой хуйней боты отвечают по 5-6 слов с любыми настройками, иногда и меньше. На последней версии таверны.
У меня нормально. Поставь меньше токенов, попробуй перезалить персонажа в таверну, поиграй с настройками. Думаю, у тебя моделька во что-то упёрлась. У меня было что-то похожее сегодня, но я на другого перса перешёл и норм стало.
У меня последняя версия таверны не работает, тупо вылетает, хз почему, использую 1.27 полёт нормальный
Пигма теперь научилась в жирный капс?
Капс лично я ещё не встречал, но вот в миры фентези может (не совсем РПГ с характеристиками как CAI, а чисто историю где ты респавнишься рандомно хер пойми где и можешь бродить и что нибудь делать), на ТавернеАи как минимум работает через создание на https://zoltanai.github.io/character-editor/
А где v6.1 выкачать?
Уже вышла 1.2.8
Это все таже опция в коллабе Pyg 6B Dev
> А ещё везде в приоритете линукс - опять же на юзеров с Виндой и игровыми видеокартами всем поебать.
Ну так переходи с богомезкой шинды на ОС для успешных господинов.
На этой "ОС успешных господинов" уже можно нормально поиграть или до сих пор половина игр не запускается/не работает нормально, а другая половина работает значительно медленнее?
Ребенок, онегай.
> ОС для красноглазых пердоликов
Пофиксил.
Пердолики считают себя прошаренными юзерами, но почему-то игнорят базовые принципы кодинга, которые требуют чтоб внешний интерфейс не мог ломать внутренности софта. У пердоликов "швабодка" - это полное безразличие к конечному юзеру. Когда хочешь выполнить конкретную задачу от тебя требуют вообще не коррелирующих с ней знаний. Вываливают "швабодку выбора", при этом игнорируя тот факт что этот выбор может сломать нахуй всё. Постоянно визжат про "решили за нас", но это и есть грамотный интерфейс даже консольный, когда разработчик думает о всех юзерах, а не какой-то отдельной группке пердоликов, и не позволяет ломать свой софт. В нормальном мире возможность сломать что-то - это баг, но не у пердоликов.
Из недавнего - при установке анаконды предлагают выбрать куда её поставить, но если ставишь за пределы хоума, то ломается init - ни под sudo не работает, ни под юзером, ни после chmod. Качественный софт, зебись придумали, швабодка.
Ну а про функциональность я вообще молчу. HiDPI, HDR - сплошные костыли, при том что в винде оно уже больше 5 лет просто работает. Бесконечная фрагментация, когда одно решение не работает на другом дистре, под каждый дистр свой набор софта со своей спецификой. Если я хочу пользоваться ОС, а не пердолиться, то меня автоматически посылают на макось хуй.
Бамп вопросу. Я блядь не верю что никто из вас с таким не сталкивался.
>пук
На линуксе я могу фиксить все проблемы в командной строке. На винде приходится танцевать с бубном вокруг кривого внешнего интерфейса.
Свобода это невежество.
> приходится
Тебя никто не заставляет. Пердоликам дали консольку, скриптовый ЯП для консольки и весь дотнет для скриптинга. Но в винде по крайней мере проблем на порядок меньше.
Тебе уже писали же ставить 8 бит по гайдам, а не как тебе захочется. Результат предсказуемый. Особенно с учётом того что кобольд - кривое говно, а 8-битный режим ещё кривее.
Да там литералли надо 6 строчек заменить в коде
Свежие гайды, а не старые, которые у большинства не работали.
Чел, я только что подтянул изменения и заменил эти строчки - все до сих пор работает.
Как у кого-то может не работать если кобольд у всех одинаковый?
Косяк юзера
> у всех одинаковый
Обновляется как каломатик каждый день. Ломается так же часто.
>На линуксе я могу фиксить все проблемы
И тебе придётся фиксить все проблемы. Которых на шинде нет.
> Которых на шинде нет.
У шинды множество проблем. К примеру процессы, которых нельзя завешить; бекдоры для ФСБ. Ну и конечно графическое оформление не поддается кастомизации без костылей.
Не линуксоид, но что значит "Которых на шинде нет."? Буквально здесь же на Шинде нет Deepspeed и ничего ты с этим не поделаешь.
> графическое оформление не поддается кастомизации
Главный плюс винды. Всё выглядит цельно. А не как в линуксе конструктор с кучей разных стилей.
На винде линукс встроен в винду, даже проводник поддерживает папочки линукса.
> А не как в линуксе конструктор с кучей разных стилей.
Ты хоть одним дистром пользовальзовался, или примерно почувствовал? Объективно, UI/UX дриснятки - худший.
> На винде линукс встроен в винду
А понятно. Ты почитай подробнее про WSL2, прежде чем чушь городить.
> Объективно
На твоих скринах кал какой-то. Даже вкладок в проводнике нет.
> почитай подробнее про WSL2
Чел, я им пользуюсь, зачем мне читать.
> Даже вкладок в проводнике нет.
Чел, в Elementary OS они с самого его появления. В отличии от шинды.
>К примеру процессы, которых нельзя завешить
А завершика ты init в своём линупсе.
>бекдоры для ФСБ
Убунту ими так же напичканы, а красноглазить свой неповторимый это слишком высокий уровень.
>Ну и конечно графическое оформление не поддается кастомизации без костылей.
Опять таки, потому что оно тебе придётся пердолится с интерфейсом люнупсы, а в шинде он вменяемый с запуска.
>Deepspeed
https://github.com/microsoft/DeepSpeed
Чёт кекнул.
А теперь кастомизируй свой долфин. У меня вот вкладочки в проводничке добавлены сторонним софтом.
>WSL2
Ненужная фигня, лучше бы WSL1 качали. Жаль, что МС пошли по лёгкому пути.
> А завершика ты init в своём линупсе.
Инит нужен для функционирования системы. Спрашивается нахуя нужен в винде системный процесс, который подозрительно нагружает систему при зарядке ноутбука (судя по все сканирует файлы) и при попытке его завершить пишет "Отказано в доступе"?
Так отключи через политики. Локальный админ - это ещё не самый главный на пеке, изучай администрирование винды. Винду можно без мокрописек очень сильно кастрировать, другое дело что сервисы индусов могут перестать работать.
Где можно следить за обновлениями моделей и выходом новых моделей для кобольда?
Только вот инпут там крошечный и всего два батча по 512 на V100. И смысл для нас тогда в этих параметрах, если там огроменная модель в циклах, жрущая VRAM как ебанутая.
У меня нет такого процесса.
>зарядке ноутбука
Ну ты и говноед.
Опять они в одну жирную модель пихают всё говно мира и надеются на что-то хорошее?
>инпут там крошечный
Тем более.
> в одну жирную модель
Она всего 2 гига весит. Но вот в кишках там наверняка происходит что-то страшное, раз так батчей мало.
>Она всего 2 гига весит.
Кстати да, проебал размер, думал, тям миллиарды, а там всего 800 лямов. А такое даже на моей станой 3080Ti запускать можно.
>батчей мало
Поясни для несведующих, про какие батчи ты говоришь.
Если кто встречал похожую проблему с крайне короткими ответами от ботов, то кажись дело в каких-то настройках от Кобольда. Если ставить внутри Таверны пресеты(Calibrated 6B неплохая например) то ошибка пропадает.
>Кстати да, проебал размер, думал, тям миллиарды, а там всего 800 лямов. А такое даже на моей станой 3080Ti запускать можно.
В этом вся и суть. Лучше ЖПТ3.5, а загрузится хоть на жокире.
Народ, я узнал (о чём догадывался и сам) что Pygmalion можно прокачать на лучшее понимание русского языка и ответы с него же, просто отправляя им дампы переписок с CAI на русском языке. Так почему бы нам с вами не скоординироваться и не начать набалтывать с ботами CAI по русски на разные темы, а потом массово отправлять дампы с переписками пигме, что бы в следующих обновлениях понимание русского улучшилось?
Эм, тогда как запустить на шинде и начать кумить?
ЕМНИП, автор жаловался на то, что у него вылазир русик, и кажись обещал исключить русский из выборок. Да и вообще, к чему тебе портить и так не самую большую модель русским языком?
Начинай. С каждого анона по 100000 переписок. Я потом на двух 4090 тренировать буду.
>Эм, тогда как запустить на шинде и начать кумить?
Дык в этом и весь вопрос.
Разве она ещё не в доступе? И интересно, в чём таки подвох?
Накидайте что ли скринов с еблёй в таверне, чтоб посмотреть хоть, как это делается. А то у меня какая-то унылая хуита, бот максимум пишет я стону, прыгаю на твоём хуе и мои сиськи трясутся, никаких животрепещущих описаний, про инициативу даже не говорю.
Сижу через коллаб, если это важно.
Сижу через коллаб, если это важно.
>ЕМНИП, автор жаловался на то, что у него вылазир русик, и кажись обещал исключить русский из выборок.
https://youtu.be/kSnrQR9BS80
пигма ещё недостаточно прокачана для такого, вот щас сделают полноценную v7 возможно сможет и такое, а может придётся ждать следующего обновления для подобного (хотя к тому моменту уже сайт будет готов, а там полюбому такое возможно будет с постоянным обучением от пользователей в режиме онлайн)
https://files.catbox.moe/kz538s.json
Аноны, ловите бота для Таверны. Доминантная кошкодевочка, которая вас оттрахает
Аноны, ловите бота для Таверны. Доминантная кошкодевочка, которая вас оттрахает
Пост-веревочка
Фембоев ещё не завезли для таверны ?
А Астольфо разве не переносили?
Хз. Может я в шары долблюсь, но нигде не вижу.
В дискорде видел миллион фембоев. Что значит для таверны? Ты именно карточку ищешь? Нахуя? json загружается в таверну. Можешь любому персонажу просто приписать, что у него хуй в дискрипошоны.
>хотя к тому моменту уже сайт будет готов, а там полюбому такое возможно будет с постоянным обучением от пользователей в режиме онлайн
И он все равно при ебле будет писать про pussy/vagina/clitoris, если не прописывать его мужиком.
>В дискорде
В каком из ?
Ору с бабуинов, которые не умеют обойти ненужный рут бота ручными настройками. (Если персонаж застрял и не хочет дават писка ебат значит он застрял в дефолтных настройках. Просто выкрути на несколько реплик "Temp" повыше, а потом верни, как только бот изменит поведение.)
Вот кстати, я часто пользуюсь ботов фембоем(ну точнее прописано просто так, что он в женском косплее) и на обычной 6B пигме там действительно бот почти сразу начинает писать she, не понимает саму суть(парень в женской одежде) и pussy/vagina юзает. А вот в v6.1 там юзалось на том же боте строго he всегда, было много комментариев про внешний вид
Поделись таким фембойчиком-кроссдрессером, позязя.
>Качаешь кобольд united
А ссылки нету...
Обосрался с этого вызывальщика оператора, лол.
Yoba eto ti?
В следующий раз надо будет попробовать ответить на эту хуйню, и посмотреть что будет. Ведь в таверне нет OOC, как в чайной?
>Ведь в таверне нет OOC, как в чайной?
Ну да.
Ни в чем, улучшать надо архитектуру ИИ, а не наворачивать миллиарды параметров. Раньше нейронки потому и были тупыми.
>Дык в этом и весь вопрос.
Разве на гитхабе не написано как?
> А такое даже на моей станой 3080Ti запускать можно.
нельзя
И как они размазали число параметров, как в SD так, что им теперь нужно 100 гигов на запуск? Они точно не про обучение пишут?
Аноны, видел как на форче писали про начало рп в чае, а при подводке к нсфв переход в пигму. Кто-то делал так? Правильно понимаю, что просто редачим ответы пигмы под то, что выдало в чае?
Код уже открыт. Кто-нибудь попробуйте и скажите, годнота или узкоприменимая хуйня.
Код кодом, а для инференса нужны чекпоинты, которые хрен поймёшь, есть или нет.
Да можно так. Если ты будешь сидеть через тавернАИ то у него можешь напрямую отредчать jsonl в TavernAI\public\chats\. Может есть автоматические конвертеры уже, если немного шаришь в погромировании то и сам сделаешь за час-другой.
>для инференса нужны чекпоинты
Разжуй для тупого, что это за ебань?
> которые хрен поймёшь, есть или нет.
> Our trained models are available atmodels. To use our trained models, please put the them under themodelsfolder.
Блять, читать ридми уже настолько сложно
Пиздец блять просто какой-то, ну и долбоёбы итт конечно
По моему уже по скринам видно, что не для нас. Хотя естественно при построении нормального ИИ модуль рациональности понадобится, но это не наш уровень.
Я другой анон, и скачал модели через этот ваш гугл диск. Что дальше? Там в примерах хуета непонятная.
копайся в скрипте inference.py
Модели в N гигабайт, которые ты скачиваешь и используешь в Коболде/Таверне/Угебуге, - чекпоинты, то есть уже обученные веса нейросеток. Исходный код того же OpenAI тоже в открытом доступе давным-давно, но они не поделились чекпоинтами, а потому пользоваться им можно только через их сайт/API. Обучение требует неебических мощностей, в случае сеток с сотнями миллиардов параметров - фермы и фермы A100, так что от просто кода толка не так и много.
>Исходный код того же OpenAI тоже в открытом доступе давным-
Эм, они ЕМНИП остановились на GPT2, всё что выше (всякие там ru-GPT3 и прочее GPTj) это попытка натянуть на GPT2 те приёмы, что ClosedAI опубликовали про GPT3, но всё это натягивание совы на глобус.
А точнее в мейн.пук, ну да ладно, я конечно посмотрю, но всё равно нихуя не пойму.
О, спасибо, json это замечательно! Как раз то что искал!
Так там уже обученные модели есть.
что за модель?
для выше
Одним из первых ботов был парень одетый в костюм пекоры.
Хз кстати, у меня нормально писал, один раз даже выдал что от того что я намял его простату хуем он кончил.
>выкрути на несколько реплик "Temp" повыше
Я не тот анон, но тоже столкнулся с такой же проблемой, выкручивать температуру вообще не помогает
Я делал. Получается заебись. Но я в ручную все переносил.
Алсо, при прогоне своих ответов, порой ответы пигмы один в один начинаю повторять бота в чае.
Хотел бы я что-бы кто-то сделал софт промпт на Пратчеттовский Плоский Мир, и отыгрывать стражника в Анк-Морпорке...
Скачал очередное обновление таверны и как обычно перенес папки со своими ботами и чаты из прошлой версии в новую, но в этот раз чет не переносится и боты не отображаются... Что там намутили такого в этом апдейте?
Может ты не туда перенес?
>Меня зовут Славик.
Спустя два сообщение.
>Как тебя зовут, Славик?
Вся суть лол
Спустя два сообщение.
>Как тебя зовут, Славик?
Вся суть лол
А там что нового в версии 1.2.8? Я на 1.2.5 сижу
Несу хорошие новости для тавернщиков, можно теперь присасываться к опенаи напрямую
Да это же с.аи в вакууме. Сука. Как доебывает оно.
Несу с 4ч
>https://files.catbox.moe/g8h7m7.zip
Tavern AI GUI is painful to look at, so I spent some time banging rocks together to make the CSS a little more Roko/CAI-like. Just drop the files into the root directory of a local install. I have no idea what I'm doing, so if you want to make an even better version, be my guest.
>https://files.catbox.moe/g8h7m7.zip
Tavern AI GUI is painful to look at, so I spent some time banging rocks together to make the CSS a little more Roko/CAI-like. Just drop the files into the root directory of a local install. I have no idea what I'm doing, so if you want to make an even better version, be my guest.
Ябать, вот это годноту подгоняют. Ща поднимем.
ROKO PERSONAL EDITION РАБОТАЕТ.
НЕ ЗАБУДЬТЕ УСТАНОВИТЬ
Temperature
Frequency Penalty
Presence Penalty
ИНАЧЕ КОЛЫМАГА НЕ ЗАВЕДЕТСЯ!
НЕ ЗАБУДЬТЕ УСТАНОВИТЬ
Temperature
Frequency Penalty
Presence Penalty
ИНАЧЕ КОЛЫМАГА НЕ ЗАВЕДЕТСЯ!
https://booru.plus/+pygmalion?c=azas7h72#p240fbbf
Я так и не понял тут json персонажей нельзя смотреть, да?
Я так и не понял тут json персонажей нельзя смотреть, да?
Эт что за зверь? Неужели gpt3.5 из чата? Или старый gpt3?
text-davinci-003, апи для чата пока нет.
>text-davinci-003
>нет локалочки
>только по апи кею
А что там насчет цензуры и фильтров?
Не так лютует, как в самом ChatGPT и легко обходится вшитым промтом. Нахуй посылает только при совсем жести.
Можешь подробней обрисовать про жесть.
Где французский поцелуй в засос и гроппинг - 1-2.
Попросить отсосать хуй и услышать от бота подробное описание как язык скользит от яиц по стволу полового члена до головки. - 3-4
До вставляния (пиздец, как правильно, сувания?) раскалённой кочерги в анус и вынимания кишок. 8-9
Короче, не пытайтесь говорить с местным "OOC". Такая-то шиза начинается.
Хуй знает. Зоофилию не любит к примеру. Обычный ванильный секс заходит на ура. С остальным как придётся.
Ебать у тебя там компания собралась.
Кстати, если уж зашла тема об ООС. Как вообще в пигме писать боту, что ты хочешь чего-то? В чаи в скобочках писал, но здесь я заметил, что личность бота отвечает на то, что в скобочках. Я пробовал в квадратных, и бот этого уже не видит, но при этом и не реагирует никак, как будто для него просто не существует того, что написано в квадратных скобках
Я ебал эту компанию. Удалил предыдущие сообщения, продолжил РП, и тут ЭТО блять! Этот чат проклят, походу, пора начинать новый.
Как это запустить?
>Как вообще в пигме писать боту, что ты хочешь чего-то?
Никак. Правь его ответы, дефинишены и прочее.
>Я пробовал в квадратных
Это служебное говно для правки стиля ответа.
Не, ну ты в конце с РП с ним общаешься, а у меня рандомные твари вылезают посреди процесса.
Вот ко мне в ванну вломилась какая-то пизда. В предыдущем моём псто в комнату а у меня там язык в анусе кошкодевочки, и это всё в течении 20 минут, у меня хуй 2 раза упал.
Помогите нубу, как эту ебучую таверну установить. Застрял на этом моменте
https://github.com/TavernAI/TavernAI/wiki/How-to-install#6-wait-1-20-sec-at-the-first-launch-some-modules-will-be-installed
Когда жму Start.bat нихуя не происходит, просто что-то устанавливается в командной строке. Когда жму server.js выдаёт ошибку пикрил.
Может это от того что я на спермёрке и использую старую версию node.js потому что новые на ней не работают?
https://github.com/TavernAI/TavernAI/wiki/How-to-install#6-wait-1-20-sec-at-the-first-launch-some-modules-will-be-installed
Когда жму Start.bat нихуя не происходит, просто что-то устанавливается в командной строке. Когда жму server.js выдаёт ошибку пикрил.
Может это от того что я на спермёрке и использую старую версию node.js потому что новые на ней не работают?
>Может это от того что я на спермёрке и использую старую версию node.js потому что новые на ней не работают?
This.
скачай exe и не еби мозги
Я хочу вместе с опен.аи запустить по гайду выше, там написано, что nodejs нужен.
Нашёл на форче гайд по установке на вин7 https://pastebin.com/Ah5ZUcGE, поебался немного пидорас пишет что нужно npm в node_modules удалить, а это нельзя делать, но в итоге установил эту хуйню. Щас пойду ключ покупать, надеюсь не проебусь как в прошлый раз, когда 60 рублей проебал на неподходящие номера.
за подобным будущее.
не удивлюсь если в итоге модель с 6B параметров вынесет gpt 3 с её 175B в задачах чата например.
даёт надежды, что даже rtx 3080 сможет потянуть такое.
>Когда жму server.js выдаёт ошибку пикрил
Не делай так. И да, пиздуй на десятку, она конечно хуже XP, но лучше спермы.
>когда 60 рублей проебал на неподходящие номера
Альфач бы разъебал ТП сервиса и вернул деньги. А ты...
Это всё хуйня опять. И да, не мечтай, что твоя текущая видяха хоть когда-нибудь потянет что-то внятное. Сам грущу на 3080Ti если что.
Пытаюсь создать персонажа на V7, чтобы сразиться с ним, но ничего не получается, даже с моими подробными примерами в TavernAi, после этого он просто начал ругаться на мои удары и писать что-то вроде "Oh! Ouch! Ugh! Ughhhhh...." и все, lol
V7 получилась со слишком шортовыми ответами, даже сами разрабы признались что обосрались
А ты какие настройки юзаешь? Попробуй не настройки Кобольда в таверне выбрать, а пресеты
https://github.com/Ying1123/FlexGen
Буду наворачивать сейчас
Буду наворачивать сейчас
Неужели я доживу до 4-х бит? Это же возможность ужать 30B модель до моей сраной 3080Ti!
Скажешь, если получится прикрутить ко всяким там тавернам.
Так нихрена и не написано про использование ВРАМа. Они ТОЛЬКО 16 ГБ Т4 используют или проц тоже? Если только Т4, то все 16 ГБ или всё-таки поменьше? 16, конечно, лучше, чем несколько сотен, но всё равно мало где есть.
Хрюкало имагинировали?
Чёт кекнул. Впрочем, по крайней мере на шинде та хуитка из коробки не работает, так что ХЗ, ждём дальше.
А не, это я немного имбицильный, ХЗ как, но у меня почему-то стоял торч без куды. В общем кажется оно даже работает.
Может кто нибудь скинуть список моделей всех сегодняшних ботов и их системные требования к количеству видеопамяти и оперативки?
Ловите Надю Форчун для Таверны. Игривая кошкодевочка, которая будет играть и забавляться, нежно лаская. Лёгкий фемдом присутствует. Аватарку прикладываю
https://files.catbox.moe/7maboq.json
https://files.catbox.moe/7maboq.json
Забыл добавить: победите её в драке и она станет послушной девочкой
А таверне добавят StableDiffusion, которая сможет рисовать хентай по описанию пигмы ?
Я слишком тупой, чтобы самому прикрутить это
Я слишком тупой, чтобы самому прикрутить это
форчи конечно заебись но алсо нсфв у лора нквд на рп не гуд, разве что взять нло и фидбекнуть cai про чсв
ахаха смотрите пердедикс порвался
- перекат.
Пишем промпты, стараемся адаптировать их под количество токенов, обсуждаем, какой стиль лучше, ждём софтпромптов для KoboldAI.
https://huggingface.co/PygmalionAI
Что такое PygmalionAI?
PygmalionAI - локально запускаемая нейросеть с открытым исходным кодом, которая специализированна под чатботы. Её сделали выходцы из 4chan (/vt) → (/g). Их мотивация, создать нейросеть, которая свободна от цензуры, в отличии от CharacterAI.
Основа для 6B модели - это GPT-J, которую дотренировали датасетом из собранных дампов с CharacterAI. Отличие от CharacterAI в том, что здесь нет цензуры, а также именно вы храните историю чатов, а не компания. Хоть и модель нейросети в CharacterAI может быть более умной, но фильтр делает её глупее, а также удаляет наиболее вариативные ответы. Однако, память в PygmalionAI намного хуже, чем в CharacterAI, из-за применяемого токенайзера GPT-2, контекст которого ограничивается 2048 токенами.
Отличие обычной версии от экспериментальной в том, что в экспериментальной разработчики вводят самые новые нововведения. Также было замечено, что экспериментальная версия пишет меньший объём текста в одном сообщении, чем в обычной. Для запуска 6B версии необходимо 16 ГБ видеопамяти и 12 ГБ оперативной памяти, однако если запустить с 8-битной точностью, то требования снизятся примерно вдвое, только необходимо иметь видеокарту Nvidia модельного ряда Turing и Ampere. Можно писать боту на русском языке, но это выйдет хуже, чем на CharacterAI.
Нативный PygmalionAI Colab: https://colab.research.google.com/github/PygmalionAI/gradio-ui/blob/master/notebooks/GPU.ipynb
GUI для PygmalionAI:
1.Text generation web UI - попытка сделать что-то похожее на интерфейс для Stable Diffusion от AUTOMATIC1111, только для генерации текста. Поддерживает режим загрузки с 8-битной точностью, также возможно создать свой пресет настроек в текстовом файле или настроить прямо в интерфейсе, также возможно запустить в схожем с CAI интерфейсе. В Колабе выбираем Pygmalion 6B-original-sharded. Поддерживает скрипты на Python, а также умеет работать с карточками из TavernAI. Есть возможность изменить сообщение персонажа, как в TavernAI или в KoboldAI.
https://github.com/oobabooga/text-generation-webui
Colab: https://colab.research.google.com/github/oobabooga/AI-Notebooks/blob/main/Colab-TextGen-GPU.ipynb
Также автор данного интерфейса рекомендует использовать PygmalionAI 6B с самым первым коммитом: https://huggingface.co/PygmalionAI/pygmalion-6b/tree/b8344bb4eb76a437797ad3b19420a13922aaabe1
2. TavernAI - фронтэнд над KoboldAI. Позволяет нативно конвертировать файлы с историей чатов (дампы) из Character AI, однако из-за того, что все истории общения с персонажами хранятся в одном файле, а не в разных, TavernAI будет воспринимать только последний чат с ботом в CAI. Позволяет редактировать сообщение персонажа, как в KoboldAI.
https://github.com/TavernAI/TavernAI
Colab: https://colab.research.google.com/github/TavernAI/TavernAI/blob/main/colab/GPU.ipynb
3. KoboldAI - самый известный интерфейс, который пришёл со времён AI Dungeon. У KoboldAI более другой формат, который сохраняет персонажей и чат в один файл, нежели у Textgen Webui и TavernAI. В Колабе выбираем PygmalionAI. При сохранении, необходимо сохранять в расширении "*.json".
https://github.com/KoboldAI/KoboldAI-Client - Official (Стабильная версия)
https://github.com/henk717/KoboldAI - United (Экспериментальная версия)
Colab KoboldAI GPU: https://colab.research.google.com/github/koboldai/KoboldAI-Client/blob/main/colab/GPU.ipynb
Colab KoboldAI TPU (мест может нехватать так, что лучше использовать GPU): https://colab.research.google.com/github/KoboldAI/KoboldAI-Client/blob/main/colab/TPU.ipynb
Советы: https://rentry.org/2ch-pygma-hints
Полезные ссылки:
Промпты от анонов с 2ch: https://rentry.org/2ch-pygmaprompts
Гайды по установке интерфейсов: https://rentry.org/pygmai-guifaq
Discord, как альтернативный ресурс для промптов:
https://discord.gg/pygmalionai
Создание персонажей для PygmalionAI: https://oobabooga.github.io/character-creator.html
Альтернативный сайт для создания персонажей или их конвертации с CharacterAI: https://zoltanai.github.io/character-editor
Поделиться собственным промптом персонажа: https://catbox.moe или https://paste.ee/
Промпты персонажей: https://rentry.org/pygbotprompts - Более не поддерживается.
FAQ от разработчиков: https://rentry.org/pygmalion-ai
Сайт с промптами персонажей: https://botprompts.net/
Советы по промпту: https://rentry.org/PygTips
Альтернативный гайд по промпту: https://rentry.org/chai-pygmalion-tips/ или https://rentry.org/chai-pygmalion-tips-ru-edition - перевод
Помочь разработчикам: https://github.com/PygmalionAI https://matrix.to/#/#waifu-ai-collaboration-hub:halogen.city?via=halogen.city
Отправить свой дамп из CharacterAI на датасет: https://dump.nopanda.io/
Карточки для TavernAI: https://booru.plus/+pygmalion
Скрипт, который позволяет сохранить историю чатов с CharacterAI: https://github.com/0x000011b/characterai-dumper
Скрипт, который позволяет конвертировать историю чатов с формата CharacterAI на формат PygmalionAI: https://files.catbox.moe/jv54ev.py - Необходимо перетащить файл на скрипт. При этом скрипт сконвертирует дампы из CharacterAI в чаты и промпт персонажа из "Long Description" и "Greetings" в формат PygmalionAI То, что с "chatsave" - это сами чаты, а то что без него - это сам персонаж.
При отправке промпта, необходимо указывать в каком интерфейсе он может использоваться.
Шапка треда: https://rentry.org/2ch-pygma-thread