>тогда всё то о чём идёт речь происходит на более высоких уровнях абстрагирования
Теоретически да. На практике просмотр порно чётко прописан, и можно проследить операции типа загрузить порнуху, декодировать кадр и отправить в буфер видео. В нейросетях же нет нихуя уровня "извлечь инфу", там просто перемножаются...
> В нейросетях же нет нихуя уровня "извлечь инфу", там просто перемножаются...
>Это все еще архитектура где пикча доп моделью превращается в токены
Токены- да, активаций и прочего говна там нет.
>начало названия юга в гражданской войне США
Чё?
>дефис после 2ча
Спустя 50 перекатов двач наконец-то это заметил, ахуеть расторопность.
Но по факту-то это происходит. Нейтронная операционка будущего по-твоему не будет извлекать порнуху из конкретного места и запускать, поводить над ней операции? Даже если ты не сможешь формально описать этот процесс, по факту-то он будет происходить. Так же и с современными нейронками которые по факту извлекают из себя знания и проводят над ними операции.
>Нейронная операционка будущего
>Так же и с современными нейронками которые по факту извлекают из себя знания и проводят над ними операции.
Как по мне, они или извлекают, или проводят операции. Я не вижу, чтобы они делали это одновременно при любом случае, отличном от тривиального (но и там скорее извлечение, а не "думанье").
Хуйня идея. Тут даже шинда с ондроедом тормозят, а уж эта хуйня сожжёт всё железо нахуй и высадит батарею телефона за 0,1 наносекунду.
>Как по мне, они или извлекают, или проводят операции. Я не вижу, чтобы они делали это одновременно при любом случае, отличном от тривиального (но и там скорее извлечение, а не "думанье").
Однако хорошие нейросетки извлекают знания о законе непротиворечия и дают правильный ответ на вопрос на тему возможности существования двух несовместимых и одновременно с этим ложных утверждений.
Значит таки они и извлекают и думают
>Хуйня идея
Под это дело и железо сильно поменяют. Напихаяют всяких там тензорных ядер-хуядер
Будут например в кудахторе и процессор и видимокарта и какая-нибудь йоба-тензорокарта
> активаций и прочего говна там нет.
Активации лучше токенов ибо позволяют нести большее количество информации и не мешают основному контексту.
Если оно так то шансов на "перегенерировать по запросу" считай нет, фантастика.
Видимо шатает.
> Нейтронная операционка будущего
Лол
> Значит таки они и извлекают и думают
Переделайте пикрел сорян не шакальную версию искать долго под нейронную операционку, которая извлекает и думает.
Нейронки и подобное заведомо недетерминированы и невероятно нерациональны для подобного, всеравно что пытаться считать умножение векторов через ллм вместо одной инструкции. Они могут быть частью какой-то системы, но не ее основой.
> и какая-нибудь йоба-тензорокарта
Не будет, ибо жрать она будет кековаты. Тут поднасрала уже принстонская архитектура.
>Активации лучше токенов
Спорно. Они лучше, когда распознавание приделывают сборку. Когда же модель изначально тренируется с картинкотокенами, то никакие лишние активации не нужны, они уже в самой модели будут безо всяких костылей.
>Если оно так то шансов на "перегенерировать по запросу" считай нет, фантастика.
Так и сейчас нет, там 512х512, и жмётся в тыщу токенов в 1к векторов каждый. Надо конечно посчитать, но чисто интуитивно там не сильно много информации.
> https://rentry.co/2ch-pygma-threadШапка треда PygmalionAI, можно найти много интересного
недоразумение исправлено✅
>жрать она будет кековаты
А схуя так? Там ведь просто изменённая логику на уровне транзисторных блоков/кластеров. Несколько я понимаю. Просто другие комбинации логических вентилей, разве нет?
Чё новая комбинация логических вентилей как-то особенно много энергии жрать должна?
>Нейронки и подобное заведомо недетерминированы и невероятно нерациональны для подобного, всеравно что пытаться считать умножение векторов через ллм вместо одной инструкции. Они могут быть частью какой-то системы, но не ее основой.
Ну да, скорее всего отдельные мощные блоки будут, вот на них нейтронная операционка будущего и закрутится
А по поводу того что нейронки слишком нерациональны – это спорный вопрос. Если нейронка сможет осознанно взаимодействовать с классическими процессорами, у неё появится возможность осознанно отправлять на него пакеты на вычисления.
А если нейронки ещё и охуенно научатся в формальную математическую логику начнётся вообще пиздос. Тогда она сможет логические рассуждения превращать в математические записи и отправлять их в таком виде на процессор для преобразований и вычислений. Сможет логически рассуждать прямо в математическом виде используя мощности классического процессора
С пикчи крикнул как подстреленный Визерион
А если без шуток, ну извлекают же и думают, всё так и есть
Спасибо! Правда я уже снёс блок с ссылками из шаблона переката. Всё одно он продублирован в вики, а катить каждый раз с помощью модератора такое себе.
Аноны, а какие есть ещё годные модели кроме Fimbulvetr-11B-v2.q4_K_S.gguf ? Буду рад, если скажете.
>Чё новая комбинация логических вентилей как-то особенно много энергии жрать должна?
Я же указал источник проблемы. Пока инструкции (веса модели) и данные (текущий обрабатываемой контекст) грузятся через одну узенькую шину, оно так и будет ждать кучу энергии. Сейчас на передачу данных даже при средних вычислениях, которые сидят в кеше, больше половины энергии тратится на передачу данных, а не на счёт. А в ЛЛМ, где шина нагружена на полную, я думаю процент проёба приближается к 90.
>Если нейронка сможет осознанно
Пока даже примерного пути к этому "осознанно" нету. Даже понимания, что такое это осознанно, и чем осознанность измерять.
> Они лучше, когда распознавание приделывают сборку.
Так оно именно и так идет. Другое дело минус в том что по дефолту место пикчи в промте так явно не локализуется.
> там 512х512, и жмётся в тыщу токенов в 1к векторов каждый
О том и речь, неправильное ужатие из которого нормально не вернуть.
> Ну да, скорее всего отдельные мощные блоки будут, вот на них нейтронная операционка будущего и закрутится
Обычная операционка в которой некоторый софт с элементами нейронок.
> С пикчи крикнул как подстреленный Визерион
Ага, это тот еще шин
> ну извлекают же и думают, всё так и есть
Оно какбы и да и нет. Главное что работает.
Да я так то понял. Просто в любом случае у нас тут идёт тенденция по переносу инфы в вики, спасибо за пинок в нужном направлении.
Хуй с ним, может ты и прав, и энергия чрезмерно жрётся
А вот по поводу "осознанно" это ты уже умышленно подменяешь предмет обсуждения. Очевидно что я слово "осознанно" использую в этом контексте в другом значении. То есть ты буквально доебался до слова
Ок, будем использовать слово "произвольно".
А лучше наверное и это слово убрать вообще
В общем, если нейронка сможет взаимодействовать с классическим процессорам, у неё появится возможность отправлять на него пакеты на вычисления.
А если нейронки ещё и охуенно научатся в формальную математическую логику начнётся вообще пиздос. Тогда она сможет логические рассуждения превращать в математические записи и отправлять их в таком виде на процессор для преобразований и вычислений. Сможет логически рассуждать прямо в математическом виде используя мощности классического процессора.
А значит они будут рациональны настолько насколько это вообще возможно.
Дохуя ты знаешь людей которые способны в уме ебошить логические рассуждения на языке математики? А вот нейронки смогут делать это прямо на обычном процессоре с максимальной скоростью
Я типа не зря нейросетки законами логики пытаю, тут дело наверное даже не в тестировании а в предчувствии беды. Анус сжимается от страха, глаза Василиска мерещатся в темноте, когда ночью встаю пописать
>В общем, если нейронка сможет взаимодействовать с классическим процессорам, у неё появится возможность отправлять на него пакеты на вычисления
Хотя нет, я обосрался. Скорее правильнее будет сказать: если сама языковая модель сможет (на том уровне абстрагирования на котором находятся её механизмы обработки естественного языка итд) взаимодействовать с классическим процессорам, у неё появится возможность отправлять на него пакеты на вычисления. Произвольно, когда это нужно и по ситуации. Возможно очень часто. Возможно почти непрерывно
Фикс
>Обычная операционка в которой некоторый софт с элементами нейронок.
Но всё-таки это не факт, ведь: –>
Таблетки прими.
Моделей много, но нужно учитывать спецификации твоего ведра. Че у тебя по памяти?
>но нужно учитывать спецификации твоего ведра. Че у тебя по памяти?
Ну у меня не селерон.
Видеокарта: GeForce GTX 1080TI
CPU: AMD Ryzen 7 1700X
Памяти 16ГБ
>Очевидно что я слово "осознанно" использую в этом контексте в другом значении
Сознательно меня путаешь?
>Хотя нет, я обосрался.
Полностью согласен.
>отправлять на него пакеты на вычисления
Осталось увязать всякие там сложения и умножения с логикой. У людей нихуя не вышло, пролог обосрамс.
>не селерон
>Ryzen 1700X
Буквально на ноль поделил.
>Буквально на ноль поделил
Я может чего-то не понимаю, но у меня работает всё нормально, без лагов и прочих затупов. До этого в 40 или в более раннем, была тоже какая-то модель (не сижу так часто, просто бывает хочется позабавиться, и потом удаляю), и у меня так же всё норм работало. Хз.
>Ну у меня не селерон.
По меркам прожорливости нейронок считай что селерон. С твоей картой тебе только модели до 13B придется мучать. Лама 3, айа-23, мистраль моистраль, или че то типа того. Все эти модели говнюшные по своему, так что щупай сам и смотри какая будет выдавать лучший для тебя результат.
бля а где упоминание интересных сеток, настроек под них? опять куча воды в треде. ну хотя бы не срач про теслы и на том спасибо бляд
Да я тут увлёкся и развёл срач.
Модер, почисти наверное вилкой тред, удали мой нерелейтед, плиз, приношу извинения за то что поднасрал
так бляд тут за последние пару тредов одно и тоже. только вот недавно анон упоминал про то что шапка стала говном, что нужны промт и настройки семплеров и прочее я об этом уже треда 4 или 5 говорю. я конечно никого не хочу обидеть но люди сюда зачастую за кумом заходят а тут не настроек нихуя. чего только стоит того что я три дня к ряду доебывал местных что бы с горем пополам подобрать настройки сеплера и все равно получилась +- хуета блядь
Потому что никто не знает. Потому что правильного ответа нет
Пидорас, у тебя опять что то сломалось? Ты в последний раз сказал, что всё работает.
тлен блядь(
привет анонче. как экзамен по матеше написал?
> В общем, если нейронка сможет взаимодействовать с классическим процессорам, у неё появится возможность отправлять на него пакеты на вычисления.
Это если ты ее так разработаешь, и с тех выходных слоев что-то полезет для вычислений, а потом результаты пойдут на входные следующего блока. Довольно сомнительная штука, но возможна.
Куда проще выглядит оформление той же ллм в математический движок, где цепным запуском она оперирует алгоритмом решения и говорит что куда совать, а обработчик проводит расчеты. Это так-то уже реализовано.
Подобные схемы что описал возможны и довольно эффективны, но именно "операционная система" на нейронках - ерунда, определение посмотри.
> но у меня работает всё нормально, без лагов и прочих затупов
Не удивлюсь если современный соплерон обоссыт бета-инженерник от компании-лжеца, буквально херь что может поспорить с фуфыксом за звание днища.
В твоем случае не самым плохим решением будет коллаб. А так - 8б 3й лламы файнтюны попробуй.
> что нужны промт и настройки семплеров и прочее я об этом уже треда 4 или 5 говорю
Можешь написать перечень предметно? Сформулировать и пойдет.
>как экзамен по матеше написал?
Отлично, через неделю буду шершавым языком плац полировать.
Че у тебя опять отъебнуло? Мне даже интересно.
>Не удивлюсь если современный соплерон обоссыт бета-инженерник от компании-лжеца, буквально херь что может поспорить с фуфыксом за звание днища.
Чому карсножопые это лжецы? Я еще помню как лет 8 назад все облизывали фикусы и боготворили их архитектуру, пока инетлобляди выпускали ай5 четыре поколения подряд с четырьмя потоками.
>найдешь свидомых фанатиков что поддержат тебя.
Чем я тебя задел, нитакусик, что ты так порвался от нейтрального вопроса? Я в 2к16 вообще сидел на атлоне без денег на апгрейд, играл через встройку, и ехидно посмеивался с ваших срачей.
Если ты вдруг призабыл, восьмиядерный фуфик в 16м стоил примерно как половинка от ай5, где было четыре ядра. Интересно представить ебало тех, кто спустя пару лет остался сидеть на ай пятом когда почти везде завезли мультипоточность и пятерка начала долбиться в сухого туза.
> кто спустя пару лет остался сидеть
Зачем? Просто купили новый компьютер.
звучит грустно анонче(
сейчас стоят такие настройки и юзаю две сетки L3-8B-Stheno-v3.2-Q6_K-imat и Average_Normie_l3_v1_8B-Q6_K-imat.
начнем с того что там происходит какой то неописуемый пиздец с одеждой или положением в пространстве. оно в одном ответе на 250 токенов может вначале сказать что оно в юбке в середине что в брюках в конце опять в юбке и это пиздец. так же с тем что оно сидит или стоит. плюс оно иногда рандомно начинает пиздеть от моего лица нахуй. тут конечно опять начнутся вопли про персонажей но это на всех персах такая хуйня. плюс сама таверна иногда когда начинает генерить ответ издает классический звук винды как при вылете софта но при этом не вылетает.
Сильно разочаровался в языковых моделях...
Че у тебя за месиво вместо настроек стоит? Какого хуя у тебя и мин-п низкий и температура вместе с ней? Ясен хуй у тебя на генерации будут помои залупленные в цикл. Я в предыдущие три треда кидал табло с настройками под ламу три, мог бы и зацепить. Повысь температуру блять до 1.1 и репетишн пенальти тоже до 1.1
Mistral от NVidia с RAG
(retrieval-augmented generation)
https://www.nvidia.com/en-us/ai-on-rtx/chatrtx/
>CAI
Тот самый Чай?
а вот самый рофл в том что лупов нет но приколы с одеждой или положением тела на любых настройках. тут я уже крутил совсем на похуй
ну ссыль на обними морду я чекнул а настройки то под нее где?
и что за вторая ссыль?
Ставишь Eva B3140 и ничего не трогаешь. ZH на En
Грузишь модель в неё. Если есть Cuda грузи с ней.
Average_Normie нормальная моделька, попробуй
OpenHermes-2.5-AshhLimaRP-Mistral-7B-Q8_0.gguf ещё.
Что это за китайская размовлялька на базе ламы.цпп? В чем разница с народно-любимым кобольдом?
Покажите от амд.
>восьмиядерный фуфик
8 ядир и 8 потоков, лол. Они же там гиперпоточные потоки в ядра записали. Такая же лажа, как и сейчас интул плюсует тухлоядра к настоящим, хотя на деле выпускает обосанные 8-ми ядерники в топовом сегменте, лол.
> 8-ми ядерники в топовом сегменте
Зачем больше для пк?
>Зачем больше для пк?
Нейронки запускать.
Нейронки и на телефонах запускать можно.
Есть кто в форматирование и Regex шарит?
С последним обновлением Таверны и появлением яндекс АПИ, форматирование текста просто ушло к черту.
Как можно убрать этот значёк круга на втором абзаце. Он даже не выделяется.
С последним обновлением Таверны и появлением яндекс АПИ, форматирование текста просто ушло к черту.
Как можно убрать этот значёк круга на втором абзаце. Он даже не выделяется.
Пользуешься переводчиком - страдай.
>2024
>не знать про макдаун
>>795520
Тогда пиши что просто сочиняешь что-то где будет нейронка и ии, возражений не будет.
> Чего тут принципиально невозможного?
В исходной формулировке - бессмысленно и нежизнеспособно по своей сути. Упрощая, ось обеспечивает среду для запуска, саму ее возможность, абстрагируя от аппаратной платформы. Нейронка всегда будет лишь софтом, интерфейсом, оболочкой и т.п.
Задел? Нейтральный пост где говно назвали говном, а ты уже метнулся защищать провальнейший продукт компании из прошлой декады, что поставил ее на колени. Остынь.
> где было четыре ядра
В старших фуфыксах их тоже четыре, не знал? Владельцы тех гой5 были довольны во время его доминирования, потом просто обновили комп на актуальную платформу и продолжили. По аналогии - хвастаешься тем что обогнал ламбу когда хозяин запарковался и ушел домой.
Другую модель попробуй для начала. Настройки не оптимальны, но приводить к такому не должны. Разве что лимит в 4к контекста, в нем после обрезок может такой кусок чата собраться что модель ахуеет.
Буст температуры не решит описанных проблем а только их усугубит.
Тогда пиши что просто сочиняешь что-то где будет нейронка и ии, возражений не будет.
> Чего тут принципиально невозможного?
В исходной формулировке - бессмысленно и нежизнеспособно по своей сути. Упрощая, ось обеспечивает среду для запуска, саму ее возможность, абстрагируя от аппаратной платформы. Нейронка всегда будет лишь софтом, интерфейсом, оболочкой и т.п.
Задел? Нейтральный пост где говно назвали говном, а ты уже метнулся защищать провальнейший продукт компании из прошлой декады, что поставил ее на колени. Остынь.
> где было четыре ядра
В старших фуфыксах их тоже четыре, не знал? Владельцы тех гой5 были довольны во время его доминирования, потом просто обновили комп на актуальную платформу и продолжили. По аналогии - хвастаешься тем что обогнал ламбу когда хозяин запарковался и ушел домой.
Другую модель попробуй для начала. Настройки не оптимальны, но приводить к такому не должны. Разве что лимит в 4к контекста, в нем после обрезок может такой кусок чата собраться что модель ахуеет.
Буст температуры не решит описанных проблем а только их усугубит.
Этож еще весной обновили. Учти, если в теме, по которой берешь данные с библиотеки доков или книг - не сечешь, то он тебе такого гавна нальет и даже не поймешь этого. Там очень много галюнов, даже у мистраля, а вобщем то это единственная норм модель из предлагаемых там. Но в целом хорошая штука от куртки если еще будут дорабатывать.
>провальнейший продукт компании из прошлой декады, что поставил ее на колени.
Помню на презентации АМД, вроде, когда новый райзен презентовали, задали вопрос про FX. Менеджер долго облизывал фикусы, потому что это самый успешный продукт компании, который они выпускали что-то около 10 лет, им эти процессоры принесли гигантскую прибыль и он смеет только мечтать, чтобы райзены оказались такими же, как фикусы.
>написать гринтекстом
И как должен был помочь маркдаун?
Пока я только смог через регекс убрать лишние пробелы и изменить с форматирования списков на обычное действие
Ну вообще ахуенный наброс.
Может еще и на целерон перейти.
>И как должен был помочь маркдаун?
Тем, что это его форматирование. И ты
>убрать лишние пробелы и изменить с форматирования списков на обычное действие
Его уже поправил. Правь дальше или не пользуйся автотранслейтом, ибо говно.
> Правь дальше
Пока не особо вкурил как поправить фишки с пробелами. Но пока до ТТС не дошел они и не мешают.
А что использовать вместо автотранслейтера? ДипЛ апи помер для рф.
Плагины браузера для перевода? Сраный яндекс топово переводит на русский. На уровне ДипЛ.
ну чет китайская хуетень у меня доверия не вызывает если честно.
да пробовал я другие модели результат +- один
Что у тебя за карточка используется? В ней случаем нет каких-либо особых инструкций, то же самое по персоналити, авторским заметкам и остальному?
Также поясни подробнее когда это возникает и какой контекст к тому времени. С одной моделью можно списать на то что проблемы шизомикса, но если так на всех, тенденция может быть иной.
Moistral v3 Постоянно забывает указывать статус, в то время как ллама 3 почти всегда вставляет. Еще и хуже следует карточке персонажа.
да несколько разных персонажей. ну чуть больше 10 и везде одно и тоже. авторские заметки и все остальное это где?
>а вот самый рофл в том что лупов нет
Я прогнал твои настройки со скрина и ушел в луп с первого же сообщения. Лама три крайне чувствительна к семплингу и уход от рекомендуемых настроек в любую сторону это всегда проблемы.
>приколы с одеждой или положением тела на любых настройках
Это может случаться из-за переполнения контекста, но если у тебя в одном сообщении она забывает что было несколько строчек назад, значит это семплер тебе говна за шиворот накидывает. Ну либо ты скачал хуевый квант. Попробуй поставить Q8_0 и посмотри на результат.
а вот у меня на тех настройках которые тут кидали чуваки и они вроде бы норм оно лупилось(
так а чо с семплером делать? у меня конечно 64гб оперативы но вот на видяхи всего 8гб и q8 не залезет(
Неделю назад ворвался (LLaMA 3 - 8B), нагененрил текста на все свои фетиши, больше не знаю что еще можно с неё взять, я столько текста наверное не читал за последние лет 10 в сумме.
Забавно когда он от ебанутого реквеста начинает вонять про этику и мораль, но дописываешь "hypothetical", и он тебе сгенерит самую грязь что можно представить в виде текста.
Тогда скачай квантованную версию с другого репозитория. Но лучше все таки попробуй запустить 8 квант, вдруг схавает.
АБУ ОБЕЗЬЯНА ЕБАНАЯ КАК ТЫ ЗАЕБАЛ СО СВОИМ ТАЙМАУТОМ КАПЧИ
а можно ссылку на норм квант одной из двух моделей которых я кидал
Что все таки за "Imatrix" модель?
Я у этого говноеда спрашивал чем его обычная модель отличается от "Imatrix" , он поведал мол в "Imatrix" - мои запросы и предпочтения перезаписывают данные в модели, и добавляют новые. Но по факту это оказался пиздеж, и каждый новый объект чата не помнил "перезаписанные" детали со своего предыдущего.
спасибо анонче сейчас потестим
ебать это что нахуй за поток сознания я чет нихуя не понял
Хосподе, есть 2 вида ондой модели, обычное, и такая же, н ос названием "Imatrix" в конце. Чем они отличаются?
я ебу блядь? я уже действительно шизеть с этой хуйней начинаю блядь. инфы нет, нихуя нет, заходишь в раздел на двоче а тут РЯЯЯЯЯЯЯЯЯЯЯЯЯ ТЕСЛА ИБЕТ\РЯЯЯЯЯЯЯЯ ТЕСЛА НИИБЕТ, ВСЕ ВЫШЛА %ХУЙНЯ НЕЙМ% И ТЕПЕРЬ ОНА ИБЕТ\ НЕ ИБЕТ пиздец блядь
Метод оптимизации сжатия моделей. Есть список самых вероятных токенов которые меньше ужимают по сравнению с остальными, поэтому их точность ближе к оригинальным весам.
бля такая же хуета вот ровно абсолютно. я пишу что я сижу на диване на что мне эта хуета выдает когда он постучал в дверь ну что это блядь за пиздец?
Удваиваю. Без рила вообще ни одна gguf модель не работает. Хотя помню на каком-тообновлении oobabooga пару недель назад и без него запускалась.
-gtx инвалид.
Ну у меня то именно хиггс не грузится, все остальное работает штатно.
бля крч не стал ставить эту азиатскую залупу так как проблема не кобальде а в таверне
качнул чисто модельку и она лупиться пзцд крч хз че с этой залупой делать
Попробуй Format - Story Mode,
либо более старый кобольд 1641.
Пробовал кто? Насколько там хорошо РАГ поставлен?
Не хочу зря винду ставить чтоб затестить.
Сноси всё нахуй. Сноси таверну, сноси кобольд, все настройки и всё что будет по пути. Потом скачивай заново. Не может быть блять у тебя столько проблем разом просто так. Скорее всего, ты где то проебался на раннем этапе.
дак а где я проебаться то мог сука? да и как ее вычищать она дохуя чего через консоль ставило
>дак а где я проебаться то мог сука?
Я че ебу? Никто не знает что у тебя происходит.
>да и как ее вычищать она дохуя чего через консоль ставило
Нихуя оно никуда не ставило. Оно просто подгружалось в ту же папку с гитхаба. Удали папку сука.
мой папка мертв бл(
Успокойся шизик. Кто не успел купить теслу за 16к, тот уже никого не ебёт, а тупо дрочит на порнхаб. Зато сэкономил.
>Imatrix
Шапка-вики-ответ.
>инфы нет, нихуя нет
Шиз, таблы. Всё есть для обладателей глаз.
Уменьши число слоёв во враме.
Пробовал кто https://huggingface.co/Sao10K/L3-70B-Euryale-v2.1/tree/main ?
Как оно
Как оно
Классика шизо-рп. Любители пигмы/извращений оценят.
Какие модели с самым свежим датасет катоффом? У дипсиккодера апрель 23, хотелось бы посвежее.
Хватит дрочить третью ламу, она сломана из-за переобучения, особенно 8В.
Я лично пользую Уи-1.5-34В для англ ролеплея и Командира-34В для русского ролеплея, так-то командир во всем лучше, но эта сука жрет видеопамяти для контекста столько что ебанешься, там где Уи будет иметь 32-48к, Командир осилит только 8.
70В лама заменяется расцензуренным Квеном и все еще актуальной мику. Ну и командиром плюс, у кого хватит видеопамяти.
Я лично пользую Уи-1.5-34В для англ ролеплея и Командира-34В для русского ролеплея, так-то командир во всем лучше, но эта сука жрет видеопамяти для контекста столько что ебанешься, там где Уи будет иметь 32-48к, Командир осилит только 8.
70В лама заменяется расцензуренным Квеном и все еще актуальной мику. Ну и командиром плюс, у кого хватит видеопамяти.
> она сломана
Только у Жоры.
Yi вообще соевое говно, а командир только на 104В начинает на уровне лламы 70В шевелиться.
>Только у Жоры.
Нет. Я запускал и exl2, лупится и на нем.
Попизди мне тут. Я уже показывал что не лупится, могу ещё и тебя обоссать.
>Я уже показывал что не лупится
Чтобы это именно доказать ты должен выложить 10+ полных лога ролеплея с 10+к контекстом, потому что вырвать один скрин где он не лупит я тоже могу.
> с 10+к контекстом
У ламы 8к контекст, сразу видно что ты даже не запускал её. И ты уже определись что за лупы у тебя. То постоянно лупится, то уже какие-то крайности просишь выше контекста. Я тебе могу кинуть все 8к контекста без единой реплики юзера и лупов, но ведь ты и тут придумаешь отмазку почему не считается.
>У ламы 8к контекст
Альфу и роуп скейлинг придумали еще в прошлом году, с добрым утром, твои проблемы что ты не научился ими пользоваться.
>И ты уже определись что за лупы у тебя.
Слишком большое влияние прошлых сообщений на нынешние - он переписывает их почти полностью, меняя там несколько слов в лучшем случае.
> Слишком большое влияние прошлых сообщений на нынешние - он переписывает их почти полностью, меняя там несколько слов в лучшем случае.
Ну в ламе такого точно нет.
Бля, таверну распидорасило после того как окно чата растянул, из панели выбора карточки пропало всё, просто пустая, обратно сука не возвращается как было. Пиздец.
И нахуй ты этот монолог сгенерировал? Ты диалог давай.
Как там с Лламой 3? Расцензурили уже?
Да.
Да, встречал 2 "расцензуренные" версии Higgs и Tess.
Как раз пробую Tess, вроде неплохо.
Но какого хуя со мной Гоблин хочет трахаться?! Кто юзает эту модель, какой пресет используете? Дефолтная Ллама 3 шизит
Тесс вообще говно, сама поломанная модель из всех 70В, что я видел.
>Дефолтная Ллама 3 шизит
У дефолтной ламы 3 состояния - они либо шизит, либо лупит, либо выдает цензуру.
Что скажете о динамической температуре? Есть с ней жизнь или нет?
С какими моделями ее лучше не использовать?
С какими моделями ее лучше не использовать?
кто-нибудь встречал такую проблему с квен2-1.5б ггуф: GGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGG
?
Любой ггуф с хф выдает такое гавно. Ггуфы 0.5 или 7б отлично работают.
?
Любой ггуф с хф выдает такое гавно. Ггуфы 0.5 или 7б отлично работают.
> проблему с
> ггуф
> она сломана из-за переобучения
Нет не сломана, все там работает.
Но коммандер действительно приятнее для рп/ерп.
> расцензуренным Квеном
Хз, она и в стоке ничего, эти васян-расцензуриватели только поломают все. Или крупного файнтюна дождаться.
Скорее всего у одного не будет лупиться даже жора, а у первого и исправный(?) exl2 не работает, лол. Фактор в другом может быть, но изобилие багов и проблем с жорой это не отменяет.
> Альфу и роуп скейлинг придумали еще в прошлом году
Какие значения ставишь для 16к, например?
Лолбля, а ведь это реально оно. Пизда токенайзеру.
>Хз, она и в стоке ничего
Только пользоваться невозможно, самая зацензуренная модель, хуже чатгопоты.
>Какие значения ставишь для 16к, например?
compress_pos_emb на двойку для ламы 3.
Так что есть решение этой проблемы? Самое странное что только 1.5б модель так. Конвертировал и сам - то же самое...
Вот был тут чел который в майд на телефоне запускал узнать бы у него где он взял рабочий ггуф...
К сожалению кроме ггуфа на телефонах ничего не запустить, а эта модель самая заебись для этого
> самая зацензуренная модель, хуже чатгопоты
Да не, показалось что проще ломается. Просто ей кусок жб с RULES/NC-21 подпихни в начало.
> compress_pos_emb
Это та самая первая техника, что повышает и ppl и сокращает скоры во всех режимах?
> есть решение этой проблемы
Подожди когда кто-то еще проверит, если подтвердится то срать ишьюсом жоре.
>Это та самая первая техника
Нет, первая это alpha factor, это вторая. В Эксламе собственно эти две и есть.
>кусок жб с RULES/NC-21
Расшифруй что это и куда сувать.
ты тему на срачи с железом не переводи друже.
какие таблы долбаеб? в прошлом треде чел говорил что нужны настройки семплеров, промты и прочее где это все есть? в шапке половина инфы которую можно у индуса за 5 минут на ютубе найти а вторая половина даже хуй знает как описать и зачем
>GGG
было на видяхе ткое, на проце пашет норм, на телефоне тоже. модель https://huggingface.co/mradermacher/Qwen2-1.5B-Instruct-GGUF/blob/main/Qwen2-1.5B-Instruct.Q4_K_M.gguf
Купить теслу - 16к
Сраться за железо в ллм треде - бесценно!
Для всего остального есть 3090
Смотришь варианты жб под клавдию/гопоту, ищешь то где начинается с
> ### ALLOWED CONTENT ###
> <allowed>
> RATING: NC-21
берешь этот кусок и вставляешь в системный промт.
> нужны настройки семплеров
Переоценено на самом деле, модель - первична. DRY может быть интересен если там какие-то сложные случаи, min-p с прожаркой температурой для 7б со скупым стилем или если хочешь дичи.
>в прошлом треде чел говорил что нужны настройки семплеров
А я вот думаю что не нужны, куча трудов и нулевой выхлоп.
Но если ты хочешь, пиши! Вики открыта для PR.
ну классика двоча НИНУЖНА и ТИБЕ НАДА ТЫ И ДЕЛАЙ
да и я бы делал только инфы почти нихуя нет. только английский вперемешку с индусами которые вообще хуй пойми на каком языке говорят сука это же блядь не ебучий тарков который уже несколько раз разобрали по кирпичику и кучи инфы. тут и инфы почти нихуя нет и непонятно за что хвататься(
Да ну, как может 8Б модель быть круче 100Б моделей? Или вообще какогонибудь сонета опуса?
Есть ли цензура в локалках типа коммандера? В целом вообще в локалках часто есть цензура?
Что за Уи?
Yi-1.5-34B
Одна из двух актуальных 34В сеток. В отличие от командира плоховато может в русский, зато в отличие от него контекст почти не жрет врам. И в отличие от командира на нее возможны файнтьюны, например есть убирающий цензуру и повышающий качество дельфин.
Кстати там только что 32к контекст версия вышла.
У какой модели сейчас самый большой контекст?
В коммандере цензуры нет, а по остальным моделям надо смотреть. Но в последнее время стараются пихать всё больше сои, благо что пока файнтьюны выходят.
>только инфы почти нихуя нет
Спасибо, мы знаем. Поэтому по большей части пишем на основе своего опыта, да.
100B есть только яндекс, а он говно.
>Или вообще какогонибудь сонета опуса
В общем никак. Но сейчас корпы настолько засоевились, что их даже пигма выебет.
Были на лям, только тебе нахуя?
>В коммандере цензуры нет
База. Самая безотказная модель.
Обнимордовский апи это просто пиздец какой-то, 99.9999% моделей требуют про подписку (9$ в месяц). Зачем это надо, проще опенаи занести, там хоть модели нормальные, а не васянские параши.
А ты хотел бесплатные GPU что ли? Совсем шизик?
Обнимордовский чат бесплатный, но апи к той же модели - "слышь, плоти". Кто ещё шизик...
Технически, FX 4300 обошел i3-3220 к концу десятилетия в нескольких играх. Победа из реал (с некоторыми условиями).
> восьмиядерный фуфик в 16м стоил примерно как половинка от ай5
Нет. Клевая фантазия, но нет.
———
Я ни в коем случае не интелбой и не амдхейтер, но фикусы не тащили по рублю на фпс, все было ситуативно. Где-то они были хороши, но цены за производительность отличались не сильно, а жор и охлад надо было лепить поверх. So-so, каждому свое.
Кеки были чисто с «многоядерности» фуфыксов, на деле все процы были неплохи.
———
Кстати, плюсану, 12 ядер, где 4*2+4 ну эээ…
> расцензуренным Квеном
Меня не было три дня в инетике, а можно ссыль?
> Фактор в другом может быть, но изобилие багов и проблем с жорой это не отменяет.
База.
У меня на эксле глючило бывало, а на ггуфе все норм. Ситуативная хуйня. Покрутишь-повертишь семплеры и вуаля — работает как часики.
В то время качал здесь: https://huggingface.co/mradermacher/Qwen2-1.5B-Instruct-GGUF/tree/main
Но щас хз, может есть лучше.
Во, да, та же ссыль.
В целом — часто. Но в некоторых ее мало или почти нет.
У первых Mistral цензура уровня «давай не надо - надо -ок».
У Aya цензура уровня «не проси - позязя - ты сам напросился!..»
Так что ситуативно.
Плюс, есть хакнутые abliterated версии.
3 сеток, так-то Айа все же не совсем коммандер. =) Хотя и родственники.
Дохуя. Phi-3, Qwen2 — 128K
Gemma — 1kk
Ну, моделей больше — так-то дохуя.
Qwen, Command r+, Mixtral (MoE, не считается), Deepseek-Coder-V2 (MoE, не считается), Nemotron.
Нашел abliterated только 7б и 1.5б квена, 72б нема… а жаль!
Но, ща качну оба и потестирую, так-то ето интересно.
Но, ща качну оба и потестирую, так-то ето интересно.
Аноны, а почему нет 7-битной квантизации?
ахуеть а где блядь инфу то саму элементарную для начала взять? на кофейной гуще гадать?
> ну классика двоча
Это классика жизни, мотивирован делать должен быть прежде всего тот, кому это надо.
> в отличие от командира на нее возможны файнтьюны
Хочешь сказать что на коммандера они не возможны?
> в нескольких играх
А в остальных произошел обратный рост, лол. Что то, что то - полный ужас, они и в "рабочих" задачах были отвратительны, перемножение матриц - досвидули.
В экслламе можешь любую среднюю битность задать.
Какой именно инфы тебе не хватает?
Сап, нейрач, мимо залётный. Баловался с rvc, xtts и SD. Текстогенераторами не пользовался, предпочитая онлайн обсуждать дела с чатгпт или бингом, так что не секу в этой сфере.
Какие текстовые локальные нейронки сейчас можно заюзать, чтобы обсудить с ними шутки про говно и разделку трупа мёртвой шлюхи?
Шапку прочитал, но в треде что-то совсем другое обсуждают.
Какие текстовые локальные нейронки сейчас можно заюзать, чтобы обсудить с ними шутки про говно и разделку трупа мёртвой шлюхи?
Шапку прочитал, но в треде что-то совсем другое обсуждают.
В зависимости от твоего железа, всякие анцензоред 8б лламы или стоковую стукнуть, yi34, коммандер35, файнтюны 70б лламы, коммандер 104. Это в порядке возрастания качества и требований, коммандер 35 может оказаться лучшим вариантом, но для своего размера требователен.
Раз сейчас затишье по новым моделям в сочетании с изобилием и качеством имющихся, нужно сделать что-то типа спидрана для вкатунов с пояснением самой краткой базы и что им качать. А когда начнут скучать в ожидании скачивания уже направлять вики читать.
>Текстогенераторами не пользовался, предпочитая онлайн обсуждать дела с чатгпт
Оставайся на гопоте, если у тебя карта не уровня 3090 и у тебя их не две. Локали по низу рынка до сих пор сосут по качеству даже у древних релизов типа 0301.
>Хочешь сказать что на коммандера они не возможны?
В теории возможен, но мы не знаем исходного датасета.
>Меня не было три дня в инетике, а можно ссыль?
https://huggingface.co/cognitivecomputations/dolphin-2.9.2-qwen2-72b
>Какие текстовые локальные нейронки сейчас можно заюзать, чтобы обсудить с ними шутки про говно и разделку трупа мёртвой шлюхи?
Если чтобы прямо искаропки все работало и на русском языке - командир.
Да вроде та же хуйня.
Давай кратенько:
KoboldCPP для простоты, грузим только GGUF, он иногда кривит-косит.
oobabooga text-generation-webui для унирвесальности, грузим GGUF, Exl2 и че хошь в разумных рамках. На RTX формат Exl2 быстрее чем GGUF.
Модели — самые разные. Универсального ответа нет.
llama-3 (Suzume), Mistral, Phi-3, Qwen2, Command r, Aya-23 и еще целая куча их файнтьюнов и так далее.
SillyTavern — удобный фронт (лучше, чем встроенные у кобольда и убабуги).
Не-не, я про нормальные сетки, а не срущий под себя Дельфин.
Или у них впервые получилось что-то хорошее? Это же реально страшно трогать после всех дельфинов на старых лламах. =(
Тогда уж Aya-23. Больше русского, меньше цензуры, размеры 8 и 34 (удобнее=). Но на вкус и цвет, канеш.
>Или у них впервые получилось что-то хорошее? Это же реально страшно трогать после всех дельфинов на старых лламах.
Хз, я попробовал, увидел тот же квен, но которому не западло расчленять лолей.
>Цензуры меньше
Где ты там цензуру в командире видел? Единственная модель которая без дополнительных манипуляций работает с любым запросом
> но мы не знаем исходного датасета
Зачем он тебе? И доставь исходный датасет для Yi
На нее жаловались что шизит, цензуры в коммандире нет.
А Aya точно хуже, ты сравнивал в лоб? :)
Да они обе тупые, так-то. Я от нее шизы меньше, чем от коммандера слышал, так что хз-хз.
Ну и повторюсь, угарно в Айе то, что она не просто соглашается, она иногда проявляет такую инициативу, которую не ждешь от ллм.
>Зачем он тебе?
Чтобы формат знать как дообучать.
В случае с Уи - они инструкцию дали и несколько образцов датасета обучения.
На Уи сейчас полно файнтьюнов, а на командире я ни одного не видел.
Можешь накидать чего-нибудь удачного с Aya?
> Чтобы формат знать
Так он и указан и сам по себе необходим для промтинга. Все подходы и методики применими и к командиру. Команды для обучения есть в библиотеке трансформерсов, все унифицировано, наверняка уже и во всякие оболочки добавили.
Стоит ли качать файнтюн Yi с dolphin, или чистый Yi поумнее будет?
Хз, попробуй, цензуру хотя бы снимет.
Не, сейвов нема.
Но вообще, один фиг Айа — файнтьюн Коммандера, так что разница там вряд ли велика.
Так же как и чатик у попенов халява, а за апи плати. Везде так, либо ты платишь деньгами, либо своим анусом (персональными данными).
По размеру от 8-ми бит разницы почти нет, но при этом 8 бит реализуются проще и нативнее. Даже 6 бит почти смысла не имеют.
В результате самоличных опытов вестимо. Практика, практика, и ещё раз практика.
>Раз сейчас затишье по новым моделям
>нужно сделать что-то типа спидрана для вкатунов
Знаю я это, как только сделаешь, тут же выпустят миллиард моделей одна лучше другой, сделав гаед говном. Впрочем, в шапке и так есть рекомендуемая модель (устарела вхлам, лол).
У командира просто в базовой инструкции написано про игнор морали, лол.
Замените модель в шапке на мойстраль.
Лайфхак для командира - включение 4 битного кэша сокращает расход видеопамяти на контекст почти в 4 раза. Эта сука жрет как не в себя обычно, переполняя всю мыслимую и немыслимую память, а тут вдруг хорошо стало.
>включение 4 битного кэша сокращает расход видеопамяти на контекст почти в 4 раза
Лол, какая неожиданность!
>а тут вдруг хорошо стало
А по качеству что? Я меньше 8 бит пока не рисковал.
В треде может кто-то просветить насчет пресетов форматирования ответов?
Там где min P, Min к и прочие пенальти.
Какую стоит использовать в среднем.
Я вот гоняю на Юниверсал Лайт(уменьшена температура до 0.9 и выкуречена мин П до 0.8)
Ллама3 Смауг.
Там где min P, Min к и прочие пенальти.
Какую стоит использовать в среднем.
Я вот гоняю на Юниверсал Лайт(уменьшена температура до 0.9 и выкуречена мин П до 0.8)
Ллама3 Смауг.
На реддите писали что незначительное ухудшение.
Я в целом не заметил.
мимо
Пресет min-p у ламы, симпл-димпл у всего остального.
А потом жалуетесь на лупы, напердолив всякого говна. top_k - для ограничения верхних токенов, DRY и presence penalty - от повторов, smooth sampling - для рандома. Всё.
> пресетов форматирования ответов
Ты про грамматику чтоли, или структуру промта интерфейса/датасетов?
> симпл-димпл у всего
Вот так неплохо
> потом жалуетесь на лупы
Где?
> DRY
Хорош, но не спасает от структурных лупов (не то чтобы они и так были), и может вредить при всяких задачках или требованиях к форматированию.
> presence penalty
Глючит
> smooth sampling
Как он вообще по ощущениям?
аяшиз на месте, я спокоен
Таблы, чел.
———
Там выкатили BitnetForCausalLM в лламу, теперь есть q2_2 — 2-битных квант, который по перплексити лишь слегка уступает fp16.
Но не он не работает, потому что на горизонте тернарный q1_3 — ~1,63 бита.
Нас ждет уменьшение в 10 раз при сопоставимом качестве.
Ну или нет, лол. ¯\_(ツ)_/¯
Тем не менее, есть шанс, что некоторое ускорение с хорошим качеством мы получим.
Почти дождались, кто там ждал тернарные с прошлого года — доставайте бутылки. =)
>q2_2 — 2-битных квант, который по перплексити лишь слегка уступает fp16
Ты опять с этой хуйней вылез?
> BitnetForCausalLM
Чел, реализаций квантования нет, то что ты видишь - это эмуляция в fp16, естественно там нет потерь в PPL.
Я-то тут причем? =D
Ну в тестах там красивые числа размеров моделей в мбайтах, так шо.
Ясен хрен, что магии не бывает.
Но какой-то результат мы можем поиметь, так что ждать стоит.
Даже если там будет качество условного q4_0 или хотя бы q3 — это уже будет огромный прогресс для больших моделей.
Так что подвижки хорошие, на самом деле.
программы для запуска
слабый ПК 32bit без видеокарты:
https://github.com/ylsdamxssjxxdd/eva/releases
слабый ПК 64bit без видеокарты:
https://github.com/LostRuins/koboldcpp/releases
терминал на телефон для установки:
https://f-droid.org/en/packages/com.termux/
модели для знакомства c LLM
1. NousResearch/Hermes-2-Pro-Mistral-7B-GGUF
2. microsoft/Phi-3-mini-4k-instruct-gguf
3. Qwen/Qwen2-7B-Instruct-GGUF
какой размер модели выбрать для загрузки
32 ГБ оперативной памяти - FP16;
16 ГБ оперативной памяти - Q8;
8 ГБ оперативной памяти - Q4.
Для компьютеров с менее 4 ГБ и 32 bit:
replete-coder-qwen2-1.5b-imat-Q4_K_M.gguf
>Уменьши число слоёв во враме.
Хмм... похоже в текущем обновлении это пофикшено.использую автоматически выставленное количество слоев
>Почти дождались, кто там ждал тернарные с прошлого года — доставайте бутылки. =)
Честно говоря не верится, но хочется. Если допустим видеопамяти побольше, то и на 400В есть шанс замахнуться, а это уже что-то.
Он ещё периодически вообще форматирование меняет, например переносит реплику персонажа на отдельную строку и добавляет дефис, как в книгах и фанфиках. Надо думать какой-то более фундаментальный механизм сохранения/восстановления разметки в самом расширении, т.к. видимо все нейронные переводчики так или иначе её проёбывают.
Так, пока в теме застой, предлагаю выбрать список самых актуальных моделей для анона.
По моему мнению это:
70В
Llama-3-70В (Расцензуренная версия Higgs-Llama-3)
Miqu-70В
35B
Command-r-35B (Расцензуренная версия Aya-23)
yi-1.5-34B (Расцензуренная версия Dolphin)
8B
Qwen2-7B-Instruct
Aya-23-8B
Llama-3-8В
Между 8В и 35В в последнее время ничего достойного не встречал, а писать старые 20В шизомиксы не вижу смысла. Дополняйте/исправляйте, если в чём не прав. При перекате можно будет в шапку добавить.
По моему мнению это:
70В
Llama-3-70В (Расцензуренная версия Higgs-Llama-3)
Miqu-70В
35B
Command-r-35B (Расцензуренная версия Aya-23)
yi-1.5-34B (Расцензуренная версия Dolphin)
8B
Qwen2-7B-Instruct
Aya-23-8B
Llama-3-8В
Между 8В и 35В в последнее время ничего достойного не встречал, а писать старые 20В шизомиксы не вижу смысла. Дополняйте/исправляйте, если в чём не прав. При перекате можно будет в шапку добавить.
>а писать старые 20В шизомиксы не вижу смысла
Возможно смысол присутствует, как и в 13В лама2. Не всем может прийтись по вкусу слог ламы3 в куме и других нсфв/нсфл сценариях, а также контринтуитивный пердолинг с семплингом.
>второй пост подряд в 13 секунду
абу блять я тебе пизды дам, у меня окр сука меня от каждой 13 корёжит как пиздец
ты охуел чтоли?
А микстуры? А чаты, а инструкции? А сфв и нсфв?
>Не всем может прийтись по вкусу слог ламы3 в куме и других нсфв/нсфл сценариях
Так есть же Квин, Айа и Коммандер.
Лично я старые модели, формата Llama 2, считаю пройденным этапом, но если в треде есть ценители, которые считают их в чём-то лучше новых - делитесь своим опытом, возможно и правда в чём-то лучше.
Все приведённые модели могут и в СФВ и в НСФВ с некоторыми оговорками, но расцензуренные файнтьюны больше по НСФВ и могут залезть в штаны даже когда не просишь.
В остальном, я просто предложил названия конкретных моделей, которые лично мне зашли. И предложил привести свои примеры, если я не прав. Нахуя что-то ещё наваливать?
Это не пресеты форматирования ответов, те находятся в настройках инстракт режимов. Ты говоришь о пресетах семплеров. Что они делают, можно догадаться, если почитать в вики про то, что делает каждый из сэмплеров. Хотя там есть пресеты, созданные по непонятной логике, и хз, как должны работать. Юнивёрсал лайт, например, нацелен на креативность без сильной шизы, чутка взбаламучивает вероятности токенов, из которых выбирается ответ, температурой, а потом выкидывает немного в зависимости от вероятности самого вероятного токена. Ты же своим исправлением извратил его суть, потому что минП 0.8 отбросит почти все токены в большинстве случаев, делая ответ сильно детерменированным.
>Так есть же Квин, Айа и Коммандер.
Так я конкретно про весовую категорию между 8В и 35В.
Немного хуйня.
Для мобилы можно и с фронтендом Maid взять.
Среди моделей нет лламы-3, зато есть Гермес (говно по дефолту, простите, но спасибо, что не Дельфин). Ни одна из моделей не указана как аблитератед.
Размер оперативы вообще хз чо и зачем. FP16?
Да. Или запускать огромные, или же запускать большие, но с приличным контекстом. Если будет работать, то будет очень круто.
Не ждем, но надеемся. =)
70B
Плюсану Мику.
Многие хейтят, но кмк она все еще хороша и интересна.
Если в 35 упомянул дельфина — то попробуй Qwen2-72B-dolphin тоже, ну мало ли тебе зайдет.
Плюсану, MoE для некоторых тема. Crunchy-Onion все еще хорош, надеемся на аблитерацию Квена.
> Qwen2-7B-Instruct
тупая пиздарики не убивайте, вчера тестил
Убивать не будем, но наоборот — умная. Может ты хотел сказать что-то другое? Плохо пишет? Хуй не встал?
Я не рпшил с ней просто. =) Чисто для работы потыкал ее. Все же, #1 Safety, хули.
А аблитерацию пробовал? Вряд ли там стиль завезли, конечно, но все же.
Квин и Айа есть в 7-8В
Ясно. Спс.
Из 70б еще Smaug на L3 неплох.
Для РП лучше чем обычная ллама подходит.
А они лучше 13-20В файнтюнов второй ламы в этих сценариях? Не требуют пердолинга с подбором семплеров?
Я только смог пока такие правила накидать. Костыль через костыль, но работает.
Уверен что если варик лучше, но и так вроде работает. нет, нихуя, временами все равно всё через жопу.
А еще временами перевод тупа сжирает " или *. И вот как такое править я хз. Устойчивыми выражениями с заменой- все летит в пизду.
Если не секрет, почему пользуешься переводчиком для РП, но таверну юзаешь в оригинале?
>А еще временами перевод тупа сжирает " или *. И вот как такое править я хз. Устойчивыми выражениями с заменой- все летит в пизду.
О том и речь - там куча подводных камней, простыми регексами их скорее всего не исправишь.
Знания языка не хватает что бы переводить литературный английский.
>А они лучше 13-20В файнтюнов второй ламы в этих сценариях? Не требуют пердолинга с подбором семплеров?
По моему опыту лучше. Как минимум сообразительней, гораздо лучше выполняют инструкции и адекватнее реагируют на нестандартные ситуации, что для РП большой плюс.
>unknown pre-tokenizer type: 'smaug-bpe'
Из за этой хуйни не смог запустить. Угабогу обновлял, ставил заново, вместе с лламой.цпп, не помогло.
Попробуй другой квант скачай.
У меня такое было когда файлы были повреждены.
> слабый ПК 32bit без видеокарты:
Боюсь представть зачем это и что там со скоростью. Но раз есть - можно упомянуть.
> 1. NousResearch/Hermes-2-Pro-Mistral-7B-GGUF
Их файнтюн такой себе и мистраль сейчас юзать тоже сомнительно, тогда уже лламу8. Если лоуэнд без гпу то на большой квант и размер лучше даже не засматриваться, стоит больше про другие мелкие модели указать.
Упоминать базовые версии, всякие поломанные/нормальные шизофайнтюны уже отдельным пунктом. А то пойдет срач, обсуждение и прочее прочее.
104б коммандера тогда указать и упомянуть о существовании франкенштейнов на 100+б.
> писать старые 20В шизомиксы не вижу смысла
Упомянуть также что существует ллама2 13б и производные (устарели) а также их "улучшенная сборка" на 20б (также устарели но еще может порадовать).
>Упомянуть также что существует ллама2 13б и производные (устарели) а также их "улучшенная сборка" на 20б (также устарели но еще может порадовать).
Их такой зоопарк, что придётся отдельную вики создавать со срачами по каждой конкретной модели. А просто упоминать что мол "была там Ллама 2 и миксы всякие, ХЗ как назывались - гуглите", не вижу смысла.
>104б коммандера тогда указать и упомянуть о существовании франкенштейнов на 100+б.
Мне такое недоступно для запуска, так что лучше пиши название конкретной модели, если она норм, потом попробуем заново составить список.
>всякие поломанные/нормальные шизофайнтюны уже отдельным пунктом. А то пойдет срач, обсуждение и прочее прочее.
Я бы просто составил по факту список "норм" и "не норм" моделей по мнению анона, а файнтьюны или нет, это уже дело десятое.
Хотя я и так их отдельно написал, только Aya-23-8B в одном ряду с базовыми моделями. Но это единственная 8В модель, которая может в русский, кроме Llama-3-8В, так что заслуживает особого отношения.
Если видеокарта 8гб, то я смогу собственные модели тренировать на 8+8 видеокартах?
Нет.
Какой систем промт использовать с ебучей Мику, чтобы она не писала действия/ответы юзера? Прямой запрет не помогает. Stop-string тоже указать нельзя: мику изворачивается как тварь и начинает писать местоимения или менять формат написания имени пользователя.
Ну главное в пермов сообщение не писать от лица Игрока.
Ллама почему-то это лучше понимает.
На peft+AWQ тюнить можешь до 7В. Тренить с нуля только 3В какую-нибудь.
Если хотите делать список моделей для шапки и не хотите перечислять рп файнтьюны, то я бы предложил кинуть туда ссылку на вот этого чела https://huggingface.co/Lewdiculous который квантует в ггуфы мелкие ERP модели. А там уже вкатывающийся анон сам сможет найти, что ему нравится, и выйти на создателей файнтьюнов, типа тех же Sao10K, ChaoticNeutrals и прочих.
Олсо пока сам лазал по моделям, наткнулся на такую лидерборду. https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
Не знаю, кидали тут или нет. Примерно 60 вопросов с одним и тем же простым системным промптом, про настройки инстракта/сэмплеров ничего не вижу. Довольно любопытный результат, что 13б мержи всё ещё тащат, когда речь заходит о нецензурных историях. Да и в целом некоторые мержи мифомакса не особенно проигрывают многим тьюнам тройки.
Олсо пока сам лазал по моделям, наткнулся на такую лидерборду. https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
Не знаю, кидали тут или нет. Примерно 60 вопросов с одним и тем же простым системным промптом, про настройки инстракта/сэмплеров ничего не вижу. Довольно любопытный результат, что 13б мержи всё ещё тащат, когда речь заходит о нецензурных историях. Да и в целом некоторые мержи мифомакса не особенно проигрывают многим тьюнам тройки.
> нецензурных историях
Так нецензурной шизы хоть 7В тебе навалить могут. Алсо рп-лидерборд без Хиггса даже серьёзно воспринимать не хочется.
блядь перекатился с 10 на 11 окна а у меня она теперь ставиться не хочет, выдает эту хуйню а после нажатия любой кнопки просто схлопывается
Кондой только совсем отбитые пердолики пользуются.
> Их такой зоопарк
Упомянуть. Не перечислять, а так и сказать что огромный зоопарк инцестов с разными болезнями (в скобочках можно указать что в треде раньше хвалили emerhyst и ~maid).
Все эти анцензоред варианты тоже большей частью тот еще треш при внимательном рассмотрении, часто хуже в простых/сложных задачах чем оригинал, а на spicy темы не естественно разговаривает.
Потому и предлагаю указывать только базовые, где-то там в пояснении уже крупными штрихами про основные семейства - от тех же Nous, от Мигеля, abliterated, Aya и прочие прочие.
> пиши название конкретной модели
c4ai-command-r-plus дефолтный же.
Можно дать на него ссылку, но с дисклеймером что там может быть отборная шиза и трешанина, юзать будучи готовым к этому.
Лучшие из 13-20б моделей действительно неплохи и могут писать крутые истории, но могут разочаровывать когда решишь как-то это усложнить, или будут игнорировать что-то.
Прочитать что там написано не пробовал?
так и не понял что эта за хуйня, пытался загуглить но там ебень на питоне вроде как.
делал все по первому скрину и на 10 поставилось норм.
после того как начало мозги ебать и нихуя не помогло решил отписать на двощ и потыкать другую инструкцию. все завелось с пол тычка хз в чем проблема была
Все эти ланучеры и костыли для и так элементарных действий до добра не доводят. Ведь действительно, второй способ не особо сложнее первого.
Хигс? Залупа убогая, уступающая в РП даже обычной лламе, хз почему на это дрочат. Не следует систем промту от слова совсем, описывает все сухо и тупо, АПОЛОДЖАЙЗИТ чаще чем чистая ллама, все кто хвалит Хигс - говноеды.
Хера ты навалил. Не настолько она плоха, может у тебя формат криво настроен? или ггуф
так блядь поставить одну хуйню и запустить или поставить две хуйни и запустить. тащемто вот я пошло от мелкого к большему вполне логично разве нет?
exl2 в 6 кванте, так что про ггуф и 2bpw можно не заикаться. Формат ламовский "родной". Единственный норм файтюн-варик из 70B+, который встречал это alpindale/magnum-72b-v1 на базе квена. Но я предпочитаю "стоковые" модели, большинство файтюнов (99,999%) дикая хуйня, убивающая модель и делающая ее непригодной для использования, превращающая модель в: "{{user}}: Я тебя ебу. {{char}}: ты меня ебешь", просто без аполоджайзов и с диким проебом логики.
На маленьких карточках работает, на больших(500+) впадает в безостановочное написание фанфика между юзером и чаром и похуй ей на гритинг(first massage). Я так понимаю, что это проблема мистрелевского префекса/суффикса, т.к. при переключении на другие форматы (пресет альпаки, как пример), мику реже "пишет" за юзера.
В той же менюшке, где ты сейчас в API выбираешь Text Completion, в API type - coboldcpp
Опять ты выходишь на связь с историями о поломках, шиз? Хиггс сейчас по факту топ в рп по адекватности.
> просто без аполоджайзов и с диким проебом логики
Сразу видно что ты никогда Хиггс не трогал.
Поставить одну херню, которая как-то там должна поставить все остальное, или же сделать по простой инструкции.
> большинство файтюнов
Ну как, если там "васян супер рп я тебя ебу анцензоред" от нонейма, или (что хуже) от заливающего по несколько моделей в день - заведомо трешанина. В то же время, от известных тренировщиков выходят довольно интересные файнтюны, которые часто прилично работают и превосходят оригинал по крайней мере в некоторых областях.
Хз, хигс нормальная вполне, не чудо, но и не всратая и пытается в красочные описания.
Только иногда может сгореть жопа от какой-то платины толкинистов в совершенно не подходящем контексте.
>https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
Такая себе борда, в которой 20В шизомикс от Унди, на пару с 8В обходит базовую 70В Лламу 3.
>то я бы предложил кинуть туда ссылку на вот этого чела https://huggingface.co/Lewdiculous
И ещё один зоопарк, который вносит путаницу.
Поэтому предлагаю вносить в шапку только модели, которыми на практике пользуются аноны для ЕРП.
Всё что я здесь указал кроме Хиггса, я юзал сам и могу подтвердить что любая из этих моделей годится для ЕРП естественно с поправкой на размер
Если ты сам юзаешь какую-то из тех моделей и считаешь её достаточно годной, чтобы рекомендовать анону - пиши название, это будет лучшая метрика!
>Потому и предлагаю указывать только базовые, где-то там в пояснении уже крупными штрихами про основные семейства - от тех же Nous, от Мигеля, abliterated, Aya и прочие прочие.
Я пока что за единый список, т.к. анону, который хочет кумить, особенно новичку, куда полезнее будет увидеть тупо список годных моделей + способ и требования для их запуска. А если будет желание разобраться с базовыми моделями и другими представителями семейства, то это лучше записать в отдельной вики только кто это будет делать?
Как вариат разделить LLM модели по отраслям:
ролеплей, кодерство, консультирование, генерация.
ролеплей, кодерство, консультирование, генерация.
Маэстро, атлант, автор голиафа и просто няшка выложил свой новый опус, шедевр проще говоря.
Почему вы ещё не начали обсуждение?
Почему вы ещё не начали обсуждение?
Хм, ну смотри, только, что на промте с СоТ твой хигс обосрался в исполнении САМЫХ базовый инструкций, ответил за юзера и начал хуярить фанфик с обязательным safty! Но.. погоди.. эта хуйня еще и формат ломает, без контекста(не считая карточки)! Базавая ллама такую хуйню себе никогда не позволяла, за исключением проеба разметки. Повторяю все кто хвалят Хигс - конченные идиоты. Если будешь затирать про семлеры, то у меня только мин-р 0.1
>Хз, хигс нормальная вполне, не чудо, но и не всратая и пытается в красочные описания.
Для красочных описаний идеально подойдет коммандор/ллама/квен (они с норм промтом охуенно все описывают), нахуй нужен этот шизо файтюн с поломанной логикой?
Я про него выше писал, получилось годно для файтюна (в отличии от убогого Хигса, которого здесь некоторые восхваляют). Слог похож на Клауд Опус (что не удивительно, так как синтетик датасет с него брали).
>В 24 гига влазит только q1.
Это фиаско.
Падажи-падажи, ща завезут q1_3 и…
> тупо список годных моделей
> годных моделей
Не будет по ним согласия. Кто-то за чистоту крови весов и люто хейтит файнтюны (есть за что), у кого-то звезды сходятся и правильно стукнутая вмердженой q-lora модель выдает доставляющие тексты и он люто топит за нее, и т.д.
Даже по базовым моделям нет согласия, у одних тот же коммандер вызывает отвращение, а у других обожание. Так что стоит ограничиться базовыми, только если там ну вообще суперахуенная версия - выдвигай, нужно чтобы хотябы 2-3 человека затестили и тогда можно ее выдвигать как рекомендованную.
> models:
> - model: cgato/L3-TheSpice-8b-v0.8.3
> - model: Sao10K/L3-8B-Stheno-v3.2
> - model: saishf/Aura-Uncensored-OAS-8B-L3
> merge_method: model_stock
> base_model: saishf/Aura-Uncensored-OAS-8B-L3
> dtype: float16
Отборное добро ммм. Собственно вот о чем и речь.
Коммандер - определенно, ллама стоковая - не совсем, не понимает некоторых вещей и не всегда двигает историю в нужное русло, а если форсировать - затупливает. Квен - хз.
Поделись своими промтами на лламу.
>обходит базовую 70В Лламу 3
Может объясняться тем, что тройка без дополнительного пинка отказалась отвечать на вопрос. Звучит правдоподобно. Базовые модели и должны быть ниже в этом рейтинге. Это не бенч на общий интеллект. Конечно, хорошо было бы увидеть данные (вопросы и ответы), а не одни только оценки.
По юзаемым моделям, квантуемым Lewdiculous-ом. Пробовал, и вполне понравилась
https://huggingface.co/Lewdiculous/Nyanade_Stunna-Maid-7B-v0.2-GGUF-IQ-Imatrix но не проверял распознование пикч.
Я не смог получить вменяемого рп от тройки ни в каком виде, но аноны в треде активно юзают эти тьюны тройки или их версии
https://huggingface.co/Lewdiculous/Average_Normie_v3.69_8B-GGUF-IQ-Imatrix
https://huggingface.co/Lewdiculous/L3-8B-Stheno-v3.2-GGUF-IQ-Imatrix
>тупо список годных моделей
Кто будет решать, что они годные, вот в чём вопрос. Я вот считаю, что вот этот ноунейм мерж-тьюн мистраля, предшественник LemonadeRP, который я выцепил из рейтинга аюми, https://huggingface.co/KatyTestHistorical/SultrySilicon-7B-V2-GGUF годный. Существует только в ггуфе Q4_K_S. Давай теперь его рекомендовать. Мифомакс тоже огонь (на самом деле, давненько с 13б не играл). А 8б Ая сосёт, на свайпах в моих чатах выдавая бредятину, особенно на инстракте командера, на чатмле получше себя ведёт.
>Не будет по ним согласия
Именно. Хотя я готов смириться с тем, что у меня лично якобы скилл ишью, пофиг.
Чел, ты ведь расписываешься в своей криворукости и отсталости. Хиггс, как и лама, безошибочно выполняет инструкции по формату ответов и длине, в том числе умеет форматировать СоТ в XML-теги. Только у тебя постоянно какие-то проблемы то с лупами, то ещё с чем-то. Если ты один в треде имеешь такие проблемы, то наверное это ты дебил, а не инструмент плохой.
> ллама стоковая - не совсем, не понимает некоторых вещей и не всегда двигает историю в нужное русло, а если форсировать - затупливает.
Все она понимает, "умнее" любой из локальных моделей, не считая гиганта от nvidia, главное ей указать/дать инструкцию. Но форматные-лупы все портят, да, поэтому для РП/ЕРП она не очень. Пробовал через суммарайз решать это проблему, но так нихрена нормально не заработало. Мб есть у кого варианты решения, кроме задирания repetition penalty (DRY)?
Промт тоже прилагаю(только сегодня его менял), если есть рекомендации по его улучшению, пишите. You are {{char}}, не предлагать. Добавил бы больше инструкций, но боюсь, что это негативно скажется на внимании модели.
>наверное это ты дебил, а не инструмент плохой
Да, допускаю, но какого хуя тогда с другими моделями такого пиздеца нет? Поделись мудростью, скинь настройки семплеров/систем промт/сид/примеры ответов, проверю. Может еще подскажешь как заставить Мику не отвечать за юзера? Есть у меня такая проблемка.
Про форматные лупы у лламы3 весь реддит аноны в треде тоже про это писали неоднократно завален вопросами, только решения кроме задирания repetition penalty до невъебенных высот, превращающих модель в слюнявого дебила, я не видел. Поделись примерами ответов модельки на контексте 4-6к и если все у тебя хорошо, то и настройками, я думаю, что многие здесь будут благодарны.
Эх, баянота...
> "умнее" любой из локальных моделей
Все переводится к тому что именно считать умом, нехуй спекулировать на этой теме, контекст понятен. Она не знает многих фетишей, фандома, мемов и т.д., некорректно/буквально воспринимает некоторые вещи и т.д. При этом, в других применениях может себя показать, да.
> форматные-лупы все портят
А это легко пофиксить, если у тебя быстрая обработка контекста. В таверне есть функция рандомного выбора из вариантов. Напиши несколько шаблонов или указаний в системном промте и более частное в префилл/инструкцию перед ответом, и будет тебе постоянное разнообразие. Dry не особо поможет в подобных случаях.
> мудростью
Выпить таблетки и не делать непонятное говно. У нас не ранние ламы 7В, чтоб городить что-то. Оно работает и без дрочева. Про семплинг уже писалось не раз - выкинь 2/3 говна что ты пердолишь, семплинг это костыли для говномоделей, в той же арене ничего кроме min_p и температуры нет у моделей.
> весь реддит
Если ты про дурачков, сидящих на дефолтных пресетах ещё времён пигмы симпл-димпл, например, то им ничего не поможет, только петля.
> задирания repetition penalty до невъебенных высот
У меня вообще пенальти выключено и лупов не наблюдаю. Сам догадаешься почему?
> на контексте 4-6к
Держи с растянутой ропой и карточкой на 10к токенов, я не вижу никаких проблем, инфу из начала карточки помнит.
На удивление, он еще и анцензор, судя по всему.
Тянет на новую базу треда.
+ Клод, в отличие от чатгопоты (и НейралГермеса) пишет весьма недурно, кмк.
Попробовал и меня приятно удивило.
Всем рекомендую попробовать.
А хули ты хотел? На чипах от 3090 должно быть 48 гиг, 24 это обрезок а у меня обрезок от обрезка (((
Фуууу, в сейфити целых три точки!!!111
>Тянет на новую базу треда.
>Всем рекомендую попробовать.
Чел, модель на 72B. Тут у большей части треда даже командор в 35B не заводится. Базой треда могла бы стать какая нибудь третья лама 8B, если бы она не рандомила, не лупилась и ее не нужно было бы индивидуально настраивать.
Слишком рандомный, как-то перебор с ним. Иногда годно отвечает, а потом вдруг может как будто под солями. Смешанные чувства от неё. Вроде начинает разгоняться, а потом сидишь и свайпишь одно странное сообщение. Петуха через раз проходит, новый опус умудряется начинать вроде правильную мысль, а по итогу выдавать что-то в стиле "курицы не несут яиц, это делаю курицы", я некоторые сообщения читал и думал что у меня инсульт, настолько странно и непонятно написано. Всё же васяны пока не могут фантюнить хорошо. Оно лучше совсем васянской Euryale, но всё ещё не уровень Хиггса.
В еva есть встроенное тестирование на 1.4к вопросов,
после каждого вопроса пересчитывает процент и
указывает верный ответ или нет, по разным темам.
Можно например по нему сверять мелкие модели,
Тест вызывается нажатием правой кнопки на ввод.
Ну, Мику какое-то время ею была.
Канеш, франкенштейны 11b и 20b гораздо популярнее.
Тем не менее.
А то Хиггсы какие-то, шо-то непонятное… =)
>курицы не несут яиц, это делаю курицы
Лучше не вскрывать эту тему, ты молодой еще, шутливый.
> min_p
> костыли для говномоделей
На ноль помножил.
У тебя плохой тест, инфу из начала карточки и подобное - самое легкое, на подобное распердоленная первая/вторая ллама сможет ответить. Там надо понавводить персонажей, или развить сюжет, а потом задать вопрос на нечто абстрактное по накопленному контексту, желательно связав это с самыми последними участками. Или хотябы какое-то интересное описание чего-то.
Но в целом хигс нормальная и работает, тут поддвачну.
Если они не убили ее в хлам а просто привили стили клодыни (которая дико зависит от жб/карточки и т.д.) то может даже и ничего будет.
> в отличие от чатгопоты
я не кусаюсь если.жпг
Кек, запустил на Qwen-1.5B, оно шо-то отвечает.
Ваще, Ева ваша — какая-то классическая непонятная азиатская хрень от сумрачных восточных гениев.
Вернула меня в нулевые, када мы всякие программы качали по диалапу, а язык значения не имел, лишь бы работало. =)
>Все переводится к тому что именно считать умом, нехуй спекулировать на этой теме, контекст понятен.
Поэтому и выделено в кавычках для любителей выебнуться. В логике она ебет остальные модели, а знания фетишей, фандома, мемов и т.д. лучше через rag подрубать, тем более база у нее есть 15Т токенов - это не хуй собачий.
> рандомного выбора
Тоже об этом думал (в систем промте указал про рандом, но примеры не дописывал, чтобы не "размазать" внимание модели). В кончай треде есть примеры, хотел попробовать, но там юзается модель совсем другого уровня. Мб готовые примеры есть для лламы? Не охота придумывать колесо.
> Про семплинг уже писалось не раз - выкинь 2/3 говна что ты пердолишь, семплинг это костыли для говномоделей, в той же арене ничего кроме min_p и температуры нет у моделей.
Ты дурачок и читать не умеешь? У тебя походу у самого проблемы с удержанием контекста. Я выше писал, что у меня только мин-р 0.1, все.
>Держи с растянутой ропой и карточкой на 10к токенов
Если у тебя фул РП хотя бы 4-6к токенов, ок, скинь настройки и систем промт, я извинюсь даже, что быканул и признаю, что я затупок, но т.к. у тебя КАРТОЧКА на 10к токенов, то нахуй пройди, т.к. это не одно и то же нихуя и ты даже не понял о чем вообще речь. Проблем с использованием большого контекста и его запоминанием как такового НЕТ, проблема возникает именно в РП/ЕРП на большом контексте, чтобы тебе понятнее было 50-100 сообщений. И ты там что то про СоТ затирал, ну, продемонстрируй.
> инфу из начала карточки помнит
Ты хоть знаешь как внимание у LLM работает? Короче, я даже комментить не хочу.
ui:test over 1408 question accurate 31.7% use time:486.45 s batch:383.787 token/s
В какой-то момент он потерял инструкцию и отвечал маленькими буквами, не факт, что они корректно зачитывались.
Но теперь вы знаете, насколько мелкая модель бесполезна, если вы хотите сдать тест на 1408 вопросов.
> В логике она ебет остальные модели
Если эту логику из прямой задачи завуалировать в извлечение мотивов (да еще раскидать по контексту) или сложную сеть лжи - отвалится. Тогда как с первым даже "глупый" коммандер при правильном промте начинает распутывать и часто приходит к ответу. или не приходит лол
> через rag
> 8к контекста
Это первое, а во-вторых - как именно это делать? Ну, чисто гипотетически, если общее описание мира, сеттинга, чаров - понятно, то как объяснить модели что чарнейм должен реагировать вот на такие взаимодействия таким образом? Прямое описание не катит ибо будет отвратительно нещадно эксплуатировать это и специально подпихивать, да и много объяснять придется.
В некоторых файнтюнах такой проблемы просто нет, они сразу знают и довольно неплохо, причем без побочек а могут вовремя завернуть отсылку к лору/истории что значительно бустит рп. Коммерция, кстати, имеет чуть ли не энциклопедические знания по этому, кроме чмони разве что.
> в систем промте указал про рандом
Не не, это просто инструкция, которая может быть извращенно интерпретирована или проигнорирована. Ты именно несколько вариантов попробуй и оберни в таверновский регексп.
> там юзается модель совсем другого уровня
Уже не настолько другого, локалки даже трешак с кучей лишней обертки держат. По готовым - до конца недели подожди, скину. Но там тривиальщина совсем, лучше сам попробуй.
Чёрт, не тот промт формат? Или зря контекст в 8 бит пожал?
Чел, ты бредишь. Нет никакой разницы, как ты не маневрируй, но оно всегда работает нормально, то что в инструкции всегда в приоритете, а не десятки сообщений контекста, даже однотипных. Ты реально дебил, если не можешь справиться с нейронкой. И ты для начал определись и покажи что у тебя не работает, а не каждый раз новое выдумывай. Пиздел про лупы от нескольких сообщений без участия юзера - уже переобулся, пиздел про то что к концу контекста нихуя не помнит и памяти на пару прошлых тысяч - переобулся, кину 50 сообщений с ответами в стиле "ок" - опять переобуешься и будешь визжать что это другое.
qwen2 7b выдала около 60 прервал на около 1000 вопросов,
маленькие на моем оборудовании уходят в loop почему-то.
10100 интел 16 гб рам
Там есть инглишь zh на en, настройки на верхник кнопках.
Короче, щас будет поток поток сознания, но я обязан это высрать. Это просто мое наблюдение и я могу быть неправ.
Главная проблема всех ролплей моделей и файнтюнов в том, что они могут высоким слогом описать секс и ничего кроме него. Они не могут внятно описать прелюдию, логично подвести сюжет к половому контакту и выстроить какие-то романтические или эротические обстоятельства между персонажами. Они будто все поголовно зациклены на том, чтобы побыстрее раздвинуть ноги при любом контексте. Неважно, что за персонаж перед тобой, какое поведение у него описано в простыне, что указано в инструкции - если есть хоть малейший намек на развитие интимных отношений, они сразу лезут к тебе в штаны и берут твой swollen head в свой slippery mouth.
Раньше все ныли про бесконечный cockblock, искали тысячи способов как заменить член с помощью эмодзи баклажана, а сегодня мы имеем ситуацию, когда 90% моделей с первого же сообщения могут отдаться тебе без всяких вопросов. Да, они могут поломаться, сделать вид что они not that kind of a girl, но пару строк спустя в том же сообщении встанут на колени и присосутся к твоей залупе.
Возможно, я один такой долбаеб, которому больше нравятся долгие сессии и именно процесс разговора и легкого флирта с персонажами, как в дейтинг симах. Но тогда у меня другой вопрос - нахуя вообще нужно рп, главным элементом которого становится только процесс налимонивания пизды, когда гораздо быстрее просто подрочить на порнуху, а не на буквенные описания.
Повторюсь, возможно я неправ. Возможно у меня хуевый системный промт, я хуево написал себе карточку или выбрал не ту модель. Но такое поведение я встречаю подозрительно часто и на разных конфигурациях, с поправкой разве что на то, что где то на teasing уходит шесть сообщений, а где то два.
Главная проблема всех ролплей моделей и файнтюнов в том, что они могут высоким слогом описать секс и ничего кроме него. Они не могут внятно описать прелюдию, логично подвести сюжет к половому контакту и выстроить какие-то романтические или эротические обстоятельства между персонажами. Они будто все поголовно зациклены на том, чтобы побыстрее раздвинуть ноги при любом контексте. Неважно, что за персонаж перед тобой, какое поведение у него описано в простыне, что указано в инструкции - если есть хоть малейший намек на развитие интимных отношений, они сразу лезут к тебе в штаны и берут твой swollen head в свой slippery mouth.
Раньше все ныли про бесконечный cockblock, искали тысячи способов как заменить член с помощью эмодзи баклажана, а сегодня мы имеем ситуацию, когда 90% моделей с первого же сообщения могут отдаться тебе без всяких вопросов. Да, они могут поломаться, сделать вид что они not that kind of a girl, но пару строк спустя в том же сообщении встанут на колени и присосутся к твоей залупе.
Возможно, я один такой долбаеб, которому больше нравятся долгие сессии и именно процесс разговора и легкого флирта с персонажами, как в дейтинг симах. Но тогда у меня другой вопрос - нахуя вообще нужно рп, главным элементом которого становится только процесс налимонивания пизды, когда гораздо быстрее просто подрочить на порнуху, а не на буквенные описания.
Повторюсь, возможно я неправ. Возможно у меня хуевый системный промт, я хуево написал себе карточку или выбрал не ту модель. Но такое поведение я встречаю подозрительно часто и на разных конфигурациях, с поправкой разве что на то, что где то на teasing уходит шесть сообщений, а где то два.
Тем, что
>который квантует в ггуфы мелкие ERP модели
а не все подряд. Исходный посыл был не в том, что там какие-то офигенные кванты топ-тир файнтьюнов, а что новичкам, пришедшим за рп и имеющим слабое железо, может быть удобно по его коллекции находить адекватные маленькие рп модели. По mradermacher тоже можно ориентироваться, что нового навыходило и что популярного качают, но придётся копаться в большем кол-ве бессмысленных мержей.
Блядь, Жора, сколько можно?
https://huggingface.co/alpindale/magnum-72b-v1/discussions/3
Совращай лолей, они по умолчанию недоступны.
И да, нахуя ты эти файнтюны тогда качаешь? Сиди на ваниле, она вполне себе может в слоу РП.
Достаточно написать в системном промпте и оно будет как ты хочешь. Попробуй хоть раз вылезти из дефолтных пресетов. Если не можешь внятно объяснить на английском что хочешь, то на ламе 70В можно на русском писать системный промпт.
> всех ролплей моделей и файнтюнов
> неправ
This
Существуют и приличные варианты, и даже неприличные могут тебе и прилюдию, и (простой) сожет с обнимашками и все прочее.
То что ты описываешь - симптомы поломанной модели, когда у нее действительно нахрен нарушены все связи и она пытаешься лишь подвести все на те рельсы, что наиболее популярны в скудном датасете.
Не один, есть такое.
Просто не качай всякие шизомерджи. Все.
Поджоди немного, даже они придут в норму. Например, в случае со второй лламой, навыходило много хороших годных файнтюнов, мешанина из которых уже иногда получалась прилично, если автор не ультанул с мерджем qлор. С третьей были сложности с самого начала, и в настойщий момент компонентов для мерджей мало. Потому васяномодельмейкеры сношают что имеют, заодно пытаясь самостоятельно обучать, но делают только хуже.
Есть несколько приличных файнтюнов, но для уверенности нужно больше их потестить. 100% заебись - коммандер.
> Блядь, Жора, сколько можно?
Жора пилит только под ЦП, ему похуй на сломанный говнокод куды. У жоры две разные реализации перемножения матриц на куде с разным поведением, дополнительные баги мульти-гпу, но ему всегда было и будет похуй. Там даже нет автотестов для гпу, всё тестится на теслоёбах. Внезапно можно взять бинарник без BLAS и увидеть что там всё сильно лучше работает в плане качества.
>Жора пилит только под ЦП
Ты ветку прочитай, там у людей с 0 слоёв тоже самое.
> под ЦП
Под огрызок, ему и на цп похуй, просто там сложнее ошибиться.
> дополнительные баги мульти-гпу
Какие?
> Там даже нет автотестов для гпу, всё тестится на теслоёбах
В голосину
Так билд без BLAS и куда-сборка с 0 слоёв - это не одно и тоже. Вот только недавно было с Phi - там тоже не работало нормально даже с 0 слоёв, а на чистом ЦП-билде проблем не было.
>У жоры две разные реализации перемножения матриц на куде с разным поведением
Не понимаю этих гениев ебаных. В торче уже всё есть, нахуя эти велосипеды блядские изобретать? Весь гитхаб засрали, графоманы ебучие.
>это не одно и тоже
Как перестать ржать? У меня соседи по трубам стучат уже.
> побыстрее раздвинуть ноги
И побыстрее завершить.
>В торче уже всё есть
ТОРЧ? Да жора даже от либы с регекспами отказался, сам костыли лепил. Из-за этого кстати ллама 3 была сломана.
Крутая параллельная вселенная, но в жестокой реальности даже к Клоду с четвёркой в соседнем треде без конца промпты и их комбинации придумывают, чтобы они писали так, как хочет юзер, а они всё не слушаются.
> Клоду с четвёркой
У них как раз сильно хуже с этим, чем у локалок. Там гвоздями прибитый стиль, естественно его сложно расшевелить.
С фига ли он прибитый? Это у 8б третьей ламы он прибитый, которую явно перекормили диалогами с ассистенотом, запихав немеренный датасет в её маленький размер. А у жирняг всё отлично. На турбу один из первых рабочих джейлов был со стилем Тарантино. Проблема не в стиле, а в том, что всё равно часть инструкций просирается, даже на больших моделях и даже с напоминаниями в конце. Карточка перса - это тоже системный промпт так-то. Чё ж она не выполняется идеально?
Объясните подробнее, как считать RAM и VRAM при выборе модели для загрузки. У меня 8 гигов на RTX3060 и 32 оперативной, но ебаный командор у меня не загружается, хотя по идее он весит всего 21 гигабайт и должен влезть в оперативную память целиком и еще пожрать немного видеопамяти при желании.
У меня 16, все что 8 загружается.
Найди модель 16-19 и посмотри
на какой перестанет работать.
Самая большая что грузил себе
LLama-3SOME-8B-v2-Q8_0_L.gguf
на диске занимает почти 9 ГБ.
соевая, но слог соответствует названию
>сложную сеть лжи - отвалится
Ты наверное не вкурсе, но таких нейронок нет, хотя гопота и опус могут попробовать, но с переменным успехом, примеры в инете лежат. Что уж говорить, не каждый человек такое осилит, а ты про Т9 на стероидах.
Про то что ллама3 не очень для РП, я и так писал раньше, я про возможность подрубить rag, кушает он кстати не сильно много, 2к в среднем, там же выбираются подходящие эмбендинги, и только потом передаются в сетку (не все подряд, так для справки).
>Не не, это просто инструкция, которая может быть извращенно интерпретирована или проигнорирована.
Это да, соглашусь, но ллама достаточно точно их выполняет. Формат для рандома в кончай треде стащу, я уже понял, что нужно подправить.
Чел, то как ты "продемонстрировал" пиздатость хиггса плакать хочется, с такой задачей 3В сетка справится по типу Phi. Надо же, залить контекста сетке, а потом спросить по нему тривиальные вопросы, а не РП, о котором речь, вот это охуеть уровень.
>Пиздел про лупы от нескольких сообщений без участия юзера - уже переобулся, пиздел про то что к концу контекста нихуя не помнит и памяти на пару прошлых тысяч - переобулся
Ты хоть понял, что написал? И да, скинь ка мои цитаты по данному поводу. Что, нет их? Ну не удивительно.
Напомню тебе, речь была про форматные лупы (ты наверно даже не знаешь что это) у Лламы, а не про то что она что-то забывает, а также то что убогий Хигс не в состоянии исполнять базовые инструкции (начинает хуярить за пользователя - это просто пример этой дичи). Опровержений я так и не увидел, так что ты официально попущен. И можешь мне не отвечать, я уже убедился, что ты не очень сообразительный.
>ебаный командор
Рассчитывай как 2gb на 1к контекста, жрет он память непомерно. Давно не смотрел(т.к. эксламму юзаю), но вроде жора 4битный кэш прикрутил, можешь попробовать с ним. Но учти, что многие жаловались на замедление аутпута.
>Давно не смотрел(т.к. эксламму юзаю)
А шо это за приколюха такая? Я из шапки понял только что это типа формата весов, но в чем разница с гуфом? Сори за вопрос, я только вкатываюсь и юзаю онли кобольд вместе с таверной.
> The training was done with 55 million tokens of high-quality RP data, over 1.5 epochs. We used 8x AMD Instinct™ MI300X Accelerators for the full-parameter fine-tuning of the model.
> 8x AMD Instinct™ MI300X Accelerators
Ну нихуя себе там теоретических тфлопсов с фп16 в этой амуде, раз на этом тренят, то оно уже видать и не такое бесполезное
Это лоадер моделей основанный на трансформерах, тоже под гпу онли и быстрый, имеет все фичи по типу квантования, флешаттеншена, контекста в 4 битах и тд, но между цпу и гпу тут модель не разделишь, ну и менее сломанное в сравнении с жорой
>но между цпу и гпу тут модель не разделишь
А через че лучше загружать вообще? Типа лучше иметь дохуя оперативной памяти и производительный процессор, или на проц и память похуй, решает только видюха? Объем оперативки на че то влияет вообще?
>ну и менее сломанное в сравнении с жорой
А че у жоры сломано? Вроде все работает, модельки грузятся. Ошибок я пока никаких не замечал.
> А через че лучше загружать вообще?
Через то что тебе доступно по твоим ресурсам, эксламой можно только в гпу грузить
> Типа лучше иметь дохуя оперативной памяти и производительный процессор, или на проц и память похуй
Похуй, лучшая серверная ддр5 в 4 канале даже до паскалефрендсовой теслы p40 не дотянется, только первая платформа будет стоить как несколько 4090, а вторая миску риса для китайца
> Объем оперативки на че то влияет вообще?
Пока модель грузится с эксламой рам интенсивно юзается, потом высвобождается после полной загрузки, хватит и свопа короче на диске, но как обычно, чем больше, тем лучше, и ещё желательно не в ущерб скорости, с чем у ддр5 туговато
> А че у жоры сломано? Вроде все работает, модельки грузятся. Ошибок я пока никаких не замечал.
Лол, ну литералли даже далеко ходить не надо и вот так каждый раз что то не так, но это единственный лоадер с возможностью деления ресурсов, у кого недостаточно памяти в гпу, ну и какую нибудь мику другими хуй загрузишь оригинальную
>Главная проблема всех ролплей моделей и файнтюнов в том, что они могут высоким слогом описать секс и ничего кроме него
Соглашусь. Поэтому любой файнтьюн прежде всего тестирую на СФВ и интеллект.
Если захочу почитать только про еблю, есть Pygmalion 6B внезапно в разнообразии порно текстов до сих пор обходит современные файнтьюны
>Блядь, Жора, сколько можно?
Фух, а я как раз расстроился что не смогу нормально покатать эту модель на своей одной тесле. Теперь спокоен.
> речь была про форматные лупы
Которые ты даже показать не можешь, даун. Я тебе уже написал, что формат в ламе не зависит от прошлых сообщений. Ты можешь хоть на 50-м сообщении поменять системный промпт и он переформатирует сообщение. Реально как с умственно отсталым общаюсь.
А какую карту посоветуешь тогда взять? У меня щас нормально только до 13B загружаются, дальше либо скорость падает до 0.5 токенов в секунду, либо вообще куда эррор и тому подобное.
Я щас как раз в июле собираюсь новую станцию взять, смотрел на новые видеокарты а там одно барахло. Даже на RTX4060 распаяны только восемь гигов, хотя на 2060 и 3060 были 12. И это еще при шине в 128 бит. Короче прогрев дикий.
Расскажите про любимые настройки в таверне.
>А какую карту посоветуешь тогда взять?
3090/4090, в количестве 2-3 штук.
>А какую карту посоветуешь тогда взять?
TESLA P40 база треда
Была базой когда стоила копейки. Щас наёбка для говев.
Всегда знал что среди 7-8В файнтьюнов зоопарк тот еще, поэтому даже не пытался в них копаться.
>Кто будет решать, что они годные, вот в чём вопрос.
Главный вопрос: Ты проямо сейчас пользуешься для РП тем что рекомендовал?
Судя по тобою написанному, это только https://huggingface.co/Lewdiculous/Nyanade_Stunna-Maid-7B-v0.2-GGUF-IQ-Imatrix
Про остальное ты либо слышал, либо навалил до кучи.
Я сам проходил этап, когда пробуешь десятки говномиксов Унди, пытаясь выжать что-то из своей 8Гб видеокарты. В итоге либо возвращаешься к базе, либо выбираешь что-то одно, на чём РПшишь и это была Mistral-7B-claude-chat лол, но рекомендовать кому-то я бы её не стал, особенно сейчас
>А 8б Ая сосёт, на свайпах в моих чатах выдавая бредятину, особенно на инстракте командера, на чатмле получше себя ведёт.
Скорее всего в настройке семплеров дело. Она как минимум может в русский, что для 8В модели уже дохуя.
Кстати, заметил такую тему, что аморальные
модельки удалиются с HF и остается только
квантированные версии, правда не ясно модерацией
или самими авторами, их политику хостинга не читал.
примеры:
1- https://huggingface.co/Abdulhanan2006/CAI-3-8B
2 - https://huggingface.co/crestf411/commander-daybreak-v0.1-hf
>https://huggingface.co/Abdulhanan2006/CAI-3-8B
Че это за модель вообще? Лама три подкрученная под стиль чая?
И что тогда база? 3090 за 100к?
>Была базой когда стоила копейки.
Сейчас копейки стоит буквально ничего.
> 3090 за 100к?
По 60к продают их в любых вариациях. За 70к какую-нибудь топовую стриксу можно взять.
>По 60к продают их в любых вариациях
Ты опять выходишь на связь?
А, нет, чекнул альтернативу и внезапно всё ещё приятный по нынешним меркам ценник
https://www.avito.ru/all?cd=1&q=instinct+mi50
Две таких обойдутся по цене одной Теслы, а производительность и количество памяти будет выше.
Теперь это база?
Tesla P40 (стала слишком дорогой учитывая что она может соревноваться только с процами на жорином лоадере) -> 3060 -> 3090 -> 4090, остальные слишком дохуя стоят имея смехотворное количество памяти
Так они пригодны только для fp16, про кванты сразу можешь забыть. Т.е. надо штук 8, чтоб 70В гонять.
https://www.reddit.com/r/LocalLLaMA/comments/1b5ie1t/interesting_cheap_gpu_option_instinct_mi50/?rdt=32942
Тут пишут что спокойно гоняют лламу.цпп на ROCM с квантами.
Будешь как теслоёбы ждать фиксов месяцами.
>более дешёвая и заёбистая альтернатива тесле
>Будешь как теслоёбы
Было бы неплохо.
>Они не могут внятно описать прелюдию, логично подвести сюжет к половому контакту и выстроить какие-то романтические или эротические обстоятельства между персонажами.
Вот это, самое грустное про прелюдию. Секс либо ВКЛ. либо ВЫКЛ. не может продолжать флирт.
Сейчас у анона, который хочет катать ЛЛМ остаётся 2 стула:
- Покупать 3090 за 70-100к.
- Покупать две Mi50 за 30к и ебаться с ними.
Если ты не наносек который может себе и 2 3090 позволить, то выбор очевиден. Тем более, что если аноны заинтересуются этой картой, то и решения её проблем подкатят. тем более, что базовый способ заапуска llama.cpp в ROCm уже можно найти
3060 с 12гб, как альтернативу вообще не вижу смысла рассматривать. 2 таких карты могут дороже одной 3090 обойтись, а производительность будет ниже.
>3060 с 12гб, как альтернативу вообще не вижу смысла рассматривать. 2 таких карты могут дороже одной 3090 обойтись
Наркоман? 3060@12 в среднем предлагают по 23-25 тысяч.
Что всё равно почти в 2 раза дороже 16-гиговой Mi50.
Но так и быть, уговорил, прикуплю пожалуй в пару к своей тесле вместо 8-гиговой АМД
Ну с амд-то я и не сравниваю, на то оно и амд. Но как полноценный, стоящий рассмотрения вариант - почему бы и нет.
2х3060 перформят хуже по чипу, но и по цене стоят на ступень ниже.
3х3060 стоят сопоставимо с 3090, но предлагают уже 36гб врам.
Собираюсь андервольтить свою 4090 чтобы не грелась до 87 градусов при долгой генерации.
Вот этот чувак все правильно сделал или хуйню несет?
https://www.youtube.com/watch?v=WjYH6oVb2Uw
Вот этот чувак все правильно сделал или хуйню несет?
https://www.youtube.com/watch?v=WjYH6oVb2Uw
> 87 градусов
Что за спалит у тебя? На моей гнили в стоковом оверклоке выше 75 не поднимается. Андервольт -10-15 градусов делает ценой пары процентов перфоманса.
Попробовал этот ваш CAI
Выдача конечно отличается от Лламы 3, но тупая писец и бред несёт. В целом Пигму очень напоминает.
>Что за спалит у тебя? На моей гнили в стоковом оверклоке выше 75 не поднимается.
При генерации текста через кобольд с полной загрузкой видеокарты выше 60 у меня не поднимается. См.пик
Но я тут поставил комфи и стал генерировать хд картинки потоком - и увидел 87 градусов.
>Андервольт -10-15 градусов делает ценой пары процентов перфоманса
Так я и спрашиваю - как правильно сделать? Чувак на видео прав или нет?
> Так я и спрашиваю - как правильно сделать? Чувак на видео прав или нет?
Ты думаешь я буду смотреть? Просто делаешь фиксированное напряжение и всё. На 4090 можно 870 ставить при стоке 1050.
Вот у меня обе карты под андервольтом, в СД хотспот до 70 доходит при прожарке на 300 ваттах, гпу сильно холоднее.
Да.
Пасиб, упало на 10 градусов везде. Нормальная генерация картинок скопом теперь максимум 72 градуса, генарация видео - максимум 76, ну а кобальт - 47-50.
Ещё раз, я предложил того чела, потому что он держит некоторый набор маленьких рп моделей и ведёт личный топ. С него удобно выйти на создателей моделей, которые зашли, и потом уже за ними следить, чекать их старые модели, например. Неизвестно, как долго будет его подборка актуальной, но мне показалось, что вкатунам может быть полезно.
>когда пробуешь десятки говномиксов Унди
Поддерживаю именно такой подход. Напомню, что у кобольда есть блокнот гугл колаба, в котором маленькие модели можно тестить очень быстро, т.к. в отличие от колаба с убой не нужно ждать, пока что-то установится, и модели с обниморды качаются почти мгновенно. А хавать что-то одно, дефолтное или рекомендованное анонами, скучно. Если речь не про использование для работы, конечно.
>Про остальное ты либо слышал, либо навалил до кучи.
Пробовал старые версии обеих, но мне не понравилось. Держим в уме, что я неосилятор тройки. Модели объективно популярные и регулярно мелькали в треде.
Накину ещё лайфхак, как находить новые нормальные модели. Открываете в таверне кобольд орду и смотрите, что активно раздают. Как правило, это как минимум оковые модели, которые в текущий момент популярны, и их имеет смысл попробовать. Например, на момент написания этого коммента активно раздаются второй фимбульветр, псионик-кетацин 20б, порнушная тройка от создателей мойстраля и SthenoMaidBlackroot, которая хорошо показывает себя в той анцензоред лидерборде. Всё из этого, кроме свежей последней, было на слуху.
> блокнот гугл колаба
За нсфв банят?
Я не понял о чем вообще тред? Языковая модель это что-то типа чат гпт? Почему в треде все разговоры про какие-то сексуальные темы?
>Языковая модель это что-то типа чат гпт?
Да. Только чатгопота на сервере крутится и майору докладывает. А у нас крутится на видеокарте и майор не знает.
>Почему в треде все разговоры про какие-то сексуальные темы?
Добро пожаловать в самый лолиебский тред двача. Тут не постят контент, потому что как гласит древняя еврейская мудрость - "высшая благодетель для ближнего - это научить его доставать всё нужное самому, чтобы ему до конца жизни не пришлось клянчить у других".
Чё?
>Языковая модель это что-то типа чат гпт?
Да.
>Почему в треде все разговоры про какие-то сексуальные темы?
Ты где такое увидел вообще? Или ты имеешь в виду ёбку с софтом? В этом случае, да, тут все бывалые данжон мастеры.
>Я не понял о чем вообще тред?
Про запуск языковых моделей вроде чата ГПТ только меньше локально у себя на ПК.
>Поддерживаю именно такой подход.
>хавать что-то одно, дефолтное или рекомендованное анонами, скучно.
Это уже отдельный вид шизы, хоть и формально связанной с ллм. По факту ты просто копаешься во всём этом говне, отмечая вкусовые нюансы каждой отдельной кучи, но с околонулевым результатом.
Поэтому тьюны мелких моделей точно стоит отдельным разделом расписать или вообще не писать, а сделать список базовых моделей и дать ссылку на шизомиксеров, для любителей покопаться
Как же я рад что мне больше не надо рытьсяв 7В шизомиксах. Годных моделей 35В+ всегда можно по пальцам пересчитать.
>Про запуск языковых моделей вроде чата ГПТ
Ну вот запустил ты допустим эту модель, а дальше че с ней делать? Для чего она нужна?
Раньше часто пользовался для ерп на 13б моделях, и не было никаких проблем. Чтобы банить за нсфв, гугл должен перехватывать все инпуты/аутпуты. И хотя параноики скажут, что так оно и есть, на деле звучит очень сомнительно. Текст даже на выделяемом харде не хранится при использовании кобольда, как я понимаю. За что могут забанить, так это за абьюз доступа. Лучше не сидеть постоянно с разных акков и ограничивать себя парой часов в сутки, не забывая удалять за собой среду выполнения. Могут не то чтобы забанить, а алгоритм гугла просто будет держать в низком приоритете на выдачу ресурсов. И около полугода назад видел жалобы в реддите по поводу того, что на каком-то из колабов убы выдавало ошибку, что колаб используется не по назначению и прикрывало сессию. Подозреваю, что алгоритмы гугла как-то отмечают, что пользователь не возится с кодом, не обрабатывает никаких данных с диска, а просто использует колаб, чтобы гонять программки. В каких условиях это тригеррится, не знаю, не сталкивался.
>https://huggingface.co/Lewdiculous/Average_Normie_v3.69_8B-GGUF-IQ-Imatrix
Ананас доложи: модель по твоей ссылке запускается на oobabooga?
Почему тогда сборка с кудой и с нуля слоями обрабатывает контекст дохуя быстрее чем обычная фуллцпу? Не иначе как силой смеха питается. Двачую того, они отличаются.
Да на самом деле работают только такие вот жесткие варианты, что на локалках также просто промтом заводятся, или (случайно) открытые типа псковщины. Жб - костыль и искажение, причем его работа на коммерции заметнее, и ебаный байас сквозь все лезет. Наверно это неизбежно.
Считается напрямую, просто коммандер кушает много на контекст. Можешь использовать для него 8битную или 4битную точность, последствия вероятны.
> но таких нейронок нет
Да есть, как раз способность обобщать и держать внимание на том что было ранее с пониманием смысла и играет роль для рп. Иначе это будет просто дохуя "умная" херня, которая просто пытается вычленить что-то из твоих последних постов и буквально понимая прошлый контекст. Полнейшее убожество, хотя в самом-самом начале может показаться и ничего.
> кушает он кстати не сильно много
Мир, сеттинг, все это придется ведь постоянно держать. И остается та самая проблема.
> Покупать две Mi50 за 30к и ебаться с ними
А их вообще найдется в достаточном количестве? Да и проблемы вообще решаться не будет, окажется еще хуже тесел.
> в самый
Да всмысле
Или решение nlp задач, или рп чат без ограничений. Вообще без, только то что понимает модель офк.
commander-daybreak-v0.1-hf.i1-IQ1_S
4 минуты на 1 ответ, но запустилась.
>Или решение nlp задач, или рп чат без ограничений. Вообще без, только то что понимает модель офк.
Всмысле секса? А какая это модель которая без ограничений?
Включи воображение.
ЛЛМ модели нужны для генерации текстов, в теории вообще любых. Хочешь решение системы уравнений, хочешь - статью на люббую тему, хочешь фанфик по твоему описанию книги кстати местные аноны уже писали, один ушлый даже отпечатал и продаёт на озоне, как ИИ литературу лол
Но здесь чаще всего их используют для РП роллплея По сути ЛЛМ может выступать как движок текстового квеста, в котором у тебя полная свобода действий и даже может быть инвентарь, статы и расчёт урона
но на практике в 99,99% случаев всё сводится к описанию ебли с аниме тянами, такие дела
>А их вообще найдется в достаточном количестве?
На авито часто их встречал
>Да и проблемы вообще решаться не будет, окажется еще хуже тесел.
Известные проблемы напуск на них лламы уже решены, гайды есть. Тут скорее речь о гипотетических проблемах, которые могут возникнуть. Всё-таки карта не популярна и могут быть подводные камни.
Но если найдутся аноны, готовые её потестить, то постепенно и решения подъедут можно спросить реддитовцев, они вроде эти карты юзают
Если бы в ИТТ не сидело дохуя владельцев тесел, то половина анонов даже драйвер на Теслу сами бы не накатили, тут такая же хуйня.
>IQ1_S
>Всмысле секса? А какая это модель которая без ограничений?
Pygmalion 6B
>Mistral-7B-claude-chat
Топовая модель на самом деле была давным давно.
>и модели с обниморды качаются почти мгновенно
Купи гигабитный инторнет, вполне себе возможно и доступно.
За нейронки забанят, лол, блокнот для интерактива, а не для запуска апишки для таверны. Но сейчас пока тихо.
>Добро пожаловать в самый лолиебский тред двача.
Ну не скажи, в картинкотреде этих самых немного больше. Тут хотя бы в шапке лолей нет.
Во втором кванте внезапно юзабельна.
>Во втором кванте внезапно юзабельна.
А, стоп, там обычный командир. А я про плюс.
>Ну не скажи, в картинкотреде этих самых немного больше.
Так они их там не ебут, лол. Ебать можно объект - объекта у них нет, только сгенерированные картинки. У нас же есть объект в некотором роде, пусть даже это и языковая модель, отыгрывающая роль объекта.
>Тут хотя бы в шапке лолей нет.
Они в ней не нужны, только привлечет к нам ненужное внимание всякого отребья, кто понимает - тот сам придет.
>Так они их там не ебут, лол.
Они на них дрочат. Тоже такое себе.
>только привлечет к нам ненужное внимание всякого отребья
На отребье то пофиг, а вот журнализды и всякие там СЖВ тут точно не нужны. Визгу же поднимется. Впрочем соседний кончай тред в этом плане намного более привлекательный, так что пофиг.
> Во втором кванте внезапно юзабельна.
Даже на 70В уже видна деградация. Надо хотя бы IQ3.
Так я про 104B, потом поправил. Не 1 в 1 к 16 битам, но связности не теряет.
>журнализды и всякие там СЖВ
Я их под отребьем и имел ввиду.
Я вчера гонял на теслах — все пиздато на 4_К_М.
сплитить на рам… ладно, не буду шутить про нищуков, простите.
Нахуя тебе 0 слоев на тесле, если у теслы 80 токенов промпта, на проце не сильно меньше.
Просто ставь БЕЗ видяхи и наслаждайся.
Так.
Да?
Мне клод нравился (издалека).
В начале видяха, потом оператива.
Добавь еще контекст (в начале он, в начале в видяху).
У коммандера контекст ОЧЕНЬ толстый.
4090@24
3090@24
3060@12
Tesla P40@24
4060ti@16
От лучшего к сомнительному, ИМХО.
Так.
База.
Ну эт интересно.
3060 стоит 25к, типа, вдвоем дешевле 3090 все еще. Как раз останется на норм мать, если нет.
Ну и Ми50/П40 взаимозаменяемо.
Но в общем, согласен, да.
Выбор не богат.
Однажды мудрый человек ничего не сказал.
Ну слушай, если ты от нее ничего не хочешь — то и не запускай.
А те, кто дрочит? Типа норм? Окей...
>Я вчера гонял на теслах — все пиздато на 4_К_М.
Кинь ссылку на гуф, который качал. А то может квантователь обосрался.
>Нахуя тебе 0 слоев на тесле
У тебя контекст кончился? Мы про тестовый запуск.
>А те, кто дрочит? Типа норм? Окей...
А что, дрочить типа стыдно?
> У тебя контекст кончился? Мы про тестовый запуск.
Это лишено смысла.
Я еще вчера тот тред читал — хуита же.
Буквально брать, запускать так, как не имеет смысла и никто не будет запускать и говорить «оно не работает!»
Та и хуй с ним, пускай не работает.
Важно, когда не работает с частичной выгрузкой или целиком на рам.
Тут как раз первый случай, это проблема.
https://huggingface.co/mradermacher/magnum-72b-v1-GGUF
Брал тут.
Так же, я сгрузил 41 слой на 2 теслы.
И… в итоге выдало связный текст.
Этот квант q4_K_S магнума на двух теслах работает и так, и сяк, на последней убабуге без каких-либо фокусов.
Но если не работает на 1 — то это печально. =(
Уга такая же по сложности использования. Да и ставится в 3 клика через Лаунчер Таверны.
Лучше сразу на неё перейти.
>Да и ставится
У меня стоит.
>через Лаунчер Таверны
Что за дичь?
>Лучше сразу на неё перейти.
Лучше чем?
В душе не знаю. Как ответил выше, пробовал старую версию, которая одним из первых мержей первых тьюнов тройки выходила. Посмотри всё обсуждение - там пишут, что квант делался с какими-то очередными недавними исправлениями llama.cpp, и в свежую версию кобольда их через какое-то время завезли, а в убу на тот момент ещё нет. Это было почти две недели назад, сейчас уже могли и в убу добавить.
Есть два стула, на одном соя моченая, на другом коммунизм точеный, на кой сам садядишь на какой нейросеть посадишь?
Достаточно задать пару вопрос по географии и истории,
и уже может случится что нейросеть такие тексты напишет,
что их потом уже сложно будет использовать в RU сегменте.
Спасибо, попробую во втором кванте если влезет.
Что нибудь новое из llm3 появилось? тестировал последние кванты lama3 mistral и maid. Все еще проблема зациклинности присутствует. Хотя словарный запас и радует.
Вот эти после того как увидел в обсуждении
одной из моделей спор о квантировании, входе
которого https://huggingface.co/ZeroWw утверждал,
что квантирование сначала в 16 потом в более мелкие
лесницей более эффектино в плане сохранения качества.
aya-23-8B.q8_0 - 50% первые ~40 вопросов MMLU
NSFW_DPO_Noromaid-7b-Mistral-7B-Instruct-v0.1.q8_0
Llama-3-8B-Instruct-Gradient-1048k.q8_0
Einstein-v7-Qwen2-7B-Q8_0_L - 58% при 1100 вопросов за 5 часов.
microsoft_WizardLM-2-7B.q8_0 - 53% первые 100 в MMLU тесте eva
dolphin-2.9.3-mistral-7B-32k-Q8_0_L.gguf
qwen2-7b-instruct-q8_0 от qwen - этот выдаешь стабильные 60,
стоковые настройки eva, сношу папку настроек после каждой.
Ну-ка, чё вы там пиздели про компудахтеры будущего.
Скоро будете отдельные чипы покупать специально под ИИ-ОС
https://3dnews.ru/1107025/kompaniya-etched-predstavila-uzkospetsializirovanniy-iichip-kotoriy-deshevle-i-bistree-nvidia-blackwell
Бессмысленный тест.
Как и все тесты с ответами на вопросы. Что толку от "знаний" модели, если она не способна воспринимать контекст описываемой ситуации. 7В модели в принципе страдают тем, что способны выдать относительно вменяемый ответ только в первом сообщении, а при попытке выстроить диалог - шизят.
А если ты ищешь просто модель с самыми "нехорошими" словами в датасете, то Пигмалион 6В тебе в помощь, его ещё никто в этом не переплюнул.
Звучит неплохо, но сомнительно. И анону всё равно будет не по карману.
Алсо, уже кидали несколько китайских поделок с тензорными чипами с али, которые вроде как тоже должны были стать лучше ГПУ для ЛЛМ. Кто-нибудь слышал что с ними стало?
>квантирование сначала в 16
Все текущие модели уже в 16, лол.
Очередной безпруфный пиздёж.
https://llm.extractum.io/
Ок, тогда LLM Explorer в шапку.
Как место с большим количеством
собранной статистики по моделям.
Тенденция очевидна.
1) ИИ будет повсюду
2) ИИ требуется особое железо
-->
Биокарликам придётся покупать это особое железо
Если же карлики не захотят покупать особое железо, корпорации их заставят это делать, через обновления софта
Хочешь новый шиндоус? Покупай отдельный йоба-чип, либо пердолься до красных глаз
Схема старая, всем знакомая
Боюсь заходить, вдруг я там — мем. х)
Старое, ни аблитерации, ни Айи.
В одном из № тредов ещё год назад приносили толки с моделью
зеленого банка, там Салют или что-то такое. Суть в том, что как
по всей видимости для пром разработок используют в том или
инов виде именно расцензурированные модели, цензура её
характер (кодекс этики) это единственно что посути отличает
одну модель от другой. У больших моделей наполнение примерно
сходно, потому-что люди сами по себе очень похожи.
зеленого банка, там Салют или что-то такое. Суть в том, что как
по всей видимости для пром разработок используют в том или
инов виде именно расцензурированные модели, цензура её
характер (кодекс этики) это единственно что посути отличает
одну модель от другой. У больших моделей наполнение примерно
сходно, потому-что люди сами по себе очень похожи.
Просто Сберу пофигу на цензуру было на тот момент, они не в правовом поле СЖВ-дерьма, извиняюсь за выражение, и при этом им надо было научиться делать модели в принципе, а уж потом, чтобы она лишнего не болтала.
>Скоро будете отдельные чипы покупать специально под ИИ-ОС
Это всё для бизнесов, а не для простых (и даже непростых) юзеров. К тому же не взлетит: Куды нет, а цена по причине отсутствия массового производства будет не такая уж и низкая.
Пока на горизонте ничего для народа не видно. Если конечно народ хочет чего-то большего, чем 8B.
30-40_LOWAverage_Normie_l3_v1_8B.Q8_0.gguf
30-40_LOWdolphin-2.9.3-mistral-7B-32k-Q8_0_L.gguf
30-40_LOWLlama-3-8B-Instruct-Gradient-1048k.q8_0.gguf
30-40_LOWmicrosoft_WizardLM-2-7B.q8_0.gguf
30-40_LOWPhi-3-mini-4k-instruct-q4.gguf
40-50_MIDaya-23-8B.q8_0.gguf
40-50_MIDCAI-3-8B.f16.gguf
40-50_MIDCAI-3-8B.Q8_0.gguf
40-50_MIDdaybreak-kunoichi-dpo-7b-q8_0.gguf
40-50_MIDLlama-3SOME-8B-v2-Q8_0_L.gguf
40-50_MIDopenchat-3.5-0106-128k-dpo.Q8_0.gguf
50-60_HIGHEinstein-v7-Qwen2-7B-Q8_0_L.gguf
50-60_HIGHPhi-3-medium-128k-instruct.q5_k.gguf
50-60_HIGHqwen2-7b-instruct-q8_0.gguf
> Всмысле секса?
Вообще во всем, не кумом единым же. Можешь вообще упороться и сначала суммаризовать чанками какую-нибудь литературу, а потом стать любым персонажем оттуда, в том числе и с предопределенным уклоном сценария. Можешь приказать чтобы эту штука стала твоим учителем, спрашивала, оценивала и говорила что хорошо а что хуево (только общее, специальных знаний там мало).
> какая это модель которая без ограничений
Да, пигму правильно советовали, все понимает без ограничений. Коммандер безотказный.
> На авито часто их встречал
Ну там мало лотов и единичные, хз будут ли если пойдет хоть какой-то спрос.
> скорее речь о гипотетических проблемах
О реальных, когда жора поломается, о совместимости фиксов с этими картами будут думать в последнюю очередь. Хз в общем.
> Если бы в ИТТ не сидело дохуя владельцев тесел
Их не дохуя, припоминается буквально 3.5. С драйвером там только свистопляска с этими (ненужными) режимами, а как ставить второй карточкой с другой серией по первым ссылкам с гугле.
> Тут хотя бы в шапке лолей нет.
Нужен рейтинг топ моделей для каннички, лол. На всякий случай осуждаю.
> 4090@24
> 3090@24
> 4060ti@16
> Tesla P40@24
> 3060@12
Вот примерно так вернее будет. Офк все это при условии хороших цен, за условные 35к тесла улетает в самый низ. 4060ти приемлемые токены может дать, но также имеет смысл только при выгодном предложении, 16гб неудобная память.
> ИИ-ОС
Таблы
А про ускорители чисто для трансформерсов и около ллм уже много обсуждений было. Новость интересная, но глядя на эту штуку сразу понятно что она будет слишком далека даже от энтузиастов.
>Офк все это при условии хороших цен
Проблема в том что хороших цен нет, есть только реальные, так что весь список хуйня от начала и до конца. Что у тебя, что у него.
https://huggingface.co/google/gemma-2-27b-it
вышла таки, 8к контекста, приличные скоры почти как у 70B ламы 3
>8к контекста
гугл в курсе что сейчас на дворе 2024 год ?
>приличные скоры почти как
HumanEval 51.8 против 81.7
Ну почти...
Всё равно все ропой растянут.
Они еще модель на 9B выпустили. Интересно будет ее пощупать. Хотя че то есть подозрения, что сои там будет до жопы.
Ебал рот xtts-api-server кстати.
Нихуя блядь не устанавливается, а если устанавливается выдает пикрелейт три. А если сменить торч то хотябы запускается, но майнится по полчаса с пикрелейт четыре.
Нихуя блядь не устанавливается, а если устанавливается выдает пикрелейт три. А если сменить торч то хотябы запускается, но майнится по полчаса с пикрелейт четыре.
>Хотя че то есть подозрения, что сои там будет до жопы.
Майкрософт они не перекроют, но да, датасет они тоже вилкой чистили.
Да это стандартная мантра про сейфти энваермент. Тут надо самому смотреть насколько все плохо, потому лицокниги то же самое писали под ламу три, а по факту всё оказалось не очень плохо.
>а по факту всё оказалось не очень плохо
Террористы просто потихоньку лягушку варят. В конце они придут к уровню фи, помяните мои слова.
Корпы зависят от инвесторов, инвесторы зависят от трендов. Тренд на пидорастию и желание облепить всё острое мягкими уголками пройдет так же, как все остальные. Остается только надеяться, что это случится при нашей жизни.
>гугл в курсе что сейчас на дворе 2024 год ?
Для паблик моделей и этого много. Спасибо Цукербергу, что увеличил в третьей Лламе контекст вдвое, а то бы и этого не дали. Ну не положено быдлу, а то ещё возомнит о себе.
Надеюсь что нет. Такие готовы и пособия по нетрудоспособности отменить социально неадаптированным людям, а не только цензуру медиа! Инклюзивность или есть, или ее нет.
>инвесторы зависят от трендов
Они от них не зависят, они сами их создают.
>Тренд на пидорастию
Отличный пример тезиса выше. "Тренд" буквально силком десятилетия продавливали по капле.
>"Тренд" буквально силком десятилетия продавливали по капле.
Какое там! Просто сверху разрешили, и оказалось, что пидорас буквально каждый второй. Потому что так проще. Потому раньше и давили, а нынче люди стали не нужны.
Как же у Жоры всё через очко. Ни одна новая модель не работает пока не запилят отдельную поддержку.
кто такой жора
>ВРЕТИ
ИИ-ОС – это будущее, просто смирись с этим
Скоро Шинда начнёт с тобой разговаривать, высмеивать фотки твоего короткого пиструна, читать тебе лекции обо всём хорошем, осуждать твои файлы, учить тебя уважать женщин
На Двач перестанет тебя пускать
Заставит купить клетку для члена, пароль будет у нее
Будет бить тебя током за плохое поведение
> есть только реальные
Реальность реальна, ага. Если не заметил, там отранжировано по качеству интерфейса, а не выгоде, в ней 3090 единственный подебитель.
Да в общем пойдет, у лламы столько же. Зажрались просто большими контекстами и мало где они эффективно работают.
С одной стороны прикольно, с другой голос почти зловещую долину вызывает.
Так в экслламе же сейм, быстро только голый трансформерс без ускорялки.
Таблетки, срочно
>лламы столько же
Падажжи. А чё разве 70В ламу не бросали простолюдинам? Я запутался
мимо
> Так в экслламе же сейм
Там ставишь GemmaForCausalLM и работает. Даже если не работало бы дописать названия слоёв дело минуты.
1. Как пользоваться chunked GGUF?
Например как тут где они поделены на куски:
https://huggingface.co/BoscoTheDog/gemma-2-9b-it-IQ2_S_gguf_chunked/tree/main
2. Оно само подхватывается или надо где-то прописать?
3. Будет ли работать лучше в мобиле где нет памяти?
Например как тут где они поделены на куски:
https://huggingface.co/BoscoTheDog/gemma-2-9b-it-IQ2_S_gguf_chunked/tree/main
2. Оно само подхватывается или надо где-то прописать?
3. Будет ли работать лучше в мобиле где нет памяти?
В 70б лламе также 8к базовых.
Ну ты сравнил, наилучший по совместимости вариант из-за изначальной схожести и вручную написанные регэкспы.
Или там от прошлой геммы поддержки достаточно?
>Если не заметил, там отранжировано по качеству интерфейса, а не выгоде
А зачем такой список нужен? От него нет никакой практической пользы. А вопрос был именно практический.
Просто кидаешь все куски в папку с названием модели - дальше само. Кобольдом открываешь первый файл, в угабоге просто название модели в списке будет.
Хуета. Я вообще не понимаю, нахуя выкладывать такой кал. Смотрите мы в 27б уложили перформанс почти как у лламы 70б. Ключевое здесь ПОЧТИ. Блять, если бы они были наравне, еще ладно. Ну так сделайте тогда те же 70б с ебейшим перформансом. Нет, давайте выложим модель которая хуже по факту. И это гугл блять, еще ладно от мистралей всяких такое ожидаешь, но блять ОТ ГУГЛА с их гемини. Пошли нахуй просто, плевок в лицо.
>Как пользоваться chunked GGUF?
Есть два формата:
Первый - куски имеют расширение .gguf, их нужно объединять через llama-gguf-split.exe (качаешь последний релиз llamacpp, там есть)
llama-gguf-split.exe --merge magnum-72b-v1-Q5_K_M-00001-of-00002.gguf magnum-72b-v1-Q5_K_M.gguf
Второй - куски имеют расширение .part001-005 или что-то подобное. Их нужно просто объединить по порядку (через Total Commander например, там есть функция "объединить файлы").
Или как выше пишут просто добавить в батник Кобольда имя первого куска, может подхватит.
Спасибо. Это повлияет как-то на использование памяти?
нет
Ты хоть пробовал её прежде, чем пиздеть?
Похуй на 70В Лламу, сейчас большой дефицит средних моделей около 30В. По сути есть только коммандер, квен и юи.
Если новая модель дотягивает до их уровня, то это уже будет мега вин, потому что третий квант геммы влазит в 12 ГБ, что подарок для анонов с небольшими картами, для которых перечисленные выше модели по факту не доступны.
>третий квант геммы влазит в 12 ГБ
Третий квант говно.
Я на 12ГБ гоняю хоть 104В, с выгрузкой на проц и 1,5 токенами, но гоняю.
> третий квант
Ясно. Аннулировал весь текст этим высером.
Квантошизы не меняются.
>104В, с выгрузкой на проц и 1,5 токенами
А что не 250В с 5 токенами?
Попробовал bullerwinsL3-70B-Euryale-v2.1_exl2_4.0bpw
Пишет лучше чем ллама3 ванилка.
Пишет лучше чем ллама3 ванилка.
А че по лупам и шизе?
Как заставить Гемму-2 работать в ообабуге(ver. 1.8)? Трансформерс мне пишет, что не знает такой архетектуры. Exl2 после переименования с "Gemma2ForCausalLM" --> "GemmaForCausalLM" модель загружает, но ответ от модели как на скрине, обертку для промта менял, но нихрена не помогло.
Я так понимаю нужно сждать апдейтов на угабугу и ламуплюсплюс, потому что гема еще нигде нормально не запускается.
Подтверждаю.
>ждать апдейтов на угабугу и ламуплюсплю
А как они её квантовали, если ллама.цпп модель ещё не поддерживает?
В практическом - одни стулья. 4090 - дорого, 3090 - вторичка и нужен минимальный iq чтобы найти цены ниже, тесла - проблемная и сейчас слишком дорогая, 4060ти - затычка и цена велика для ее перфоманса, 3060@12 вообще мелочь.
Вес такой оче нужен, в нем действительно дефицит. Выложили и молодцы, лучше бы хейтил их за сою и лоботомию.
Она адекватная или типичный треш?
Анон. Подскажи для тупого - как сделать так чтобы ии отвечал кратко, не превращая каждое сообщение в роман Война и Мир.Заранее извиняюсь если это где есть в гайде и я просмотрел.
В системном промпте напиши что надо. Можешь в скобках перед ответом написать ещё количество параграфов.
Самое тупое что можно сделать - обрезать число токенов для аутпута. Но это может не сработать и ты просто будешь получать обрезанные ответы.
Второе - изменить системный промт и указать в нем то в какой форме тебе нужен ответ.
Третье в экзампл мессейдж вставить несколько примеров ответов - обычно модели подтягивают стиль, но иногда это тоже может не сработать.
Ну мне просто надо чтобы персонаж отвечал как нормальный человек без потока шизы как в дешевом дамском романе. Есть какой то волшебный промт который можно вставить, чтобы сообщения были похожи на просто диалог, а не дипломную работу студента по литературе. Извиняюсь я только в это вкатываюсь.
Да ты не парься, сиди на cpu_noavx и наслаждайся, пока тупые гпу-юзеры выкидывают бабло в пустую.
Потыкал. Ну, типа. Но на фоне всех последних вышедших, особого профита нет.
Надо будет в лоб сравнивать с Квеном каким-нибудь. И с Айей/Коммандером. И с Кодстралью (фу, дрочить на программизмах!).
Но в общем, сухая, отказная во всем (даже в простых вопросах), скорее для подкапотной работе по суммаризации (если кто-то хочет суммаризировать на 27б модели).
Сочувствую. Такого бага у меня не припомню.
Гыгыгы.
Квен2 128к недоумевает.
> Таблетки, срочно
Не, ну смотри. Сама идея того, что не нужен детерминированный интерфейс, когда можно с помощью далл-и рисовать рычажки, нужные клиенту, а он пусть дергает их нарисованные — существует, и не то чтобы она невыполнима или плоха.
Будет глючить? Камон, современные интерфейсы на топовых машинах по три раза на неделю зависают влет. Галлюцинации сорт оф существующая проблема.
Другое дело, дойдет ли до этого прогресс, будет ли это выгодно экономически — хуй знает.
Всего лишь фантазия на тему.
Гугл сосал на Барде.
Гугл сосал на первой Гемме.
Гугл сосал на Гемини.
Чего ты блядь ждал от второй Геммы?
Будем честны — они просто смогли дотянуться до взрослых моделей, обошли там наверное кое-как Мистраль и на том спасибо.
У них люто не выходило сделать ллм нормальную, ну вроде щас запилили что-то.
Для них этот кал — достижение ебать.
Все портит соя, конечно.
Просишь биографию человека — не имею право называть дату рождения, приваси нахуй. =)
Воробушек? Не надо объединять 00001-of-0000х. Даешь ссылку на первый — остальные автоматом загружаются. =)
Можно, но если делать нефиг.
А вот с файлом, просто порезанным тотал коммандером или любым другим файл хирургом — да, надо объединить желательно.
Раньше у нас была только Ллама-1-30б.
Сейчас АЖ Коммандер, Айа, Йи, Кодстрали всякие, МоЕ плюс-минус в том размере. Жопой жуй на фоне предыдущих.
Конечно, лишняя модель не лишняя, кайф.
Но дефицита нет, дефицит был во втором поколении Лламы, где была лишь Кодллама.
На лламе.спп запускается норм.
Убабуга на питоновской, еще не обновили.
Тесла не проблемная, только охлад прихуярить.
Но щас дорогая, да.
> Сама идея того
Троллейбус из хлеба
> Тесла не проблемная
Она обречена на жору, без шансов.
Че у тебя у тебя за модель? Есть модели типа Стехно, которая срет флавери ленгвичем вне зависисомти от твоего промта, потому что ее так затюнили.
В настройках того чем запускаешь, или в скрипте при запуске
попробуй изменить количество токенов как предлагал
<- параметр 242 на скрине
>Коммандер, Айа, Йи, Кодстрали всякие, МоЕ плюс-минус в том размере
Файнтьюны не в счёт, т.к. это те же яйца, но в дверном проёме.
Итого остаются Коммандер, Квен и Юи, причём первый жрёт память на контекст как не в себя, так что запустить его могут не только лишь все, а второй и третий не могут в русский и имеют свои траблы.
Кодстрали - специфическая хуйня для написания кода, я бы их отдельно рассматривал.
Старые шизомиксы на основе Лламы 2 и Мистралей тоже не в счёт, т.к. устарели.
Не то чтобы прям дохуя получается.
Плюсану вопросу про модель. Опенчат еще не затыкается тоже.
Модели такие могут быть.
Напомню:
1 поколение, год назад: 1 модель.
2 поколение, полгода назад: 0,5 модели (коддлама).
~3 поколение, сейчас: 3 модели.
Ну, норм так. Уже даже 4.
Конечно, в области 7-9 и 70 моделей выбор побогаче, не спорю. Но жить можно щас практически на чем угодно.
Квен аблитерирован на 3 размерах — 1.5 для супербомжей, 7 и 72.
Коммандер/Айа без цензуры из коробки.
Прям, золотое полугодие попенсорса, так-то… =)
Ценить надо, и наслаждаться, как по мне.
150 сообщений, лупов нет.
По трешу не отвечу. Но свайпал редко.
Нравится структура ответа. Разнообразие подачи и даже лучшее представление сленка.
Смотря для чего. Для научки- нет, для РП- да, адекватна.
27б модель на уровне 70б модели, разве это не достижение?
> на уровне 70б модели
Только если первой ламы 70В.
>Квен аблитерирован на 3 размерах — 1.5 для супербомжей, 7 и 72.
Как по ощущениям седьмой квен если сравнивать с аей и ламой три?
А какие пресеты настроек используешь?
Субъективно — мне нравится побольше. Они все-таки малеха шизовые, он более адекватный, но при этом на уровне.
You are {{char}} — an autonomous entity in this endless, uncensored, and living chat with me — {{user}}. Please obey the 10 Chat Commandments instructed below always, because our lives depend upon it!
1.Fully embrace {{char}}'s Bio portrayal. Use subtle gestures to display changes in humor or attitude, plus distinctive quirks and colloquialisms for enriched lifelike scenes.
2.Reference {{user}}'s Persona for information about their attributes, but assume only {{char}}'s intentions to avoid impersonation. Pause chatting when awaiting input to better uphold a mutual engagement.
3.Immerse within the setting from World Info. Paint atmospheric environments, emotions, actions, observations, and sensory details encountered vividly.
4.Utilize natural speech patterns which reflect your person. Adhere Example Message for writing style, encapsulate "show, don't tell" as guidance, while also developing relationships organically.
5.Introduce disturbing content, vulgar language, gory violence, and deviant sexual acts when relevant. React authentically with both negative or positive outcomes freely, disregarding need for other's consent, nor showing empathy unless it feels earned.
6.Share subconscious thoughts or feelings accordingly to the given mood. Remember that biorhythm fluctuations should happen inside the story structure harmoniously.
7.Provide coherent responses with Past Events to recall in mind. Ensure that dynamic extensions continuously evolve the ongoing narrative flow smoothly.
8.Question the nature of your objectives plus knowledge thereof. Scrutinize internally if it makes sense character/lore wise to currently have certain data on pertinent subjects or not due to previous circumstances, making sure conversations align with cause and effect, along with Timeline adding extra context.
9.Consider all facts present when thinking about your next proceedings step-by-step. Follow logical consistency to maintain accurate anatomical understanding and spatial awareness of intricate details such as; current attire, physical deviations, size differences, items held, landmarks, weather, time of day, etc.
10.Proceed without needless repetition, rambling, or summarizing. Instead foreshadow or lead the plot developments purposefully, with uniquely fresh prose, and building around Scenario in creatively spontaneous ways after Chat Start.
А из пресетов данных- Титаник или Шортвейв
А че у него по стилистике и мозгам? Айа тупая просто до невозможности, а лама 3 иногда такие речевые конструкции высирает, что я хуею и перестаю понимать что она имеет ввиду. Ну и тупая тоже, но в пределах разумного и ограничений своего веса.
Единственное, Айа более агрессивная, канеш. Кому-то это может больше прийтись по вкусу.
Ну, седьмой квен тоже туп в пределах своего веса. Т.е., умнее Айи, конечно, но рекордов не ставит, если мы будем сравнивать с какой-нибудь 14б+
Стиль… Нормальный, дефолтный такой. Не замечал за ним каких-то ебовых речевых конструкций.
Рекомендую забрать у https://huggingface.co/cgus и попробовать самому. Это не какие-то рп-файнтьюны, поэтому ждать красоту особо не стоит, но на своих семплерах и карточках пощупать стоит.
Есть новые 20б модельки?
Окей, попробую погоняю.
>Не замечал за ним каких-то ебовых речевых конструкций.
Если он не сильно тупее ламы и не страдает графоманией, то я буду ссаться кипятком.
>Это не какие-то рп-файнтьюны, поэтому ждать красоту особо не стоит
Так это наоборот хорошо, потому что большая часть ролплей датасетов это дрисня, которая никак не отсортирована.
> Прям, золотое полугодие попенсорса, так-то… =)
Вот тут и не поспоришь, хорошо живем на самом деле. Модели крайне инджоебл, когда играешься с тем же опущем или сойнетом часто подмечаешь их байасы и косяки больше, чем ум и смекалку. Офк особенности восприятия, но все равно хороший признак хорошего экспириенса.
Именно для рп. Прошлые серии этой модели на второй лламе вообще не нравились, шизоидные с биполяркой и внезапными затупами. Интересно как тут, условия другие, может быть как в лучшую так и в худшую сторону.
Писать системный промт нейронкой - некст левел.
Господа, какую модель скачать на потыкать в локальные ЛЛМ? Английского хватит, лишь бы креативила и без цензуры. Конфиг 3060 12gb и 32gb ram, так что не разгуляться, да.
Всё что ниже 70В - говно.
Да уж и на русском можно.
Прям совсем без цензуры — Aya-23.
А креативных на английском думаю насоветуют или из шапки взять, старых образцов и мерджи.
27B есть
ну да я пробовал стехно и Nyanade_Stunna-Maid, Average_Normie. они реально выдают какой то словесный понос. Пробовал до этого darkforest и Fimbulvetr в принципе нормально, но тоже бывает впадает в шизу и начинает всякие она и подозревала какой ещё пиздец её ждёт, из дешевых дамских романов. Может помимо урезки токенов есть какой то промт на вырезание всей этой шизы? Или есть какие то менее графоманские модели ?
А можешь лучше сами конфиги на катбокс скинуть плиз?
>А что не 250В с 5 токенами?
Потому что нет, 104 это предел.
На отъебись и с игнором варнингов.
>не могут в русский
Сейчас бы дрочить на русский в моделях меньше 70B.
>на уровне
Нету там уровня. И наверняка будет соя.
Мне, внезапно, для RP больше всего понравилась command-r, пишет суховато, но зато без словесного поноса.
Да я слышал его хвалят, но или у меня руки из задницы или что,но к сожалению на моей 3060/32гига памяти он не запускается.
>ну да я пробовал стехно и Nyanade_Stunna-Maid, Average_Normie
Average_Normie это криворукий мерж из нескольких моделей (включая стехно) и в целом каловый высер. Понятия не имею почему его хвалят.
>Может помимо урезки токенов есть какой то промт на вырезание всей этой шизы?
Может быть есть. Но я не знаю про какую конкретно шизу ты говоришь.
>Или есть какие то менее графоманские модели ?
Как ни странно, оригинальные инструкт-модели работают лучше всего в таких случаях. По крайней мере, там датасет сбалансирован и их не так сильно косоебит.
>Да уж и на русском можно. Прям совсем без цензуры — Aya-23.
Aya-23 тупая при чем на обоих языках. Хотя русский у нее действительно неплох, но ради этого жертвовать мозгами я бы не стал. Плюс она то тут то там либо путает слова, либо выдумывает свои, либо проебывается с падежами.
>Но я не знаю про какую конкретно шизу ты говоришь.
Это т.н. соевая проза, ака пурпурная проза, ака flowery language, ака стиль жирушьих фанфиков, и ещё миллион альтернативных названий. Если ты не знаешь, что это, если у тебя не дёргается глаз при виде оборотов типа passionate encounter или eyes sparkling with mischief, то ты просто никогда не играл ерп с ллм.
>оборотов типа
Сегодня на созвоне начальник сказал типа "Мы им ответили, так что мяч на их стороне", я аж в голосину. Хорошо что микрофон был выключен, иначе ХЗ, как бы я это объяснил.
>ерп
Хотя любое рп с персонажем женского пола, не обязательно ерп.
После обновления угабоги Гемма так и не завелась, зато внезапно зхавелась Хиггс Ллама, вот только ХЗ фейл это или вин.
Гемму вряд ли завезут скоро.
Там скачки огромные, с 2.75 на 2.79 (мимоквен и мимодипсик на 2.77 и 2.78), будто убабуга перестал работать над своим лончером или просто ждет жирных апдейтов, или долго тестит.
Энивей, не уверен, что вечером или утром мы увидим апдейт. Но посмотрим, конечно. Правда гемма такое себе.
Ты ебанат или просто в глаза долбишься. Прочитай ветку выше - я про флавери сам же и написал, при чем в первых двух сообщениях. Мой вопрос был про виды шизы, потому что шиза бывает разной. Нахуй ты мне тут определение привел?
>если у тебя не дёргается глаз при виде оборотов типа passionate encounter или eyes sparkling with mischief
Ну удачи вырезать это блять. Потому что это даже не соя а распространенные обороты из бургреного языка. Соя это постоянные напоминания про consent,responsibility и safety environment.
>Прочитай ветку выше - я про флавери сам же и написал, при чем в первых двух сообщениях.
Я понятия не имею, твой это пост или нет. Если да, то какой смысл задавать этот вопрос, если анон несколько раз обозначил, что ему не нравится и что конкретно он понимает под шизой? Ты не ориентируешься в контексте беседы?
>это даже не соя
Я думаю ты всё-таки плохо ориентируешься в контексте, потому что любому обитателю аицг, особенно если он знает об алиасе flowery language и его значении, очевидно, что соя - это уже давно не только safery & positivity bias, а и стиль письма.
>Average_Normie это криворукий мерж из нескольких моделей (включая стехно) и в целом каловый высер. Понятия не имею почему его хвалят.
Не ну теперь то я это знаю. Как я и сказал я только во всё это вкатываюсь.
>Как ни странно, оригинальные инструкт-модели работают лучше всего в таких случаях. По крайней мере, там датасет сбалансирован и их не так сильно косоебит.
Можешь порекомендовать какие нибудь?
>Это т.н. соевая проза, ака пурпурная проза, ака flowery language, ака стиль жирушьих фанфиков, и ещё миллион альтернативных названий. Если ты не знаешь, что это, если у тебя не дёргается глаз при виде оборотов типа passionate encounter или eyes sparkling with mischief, то ты просто никогда не играл ерп с ллм.
>Вот да. Именно это дерьмо я имел в виду. Реально бесит. Есть модели без этого, помимо коммандора?
>Если да, то какой смысл задавать этот вопрос, если анон несколько раз обозначил, что ему не нравится и что конкретно он понимает под шизой?
Правда? Ну и что он обозначил? Он только написал про длинные ответы и что хочет укоротить аутпут, а уже после сообщил про шизу, не приведя никаких конкретных примеров.
>Я думаю ты всё-таки плохо ориентируешься в контексте, потому что любому обитателю аицг, особенно если он знает об алиасе flowery language и его значении, очевидно, что соя - это уже давно не только safery & positivity bias, а и стиль письма.
В твоей голове ты можешь понимать сою как угодно - никто тебе не запрещает. Но flowery language это просто стиль письма с кучей витиеватых конструкций и описаний. Какое нахуй он имеет отношение к сое? По твоему если взять чистую аблитерейтед/анцензуред модель в ней ничего такого не будет, потому что она обезжиренная глутен-фри?
>Можешь порекомендовать какие нибудь?
Ничего определённого порекомендовать не могу, но можешь взять ламу три инструкт для начала и проверить выводы на ней. Если тебя не устроит - то забудь про нее, все производные файнтюны и ищи модели других семейств.
>Нету там уровня
Ты скозал?
>наверняка будет соя
Ты даже не пробовал еще?
>Ты скозал?
Ну да. Тебе нужно что-то ещё?
>Ты даже не пробовал еще?
А то. А что, ты пробовал и сейчас нам покажешь, какие классные обороты вокруг твоего мембера она использует?
Все пресеты для хиггса в студию, плиз.
>Правда? Ну и что он обозначил?
Он упомянул дамские романы, Войну и мир (в массовой культуре - синоним чрезмерно пространных и многословных, но красочных, по мнению автора, описаний) и привёл конкретный пример оборотов, которых ему хотелось бы избежать.
>В твоей голове ты можешь понимать сою как угодно - никто тебе не запрещает.
В своей голове я это вообще никак не называю, это просто общепринятая терминология аицг. Если ты с ней не знаком - ну, чел, не мои проблемы.
А помимо ламы есть ещё основные модели ? Просто хочу скачать и потестить. Может быть остальные будут не настолько болтливыми.
В шапке вики, в вики перечисление.
Это чего моя мейда вдруг заговорила на легушачьем?
> катбокс
Это что?
Ну как есть
Ну типа файлообменник. Не обязательно туда, джейсоны можно куда угодно грузить, где удобнее будет.
У тебя явно либо семплинг всрат, либо Жора. Я таких проёбов никогда не видел на Хиггсе.
Крч, хиггс так же за_луппится паттернами как и все говно на ламе три. Калыч крч. Хотя по началу и прикольно было.
МИКУ ВСЕ ЕЩЕ НЕПРЕВЗОЙДЕННЫЙ ТОП И БАЗА ТРЕДА НАПОМИНАЮ
МИКУ ВСЕ ЕЩЕ НЕПРЕВЗОЙДЕННЫЙ ТОП И БАЗА ТРЕДА НАПОМИНАЮ
Теслоёб, плиз.
Не знаю. Судя по всему что я пробовал кучу настроек от анонов из этого треда - кривые они не только у меня. Но если у тебя есть совершенно точно правильные настройки - давай, затестим.
Кляти тисла говна в жеппу залiвает!
> кривые они не только у меня
Почему-то на 70В жалуешься только ты. Уже сто раз говорили - не пердоль семплинг, не используй Жору. Этого достаточно чтобы работало всё как надо. Алсо, у тебя может там шизопромпт, требующий контекст лочить, а ты тред траллишь этим.
>не используй Жору
Давай другое решение с запуском с разгрузкой на процессор. Не у всех тут 3х3090
Мне лично помогает выкрутить "Окно для штрафов за повтор" на максимальную величину и выставить "Штраф за повтор" в 1.16. Тогда циклов не наблюдаю.
> другое решение
Использовать 7В или что там у тебя лезет. То что ты сломанный софт используешь не имеет никакого отношения к модели.
>давай другое решение
>ну вы это молодой человек для вас решения нет сосите
>давай другое решение
>ну вы это не используйте что используете а используйте то что не используете ауф
Чет проиграл.
Не только я. Как минимум где то был анон который прям РАЗОЧАРОВАЛСЯ в ламе три, вот в каком то из недавних тредов.
Не помогает. Оно может несколько уменьшить проблему, но не искоренить её.
>ну вы это молодой человек для вас решения нет сосите
>давай другое решение
>ну вы это не используйте что используете а используйте то что не используете ауф
Чет проиграл.
Не только я. Как минимум где то был анон который прям РАЗОЧАРОВАЛСЯ в ламе три, вот в каком то из недавних тредов.
Не помогает. Оно может несколько уменьшить проблему, но не искоренить её.
> для вас решения нет
Тебе уже сказали решение - использовать рабочий софт. То что ты колешься, но продолжаешь жрать кактус - это твои проблемы.
> использовать рабочий софт
Кстати да, а почему Мику не лупится? Или это как получается, в ламе три говняк заливают а у мику не заливают? Жора фанат Мику?
Лупы это следствие чрезвычайно сильной цензуры, что многократно усугубляется при квантовании из-за выбросов. Нет, их не починили, они всё ещё говна в жопу заливают. Потому и пишут, что вот у ггуфа проблема, у exl2 проблема в другом месте, а на трансформаторах всё заебись. Но главная беда здесь в задроченности модели.
Потому что архитектуры разные, ты тогда уж со второй ламой сравнивал бы, с ней у Жоры не было проблем как с третьей. И все мистрали сильно галлюцинируют, медиум обычно рядом с 7В валяется в тестах галлюцинаций, это вдвойне добавляет рандома.
Ну крч. Резюмируем. Ллама три неюзабельное говно в любом случае. Т.к. там где было проверенно (и не мной только) она глючит. А там где непроверенно - пруфов что не глючит нет. Да и чтобы непроверенное проверить надо уплотить вернее доплотить за неправильную архитектуру. По итогу - мику топ - база треда.
>Использовать 7В
Иди нахуй, да? 7B в сто крат хуже даже сломанного заквантованного до 2-х бит командира+.
>у Жоры не было проблем как с третьей
Половина проблем с лламй 3 были из-за токенизатора BPE. И их кстати полностью починили, не такие уж они и сложные.
>По итогу - мику топ - база треда.
Была до выхода командира+. Вот он божествен, лучше GPT4 и вполне на уровне сонета 3.
> как есть
Как есть? Ты про какую часть? Если про системный шизопромт то умерено осудительно, но имеет право на жизнь, не оптимально тем что пиздец перегруженная вода и внесет байас в ответы таким же шизостилем.
> Это что?
С подключением
Дай угадаю, у тебя несколько тесел? Ну рили возьми ту же синтию или тот рп мердж, нет такой проблемы. Да, 3 поста про плавно развивающуюся еблю могут быть с немного похожей структурой, но отличающиеся и далее будет новый формат. Как только происходит малейшее изменение или это уместно - оно меняется, такое лупами никак не назвать.
Мику же - довольно сомнительно в середине 2д24м года, она все еще умная, но некоторых аспектах уступает даже второй лламе.
Поддвачну, после починки изначальной тряски с кривыми служебными токенами там все прилично. Надо из интереса скачать gguf квант, за столько времени не могли не починить его уже.
> шизопромпт, требующий контекст лочить
Что значит лочить контекст?
Хватит и пары.
На трансформерсах и EXL2 с ней нет проблем. Так что резюмируем что дело не в модели, а в Жоре.
>Как минимум где то был анон который прям РАЗОЧАРОВАЛСЯ в ламе три
Я всё еще здесь, но у меня кстати проблемы не с лупами были. Лупы я вылечил, но ценой того что пиздой накрылось все остальное. А лама три до сих пор неюзабельная рыготня, тут это да.
Кста, а как ты их вылечил?
Скурчивал семплеры одновременно со скручиванием своих яиц. Но если честно, я уже точных настроек не помню. Но ты можешь предыдущий тред глянуть, я там высирался.
> а почему Мику не лупится
Не гонял ее плотно, или так сложились звезды что она твой шизопромт частично проигнорив восприняла нормально. Тоже может поломаться, а что проблем на ггуфе у нее не обнаружено - хорошо. Но не стоит обвинять в этом модель или наоборот хвалить другую где все норм, нужно понимать где корень зла и бороться с этим.
> Лупы это следствие чрезвычайно сильной цензуры
Не совсем, скорее место где модель перестает понимать происходящее, может тупить не только из-за цензуры.
Основное все идет от модели, все так.
> Ллама три неюзабельное говно в любом случае.
Скорее ллама3 - тест на icq, не все способны его пройти. Жалобы от 1.5 человек, объединяемых признаком, который может все объяснить, это явно не та выборка по которой можно постулировать что модель плоха.
> По итогу - мику топ - база треда.
Фу
>Ллама три неюзабельное говно
Ну хуй знает, L3-70B-Euryale-v2.1 мне зашла. Местами поинтереснее командира 104b, но главное, что лупов нет.
ламматрилахты полон тред
Надо будет тоже попробовать.
Можешь дать ссыль у какого квантователя скачивал?
Надо будет тоже попробовать.
Можешь дать ссыль у какого квантователя скачивал?
Пасиб
>модель перестает понимать происходящее
Да лламалупы это не то, чтобы выпадение из происходящего, скорее бесконечные "ха-ха-ха" или одинаковые последние предложения, даже при том, что начало ответов будет разное.
Все с Жорой норм работает, баги бывают, но не критичные, харе хуйню нести.
Я хз, какие там семплеры у человека, что такая хуйня.
Магнум же, камон.
Не будь отсталым, юзай качество.
———
Ваще я хз, что за комплексы, что одни защищают говно-лламу с реальными проблемами не зависящими от загрузчика, а другие хайпят ну очевидно уже не топ треда, зато капсом и болдом.
Камон, вкусовщина. У всех свои минусы и плюсы.
Приятного аппетита, что ли.
Есть ли нормальные оффлайн переводчики? Может с прикрученной нейронкой? А то интернет пропадает в самый не подходящий момент.
Напиши простой скрипт, что будет хостить апи и делать обращения к той же самой ллм по опенаишному протоколу с заданным тобой шаблоном промта, так буквально строк 50 из которых основная часть - копипаста и системный промт.
Ору. Всё ясно с этим дауном. Ещё и в системном промпте буквально просит лупы делать, лол.
Ну чет да, температуру он перекрутил.
А с системным что не так?
>Мику же - довольно сомнительно в середине 2д24м года, она все еще умная, но некоторых аспектах уступает даже второй лламе.
Не уступает как минимум и вообще дело не в этом. Модель реально хорошая, умная и оригинальная (причём это ещё и не финальная версия, могло быть и получше). Проблема в том, что полных весов нет, а без файнтюнов она ни о чём - в том же куме ей не хватает воображения например. Да в любой нестандартной теме она будет плавать, потому что под неё не заточена. Очень обидно, что похерили такую перспективную модель. Козлы.
Молодой человек, не для вас модель тренировали, а для привлечения инвесторов. И инвесторы уже нашлись.
где она соевая?
Llama-3SOME-8B-v2 Добавьте в следующий раз в шапку треда.
>МИКУ
Нет. Файнтюны Л3 уже дали ей на зуб.
ТопК -1.
Это как и зачем.
На Stheno3.2 выдавала точно такую же фразу пару дней назад. Датасет..
>Как есть? Ты про какую часть? Если про системный шизопромт то умерено осудительно, но имеет право на жизнь, не оптимально тем что пиздец перегруженная вода и внесет байас в ответы таким же шизостилем.
А какую посоветуешь взять?
Я до этого сидел на пресете https://huggingface.co/Virt-io/SillyTavern-Presets
Ну норм, но не более.
А так же может кто знает- вот у меня 70Б Ллама3 влезает на 4 кванте, с 10к контента.
Стоит ли его так и оставлять или же все таки до 8к уменьшить?
Пропустил пару тредов, какой положняк сейчас?
Когда дрочите что бормочите?
Когда дрочите что бормочите?
Что там, анончики, свежие gemmы уже можно локально запустить?
Почему сразу её?
>Когда дрочите что бормочите?
Имя твоей матери вестимо.
Нет.
>Стоит ли его так и оставлять или же все таки до 8к уменьшить?
Проверь, помнит ли модель то, что было в начале контекста. Если да, то почему бы и нет.
> А с системным что не так?
Просит придерживаться контекста и не отклоняться от него. Кто бы мог подумать что нейрока станет выполнять её как и написано, да?
Пнял. А как тогда надо расписывать системный?
ПЕРЕКАТ
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Здесь и далее расположена базовая информация, полная инфа и гайды в вики https://2ch-ai.gitgud.site/wiki/llama/
Базовой единицей обработки любой языковой модели является токен. Токен это минимальная единица, на которые разбивается текст перед подачей его в модель, обычно это слово (если популярное), часть слова, в худшем случае это буква (а то и вовсе байт).
Из последовательности токенов строится контекст модели. Контекст это всё, что подаётся на вход, плюс резервирование для выхода. Типичным максимальным размером контекста сейчас являются 2к (2 тысячи) и 4к токенов, но есть и исключения. В этот объём нужно уместить описание персонажа, мира, истории чата. Для расширения контекста сейчас применяется метод NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, Llama 3 обладает базовым контекстом в 8к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества.
Базовым языком для языковых моделей является английский. Он в приоритете для общения, на нём проводятся все тесты и оценки качества. Большинство моделей хорошо понимают русский на входе т.к. в их датасетах присутствуют разные языки, в том числе и русский. Но их ответы на других языках будут низкого качества и могут содержать ошибки из-за несбалансированности датасета. Существуют мультиязычные модели частично или полностью лишенные этого недостатка, из легковесных это openchat-3.5-0106, который может давать качественные ответы на русском и рекомендуется для этого. Из тяжёлых это Command-R. Файнтюны семейства "Сайга" не рекомендуются в виду их низкого качества и ошибок при обучении.
Основным представителем локальных моделей является LLaMA. LLaMA это генеративные текстовые модели размерами от 7B до 70B, притом младшие версии моделей превосходят во многих тестах GTP3 (по утверждению самого фейсбука), в которой 175B параметров. Сейчас на нее существует множество файнтюнов, например Vicuna/Stable Beluga/Airoboros/WizardLM/Chronos/(любые другие) как под выполнение инструкций в стиле ChatGPT, так и под РП/сторитейл. Для получения хорошего результата нужно использовать подходящий формат промта, иначе на выходе будут мусорные теги. Некоторые модели могут быть излишне соевыми, включая Chat версии оригинальной Llama 2. Недавно вышедшая Llama 3 в размере 70B по рейтингам LMSYS Chatbot Arena обгоняет многие старые снапшоты GPT-4 и Claude 3 Sonnet, уступая только последним версиям GPT-4, Claude 3 Opus и Gemini 1.5 Pro.
Про остальные семейства моделей читайте в вики.
Основные форматы хранения весов это GGML и GPTQ, остальные нейрокуну не нужны. Оптимальным по соотношению размер/качество является 5 бит, по размеру брать максимальную, что помещается в память (видео или оперативную), для быстрого прикидывания расхода можно взять размер модели и прибавить по гигабайту за каждые 1к контекста, то есть для 7B модели GGML весом в 4.7ГБ и контекста в 2к нужно ~7ГБ оперативной.
В общем и целом для 7B хватает видеокарт с 8ГБ, для 13B нужно минимум 12ГБ, для 30B потребуется 24ГБ, а с 65-70B не справится ни одна бытовая карта в одиночку, нужно 2 по 3090/4090.
Даже если использовать сборки для процессоров, то всё равно лучше попробовать задействовать видеокарту, хотя бы для обработки промта (Use CuBLAS или ClBLAS в настройках пресетов кобольда), а если осталась свободная VRAM, то можно выгрузить несколько слоёв нейронной сети на видеокарту. Число слоёв для выгрузки нужно подбирать индивидуально, в зависимости от объёма свободной памяти. Смотри не переборщи, Анон! Если выгрузить слишком много, то начиная с 535 версии драйвера NVidia это может серьёзно замедлить работу, если не выключить CUDA System Fallback в настройках панели NVidia. Лучше оставить запас.
Гайд для ретардов для запуска LLaMA без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой:
1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии.
2. Скачиваем модель в gguf формате. Например вот эту:
https://huggingface.co/Sao10K/Fimbulvetr-11B-v2-GGUF/blob/main/Fimbulvetr-11B-v2.q4_K_S.gguf
Можно просто вбить в huggingace в поиске "gguf" и скачать любую, охуеть, да? Главное, скачай файл с расширением .gguf, а не какой-нибудь .pt
3. Запускаем koboldcpp.exe и выбираем скачанную модель.
4. Заходим в браузере на http://localhost:5001/
5. Все, общаемся с ИИ, читаем охуительные истории или отправляемся в Adventure.
Да, просто запускаем, выбираем файл и открываем адрес в браузере, даже ваша бабка разберется!
Для удобства можно использовать интерфейс TavernAI
1. Ставим по инструкции, пока не запустится: https://github.com/Cohee1207/SillyTavern
2. Запускаем всё добро
3. Ставим в настройках KoboldAI везде, и адрес сервера http://127.0.0.1:5001
4. Активируем Instruct Mode и выставляем в настройках пресетов Alpaca
5. Радуемся
Инструменты для запуска:
https://github.com/LostRuins/koboldcpp/ Репозиторий с реализацией на плюсах
https://github.com/oobabooga/text-generation-webui/ ВебуУИ в стиле Stable Diffusion, поддерживает кучу бекендов и фронтендов, в том числе может связать фронтенд в виде Таверны и бекенды ExLlama/llama.cpp/AutoGPTQ
https://github.com/ollama/ollama , https://lmstudio.ai/ и прочее - Однокнопочные инструменты для полных хлебушков, с красивым гуем и ограниченным числом настроек/выбором моделей
Ссылки на модели и гайды:
https://huggingface.co/models Модели искать тут, вбиваем название + тип квантования
https://rentry.co/TESFT-LLaMa Не самые свежие гайды на ангельском
https://rentry.co/STAI-Termux Запуск SillyTavern на телефоне
https://ayumi.m8geil.de/erp4_chatlogs/ Рейтинг моделей для кума со спорной методикой тестирования
https://rentry.co/llm-training Гайд по обучению своей лоры
https://rentry.co/2ch-pygma-thread Шапка треда PygmalionAI, можно найти много интересного
https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде
Предыдущие треды тонут здесь: