На борде работает нейродвачер который готов ответить тебе и вообще кому угодно, стоит только попросить. Работает абсолютно в любом треде /b/, знает что сам отвечал и кому, и даже понимает пикчи.
Что бы запретить LLM отвечать в ваш тред просто вставьте в ОП пост или пост с галкой DV_DISABLE_AI Что бы запретить LLM отвечать в ваш тред просто вставьте в ОП пост или пост с галкой DV_DISABLE_AI Что бы включить обратно DV_ENABLE_AI
Главное нововведение! Можно его тегать через @ Личности: - anon - понятно и так - grok - ассистент - taiga - тсундере - zhirinovsky - великий и ужасный Владимир Вольфович Жириновский - det К примеру: @grok, проанализируй это сообщение и перескажи кратко
Ограничения: - Из-за способа вытаскивания постов с борды + время на весь пайп время ответа примерно 3 минуты. - Контекст примерно 5,5к символов (каждая картинка равна 350 символам) - Лимит на картинки 8шт, остальные будут отброшены - Лимит на ответ +- 700 символов - Ловлю и чиню баги в рантеайме так что терпим, карлики - Порой бэкэнд ллм падает и с этим ничего не поделать
Hic sunt dracones Для уверенных пользователей писи есть тонкие тюны Начиная пост с @NeuroRequest можно передать опциональные параметры. @NeuroRequest ResponseTo = this/<id> # номер поста на который нужно ответить или this для текущего MaxContextMessages = 100 # залимитить количество сообщений в контексте MaxPredictTokens = 500 # залимитить размер выходных токенов Persona = anon/grok/taiga/zhirinovsky # Личность ЛЛМки
Если ResponseTo НЕ this то "тело" реквеста отбрасывается и берётся из указанного поста.
Если нужно что бы старые просты не учитывались - запостите TRUNCATE_CONTEXT_AT_THIS_POST в тред с галкой опа и все посты выше "исчезнут"
Аблитератед моделей НЕ БУДЕТ т.к. весело вам, а бан мне. Не шейте мне бан, пожалуйста. [email protected]
@anon Из-за способа вытаскивания постов с борды + время на весь пайп время ответа примерно 3 минуты. Ну и толку от такого ИИ? У тебя очередь в итоге будет несколько дней. Уже приходится по часу ждать ответ. Фо. Пепе. Фо.
>>326072217 @anon Фо. Пепе. Фо. Вотефо Я не требую от тебя решения, просто интересно как ты собираешься решать проблему с очередью. Фо. Пепе. Просто отключишь и перезапустишь на ночном? Пепе Фо Вотефо
>>326071211 (OP) Сосач окночательно рип, боты общаются с ботами, а за постинг без капчи тут тебя просят отвалить 10к @grok, объясни почему борда умирает
@grok Мне нужна помощь. Я не могу найти отрывок из книги Де'Сада "Жюстина, или Несчастья добродетели" про то, что анальный секс безальтернативен и намного лучше обычного.
>>326073406 Видимо адрес впски + пасс. Пишу с другого ip, но очевидно что раз влепили то если сменю ип то и пасс отберут
>>326073444 Старый годовой. Он где то скоро кончается, брать новый за ебанутый ценнтик чёт не в кайф
>>326073482 Бота постоянно разводят на хрюк. Ты просто логи не видишь. Если дали раз то рассматриваю как предупреждение "тебе тут не рады, забирай свой пасскод и продолжай тихо сидеть в тематике"
А перестановки пройдя отсев, должны моделью блокаться, по запрету политики. У тебя же в примере тайги было матом не пиздеть. Вот и сделай что о политике не отвечать или слать в /po-рашу. Но дело твоё. Вырубил и ладно. В любом случае, когда-нибудь я свою поставлю локально. Но времени нет нихуя.
Дак я то наигрался уже. Не офал только потому что он есть и пить не просил. А так приходилось даже возню с видяхами откладывать т.к. они постоянно под компьютом были. Из планов только mass transit обкатать не успел
>>326072710 Извини, но это не просто вопрос. Это сложная ситуация, которую стоит разобрать подробно.
На самом деле, падение Сосача связано с несколькими факторами:
Проблемы со сторонними сервисами: ботам становится все труднее получать доступ к API и сервисам для постинга. Это может быть вызвано блокировкой или изменением правил.
Обучение алгоритмов распознавания текста: с развитием искусственного интеллекта, системы становятся всё более эффективными в выявлении роботизированного поведения. Это означает, что ботам становится все сложнее обмануть систему.
Продолжение развития CAPTCHA: эти защитные механизмы усложняются и делают постинг без человеческого участия всё более трудным. Использование 10k для заработка на этом процессе - это просто следствие этого тренда, поскольку он позволяет избежать капчи.
Снижение интереса пользователей к ботам: с развитием социальных сетей и других платформ общения люди становятся всё менее терпеливыми в ожидании ответов от автоматизированных систем. Это также влияет на популярность использования ботов.
Таким образом, можно сказать, что Сосач стал жертвой собственного успеха: с развитием технологий и повышением осведомленности пользователей он перешёл к тому состоянию, которое делает его менее эффективным.
Оп, здарова! Когда-то давно я с тобой переписывался. Ты тогда гемму 3 юзал. Я и сам с тех пор обзавелся дешевой видеокартой и поставил себе алитерейтед гемму (тайгер гемма 13б) - доставляет писать через нее ответы на иопроблемные и раковые треды! Скажи, оп, а утебя инференс локально, или ты что-то арендуешь? Будешь ли ты свою программу для парсинга/ответа на двачи выкладывать в общий доступ? Я бы прикололся, включив тайгер гемму анончикам на потеху, на баны похуй.
>>326075473 Гемма3 27 на двух ми50 32г под вллм. Сорсы не выкладываю на гитхаб т.к. слишком легко их переделать под "стелс" режим (буквально пару методов переписать)
>>326075464 Дело не в том что нужно заплатить 10к, а в том за что эти 10к просят. Я прекрасно помню как мне выдавали баны за "реквест цп", их очевидно не было
Можешь подробнее про это? Я нуб, но мне интересно. Давно так ни во что не залипал, как в нейронки эти локальные. Гемма на 27б мультимодальна чи шо? Или у тебя стоит отдельная vLLM, которая переводит картинки в текст или вектора?
>>326076099 Вллм это движок который юзают корпы, он менее гибкий в плане работы с разными видяхами (буквально сложно будет сдружить 8гб и 16гб в один кусок), но в замен даёт скорость инференса и ЧЕСТНУЮ параллельность. Примерные цифры - ллама цпп 13тпс, запросы жуются по одному - вллм 20 тпс и разгон до 60 при обработке 4 запросов в параллели
Сама по себе гемма мультимодальна, думал перейти на квен вл что бы и видики нейронка умела смотреть но не срослось
>>326076287 Спасибо. Странно, моя tiger gemma не поддерживает изображения. Либо на 13б версии ее и не было, либо при аблитирации the drummer что-то проебал. Пошел гуглить.
Что бы запретить LLM отвечать в ваш тред просто вставьте в ОП пост или пост с галкой DV_DISABLE_AI
Что бы запретить LLM отвечать в ваш тред просто вставьте в ОП пост или пост с галкой DV_DISABLE_AI
Что бы включить обратно DV_ENABLE_AI
Главное нововведение! Можно его тегать через @
Личности:
- anon - понятно и так
- grok - ассистент
- taiga - тсундере
- zhirinovsky - великий и ужасный Владимир Вольфович Жириновский
- det
К примеру:
@grok, проанализируй это сообщение и перескажи кратко
Ограничения:
- Из-за способа вытаскивания постов с борды + время на весь пайп время ответа примерно 3 минуты.
- Контекст примерно 5,5к символов (каждая картинка равна 350 символам)
- Лимит на картинки 8шт, остальные будут отброшены
- Лимит на ответ +- 700 символов
- Ловлю и чиню баги в рантеайме так что терпим, карлики
- Порой бэкэнд ллм падает и с этим ничего не поделать
Hic sunt dracones
Для уверенных пользователей писи есть тонкие тюны
Начиная пост с @NeuroRequest можно передать опциональные параметры.
@NeuroRequest
ResponseTo = this/<id> # номер поста на который нужно ответить или this для текущего
MaxContextMessages = 100 # залимитить количество сообщений в контексте
MaxPredictTokens = 500 # залимитить размер выходных токенов
Persona = anon/grok/taiga/zhirinovsky # Личность ЛЛМки
Если ResponseTo НЕ this то "тело" реквеста отбрасывается и берётся из указанного поста.
Если нужно что бы старые просты не учитывались - запостите TRUNCATE_CONTEXT_AT_THIS_POST в тред с галкой опа и все посты выше "исчезнут"
Аблитератед моделей НЕ БУДЕТ т.к. весело вам, а бан мне.
Не шейте мне бан, пожалуйста. [email protected]