>>1642175 Ну тогда закупайся пекой за 500к, потому что единственная проблема локалок это контекст. Но до 100-150к его локально можно догнать, хотя будет дорого.
>>1642177 А я кстати вполне могу за 500к пекарню взять, вот только нахуя? Поток это 70B модели, а 400B уже не заведутся. Вот пару дней назад скачал локалок на 200 гигабайт, 8-13B едва 2+2 могут сложить, от 30-40B с большой натяжкой норм, но я ахуел, что даже на ЛОКАЛКАХ есть ебучие соевые фильтры, хотя качал всякие heretic uncensored. Нет, я уверен они пробиваются легко, но я-то думал, что на локалках вообще фильтров нет из коробки, вы что ебанулись там? Отуплять и без того тупую локалку и тратить контекст на пробив я ебал-дремал. Лучше уж дипсик.
>>1642186 >но я-то думал, что на локалках вообще фильтров нет из коробки Долбоёбы берут соевые модели локальные от копроратов с встроенной соей, а потом тренят своё не убирая сою. Естественно на выходе говно будет. А тренить свою модель тредовичок не может т.к. дораха. Хотя на том же дипсике локальном особо сои и нет, все промты из шапки работают.
Сап, кумерята. Есть у кого пресеты на дипсик? Сам сидел на переделанном пресете дяди жоры(ибо очень годно описывает сцену), но больно часто он бланки выдаёт. Ищу что-то похожее, но чисто для дипси
Почему вы так бугуртите из-за китайских моделей и говорите про дум?
Я в вашем треде сижу дня три, а остальное время в локальном, где-то с 2023, поэтому для меня утверждения некоторых товарищей выглядят абсолютно дико.
Дипсик, кими — это охуенные монстры с отличным качеством. Даже последняя GLM, несмотря на то, что параметров у неё меньше ожидаемого оказалось и русик пососный.
Безусловно, всякие опусы, гопоты и гемини лучше, но не настолько, чтобы это называть думом. Дум разве что в том смысле, что бесплатно получить доступ безумно сложно, ну и дешёвый доступ тоже сложно получить. По крайней мере мне.
А ведь есть модели 200-400б, которые я в 3-4 кванте сам щупал. Они прекрасно работают. У вас же 8 кванты и выше, и контекст тоже. Что уж там говорить, GLM Air прекрасная модель или Qwen 235b. А они старые.
Как я понимаю, многие из вас имеют доступ к таким вообще бесплатно, потому что олды треда, есть какие-то чужие ключи, конфочки, подгончики и т. п.
Дык почему не пользуетесь? Или я чего-то не понимаю? Весь тред ведь имеет доступ к модели уровня 200б?
>>1642573 Толсто, пчел. Кроме опуса и фимоза сетки не могут в рп. Геминище это лоботомит, а китайские сетки это бредогенераторы на уровне пигмы. А ты просто говноед, сырок.
>>1642611 Таки да. Но плюс опуса в том, что лучше понимает, правда.. там и с английским проблемы есть. Если на русском он просто сломан, на английском иногда ощущение, словно он просто кладёт болт на часть инструкций и не понимает верно слова, будто токенайзер шалит или что-то такое.
Доброго утречка, аноны. Не так давно начал интересоваться всей этой нейросетевой движухой от нехуй делать и у меня встал хуй вопрос касаемо локальных моделей. Можно ли полноценно гонять нейронку без фильтров через LM Studio? Мне это нужно не сколько для кумерства сколько просто для диалогов например о положении дел в мире и прочих бесед. Пришел к вам в нейрофап с таким вопросом поскольку вы тут неиронично больше советов даете и в целом ведете нормальную дискуссию по теме а не мериетесь письками как ебаные школьники. Про ST знаю но после курения гайдов на протяжении пары часов понял что я пока слишком смешарик что бы заставить это все функционировать а LM'ка вроде как проще для понимания аутистами по типу меня.
>>1642618 Просто сходи к ии и спроси как запустить Gemma 4 26b через llama.cpp со всеми шагами и ссылками. Ну и упомяни что нужна heretic версия. Если скажешь что у тебя за железо, то можно будет конкретнее говорить по моделям, но все ещё лучшим выбором будет лламацпп для запуска.
>>1642626 Ок, спрошу. Но все таки интересно послушать и здесь собравшихся на эту тему. По железу у меня скромно но вроде по ответам от той же нейронки должно хватать на около-нищие модели, у меня ноут с ноутбучной 4070 на 8 гигов, Инцел Кор 7 12650Н и 16 гигов ОЗУ, вроде как на не особо шустрые модельки 7б в локале должно хватать. А что не так с LM? По сути же в разы проще и удобнее накатить его и получить GUI и прочие ништяки "искаропки"
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
• GLM: https://docs.z.ai
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• OpenRouter: https://openrouter.ai/
• Арена: https://lmarena.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
Мета
• Шаблон шапки: https://rentry.org/aicg_shapka
Прошлый тред: