Добавлена поддержка
ЭЧ/Ech (ex-Escapechan). Набегаем, тестируем архивацию,
сообщаем о замеченных проблемах.
К сожалению, значительная часть сохранённых до 2024 г. изображений и видео была потеряна (
подробности случившегося). Мы призываем всех неравнодушных
помочь нам с восстановлением утраченного контента!
Данный тред предназначен для обсуждения любых локальных нейросетей, будь то LLM, картиночки или видео.
Вахтер на ОПе в /llama/ треде на ментаче в очередном припадке ярости разбушевался и с помощью протыков на моче вновь снес полтреда. Это стало последней каплей.
LLM
Бекенды:
- дефолтный вариант (командная строка, из всех бинарников вам нужен llama-server. Позволяет часть модели выгружать в RAM и обрабатывать процессором) https://github.com/ggml-org/llama.cpp
- для хлебушков (обертка предыдущего с наличием GUI и некоторым количеством дополнительной, но сомнительной функциональности) https://github.com/LostRuins/koboldcpp
- если у вас курткокарты 3050 и выше + модель с контекстом полностью помещается в VRAM https://github.com/theroyallab/tabbyAPI
Все остальное нинужно, если у вас в подвале не завалялось серверных решений за несколько миллионов.
Фронтенды:
- дефолтный вариант https://github.com/SillyTavern/SillyTavern
- вариант для пердоликов https://github.com/vegu-ai/talemate
Актуальные модели:
Малый сегмент
- GLM 4.7 Flash
- Qwen 30B-3A
- тюны Mistral 12B
- Gemma 3 12b (и аблитерации)
Средний сегмент
- GLM 4.5 Air и 4.6V
- Gemma 3 27B (+ тюны и аблитерации)
- Mistral 3.2 24B (и тюны)
Большой сегмент
- Qwen 235B 2507
- GLM 4.5/4.6/4.7
- Deepseek V3.1/V3.1-Terminus/V3.2
Картинки и видео
- бекенд и фронтенд в одной коробке https://github.com/Comfy-Org/ComfyUI
Картинкомодели общего назначения:
- Qwen-Image-2512 и Qwen-Image-Edit-2511
- Z-Image-Turbo
- Flux 2 и Flux Klein 9B/4B
- Wan 2.2 (подходит для генерации картинок)
Тюны SDXL, заточенные под аниме:
- WAI
- NoobAI
- Rouwei
Видеомодели:
- Wan 2.2 (5 сек, 16 фпс, без звука, топ качество)
- LTX-2 (10+ сек, 24 фпс, со звуком, среднее качество)
Q: Почему все в одном треде?
A: Я не знаю местный постинг, сидеть-семёнить тоже такое себе удовольствие. Давайте посидим вместе, посмотрим как оно пойдет. Если будем надоедать друг другу - разделимся.
Q: А можно обсуждать не локалки?
A: Если только это полезно для локальщиков. Например, притащить пресеты для корпов, хорошо работающие и на локалке - полезно.
Q: А почему шапка говно?
A: Пишите, что добавить/убрать. Может вообще в ней ничего не надо, по моим наблюдениям польза от шапок околонулевая.