Локальные языковые модели | Архивач — Архив тредов имиджборд

Добавлена поддержка ЭЧ/Ech (ex-Escapechan). Набегаем, тестируем архивацию, сообщаем о замеченных проблемах.

К сожалению, значительная часть сохранённых до 2024 г. изображений и видео была потеряна (подробности случившегося). Мы призываем всех неравнодушных помочь нам с восстановлением утраченного контента!


Активный 154	Общий тред локалочек №1 Данный тред предназначен для обсуждения любых локальных нейросетей, будь то LLM, картиночки или видео. Вахтер на ОПе в /llama/ треде на ментаче в очередном припадке ярости разбушевался и с помощью протыков на моче вновь снес полтреда. Это стало последней каплей. LLM Бекенды: - дефолтный вариант (командная строка, из всех бинарников вам нужен llama-server. Позволяет часть модели выгружать в RAM и обрабатывать процессором) https://github.com/ggml-org/llama.cpp - для хлебушков (обертка предыдущего с наличием GUI и некоторым количеством дополнительной, но сомнительной функциональности) https://github.com/LostRuins/koboldcpp - если у вас курткокарты 3050 и выше + модель с контекстом полностью помещается в VRAM https://github.com/theroyallab/tabbyAPI Все остальное нинужно, если у вас в подвале не завалялось серверных решений за несколько миллионов. Фронтенды: - дефолтный вариант https://github.com/SillyTavern/SillyTavern - вариант для пердоликов https://github.com/vegu-ai/talemate Актуальные модели: Малый сегмент - GLM 4.7 Flash - Qwen 30B-3A - тюны Mistral 12B - Gemma 3 12b (и аблитерации) Средний сегмент - GLM 4.5 Air и 4.6V - Gemma 3 27B (+ тюны и аблитерации) - Mistral 3.2 24B (и тюны) Большой сегмент - Qwen 235B 2507 - GLM 4.5/4.6/4.7 - Deepseek V3.1/V3.1-Terminus/V3.2 Картинки и видео - бекенд и фронтенд в одной коробке https://github.com/Comfy-Org/ComfyUI Картинкомодели общего назначения: - Qwen-Image-2512 и Qwen-Image-Edit-2511 - Z-Image-Turbo - Flux 2 и Flux Klein 9B/4B - Wan 2.2 (подходит для генерации картинок) Тюны SDXL, заточенные под аниме: - WAI - NoobAI - Rouwei Видеомодели: - Wan 2.2 (5 сек, 16 фпс, без звука, топ качество) - LTX-2 (10+ сек, 24 фпс, со звуком, среднее качество) Q: Почему все в одном треде? A: Я не знаю местный постинг, сидеть-семёнить тоже такое себе удовольствие. Давайте посидим вместе, посмотрим как оно пойдет. Если будем надоедать друг другу - разделимся. Q: А можно обсуждать не локалки? A: Если только это полезно для локальщиков. Например, притащить пресеты для корпов, хорошо работающие и на локалке - полезно. Q: А почему шапка говно? A: Пишите, что добавить/убрать. Может вообще в ней ничего не надо, по моим наблюдениям польза от шапок околонулевая. Локальные языковые модели ЭЧ большие языковые модели /ai/ - Искусственный интеллект	2026-09-19 01:38:41

Активный
154

Общий тред локалочек №1 Данный тред предназначен для обсуждения любых локальных нейросетей, будь то LLM, картиночки или видео. Вахтер на ОПе в /llama/ треде на ментаче в очередном припадке ярости разбушевался и с помощью протыков на моче вновь снес полтреда. Это стало последней каплей. LLM Бекенды: - дефолтный вариант (командная строка, из всех бинарников вам нужен llama-server. Позволяет часть модели выгружать в RAM и обрабатывать процессором) https://github.com/ggml-org/llama.cpp - для хлебушков (обертка предыдущего с наличием GUI и некоторым количеством дополнительной, но сомнительной функциональности) https://github.com/LostRuins/koboldcpp - если у вас курткокарты 3050 и выше + модель с контекстом полностью помещается в VRAM https://github.com/theroyallab/tabbyAPI Все остальное нинужно, если у вас в подвале не завалялось серверных решений за несколько миллионов. Фронтенды: - дефолтный вариант https://github.com/SillyTavern/SillyTavern - вариант для пердоликов https://github.com/vegu-ai/talemate Актуальные модели: Малый сегмент - GLM 4.7 Flash - Qwen 30B-3A - тюны Mistral 12B - Gemma 3 12b (и аблитерации) Средний сегмент - GLM 4.5 Air и 4.6V - Gemma 3 27B (+ тюны и аблитерации) - Mistral 3.2 24B (и тюны) Большой сегмент - Qwen 235B 2507 - GLM 4.5/4.6/4.7 - Deepseek V3.1/V3.1-Terminus/V3.2 Картинки и видео - бекенд и фронтенд в одной коробке https://github.com/Comfy-Org/ComfyUI Картинкомодели общего назначения: - Qwen-Image-2512 и Qwen-Image-Edit-2511 - Z-Image-Turbo - Flux 2 и Flux Klein 9B/4B - Wan 2.2 (подходит для генерации картинок) Тюны SDXL, заточенные под аниме: - WAI - NoobAI - Rouwei Видеомодели: - Wan 2.2 (5 сек, 16 фпс, без звука, топ качество) - LTX-2 (10+ сек, 24 фпс, со звуком, среднее качество) Q: Почему все в одном треде? A: Я не знаю местный постинг, сидеть-семёнить тоже такое себе удовольствие. Давайте посидим вместе, посмотрим как оно пойдет. Если будем надоедать друг другу - разделимся. Q: А можно обсуждать не локалки? A: Если только это полезно для локальщиков. Например, притащить пресеты для корпов, хорошо работающие и на локалке - полезно. Q: А почему шапка говно? A: Пишите, что добавить/убрать. Может вообще в ней ничего не надо, по моим наблюдениям польза от шапок околонулевая.

Локальные языковые модели ЭЧ большие языковые модели /ai/ - Искусственный интеллект

2026-09-19 01:38:41