Добавлена поддержка ЭЧ/Ech (ex-Escapechan) и Ежчана (ejchan.net, ejchan.site). Набегаем, тестируем архивацию, сообщаем о замеченных проблемах.
К сожалению, значительная часть сохранённых до 2024 г. изображений и видео была потеряна (подробности случившегося). Мы призываем всех неравнодушных помочь нам с восстановлением утраченного контента!
Сортировка: за
Активный
571
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №285 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Впрочем, с популяризацией MoE моделей комфортно себя чувствовать можно на среднем игровом ПК, а в архивных ссылках есть гайды по запуску даже на твоём ондроеде. Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/ Гайд для новичков: https://rentry.org/2ch-llama-inference Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive Инструменты для запуска на десктопах: • llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp • koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp • vLLM - для ригобояр, чаще имеет поддержку нулевого дня, но хуже работает с оффлоадом: https://github.com/vllm-project/vllm • Unsloth Studio - не только запуск с llama.cpp внутри, но и тренировка: https://unsloth.ai/download • Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai • Strata - быстрый движок для Qwen3.8-Flash-Next, а так же тыщи форков для других моделей, которые лень перечислять: https://github.com/niko1221/strata Универсальные десктопные фронтенды: • SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern • Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine • Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI Поставщики локальных моделей: • Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models • Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth Рейтинги и списки локальных моделей: • (не очень) актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026 • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Готовые карточки для таверны: • Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com • Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai • Архив карточек, удадённых с chub: https://gottasaveemall.github.io/ Официальные документации к инструментам: • llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md • koboldcpp: https://github.com/LostRuins/koboldcpp/wiki • SillyTavern: https://docs.sillytavern.app/usage/quick-start Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >>1742925 (OP) >>1740274 (OP)
2026-11-18 19:44:06
Активный
529
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №287 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Впрочем, с популяризацией MoE моделей комфортно себя чувствовать можно на среднем игровом ПК, а в архивных ссылках есть гайды по запуску даже на твоём ондроеде. Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/ Гайд для новичков: https://rentry.org/2ch-llama-inference Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive Инструменты для запуска на десктопах: • llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp • koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp • vLLM - для ригобояр, чаще имеет поддержку нулевого дня, но хуже работает с оффлоадом: https://github.com/vllm-project/vllm • Unsloth Studio - не только запуск с llama.cpp внутри, но и тренировка: https://unsloth.ai/download • Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai • Strata - быстрый движок для Qwen3.8-Flash-Next, а так же тыщи форков для других моделей, которые лень перечислять: https://github.com/niko1221/strata Универсальные десктопные фронтенды: • SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern • Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine • Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI Поставщики локальных моделей: • Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models • Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth Рейтинги и списки локальных моделей: • (не очень) актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026 • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Готовые карточки для таверны: • Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com • Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai • Архив карточек, удадённых с chub: https://gottasaveemall.github.io/ Официальные документации к инструментам: • llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md • koboldcpp: https://github.com/LostRuins/koboldcpp/wiki • SillyTavern: https://docs.sillytavern.app/usage/quick-start Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >>1748468 (OP) >>1745597 (OP)
2026-11-18 19:44:06
Активный
529
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №284 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Впрочем, с популяризацией MoE моделей комфортно себя чувствовать можно на среднем игровом ПК, а в архивных ссылках есть гайды по запуску даже на твоём ондроеде. Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/ Гайд для новичков: https://rentry.org/2ch-llama-inference Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive Инструменты для запуска на десктопах: • llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp • koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp • vLLM - для ригобояр, чаще имеет поддержку нулевого дня, но хуже работает с оффлоадом: https://github.com/vllm-project/vllm • Unsloth Studio - не только запуск с llama.cpp внутри, но и тренировка: https://unsloth.ai/download • Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai • Strata - быстрый движок для Qwen3.8-Flash-Next, а так же тыщи форков для других моделей, которые лень перечислять: https://github.com/niko1221/strata Универсальные десктопные фронтенды: • SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern • Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine • Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI Поставщики локальных моделей: • Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models • Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth Рейтинги и списки локальных моделей: • (не очень) актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026 • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Готовые карточки для таверны: • Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com • Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai • Архив карточек, удадённых с chub: https://gottasaveemall.github.io/ Официальные документации к инструментам: • llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md • koboldcpp: https://github.com/LostRuins/koboldcpp/wiki • SillyTavern: https://docs.sillytavern.app/usage/quick-start Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >>1740274 (OP) >>1737545 (OP)
2026-11-18 19:44:06
Активный
516
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №288 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Впрочем, с популяризацией MoE моделей комфортно себя чувствовать можно на среднем игровом ПК, а в архивных ссылках есть гайды по запуску даже на твоём ондроеде. Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/ Гайд для новичков: https://rentry.org/2ch-llama-inference Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive Инструменты для запуска на десктопах: • llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp • koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp • vLLM - для ригобояр, чаще имеет поддержку нулевого дня, но хуже работает с оффлоадом: https://github.com/vllm-project/vllm • Unsloth Studio - не только запуск с llama.cpp внутри, но и тренировка: https://unsloth.ai/download • Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai • Strata - быстрый движок для Qwen3.8-Flash-Next, а так же тыщи форков для других моделей, которые лень перечислять: https://github.com/niko1221/strata Универсальные десктопные фронтенды: • SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern • Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine • Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI Поставщики локальных моделей: • Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models • Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth Рейтинги и списки локальных моделей: • (не очень) актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026 • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Готовые карточки для таверны: • Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com • Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai • Архив карточек, удадённых с chub: https://gottasaveemall.github.io/ Официальные документации к инструментам: • llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md • koboldcpp: https://github.com/LostRuins/koboldcpp/wiki • SillyTavern: https://docs.sillytavern.app/usage/quick-start Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >>1750353 (OP) >>1748468 (OP)
2026-11-19 13:14:07
Активный
512
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №282 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Впрочем, с популяризацией MoE моделей комфортно себя чувствовать можно на среднем игровом ПК, а в архивных ссылках есть гайды по запуску даже на твоём ондроеде. Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/ Гайд для новичков: https://rentry.org/2ch-llama-inference Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive Инструменты для запуска на десктопах: • llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp • koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp • vLLM - для ригобояр, чаще имеет поддержку нулевого дня, но хуже работает с оффлоадом: https://github.com/vllm-project/vllm • Unsloth Studio - не только запуск с llama.cpp внутри, но и тренировка: https://unsloth.ai/download • Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai • Strata - быстрый движок для Qwen3.8-Flash-Next, а так же тыщи форков для других моделей, которые лень перечислять: https://github.com/niko1221/strata Универсальные десктопные фронтенды: • SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern • Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine • Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI Поставщики локальных моделей: • Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models • Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth Рейтинги и списки локальных моделей: • (не очень) актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026 • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Готовые карточки для таверны: • Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com • Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai • Архив карточек, удадённых с chub: https://gottasaveemall.github.io/ Официальные документации к инструментам: • llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md • koboldcpp: https://github.com/LostRuins/koboldcpp/wiki • SillyTavern: https://docs.sillytavern.app/usage/quick-start Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >> >>
2026-11-18 19:44:06
Активный
509
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №283 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Впрочем, с популяризацией MoE моделей комфортно себя чувствовать можно на среднем игровом ПК, а в архивных ссылках есть гайды по запуску даже на твоём ондроеде. Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/ Гайд для новичков: https://rentry.org/2ch-llama-inference Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive Инструменты для запуска на десктопах: • llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp • koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp • vLLM - для ригобояр, чаще имеет поддержку нулевого дня, но хуже работает с оффлоадом: https://github.com/vllm-project/vllm • Unsloth Studio - не только запуск с llama.cpp внутри, но и тренировка: https://unsloth.ai/download • Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai • Strata - быстрый движок для Qwen3.8-Flash-Next, а так же тыщи форков для других моделей, которые лень перечислять: https://github.com/niko1221/strata Универсальные десктопные фронтенды: • SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern • Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine • Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI Поставщики локальных моделей: • Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models • Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth Рейтинги и списки локальных моделей: • (не очень) актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026 • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Готовые карточки для таверны: • Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com • Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai • Архив карточек, удадённых с chub: https://gottasaveemall.github.io/ Официальные документации к инструментам: • llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md • koboldcpp: https://github.com/LostRuins/koboldcpp/wiki • SillyTavern: https://docs.sillytavern.app/usage/quick-start Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >>1737545 (OP) >>1734648 (OP)
2026-11-18 19:44:06
Активный
500
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №286 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Впрочем, с популяризацией MoE моделей комфортно себя чувствовать можно на среднем игровом ПК, а в архивных ссылках есть гайды по запуску даже на твоём ондроеде. Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/ Гайд для новичков: https://rentry.org/2ch-llama-inference Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive Инструменты для запуска на десктопах: • llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp • koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp • vLLM - для ригобояр, чаще имеет поддержку нулевого дня, но хуже работает с оффлоадом: https://github.com/vllm-project/vllm • Unsloth Studio - не только запуск с llama.cpp внутри, но и тренировка: https://unsloth.ai/download • Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai • Strata - быстрый движок для Qwen3.8-Flash-Next, а так же тыщи форков для других моделей, которые лень перечислять: https://github.com/niko1221/strata Универсальные десктопные фронтенды: • SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern • Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine • Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI Поставщики локальных моделей: • Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models • Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth Рейтинги и списки локальных моделей: • (не очень) актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026 • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Готовые карточки для таверны: • Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com • Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai • Архив карточек, удадённых с chub: https://gottasaveemall.github.io/ Официальные документации к инструментам: • llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md • koboldcpp: https://github.com/LostRuins/koboldcpp/wiki • SillyTavern: https://docs.sillytavern.app/usage/quick-start Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >>1745597 (OP) >>1742925 (OP)
2026-11-18 19:44:06
Активный
480
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №289 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Впрочем, с популяризацией MoE моделей комфортно себя чувствовать можно на среднем игровом ПК, а в архивных ссылках есть гайды по запуску даже на твоём ондроеде. Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/ Гайд для новичков: https://rentry.org/2ch-llama-inference Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive Инструменты для запуска на десктопах: • llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp • koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp • vLLM - для ригобояр, чаще имеет поддержку нулевого дня, но хуже работает с оффлоадом: https://github.com/vllm-project/vllm • Unsloth Studio - не только запуск с llama.cpp внутри, но и тренировка: https://unsloth.ai/download • Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai • Strata - быстрый движок для Qwen3.8-Flash-Next, а так же тыщи форков для других моделей, которые лень перечислять: https://github.com/niko1221/strata Универсальные десктопные фронтенды: • SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern • Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine • Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI Поставщики локальных моделей: • Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models • Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth Рейтинги и списки локальных моделей: • (не очень) актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026 • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Готовые карточки для таверны: • Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com • Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai • Архив карточек, удадённых с chub: https://gottasaveemall.github.io/ Официальные документации к инструментам: • llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md • koboldcpp: https://github.com/LostRuins/koboldcpp/wiki • SillyTavern: https://docs.sillytavern.app/usage/quick-start Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >>1752809 (OP) >>1750353 (OP)
2026-11-20 03:50:05