Добавлена поддержка ЭЧ/Ech (ex-Escapechan) и Ежчана (ejchan.net, ejchan.site). Набегаем, тестируем архивацию, сообщаем о замеченных проблемах.
К сожалению, значительная часть сохранённых до 2024 г. изображений и видео была потеряна (подробности случившегося). Мы призываем всех неравнодушных помочь нам с восстановлением утраченного контента!
Сортировка: за
Сохранен
4
2026-11-05 18:41:14
Активный
116
2026-11-06 18:39:59
Сохранен
10
2026-10-28 11:50:08
Сохранен
61
2026-10-28 10:06:42
Сохранен
123
2026-10-28 05:40:23
Сохранен
20
2026-10-25 11:24:49
Сохранен
6
2026-10-22 19:35:15
Активный
521
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №278 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/ Гайд для новичков: https://rentry.org/2ch-llama-inference Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive Инструменты для запуска на десктопах: • llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp • koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp • Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai • Обертка над llama.cpp с ограниченными возможностями: https://github.com/ollama/ollama Универсальные десктопные фронтенды: • SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern • Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine • Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI Инструменты для запуска на мобилках: • PocketPal - интерфейс для локального запуска моделей под андроид и IOS на llamacpp (CPU, GPU, и NPU инференс): https://github.com/a-ghorbani/pocketpal-ai • Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid • ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI • Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux Поставщики локальных моделей: • Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models • Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth Рейтинги и списки локальных моделей: • Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026 • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Готовые карточки для таверны: • Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com • Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai • Архив карточек, удадённых с chub: https://gottasaveemall.github.io/ Официальные документации к инструментам: • llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md • koboldcpp: https://github.com/LostRuins/koboldcpp/wiki • SillyTavern: https://docs.sillytavern.app/usage/quick-start Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >>1724402 (OP) >>1722020 (OP)
2026-11-04 22:57:25
Сохранен
12
Сколько помню всегда ситуация на рынке для кабанов была такой что ЗА ЗАБОРОМ ОЧЕРЕДЬ ТАКИХ СТОИТ. В — Сколько помню всегда ситуация на рынке для кабанов была такой что ЗА ЗАБОРОМ ОЧЕРЕДЬ ТАКИХ СТОИТ. В ковид пиздец начался и кабаны лютовать начали - увольняли, сокращали, на оставшихся нагрузку уволенных пихали, пиздец короче. И обычному быдлу некуда особо в ковид идти - терпели. Но с началом гойды произошел некоторый слом - в экономику прилетело куча бюджетных денег, кабаны кинулись их осваивать, а вдруг выяснилось что копеечных батраков на всех не хватает. И тогда им пришлось конкурировать за пролов, это впервые в истории когда они вдруг вспомнили что можно рыночно кадры набирать повысив зарплату. И это похоже закончилось, кабанчиков порезали и теперь они снова как в ковид начали охуевать - увольняют сокращают, переводят на дгп и прочий пиздец прям как до гойды. Вы поняли да? Людей на рынке меньше стало, но и кабанов самих меньше стало и мы опять находимся там откуда и пришли - У МЕНЯ ТАКИХ ЗА ЗАБОРОМ ОЧЕРЕДЬ СТОИТ. Это вечное тяни толкай - даже если останется 1кк живых людей, то для них не будет столько кабанчиков и мы навечно прокляты конкурировать за зарплату в 500 долларов...
2026-10-20 13:33:36
Сохранен
170
2026-10-21 11:04:44
Сохранен
20
2026-10-20 07:21:01
Сохранен
2
2026-10-20 03:49:51
Сохранен
15
2026-10-19 23:04:57
Сохранен
46
2026-10-19 22:29:03
Сохранен
5
2026-10-19 08:12:50
Сохранен
9
2026-10-18 18:58:13
Сохранен
13
2026-10-17 10:36:02
Сохранен
7
2026-10-16 12:14:58
Сохранен
22
2026-10-16 14:13:31
Сохранен
19
2026-10-14 20:09:01
Сохранен
3
2026-10-11 17:46:20
Сохранен
15
2026-10-10 22:44:34
Активный
1002
2ch
2026-11-05 07:39:32
Сохранен
40
2026-10-10 10:31:14
Сохранен
4
2026-10-09 10:44:14