К сожалению, значительная часть сохранённых до 2024 г. изображений и видео была потеряна (подробности случившегося). Мы призываем всех неравнодушных помочь нам с восстановлением утраченного контента!
Сортировка: за
Активный
532
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №213 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/ Инструменты для запуска на десктопах: • Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp • Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp • Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui • Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI • Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai • Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern • Альтернативный фронт: https://github.com/kwaroran/RisuAI Инструменты для запуска на мобилках: • Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid • Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI • Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux Модели и всё что их касается: • Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026 • Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models • Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Дополнительные ссылки: • Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org • Перевод нейронками для таверны: https://rentry.co/magic-translation • Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets • Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread • Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki • Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/ • Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing • Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk • Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking • Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/ • Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7 • Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906 • Тесты tensor_parallel: https://rentry.org/8cruvnyw Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >>1572745 (OP) >>1571826 (OP)
5 апреля 23:12
Сохранен
28
пацаны бля мне нужна тян — пацаны бля мне нужна тян
5 апреля 6:47
Активный
515
Подсосов Мэда тред №13119 — >>26638598 (OP)
сегодня 4:03
Активный
502
Летсплееры, обзорщики, стримеры #3913 — Аринян, Германика, Генсуха не русскоговорящие пиздоглазые, всякого рода бонгостримерши, Чмарьяна, Чмадейра, арапетухи и бимбоунитазы вне закона. Прошлый ЛОС тред: >>26637726 (OP)
сегодня 4:03
Активный
508
Подсосов Мэда тред №13120 — >>26639876 (OP)
сегодня 4:03
Активный
505
Подсосов Мэда тред №13121 — >>26641268 (OP)
сегодня 4:03
Активный
505
Подсосов Мэда тред №13122 — >>26642365 (OP)
сегодня 4:03
Активный
503
Подсосов Мэда тред №13123 — >>26643299 (OP)
сегодня 4:03
Активный
493
Подсосов Мэда тред №13124 — >>26644304 (OP)
сегодня 4:03
Активный
490
Подсосов Мэда тред №13125 — >>26645476 (OP)
сегодня 4:03
Активный
515
Летсплееры, обзорщики, стримеры #3914 — Аринян, Германика, Генсуха не русскоговорящие пиздоглазые, всякого рода бонгостримерши, Чмарьяна, Чмадейра, арапетухи и бимбоунитазы вне закона. Прошлый ЛОС тред: >>26641453 (OP)
сегодня 4:03
Активный
523
Подсосов Мэда тред №13126 — >>26646364 (OP)
сегодня 4:03
Активный
503
Подсосов Мэда тред №13127 — >>26647465 (OP)
сегодня 4:03
Активный
509
Подсосов Мэда тред №13128 — >>26648829 (OP)
сегодня 4:03
Активный
273
ВАНОМАС ТРЕД № 527 800 ММР ВЕЧНЫЙ НАХУЙ — VANOMAS (он же Иван Маслаков, Посраков, Масраков, Бомж, Пасра, Козёл, Горбатое Пугало, Калтун, Фимозник, Потяра, Вислопис, Зашуганная Крыса, Глиномес, Ванограз, Шизомас, Говномас, Маслопитек, Поллюционер) — кринжовый российский фрик нижнего интернета, стример и обзорщик видеоигр, автор геополитической аналитики, создатель философии разумизма, лицемерный одинокий шизофреник с запредельным уровнем тупизны, бреда величия, нарциссизма и злобы. Завистник, ненавидящий всех и скамящий своих донатеров, эпично проебывающий собственную жизнь в засранной нищей маслушке, за чем мы все и наблюдаем. Ничего не знает и ничего не умеет в 42 года. Родился 9 февраля 1984 года и медленно, но верно движется к полной деградации и забвению. Интересные факты: 1. Работал на Патлача aka Илью Лёвина за 70к. 2. Открыл компьютерный клуб в 2019г. с ним же, назывался Ваномас Арена. Обещал позже открыть сеть компьютерных клубов. В течение года посредством своего распиздяйства саботировал свой собственный бизнес. 3. Экономит зимой на отоплении, выкручивая регулятор теплосчетчика до нуля. 4. Нет стиралки в 2к26. Зато есть куча дорогих неиспользуемых вещей в квартире. 5. Одет как бездомный: рваные куртки 15летней давности, бомжатская пакля на голове. 6. Влюблен в Карину Шпак 7. Обладатель Царь-ПК за 300к с 4090 на борту. Играет 90% времени в доту 2. 8. 600 ммр в доте спустя 15 лет опыта в игре. 9. Собирал свой Царь-ПК неделю. 10. Любитель игрушечных моделек автомобилей, грузовиков, самолетиков на 5ом десятке лет своей жизни. 11. Собирал игрушечный вертолётик 5 месяцев. 12. Грязная квартира, заставленная мусором (кучей стеклянных бутылок из под пива, пустых пакетов из Вкусно и Точка и прочего хлама). 13. Полы в квартире не мыты с самого переезда. 14. Нет цели, ни к чему не стремится, не развивается, ничего не хочет, стадия дожития. Основные каналы: https://www.youtube.com/@VANOMAS — главный канал. https://www.youtube.com/@VanomasTrash — канал для менее важных видео. https://kick.com/thevanomas — канал на кике. ВК — https://vk.com/vanomas ТГ — https://t.me/vanomasofficial ПРЕДЫДУЩИЙ ТРЕД: >>26592850 (OP)
сегодня 6:41
Активный
515
Подсосов Мэда тред №13129 — >>26649859 (OP)
сегодня 4:03
Активный
564
Летсплееры, обзорщики, стримеры #3915 — Аринян, Германика, Генсуха, не русскоговорящие пиздоглазые, всякого рода бонгостримерши, Чмарьяна, Чмадейра, арапетухи и бимбоунитазы вне закона. Прошлый ЛОС тред: >>26646892 (OP)
сегодня 4:03
Активный
506
Подсосов Мэда тред №13130 — >>26651543 (OP)
сегодня 4:03
Активный
531
Алина Рин Alina Rin тред #113 Всегда красивая — Twitch: https://www.twitch.tv/alinarinrin Instagram: https://www.instagram.com/alinarin Telegram: https://t.me/welcome2RHK YouTube: https://www.youtube.com/c/AlinaRin VK: https://vk.com/alinarinrin Tumblr: https://alinarin.tumblr.com Прошлый: >>26630294 (OP)
сегодня 6:20
Сохранен
41
В чем твоя проблема найти девушку? Кругом столько свободных молодых тян. — В чем твоя проблема найти девушку? Кругом столько свободных молодых тян.
5 апреля 7:29
Сохранен
78
Заснял как мне сосет проститутка за 5к рублей. Зацените. — Заснял как мне сосет проститутка за 5к рублей. Зацените.
5 апреля 11:49
Сохранен
25
Как перестать дрочить на бывших? Мне уже 35, женат, двое детей. Регулярно, когда остаюсь один, откры — Как перестать дрочить на бывших? Мне уже 35, женат, двое детей. Регулярно, когда остаюсь один, открываю фотки бывших и жёстко спускаю на них. Не на всех, а только на трёх, с которыми была особенная страсть. С женой тоже ебёмся, но к ней нет таких чувств, как к бывшим. Хотя её люблю. Но это какая-то семейная любовь, а не возвышенная. А по бывшим прям тоска, как по ангелам. пикрандом
5 апреля 7:12
Сохранен
16
когда починят? яйца горят, пизда — когда починят? яйца горят, пизда
5 апреля 0:43
Сохранен
2
Вот бы быть пиздой и отправить мужа на мясо и залутать 5-7 лямов за труп, чтобы сычевать дальше в ка — Вот бы быть пиздой и отправить мужа на мясо и залутать 5-7 лямов за труп, чтобы сычевать дальше в кайфе. В чём я не прав? Полстраны самок так делают, чем я хуже. Продай хуй на мясо, получи лямы, кайфуй
4 апреля 23:36
Сохранен
11
Вот бы быть пиздой и отправить мужа на мясо и залутать 5-7 лямов за труп, чтобы сычевать дальше в ка — Вот бы быть пиздой и отправить мужа на мясо и залутать 5-7 лямов за труп, чтобы сычевать дальше в кайфе. В чём я не прав? Полстраны самок так делают, чем я хуже. Продай хуй на мясо, получи лямы, кайфуй
5 апреля 1:03


жалоба / abuse: arhivach@airmail.cc