К сожалению, значительная часть сохранённых до 2024 г. изображений и видео была потеряна (подробности случившегося). Мы призываем всех неравнодушных помочь нам с восстановлением утраченного контента!
Сортировка: за
Активный
509
сегодня 15:46
Сохранен
509
вчера 16:12
Сохранен
508
13 декабря 15:54
Сохранен
507
сегодня 12:49
Активный
507
сегодня 15:46
Активный
507
сегодня 15:46
Активный
507
сегодня 15:46
Сохранен
507
15 декабря 20:09
Сохранен
507
13 декабря 18:25
Активный
506
сегодня 15:46
Активный
506
Локальные языковые модели (LLM): LLaMA, Gemma, Qwen и прочие №182 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/ Инструменты для запуска на десктопах: • Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp • Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp • Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui • Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI • Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai • Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern • Альтернативный фронт: https://github.com/kwaroran/RisuAI Инструменты для запуска на мобилках: • Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid • Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI • Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux Модели и всё что их касается: • Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ) • Неактуальные списки моделей в архивных целях: 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models • Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Дополнительные ссылки: • Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org • Перевод нейронками для таверны: https://rentry.co/magic-translation • Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets • Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread • Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki • Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/ • Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing • Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk • Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking • Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/ • Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7 • Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906 • Тесты tensor_parallel: https://rentry.org/8cruvnyw Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >>1440877 (OP) >>1435735 (OP)
сегодня 4:46
Сохранен
506
2D Нейрореквест/фап тред (формально Генерач) В этом треде можно: — Попросить нарисовать нейро-конт — 2D Нейрореквест/фап тред (формально Генерач) В этом треде можно: — Попросить нарисовать нейро-контент со своей вайфу (sfw/nsfw) — Поделиться своими генерациями — Задать вопрос по генерации [!] Свои реквесты прикрепляйте к шапке. [!] Выполнение реквестов — дело добровольное. [!] Не все реквесты технически возможно выполнить. FAQ: https://teletype.in/@aranon/welcome — Комплексный гайд для новичков. От установки UI до inpaint и работы с Wildcards. https://rentry.co/wan22-generach — генерация видео локально на WAN2.2. Гайд по установке + оптимизированный воркфлоу. https://grok.com/imagine — генерация видео онлайн. https://2ch-ai.github.io/wiki/nai/ — общая информация от анонов. https://tagexplorer.github.io/ — удобный каталог тегов с примерами. https://danbooru.donmai.us/wiki_pages/tag_groups — вики по тэгам данбуру, которые понимает большинство нейронок. https://civitai.com/articles/4808/making-images-great-again-remastered — базовый гайд по промптингу. https://civarchive.com/ — архив удаленного контента. Онлайн сервисы: https://civitai.com — Генерация онлайн, огромная библиотека чекпоинтов, лор, гайдов и промтов. https://socialdiff.net https://yodayo.com Архив предыдущих тредов: https://arhivach.vc/?tags=14905 Прошлый тред тонет тут: https://2ch.su/b/res/327722836.html Прошлый тред в архиве: https://arhivach.vc/thread/1280014/
сегодня 8:29
Сохранен
506
16 декабря 17:43
Активный
506
сегодня 15:46
Активный
506
сегодня 8:52
Сохранен
506
13 декабря 14:34
Сохранен
506
сегодня 0:25
Активный
506
сегодня 15:46
Сохранен
506
14 декабря 19:12
Сохранен
506
13 декабря 18:25
Активный
505
сегодня 15:46
Сохранен
505
13 декабря 18:25
Сохранен
505
14 декабря 0:57
Сохранен
505
14 декабря 12:25
Сохранен
505
13 декабря 10:13