К сожалению, значительная часть сохранённых до 2024 г. изображений и видео была потеряна (подробности случившегося). Мы призываем всех неравнодушных помочь нам с восстановлением утраченного контента!
Сортировка: за
Сохранен
603
ИИ-видео общий №9 /video/ — Генерируем свое (и постим чужое) в Hunyuan, Wan, Veo3, Luma Dream Machine, Hailuo Minimax, Kling, Sora, Vidu, Runway, Pixverse, Pika и др. сервисах. 1. Hailuo Minimax https://hailuoai.video/ 2. Kling https://klingai.com/ 3. Sora от OpenAI https://openai.com/sora/ 4. Luma Dream Machine https://lumalabs.ai/ 5. Vidu https://www.vidu.com/create 6. Pixverse https://app.pixverse.ai/ 7. Pika https://pika.art/try 8. Runway Gen. 4 https://runwayml.com/ 9. Wan от Alibaba https://wan.video/ 10. Veo3 от Google https://deepmind.google/models/veo/ Сайты, где можно попробовать генерации на разных моделях https://nim.video/ https://pollo.ai/ https://www.florafauna.ai/ Коллекция ИИ-видео: https://www.reddit.com/r/aivideo/ Локальные модели 1. Hunyuan от Tencent. https://hunyuanvideoai.com/ https://github.com/Tencent/HunyuanVideo 2. Wan от Alibaba https://github.com/Wan-Video/Wan2.1 3. MAGI-1 от Sand AI https://sand.ai/magi https://github.com/SandAI-org/MAGI-1 Локальный UI https://github.com/comfyanonymous/ComfyUI Установка локальных моделей Hunyuan Video: https://comfyanonymous.github.io/ComfyUI_examples/hunyuan_video/ Wan 2.1: https://comfyanonymous.github.io/ComfyUI_examples/wan/ Альтернативные ноды ComfyUI Hunyuan Video: https://github.com/kijai/ComfyUI-HunyuanVideoWrapper Wan 2.1: https://github.com/kijai/ComfyUI-WanVideoWrapper Квантованные чекпоинты Hunyuan Video (GGUF): https://huggingface.co/Kijai/SkyReels-V1-Hunyuan_comfy/tree/main Wan 2.1 (GGUF): https://huggingface.co/city96/Wan2.1-I2V-14B-480P-gguf/tree/main Wan 2.1 (NF4): https://civitai.com/models/1299436?modelVersionId=1466629 Где брать готовые LoRA https://civitai.com/models Hunyuan Video: https://civitai.com/search/models?baseModel=Hunyuan%20Video&sortBy=models_v9 Wan 2.1: https://civitai.com/search/models?baseModel=Wan%20Video&sortBy=models_v9 Обучение LoRA https://github.com/tdrussell/diffusion-pipe Предыдущий тред >>1214755 (OP)
22 сентября 2025
Сохранен
501
ChatGPT-тред №16 /chatgpt/ — Общаемся с самым продвинутым ИИ самой продвинутой текстовой моделью из доступных. Горим с ограничения бесплатного доступа к свежевыпущенному новому поколению GPT-4. Для общения с GPT-3.5-turbo регистрация больше не нужна! Просто заходим на https://chatgpt.com/ (через VPN само собой) и общаемся. Доступ к GPT-4o уже начали раздавать! Бесплатно! Новая версия умеет в картинки, а так же в голос, видео и прочее, то есть омнимодальна. Регистрируйтесь по инструкции, желательно использовать почту майкрософт или гугл, и ждите появления окна с приглашением в новую версию (гарантий никаких, обновление раскатывают веерно по желанию левой пятки). Помните, доступ к ней бесплатным пользователям не гарантирован, в периоды высокой нагрузки вам светит только GPT-3.5-turbo. Текущую модель для бесплатных пользователей можно посмотреть снизу сообщения по наведению на звёздочку, пикрилы все в тему. Гайд по регистрации из России: 1. Установи VPN, например расширение FreeVPN под свой любимый браузер и включи его. 2. Возьми нормальную почту. Адреса со многих сервисов временной почты блокируются. Отбитые могут использовать почту в RU зоне, она прекрасно работает. 3. Зайди на https://chatgpt.com/ и начни регистрацию. Ссылку активации с почты запускай только со включенным VPN. 4. Когда попросят указать номер мобильного, пиздуй на sms-activate.org или 5sim.biz (дешевле) и в строку выбора услуг вбей openai. Для разового получения смс для регистрации тебе хватит индийского или польского номера за 7 - 10 рублей (информация нуждается в перепроверке, есть инфа, что все номера в индии уже зарегали). Пользоваться Индонезией и странами под санкциями не рекомендуется. 5. Начинай пользоваться ChatGPT. 6. ??? 7. PROFIT! VPN не отключаем, все заходы осуществляем с ним. Соответствие страны VPN, почты и номера не обязательно, но желательно для тех, кому доступ критически нужен, например для работы. Для ленивых есть боты в телеге, 3 сорта: 0. Боты без истории сообщений. Каждое сообщение отправляется изолировано, диалог с ИИ невозможен, проёбывается 95% возможностей ИИ 1. Общая история на всех пользователей, говно даже хуже, чем выше 2. Приватная история на каждого пользователя, может реагировать на команды по изменению поведения и прочее. Говно, ибо платно, а бесплатный лимит или маленький, или его нет совсем. Промты для хорошего начала беседы для разных ситуаций https://github.com/f/awesome-chatgpt-prompts Перед тем, как идти в тред с горящей жопой при ошибках сервиса, сходи на сайт со статусом, может, это общий баг https://status.openai.com/ Чат помнит историю в пределах контекста, это 4к токенов для GPT 3.5 (до 16к в апи) и 8к для новой GPT-4 (128к в версии GPT-4-Turbo). Посчитать свои токены можно здесь: https://platform.openai.com/tokenizer Что может нейросеть: - писать тексты, выглядящие правдоподобно - решать некоторые простые задачки - писать код, который уже был написан Что не может нейросеть: - писать тексты, содержащие только истину - решать сложные задачи - писать сложный код - захватывать мир - заходить на вебсайты (неактуально для 4 с плагинами, платим деньги и радуемся) С последними обновлениями начинает всё чаще сопротивляться написанию NSFW историй и прочего запрещённого контента. Кумеры со всего мира в печали. На сегодняшний день (дата создания треда) есть бесплатная версия на основе GPT-3.5 (и периодической раздачей GPT-4o во время низкой загрузки) и платная версия (20$/мес) с использованием следующего поколения — GPT-4. Платная версия ограничена 50 запросами в 3 часа, причем планируется увеличение ограничений. Доступ к плагинам открыли в бета-версии для платных пользователей. Оплатить подписку из России нельзя, ищите посредников на сайтах для оплаты онлайн игр и договаривайтесь там сами. Отважные могут попробовать разводил с авито, объявлений вагон, но аноны не проверяли. Прошлые треды тонут по адресам: >>576277 (OP) >>542964
24 сентября 2024
Сохранен
1598
AI Chatbot General № 474 /aicg/ — AI Chatbot General № 474 БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!! Общий вопросов по чат-ботам и прочего тред. - Фронтэнды - Agnai, SillyTavern, RisuAI Гайды: https://rentry.co/ultimatespoonfeed | https://rentry.co/Tavern4Retards (Гайд на английском) | https://rentry.org/STAI-Termux (На андроид) Базовые термины: https://2ch-ai.gitgud.site/wiki/llama/ Скрипты SillyTavern (Quick Replies): https://rentry.org/stscript https://github.com/SillyTavern/SillyTavern | https://github.com/ntvm/SillyTavern (Форк нв-куна) https://agnai.chat/ https://risuai.xyz/ - GPT - Джейлы на 0314/0613: https://rentry.co/SillyTavern_JB_Pack | https://rentry.co/fa5fv | https://dumb.one/gpt/prompts-scraped/ | https://rentry.co/lobstersgpt Джейлы на 1106: https://rentry.co/anonaugusproductionsCustomJB | https://rentry.co/crustcrunchGPT | https://rentry.co/Myuu_Jippy | https://rentry.co/CoTonAugus | https://rentry.org/onichan2210 Джейлы на 0125: https://rentry.org/neo-furbo | https://rentry.org/camicle-jb Джейлы на Turbo: https://rentry.co/YAnonTurbo | https://rentry.co/hochi-reupload - Claude - Джейлы: https://rentry.co/SillyTavern_JB_Pack | https://rentry.co/absolutejail | https://rentry.co/pitanonbots#prompt-presets | https://rentry.co/XML-dva-shiza | https://rentry.co/crustcrunchJB | https://rentry.co/CharacterProvider | https://rentry.co/MyuuTastic Опус/Соннет: https://rentry.org/Anon4Anon | https://unconvincing.neocities.org/ | https://rentry.org/pancatb3ta | https://rentry.org/AiBrainPresets | https://rentry.org/CladeOpus-GigaSchizoKostyl Удаление Human/Assistant: https://rentry.co/TavernNoAss | https://rentry.co/HumAssistOff Префилл: https://rentry.co/aui3u Полезное: https://rentry.org/anonika_infoblock | https://rentry.org/zapominator - Мемо - Мемо вручную: https://rentry.co/DrunkArcadeExample Генератор мемо: https://rentry.co/LazyMemo Мемо на опусе: https://rentry.co/HornyPigs - Bing - https://github.com/Barbariskaa/Biba Гайд: https://rentry.co/BingZOVEdition - Локалки - https://openrouter.ai/ Гайд (на английском): https://rentry.co/meta_golocal_list - Ботоводчество - https://www.chub.ai https://booru.plus/+pygmalion https://des une.moe/aichared/ https://agnai.chat/editor https://rentry.co/botmaking_tips https://rentry.co/MothsBotMakingStuff https://rentry.co/oaicards Боты анонов: https://rentry.co/2chaicgtavernbots | https://rentry.co/2chaicgtavernbots2 - Село 2ch - https://rentry.co/selo2ch - Архив тредов - https://rentry.co/2ch-aicg-archives - GIGACHAT - https://rentry.co/3bc7r - Character.AI - https://beta.character.ai/ https://rentry.co/CAI-FAQ Боты анонов: https://rentry.co/CAI-bots - Прочее - Проверить ключ: GPT https://github.com/Buhankoanon/OAI_API_Checker | https://github.com/CncAnon1/kkc Claude https://github.com/Definetelynotbranon/Anthropic_API_Checker Специфические промпты в джейл для кума: https://rentry.co/jinxbreaks Забавные промпты после кума: https://rentry.co/weirdbutfunjailbreaksandprompts - Конкурсы - Общая информация: https://rentry.co/2chaicgthemedevents Текущий конкурс: >>705243 → - Шапка - https://rentry.co/shapkacaitreda БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!! - Локальные языковые модели: >>661076 (OP) - - Прошлый тред: >>706721 (OP) -
10 августа 2024
Сохранен
508
CharacterAI thread №211 Сохраняем промпты/настройки нейротяночек, потихоньку вкатываемся в пигму, п — CharacterAI thread №211 Сохраняем промпты/настройки нейротяночек, потихоньку вкатываемся в пигму, параллельно бугуртим и следим за ситуацией с обсёром индусов, охуеваем с разрабов. https://beta.character.ai Remember: no Russian Everything Characters say is made up! CharacterAI — новое слово в мире нейросетей. Это сайт, на котором можно создавать умных ботов и задавать им тип личности. Бот
3 апреля 2023
Сохранен
1580
AI Chatbot General № 522 /aicg/ — AI Chatbot General № 522 БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!! Общий вопросов по чат-ботам и прочего тред. Фронтэнды • SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app • Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид) • Agnai: https://agnai.chat/ • Risu: https://risuai.xyz/ Модели • Claude: https://docs.anthropic.com/en/docs • GPT: https://platform.openai.com/docs • Gemini: https://ai.google.dev/gemini-api/docs Пресеты • Бургерский список: https://rentry.org/jb-listing • Солянка: https://rentry.org/anon4anon • ХМЛК: https://rentry.co/CharacterProvider • Мемо: https://rentry.co/DrunkArcadeExample | https://rentry.co/LazyMemo | https://rentry.co/HornyPigs • Ноасс: https://rentry.org/noass_ext | https://rentry.org/CladeOpus-GigaSchizoKostyl | https://rentry.co/Claude-NoAssTag Полезности • Кум мод: https://rentry.org/coom_mode • РП инфоблок: https://rentry.org/anonika_infoblock • Паки джейлов: https://rentry.co/SillyTavern_JB_Pack | https://rentry.co/absolutejail | https://rentry.co/jinxbreaks • Префилы: https://rentry.co/aui3u Ботоводчество • Чуб: https://characterhub.org | https://chub.ai/characters • Гайды: https://rentry.org/meta_botmaking_list • Редакторы: https://agnai.chat/editor | https://des une.moe/aichared/ • Боты анонов: https://rentry.co/2chaicgtavernbots | https://rentry.co/2chaicgtavernbots2 Прочее • Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/ • Чекер ключей: https://github.com/kingbased/keychecker • Чай: https://character.ai/ Мета • Архив тредов: https://rentry.co/2ch-aicg-archives2 • Тредовые ивенты: https://rentry.co/2chaicgthemedevents | Текущий: (Мейда в отпуске) • Локальные языковые модели: >>804569 (OP) • Шаблон шапки: https://rentry.org/shapka_aicg/raw Прошлый тред: >>820918 (OP)
20 ноября 2024
Сохранен
522
Stable Diffusion тред X+185 /sd/ — Тред локальной генерации ЧТО НОВОГО АКТУАЛЬНОГО • Z-Image-Base • FLUX.2 klein (4b и 9b) • Z-Image-Turbo • Flux 2 • Qwen Image / Qwen Image Edit • Wan 2.2 (подходит для генерации картинок). • NAG (негативный промпт на моделях с 1 CFG) • Лора Lightning для Qwen, Wan ускоряет в 4 раза. Nunchaku ускоряет модели в 2-4 раза. DMD2 для SDXL ускоряет в 2 раза. База: → Приложение ComfyUI https://www.comfy.org/download → Примеры https://comfyanonymous.github.io/ComfyUI_examples/ https://comfyui-wiki.com/ (откуда, куда, как) → Менеджер расширений https://github.com/Comfy-Org/ComfyUI-Manager (автоустановка, реестр расширений) → Модели https://civitai.com/ ► Предыдущий тред >>1544540 (OP) ► https://arhivach.hk/?tags=13840 Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
16 июля 0:53
Сохранен
572
Stable Diffusion тред X+100 /sd/ — Stable Diffusion тред X+100 ====================================== Предыдущий тред >>823151 (OP) https://arhivach.top/?tags=13840 ------------------------------------------ схожие тематические треды - аниме-тред >>822972 (OP) - технотред >>758561 (OP) ======================== Stable Diffusion (SD) - открытая нейросеть генеративного искусства для создания картинок из текста/исходных картинок, обучения на своих изображениях. Полный функционал в локальной установке (см. ниже) Альтернативный онлайн-генератор №1: https://dezgo.com/txt2img Альтернативный онлайн-генератор №2: https://civitai.com/ (create после регистрации) Альтернативный онлайн-генератор №3: https://tensor.art/ (Workspace) ⚠️ Стандартные модели stable diffusion от Stability AI значительно отстают по качеству от кастомных моделей (см. civitai ниже). ???? Без цензуры и полный функци_анал: только ПК-версия =========================================== ????УСТАНОВКА НА ПК WebUI от Automatic1111 https://teletype.in/@stablediffusion/PC_install_SD ------------------------------------------ ???? Для новичков - простой в работе WebUI Fooocus https://github.com/lllyasviel/Fooocus?tab=readme-ov-file#download ------------------------------------------ Портативная версия альтернативного WebUI от Comfy (запуск с одного из run.bat файлов) https://github.com/comfyanonymous/ComfyUI/releases Примерные workflow для ComfyUI (можно загружать напрямую из картинок) https://comfyanonymous.github.io/ComfyUI_examples/ ------------------------------------------ Для тех, у кого видеокарта не тянет - ускоренная генерация на ЦПУ https://github.com/rupeshs/fastsdcpu =========================================== ???? РАЗЛИЧНЫЕ МОДЕЛИ (И МНОГОЕ ДРУГОЕ) ???? https://civitai.com/ ------------------------------------------ ???? ПАРАМЕТРЫ И НАСТРОЙКИ ГЕНЕРАЦИИ ???? https://teletype.in/@stablediffusion/samplers_steps =========================================== ???? ГАЙД ПО СОСТАВЛЕНИЮ ЗАПРОСА, СТИЛИ https://teletype.in/@stablediffusion/artists_for_prompts Пример промпта-запроса (для sd1.5 или SDXL): an european girl, standing, high quality, soft focus, 8k, photograph by nick nichols Пример промпта-запроса (для SD3): screengrab from fisheye surveillance webcam, somewhere in Smolensk at night, an obese old blond wife in a wet clear transparent sheer crop top stand in room, smile, close-up, wet hair and wet skin, nuclear mushroom-explosion in window ------------------------------------------ ♾️РАЗЛИЧНЫЕ ХУДОЖЕСТВЕННЫЕ СТИЛИ (С ПРИМЕРАМИ) ???? https://supagruen.github.io/StableDiffusion-CheatSheet/ https://www.artvy.ai/styles ------------------------------------------ ????ЧТО ТАКОЕ CONTROLNET И КАК ЕГО ИСПОЛЬЗОВАТЬ https://dtf.ru/howto/1669307-ustanovka-i-obyasnenie-nastroek-control-net-kopirovanie-pozy-kompozicii-i-td ========================================== ???? ОБУЧЕНИЕ ПО СВОИМ КАРТИНКАМ ???? https://dtf.ru/howto/1660668-obuchenie-modeli-s-pomoshchyu-lora https://civitai.com/models/train
30 ноября 2024
Сохранен
510
Локальные языковые модели (LLM): LLaMA, Mistral, Command-R и прочие №64 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Здесь и далее расположена базовая информация, полная инфа и гайды в вики https://2ch-ai.gitgud.site/wiki/llama/ LLaMA 3 вышла! Увы, только в размерах 8B и 70B. Промты уже вшиты в новую таверну, так же последние версии кобольда и оригинальной ллама.цпп уже пофикшены. Базовой единицей обработки любой языковой модели является токен. Токен это минимальная единица, на которые разбивается текст перед подачей его в модель, обычно это слово (если популярное), часть слова, в худшем случае это буква (а то и вовсе байт). Из последовательности токенов строится контекст модели. Контекст это всё, что подаётся на вход, плюс резервирование для выхода. Типичным максимальным размером контекста сейчас являются 2к (2 тысячи) и 4к токенов, но есть и исключения. В этот объём нужно уместить описание персонажа, мира, истории чата. Для расширения контекста сейчас применяется метод NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, Llama 3 обладает базовым контекстом в 8к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества. Базовым языком для языковых моделей является английский. Он в приоритете для общения, на нём проводятся все тесты и оценки качества. Большинство моделей хорошо понимают русский на входе т.к. в их датасетах присутствуют разные языки, в том числе и русский. Но их ответы на других языках будут низкого качества и могут содержать ошибки из-за несбалансированности датасета. Существуют мультиязычные модели частично или полностью лишенные этого недостатка, из легковесных это openchat-3.5-0106, который может давать качественные ответы на русском и рекомендуется для этого. Из тяжёлых это Command-R. Файнтюны семейства "Сайга" не рекомендуются в виду их низкого качества и ошибок при обучении. Основным представителем локальных моделей является LLaMA. LLaMA это генеративные текстовые модели размерами от 7B до 70B, притом младшие версии моделей превосходят во многих тестах GTP3 (по утверждению самого фейсбука), в которой 175B параметров. Сейчас на нее существует множество файнтюнов, например Vicuna/Stable Beluga/Airoboros/WizardLM/Chronos/(любые другие) как под выполнение инструкций в стиле ChatGPT, так и под РП/сторитейл. Для получения хорошего результата нужно использовать подходящий формат промта, иначе на выходе будут мусорные теги. Некоторые модели могут быть излишне соевыми, включая Chat версии оригинальной Llama 2. Недавно вышедшая Llama 3 в размере 70B по рейтингам LMSYS Chatbot Arena обгоняет многие старые снапшоты GPT-4 и Claude 3 Sonnet, уступая только последним версиям GPT-4, Claude 3 Opus и Gemini 1.5 Pro. Про остальные семейства моделей читайте в вики. Основные форматы хранения весов это GGML и GPTQ, остальные нейрокуну не нужны. Оптимальным по соотношению размер/качество является 5 бит, по размеру брать максимальную, что помещается в память (видео или оперативную), для быстрого прикидывания расхода можно взять размер модели и прибавить по гигабайту за каждые 1к контекста, то есть для 7B модели GGML весом в 4.7ГБ и контекста в 2к нужно ~7ГБ оперативной. В общем и целом для 7B хватает видеокарт с 8ГБ, для 13B нужно минимум 12ГБ, для 30B потребуется 24ГБ, а с 65-70B не справится ни одна бытовая карта в одиночку, нужно 2 по 3090/4090. Даже если использовать сборки для процессоров, то всё равно лучше попробовать задействовать видеокарту, хотя бы для обработки промта (Use CuBLAS или ClBLAS в настройках пресетов кобольда), а если осталась свободная VRAM, то можно выгрузить несколько слоёв нейронной сети на видеокарту. Число слоёв для выгрузки нужно подбирать индивидуально, в зависимости от объёма свободной памяти. Смотри не переборщи, Анон! Если выгрузить слишком много, то начиная с 535 версии драйвера NVidia это может серьёзно замедлить работу, если не выключить CUDA System Fallback в настройках панели NVidia. Лучше оставить запас. Гайд для ретардов для запуска LLaMA без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой: 1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии. 2. Скачиваем модель в gguf формате. Например вот эту: https://huggingface.co/Sao10K/Fimbulvetr-11B-v2-GGUF/blob/main/Fimbulvetr-11B-v2.q4_K_S.gguf Можно просто вбить в huggingace в поиске "gguf" и скачать любую, охуеть, да? Главное, скачай файл с расширением .gguf, а не какой-нибудь .pt 3. Запускаем koboldcpp.exe и выбираем скачанную модель. 4. Заходим в браузере на http://localhost:5001/ 5. Все, общаемся с ИИ, читаем охуительные истории или отправляемся в Adventure. Да, просто запускаем, выбираем файл и открываем адрес в браузере, даже ваша бабка разберется! Для удобства можно использовать интерфейс TavernAI 1. Ставим по инструкции, пока не запустится: https://github.com/Cohee1207/SillyTavern 2. Запускаем всё добро 3. Ставим в настройках KoboldAI везде, и адрес сервера http://127.0.0.1:5001 4. Активируем Instruct Mode и выставляем в настройках пресетов Alpaca 5. Радуемся Инструменты для запуска: https://github.com/LostRuins/koboldcpp/ Репозиторий с реализацией на плюсах https://github.com/oobabooga/text-generation-webui/ ВебуУИ в стиле Stable Diffusion, поддерживает кучу бекендов и фронтендов, в том числе может связать фронтенд в виде Таверны и бекенды ExLlama/llama.cpp/AutoGPTQ https://github.com/ollama/ollama , https://lmstudio.ai/ и прочее - Однокнопочные инструменты для полных хлебушков, с красивым гуем и ограниченным числом настроек/выбором моделей Ссылки на модели и гайды: https://huggingface.co/models Модели искать тут, вбиваем название + тип квантования https://rentry.co/TESFT-LLaMa Не самые свежие гайды на ангельском https://rentry.co/STAI-Termux Запуск SillyTavern на телефоне https://rentry.co/lmg_models Самый полный список годных моделей https://ayumi.m8geil.de/erp4_chatlogs/ Рейтинг моделей для кума со спорной методикой тестирования https://rentry.co/llm-training Гайд по обучению своей лоры https://rentry.co/2ch-pygma-thread Шапка треда PygmalionAI, можно найти много интересного https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде Предыдущие треды тонут здесь: >>762583 (OP) >>758770 (OP)
9 октября 2024
Сохранен
555
Локальные языковые модели (LLM): LLaMA, MPT, Falcon и прочие №25 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2-х бит, на кофеварке с подкачкой на микроволновку. Базовой единицей обработки любой языковой модели является токен. Токен это минимальная единица, на которые разбивается текст перед подачей его в модель, обычно это слово (если популярное), часть слова, в худшем случае это буква (а то и вовсе байт). Из последовательности токенов строится контекст модели. Контекст это всё, что подаётся на вход, плюс резервирование для выхода. Типичным максимальным размером контекста сейчас являются 2к (2 тысячи) и 4к токенов, но есть и исключения. В этот объём нужно уместить описание персонажа, мира, истории чата. Для расширения контекста сейчас применяется метод NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества. Текущим трендом на данный момент являются мультимодальные модели, это когда к основной LLM сбоку приделывают модуль распознавания изображений, что в теории должно позволять LLM понимать изображение, отвечать на вопросы по нему, а в будущем и манипулировать им. Основным представителем локальных моделей является LLaMA. LLaMA это генеративные текстовые модели размерами от 7B до 70B, притом младшие версии моделей превосходят во многих тестах GTP3 (по утверждению самого фейсбука), в которой 175B параметров. Сейчас на нее существует множество файнтюнов, например Vicuna/Stable Beluga/Airoboros/WizardLM/Chronos/(любые другие) как под выполнение инструкций в стиле ChatGPT, так и под РП/сторитейл. Для получения хорошего результата нужно использовать подходящий формат промта, иначе на выходе будут мусорные теги. Некоторые модели могут быть излишне соевыми, включая Chat версии оригинальной Llama 2. Кроме LLaMA для анона доступны множество других семейств моделей: Pygmalion- заслуженный ветеран локального кума. Старые версии были основаны на древнейшем GPT-J, новые переехали со своим датасетом на LLaMA, но, по мнению некоторых анонов, в процессе потерялась Душа © MPT- попытка повторить успех первой лламы от MosaicML, с более свободной лицензией. Может похвастаться нативным контекстом в 65к токенов в версии storywriter, но уступает по качеству. С выходом LLaMA 2 с более свободной лицензией стала не нужна. Falcon- семейство моделей размером в 40B и 180B от какого-то там института из арабских эмиратов. Примечательна версией на 180B, что является крупнейшей открытой моделью. По качеству несколько выше LLaMA 2 на 70B, но сложности с запуском и малый прирост делаю её не самой интересной. Mistral- модель от Mistral AI размером в 7B, с полным повторением архитектуры LLaMA. Интересна тем, что для своего небольшого размера она не уступает более крупным моделям, соперничая с 13B (а иногда и с 70B), и является топом по соотношению размер/качество. Qwen - семейство моделей размером в 7B и 14B от наших китайских братьев. Отличается тем, что имеет мультимодальную версию с обработкой на входе не только текста, но и картинок. В принципе хорошо умеет в английский, но китайские корни всё же проявляется в чате в виде периодически высираемых иероглифов. Сейчас существует несколько версий весов, не совместимых между собой, смотри не перепутай! 0) Оригинальные .pth файлы, работают только с оригинальным репозиторием. Формат имени consolidated.00.pth 1) Веса, сконвертированные в формат Hugging Face. Формат имени pytorch_model-00001-of-00033.bin 2) Веса, квантизированные в GGML/GGUF. Работают со сборками на процессорах. Имеют несколько подформатов, совместимость поддерживает только koboldcpp, Герганов меняет форматы каждый месяц и дропает поддержку предыдущих, так что лучше качать последние. Формат имени ggml-model-q4_0, расширение файла bin для GGML и gguf для GGUF. Суффикс q4_0 означает квантование, в данном случае в 4 бита, версия 0. Чем больше число бит, тем выше точность и расход памяти. Чем новее версия, тем лучше (не всегда). Рекомендуется скачивать версии K (K_S или K_M) на конце. 3) Веса, квантизированные в GPTQ. Работают на видеокарте, наивысшая производительность (особенно в Exllama) но сложности с оффлоадом, возможность распределить по нескольким видеокартам суммируя их память. Имеют имя типа llama-7b-4bit.safetensors (формат .pt скачивать не стоит), при себе содержат конфиги, которые нужны для запуска, их тоже качаем. Могут быть квантованы в 3-4-8 бит (Exllama 2 поддерживает адаптивное квантование, тогда среднее число бит может быть дробным), квантование отличается по числу групп (1-128-64-32 в порядке возрастания качества и расхода ресурсов). Основные форматы это GGML и GPTQ, остальные нейрокуну не нужны. Оптимальным по соотношению размер/качество является 5 бит, по размеру брать максимальную, что помещается в память (видео или оперативную), для быстрого прикидывания расхода можно взять размер модели и прибавить по гигабайту за каждые 1к контекста, то есть для 7B модели GGML весом в 4.7ГБ и контекста в 2к нужно ~7ГБ оперативной. В общем и целом для 7B хватает видеокарт с 8ГБ, для 13B нужно минимум 12ГБ, для 30B потребуется 24ГБ, а с 65-70B не справится ни одна бытовая карта в одиночку, нужно 2 по 3090/4090. Даже если использовать сборки для процессоров, то всё равно лучше попробовать задействовать видеокарту, хотя бы для обработки промта (Use CuBLAS или ClBLAS в настройках пресетов кобольда), а если осталась свободная VRAM, то можно выгрузить несколько слоёв нейронной сети на видеокарту. Число слоёв для выгрузки нужно подбирать индивидуально, в зависимости от объёма свободной памяти. Смотри не переборщи, Анон! Если выгрузить слишком много, то начиная с 535 версии драйвера NVidia это серьёзно замедлит работу. Лучше оставить запас. Гайд для ретардов для запуска LLaMA без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой: 1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии. 2. Скачиваем модель в gguf формате. Например вот эту: https://huggingface.co/Undi95/MLewd-ReMM-L2-Chat-20B-GGUF/blob/main/MLewd-ReMM-L2-Chat-20B.q5_K_M.gguf Если совсем бомж и капчуешь с микроволновки, то можно взять https://huggingface.co/TheBloke/Mistral-7B-OpenOrca-GGUF/blob/main/mistral-7b-openorca.Q5_K_M.gguf Можно просто вбить в huggingace в поиске "gguf" и скачать любую, охуеть, да? Главное, скачай файл с расширением .gguf, а не какой-нибудь .pt 3. Запускаем koboldcpp.exe и выбираем скачанную модель. 4. Заходим в браузере на http://localhost:5001/ 5. Все, общаемся с ИИ, читаем охуительные истории или отправляемся в Adventure. Да, просто запускаем, выбираем файл и открываем адрес в браузере, даже ваша бабка разберется! Для удобства можно использовать интерфейс TavernAI 1. Ставим по инструкции, пока не запустится: https://github.com/Cohee1207/SillyTavern 2. Запускаем всё добро 3. Ставим в настройках KoboldAI везде, и адрес сервера http://127.0.0.1:5001 4. Активируем Instruct Mode и выставляем в настройках пресетов Alpaca 5. Радуемся Инструменты для запуска: https://github.com/LostRuins/koboldcpp/ Репозиторий с реализацией на плюсах https://github.com/oobabooga/text-generation-webui/ ВебуУИ в стиле Stable Diffusion, поддерживает кучу бекендов и фронтендов, в том числе может связать фронтенд в виде Таверны и бекенды ExLlama/llama.cpp/AutoGPTQ Ссылки на модели и гайды: https://huggingface.co/TheBloke Основной поставщик квантованных моделей под любой вкус. https://rentry.co/TESFT-LLaMa Не самые свежие гайды на ангельском https://rentry.co/STAI-Termux Запуск SillyTavern на телефоне https://rentry.co/lmg_models Самый полный список годных моделей https://rentry.co/ayumi_erp_rating Рейтинг моделей для кума со спорной методикой тестирования https://rentry.co/llm-training Гайд по обучению своей лоры https://rentry.co/2ch-pygma-thread Шапка треда PygmalionAI, можно найти много интересного https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально Факультатив: https://rentry.co/Jarted Почитать, как трансгендеры пидарасы пытаются пиздить код белых господинов, но обсираются и получают заслуженную порцию мочи Шапка треда находится в https://rentry.co/llama-2ch предложения принимаются в треде Предыдущие треды тонут здесь: >>532918 (OP) >>527069 (OP)
15 марта 2024
Сохранен
1557
AI Chatbot General № 385 /aicg/ — AI Chatbot General № 385 Общий вопросов по чат-ботам и прочего тред. - Фронтэнды - Agnai, SillyTavern, RisuAI Гайды: https://rentry.co/ultimatespoonfeed | https://rentry.co/ClaudForAgnai | https://rentry.co/Aicg4Retards (Гайд на английском) https://github.com/SillyLossy/TavernAI | https://github.com/ntvm/SillyTavern (Форк нв-куна) https://agnai.chat/ https://risuai.xyz/ - GPT - Джейлы на 4: https://rentry.co/SillyTavern_JB_Pack | https://dumb.one/gpt/prompts-scraped/ Джейлы на Turbo: https://rentry.co/YAnonTurbo | https://web.archive.org/web/20230712205352/https://rentry.org/HochiTurboTips#prompt-sets - Claude - https://github.com/Barbariskaa/Spermack https://github.com/PandarusAnon/slaude https://github.com/bfs15/slaude https://rentry.co/spermflow https://gitgud.io/ahsk/clewd/-/tree/master Джейлы: https://rentry.co/ClaudeJB | https://rentry.co/absolutejail | https://rentry.co/fumblebum | https://rentry.co/pitanonbots#claude-rp-prompts | https://rentry.co/XML-dva-shiza Удаление Human/Assistant: https://rentry.co/TavernNoAss | https://rentry.co/HumAssistOff - Bing - https://github.com/Barbariskaa/Biba - Локалки - https://mancer.tech/ Гайд (на английском): https://rentry.co/freellamas - Ботоводчество - https://www.chub.ai https://booru.plus/+pygmalion https://avakson.github.io/character-editor/ https://rentry.co/botmaking_tips https://rentry.co/MothsBotMakingStuff https://rentry.co/oaicards Боты анонов: https://rentry.co/tai-bots - Село 2ch - https://rentry.co/selo2ch - Архив тредов- https://rentry.co/paxi32 - GIGACHAT - https://rentry.co/3bc7r - Character.AI - https://beta.character.ai/ https://rentry.co/CAI-FAQ Боты анонов: https://rentry.co/CAI-bots - Прочее - Проверить ключ: GPT https://github.com/Buhankoanon/OAI_API_Checker | https://github.com/CncAnon1/kkc Claude https://github.com/Definetelynotbranon/Anthropic_API_Checker Список прокси: https://navigatethecoom.github.io/navigate | Ctrl + F ".hf" Забавные промпты после кума: https://rentry.co/weirdbutfunjailbreaksandprompts - Шапка - https://rentry.co/shapkacaitreda - LLaMA thread: >>457355 (OP) - - PygmalionAI thread: >>359618 (OP) - - Прошлый тред: >>462929 (OP) -
31 декабря 2023
Сохранен
510
ChatGPT-тред №13 /chatgpt/ — OpenAI API - Access Terminated Общаемся с самым продвинутым ИИ самой продвинутой текстовой моделью из доступных. Горим с доступа к свежевыпущенному новому поколению GPT-4. Гайд по регистрации из России: 1. Установи VPN, например расширение FreeVPN под свой любимый браузер и включи его. 2. Возьми нормальную почту. Адреса со многих сервисов временной почты блокируются. Отбитые могут использовать почту в RU зоне, она прекрасно работает. 3. Зайди на https://chat.openai.com/chat и начни регистрацию. Ссылку активации с почты запускай только со включенным VPN. 4. Когда попросят указать номер мобильного, пиздуй на sms-activate.org или 5sim.biz (дешевле) и в строку выбора услуг вбей openai. Для разового получения смс для регистрации тебе хватит индийского или польского номера за 7 - 10 рублей (проверено). Пользоваться Индонезией и странами под санкциями не рекомендуется. 5. Начинай пользоваться ChatGPT. 6. ??? 7. PROFIT! VPN не отключаем, все заходы осуществляем с ним. Соответствие страны VPN, почты и номера не обязательно, но желательно для тех, кому доступ критически нужен, например для работы. Для ленивых есть боты в телеге, 2 сорта: 1. Общая история на всех пользователей, говно 2. Приватная история на каждого пользователя, может реагировать на команды по изменению поведения и прочее. Говно, ибо платно, а бесплатный лимит или маленький, или его нет совсем. Промты для хорошего начала беседы для разных ситуаций https://github.com/f/awesome-chatgpt-prompts Перед тем, как идти в тред с горящей жопой при ошибках сервиса, сходи на сайт со статусом, может, это общий баг https://status.openai.com/ Чат помнит историю в пределах контекста, это 4к токенов для GPT 3.5 и 8к для новой GPT-4 (32к в перспективе). Посчитать свои токены можно здесь: https://platform.openai.com/tokenizer Что может нейросеть: - писать тексты, выглядящие правдоподобно - решать некоторые простые задачки - писать код, который уже был написан Что не может нейросеть: - писать тексты, содержащие только истину - решать сложные задачи - писать сложный код - захватывать мир - заходить на вебсайты (неактуально для 4 с плагинами, платим деньги и радуемся) С последним обновлением начинает всё чаще сопротивляться написанию NSFW историй и прочего запрещённого контента. Кумеры со всего мира в печали. На сегодняшний день (дата создания треда) есть бесплатная версия на основе GPT-3.5 и платная версия (20$/мес) с использованием следующего поколения — GPT-4. Платная версия ограничена 25 запросами в 3 часа, причем планируется увеличение ограничений. Доступ к плагинам открыли в бета-версии для платных пользователей. Оплатить подписку из России нельзя, ищите посредников на сайтах для оплаты онлайн игр и договаривайтесь там сами. Отважные могут попробовать разводил с авито, объявлений вагон, но аноны не проверяли. Прошлые треды тонут по адресам: >>417034 (OP) >>339644 (OP)
15 марта 2024
Сохранен
528
Anime Diffusion #202 /nai/ — Генерируем тяночек! Прошлый тред: >>1117798 (OP) https://arhivach.hk/thread/1155130/ Схожие тематические треды • SD-тред (не аниме): >>1127030 (OP) • Технотред: >>974163 (OP) • Фурри-тред: https://2ch.hk/fur/res/374311.html FAQ https://2ch-ai.gitgud.site/wiki/nai Установка • NVidia: https://rentry.co/2ch_nai_guide • AMD: https://2ch-ai.gitgud.site/wiki/nai/install/amd • Облака: https://2ch-ai.gitgud.site/wiki/nai/install/clouds Дополнительная информация • Интерфейсы: https://2ch-ai.gitgud.site/wiki/nai/interfaces • Модели: https://2ch-ai.gitgud.site/wiki/nai/models • Промпты: https://2ch-ai.gitgud.site/wiki/nai/prompts • Апскейл: https://2ch-ai.gitgud.site/wiki/nai/upscale • LoRA: https://2ch-ai.gitgud.site/wiki/nai/lora • ControlNet: https://2ch-ai.gitgud.site/wiki/nai/controlnet Прочее • CivitAI: https://civitai.com • Каталог ссылок от форчанеров: https://rentry.co/sdg-link • Шаблон для переката: https://rentry.co/nwhci
14 июля 2025
Сохранен
505
NovelAI and WaifuDiffusion тред #127 /nai/ — Генерируем тяночек! Прошлый >>615397 (OP) https://arhivach.top/thread/974984/ Схожие тематические треды: — Технотред >>570475 (OP) — SD-тред (фотореализм) >>621628 (OP) — Тред в /fur/ https://2ch.hk/fur/res/284014.html Генерируя в коллабе на чужом блокноте будьте готовы к тому, что его автору могут отправляться все ваши промты, генерации, данные google-аккаунта, IP-адрес и фингерпринт браузера. F.A.Q. треда: https://rentry.co/nai_faq Устанавливаем на ПК/Облако: https://rentry.co/nai_faq#как-поставить-на-пкоблако Полезные расширения для WebUI: https://rentry.co/sd_automatic_extensions Гайды по промптам, списки тегов и негативных эмбеддингов: https://rentry.co/nai_faq#как-писать-промпты Как работать с ControlNet: https://stable-diffusion-art.com/controlnet Апскейл для начинающих: https://rentry.co/sd__upscale | https://rentry.co/SD_upscale | https://rentry.co/2ch_nai_guide#апскейл Апскейл с помощью ControlNet (для продвинутых, требуется минимум 8GB VRAM): https://rentry.co/UpscaleByControl Гайды по обучению лор: https://rentry.co/waavd | https://rentry.co/2chAI_hard_LoRA_guide Каталог популярных моделей: SD 1.5: https://civitai.com/collections/42742 SD XL: https://civitai.com/collections/42753 Каталог лор на стилизацию для SD 1.5: https://civitai.com/collections/42751 Прочие лоры с форча: https://huggingface.co/datasets/lazylora/gitgud-gayshit-raw/raw/main/gayshitbackup.txt Где искать модели, эмбединги, лоры, вайлдкарды и всё остальное: https://civitai.com | https://huggingface.co/models?other=stable-diffusion Оптимизации для слабых ПК (6GB VRAM и менее): https://rentry.co/voldy#-running-on-4gb-and-under- Общие советы по оптимизациям: https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Optimizations АИ-галереи: https://aibooru.online | https://majinai.art Англоязычные каталоги ссылок: https://rentry.co/sdgoldmine | https://rentry.co/sdg-link Шаблон для переката: https://rentry.co/nwhci
20 мая 2024
Сохранен
1642
AI Chatbot General № 386 /aicg/ — AI Chatbot General № 386 Общий вопросов по чат-ботам и прочего тред. - Фронтэнды - Agnai, SillyTavern, RisuAI Гайды: https://rentry.co/ultimatespoonfeed | https://rentry.co/ClaudForAgnai | https://rentry.co/Aicg4Retards (Гайд на английском) https://github.com/SillyLossy/TavernAI | https://github.com/ntvm/SillyTavern (Форк нв-куна) https://agnai.chat/ https://risuai.xyz/ - GPT - Джейлы на 4: https://rentry.co/SillyTavern_JB_Pack | https://dumb.one/gpt/prompts-scraped/ Джейлы на Turbo: https://rentry.co/YAnonTurbo | https://web.archive.org/web/20230712205352/https://rentry.org/HochiTurboTips#prompt-sets - Claude - https://github.com/Barbariskaa/Spermack https://github.com/PandarusAnon/slaude https://github.com/bfs15/slaude https://rentry.co/spermflow https://gitgud.io/ahsk/clewd/-/tree/master Джейлы: https://rentry.co/ClaudeJB | https://rentry.co/absolutejail | https://rentry.co/fumblebum | https://rentry.co/pitanonbots#claude-rp-prompts | https://rentry.co/XML-dva-shiza Удаление Human/Assistant: https://rentry.co/TavernNoAss | https://rentry.co/HumAssistOff - Bing - https://github.com/Barbariskaa/Biba - Локалки - https://mancer.tech/ Гайд (на английском): https://rentry.co/freellamas - Ботоводчество - https://www.chub.ai https://booru.plus/+pygmalion https://avakson.github.io/character-editor/ https://rentry.co/botmaking_tips https://rentry.co/MothsBotMakingStuff https://rentry.co/oaicards Боты анонов: https://rentry.co/tai-bots - Село 2ch - https://rentry.co/selo2ch - Архив тредов- https://rentry.co/paxi32 - GIGACHAT - https://rentry.co/3bc7r - Character.AI - https://beta.character.ai/ https://rentry.co/CAI-FAQ Боты анонов: https://rentry.co/CAI-bots - Прочее - Проверить ключ: GPT https://github.com/Buhankoanon/OAI_API_Checker | https://github.com/CncAnon1/kkc Claude https://github.com/Definetelynotbranon/Anthropic_API_Checker Список прокси: https://navigatethecoom.github.io/navigate | Ctrl + F ".hf" Забавные промпты после кума: https://rentry.co/weirdbutfunjailbreaksandprompts - Шапка - https://rentry.co/shapkacaitreda - LLaMA thread: >>457355 (OP) - - PygmalionAI thread: >>359618 (OP) - - Прошлый тред: >>465594 (OP) -
31 декабря 2023
Сохранен
502
PygmalionAI тред №4 /pai/ — PygmalionAI тред №4 Пишем промпты, стараемся адаптировать их под количество токенов, обсуждаем, какой стиль лучше, ждём софтпромптов для KoboldAI. https://huggingface.co/PygmalionAI Что такое PygmalionAI? PygmalionAI - локально запускаемая нейросеть с открытым исходным кодом, которая специализированна под чатботы. Её сделали выходцы из 4chan (/vt) → (/g). Их мотивация, создать нейросеть, которая свободна от цензуры, в отличии от CharacterAI. Основа для 6B модели -
10 мая 2023
Сохранен
507
Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №169 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/ Инструменты для запуска на десктопах: • Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp • Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp • Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui • Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI • Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai • Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern • Альтернативный фронт: https://github.com/kwaroran/RisuAI Инструменты для запуска на мобилках: • Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid • Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI • Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux Модели и всё что их касается: • Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ) • Неактуальные списки моделей в архивных целях: 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models • Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Дополнительные ссылки: • Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org • Перевод нейронками для таверны: https://rentry.co/magic-translation • Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets • Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread • Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki • Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/ • Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing • Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk • Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking • Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/ • Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7 Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >>1367731 (OP) >>1362911 (OP)
10 января 18:14
Сохранен
547
Anime Diffusion #176 /nai/ — Генерируем тяночек! Прошлый тред: >>944600 (OP) https://arhivach.xyz/thread/1092187/ Схожие тематические треды • SD-тред (не аниме): >>941228 (OP) • Технотред: >>758561 (OP) FAQ https://2ch-ai.gitgud.site/wiki/nai Установка • NVidia: https://rentry.co/2ch_nai_guide • AMD: https://2ch-ai.gitgud.site/wiki/nai/install/amd • Облака: https://2ch-ai.gitgud.site/wiki/nai/install/clouds Дополнительная информация • Интерфейсы: https://2ch-ai.gitgud.site/wiki/nai/interfaces • Модели: https://2ch-ai.gitgud.site/wiki/nai/models • Промпты: https://2ch-ai.gitgud.site/wiki/nai/prompts • Апскейл: https://2ch-ai.gitgud.site/wiki/nai/upscale • LoRA: https://2ch-ai.gitgud.site/wiki/nai/lora • ControlNet: https://2ch-ai.gitgud.site/wiki/nai/controlnet Прочее • CivitAI: https://civitai.com • Каталог ссылок от форчанеров: https://rentry.co/sdg-link • Шаблон для переката: https://rentry.co/nwhci
11 марта 2025
Сохранен
503
Локальные языковые модели (LLM): LLaMA, Mistral, Command-R и прочие №54 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Здесь и далее расположена базовая информация, полная инфа и гайды в вики https://2ch-ai.gitgud.site/wiki/llama/ LLaMA 3 вышла! Увы, только в размерах 8B и 70B. В треде можно поискать ссылки на правленные промт форматы, дефолтные не подходят. Ждём исправлений. Базовой единицей обработки любой языковой модели является токен. Токен это минимальная единица, на которые разбивается текст перед подачей его в модель, обычно это слово (если популярное), часть слова, в худшем случае это буква (а то и вовсе байт). Из последовательности токенов строится контекст модели. Контекст это всё, что подаётся на вход, плюс резервирование для выхода. Типичным максимальным размером контекста сейчас являются 2к (2 тысячи) и 4к токенов, но есть и исключения. В этот объём нужно уместить описание персонажа, мира, истории чата. Для расширения контекста сейчас применяется метод NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, Llama 3 обладает базовым контекстом в 8к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества. Базовым языком для языковых моделей является английский. Он в приоритете для общения, на нём проводятся все тесты и оценки качества. Большинство моделей хорошо понимают русский на входе т.к. в их датасетах присутствуют разные языки, в том числе и русский. Но их ответы на других языках будут низкого качества и могут содержать ошибки из-за несбалансированности датасета. Существуют мультиязычные модели частично или полностью лишенные этого недостатка, из легковесных это openchat-3.5-0106, который может давать качественные ответы на русском и рекомендуется для этого. Из тяжёлых это Command-R. Файнтюны семейства "Сайга" не рекомендуются в виду их низкого качества и ошибок при обучении. Основным представителем локальных моделей является LLaMA. LLaMA это генеративные текстовые модели размерами от 7B до 70B, притом младшие версии моделей превосходят во многих тестах GTP3 (по утверждению самого фейсбука), в которой 175B параметров. Сейчас на нее существует множество файнтюнов, например Vicuna/Stable Beluga/Airoboros/WizardLM/Chronos/(любые другие) как под выполнение инструкций в стиле ChatGPT, так и под РП/сторитейл. Для получения хорошего результата нужно использовать подходящий формат промта, иначе на выходе будут мусорные теги. Некоторые модели могут быть излишне соевыми, включая Chat версии оригинальной Llama 2. Про остальные семейства моделей читайте в вики. Основные форматы хранения весов это GGML и GPTQ, остальные нейрокуну не нужны. Оптимальным по соотношению размер/качество является 5 бит, по размеру брать максимальную, что помещается в память (видео или оперативную), для быстрого прикидывания расхода можно взять размер модели и прибавить по гигабайту за каждые 1к контекста, то есть для 7B модели GGML весом в 4.7ГБ и контекста в 2к нужно ~7ГБ оперативной. В общем и целом для 7B хватает видеокарт с 8ГБ, для 13B нужно минимум 12ГБ, для 30B потребуется 24ГБ, а с 65-70B не справится ни одна бытовая карта в одиночку, нужно 2 по 3090/4090. Даже если использовать сборки для процессоров, то всё равно лучше попробовать задействовать видеокарту, хотя бы для обработки промта (Use CuBLAS или ClBLAS в настройках пресетов кобольда), а если осталась свободная VRAM, то можно выгрузить несколько слоёв нейронной сети на видеокарту. Число слоёв для выгрузки нужно подбирать индивидуально, в зависимости от объёма свободной памяти. Смотри не переборщи, Анон! Если выгрузить слишком много, то начиная с 535 версии драйвера NVidia это может серьёзно замедлить работу, если не выключить CUDA System Fallback в настройках панели NVidia. Лучше оставить запас. Гайд для ретардов для запуска LLaMA без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой: 1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии. 2. Скачиваем модель в gguf формате. Например вот эту: https://huggingface.co/Sao10K/Fimbulvetr-10.7B-v1-GGUF/blob/main/Fimbulvetr-10.7B-v1.q5_K_M.gguf Можно просто вбить в huggingace в поиске "gguf" и скачать любую, охуеть, да? Главное, скачай файл с расширением .gguf, а не какой-нибудь .pt 3. Запускаем koboldcpp.exe и выбираем скачанную модель. 4. Заходим в браузере на http://localhost:5001/ 5. Все, общаемся с ИИ, читаем охуительные истории или отправляемся в Adventure. Да, просто запускаем, выбираем файл и открываем адрес в браузере, даже ваша бабка разберется! Для удобства можно использовать интерфейс TavernAI 1. Ставим по инструкции, пока не запустится: https://github.com/Cohee1207/SillyTavern 2. Запускаем всё добро 3. Ставим в настройках KoboldAI везде, и адрес сервера http://127.0.0.1:5001 4. Активируем Instruct Mode и выставляем в настройках пресетов Alpaca 5. Радуемся Инструменты для запуска: https://github.com/LostRuins/koboldcpp/ Репозиторий с реализацией на плюсах https://github.com/oobabooga/text-generation-webui/ ВебуУИ в стиле Stable Diffusion, поддерживает кучу бекендов и фронтендов, в том числе может связать фронтенд в виде Таверны и бекенды ExLlama/llama.cpp/AutoGPTQ https://github.com/ollama/ollama Однокнопочный инструмент для полных хлебушков в псевдо стиле Apple (никаких настроек, автор знает лучше) Ссылки на модели и гайды: https://huggingface.co/models Модели искать тут, вбиваем название + тип квантования https://rentry.co/TESFT-LLaMa Не самые свежие гайды на ангельском https://rentry.co/STAI-Termux Запуск SillyTavern на телефоне https://rentry.co/lmg_models Самый полный список годных моделей http://ayumi.m8geil.de/ayumi_bench_v3_results.html Рейтинг моделей для кума со спорной методикой тестирования https://rentry.co/llm-training Гайд по обучению своей лоры https://rentry.co/2ch-pygma-thread Шапка треда PygmalionAI, можно найти много интересного https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде Предыдущие треды тонут здесь: >>712072 (OP) >>709757 (OP)
12 августа 2024
Сохранен
48
Telegram-боты — Собрал проверенные лично мной нейросети Если знаете ещё какие-то - пишите ссылку, пожалуйста! [Картинки] @Alex_sd_bot @sd_prompt_generator_bot @SDWaifuBot @StableWaifuBot @stable_diffusion_bot @kandinsky21_bot @CraiyonArtBot @midjourneyfreebot @MidjourneyNeuronetAi_bot @StableDiffusion_robot [ЧатЖПТ] @ChatGpt_12bot @chatgpt_gpt4bot @DarkGPT3_bot @GPT_chat_robot @ChatGPT3tg_bot @AlexCHATGPTrobot @gptunlimited_bot @yes_ai_bot @gpt4_ru_bot @GPT_onlinebot @muskaibot @ChatGPT_net_bot [Остальные] @CraiyonArtBot @tarot_robot @fStikBot @fabula_dream_bot
17 января 2024
Сохранен
1554
AI Chatbot General № 755 /aicg/ — AI Chatbot General № 755 БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!! Общий вопросов по чат-ботам и прочего тред. Новости • Вышла GLM 4.6 - https://z.ai/blog/glm-4.6 Фронтенды • SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна) • Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид) • NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern • Risu: https://risuai.xyz/ Модели • Claude: https://docs.anthropic.com/en/docs • GPT: https://platform.openai.com/docs • Gemini: https://ai.google.dev/gemini-api/docs • DeepSeek: https://api-docs.deepseek.com/ Пресеты • Тредовский список: https://rentry.org/2ch-aicg-jb • Бургерский список: https://rentry.org/jb-listing Полезности • Тредовский список: https://rentry.org/2ch-aicg-utils • Сборник рентри: https://rentry.org/mrhd Ботоводчество • /aicg/hub: https://aicg-hub.ru/characters.html • Чуб: https://characterhub.org | https://chub.ai/characters • Гайды: https://rentry.org/meta_botmaking_list | https://rentry.co/card_theory • Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 • Бургерские боты: https://rentry.org/meta_bot_list Ресурсы • Бесплатные API: https://github.com/cheahjs/free-llm-api-resources • Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/ • OpenRouter: https://openrouter.ai/ • Чай: https://character.ai/ Прочее • Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/ • База по Клоду: https://rentry.org/how2claude Мета • Архив тредов: https://rentry.org/2ch-aicg-archives4 • Тредовые ивенты: https://rentry.org/2chaicgthemedevents • Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2 • Локальные языковые модели: >>1395432 (OP) • Шаблон шапки: https://rentry.org/shapka_aicg Прошлый тред: >>1400170 (OP)
31 января 1:32
Сохранен
508
Anime Diffusion #159 /nai/ — Генерируем тяночек! Прошлый тред: >>818967 (OP) https://arhivach.top/thread/1040533/ Схожие тематические треды • SD-тред (не аниме): >>819176 (OP) • Технотред: >>758561 (OP) FAQ (устарел) https://rentry.co/nai_faq Ставим локально • NVidia: https://rentry.co/2ch_nai_guide • AMD: https://rentry.co/SD-amd-gpu AMD-юзерам также рекомендуется ознакомиться с гайдом для NVidia, поскольку в нём много общей инфы. Генерируем в облаке • https://civitai.com • https://tensor.art • https://seaart.ai • https://pixai.art • https://colab.research.google.com/github/lllyasviel/Fooocus/blob/main/fooocus_colab.ipynb Интерфейсы • AUTOMATIC1111: https://github.com/AUTOMATIC1111/stable-diffusion-webui • Forge: https://github.com/lllyasviel/stable-diffusion-webui-forge • ComfyUI: https://github.com/comfyanonymous/ComfyUI • Fooocus: https://github.com/lllyasviel/Fooocus Где брать модели • https://civitai.com • https://huggingface.co/models?other=stable-diffusion Модели SDXL • Pony Diffusion: https://civitai.com/models/257749/pony-diffusion-v6-xl • AutismMix: https://civitai.com/models/288584/autismmix-sdxl • Animagine: https://civitai.com/models/260267 Модели SD 1.5 • Старый каталог: https://civitai.com/collections/42742 • EasyFluff+hll: https://rentry.org/5exa3 Расширения • AUTOMATIC1111: https://rentry.co/sd_automatic_extensions • Forge: https://github.com/Haoming02/sd-forge-couple ControlNet • https://stable-diffusion-art.com/controlnet (англ) • https://2ch-ai.gitgud.site/wiki/nai/controlnet/controlnet-complete-guide (перевод статьи выше) • https://www.itshneg.com/controlnet-upravlyaj-pozami-v-stable-diffusion ControlNet-модели для SDXL • 2vXpSwA7 (Animagine + Pony): https://huggingface.co/2vXpSwA7/iroiro-lora/tree/main/test_controlnet • Mistoline (Animagine): https://civitai.com/models/441432/mistoline • kataragi (Animagine): https://huggingface.co/kataragi ControlNet-модели для SD 1.5 • ControlNet 1.1: https://civitai.com/models/38784 • QR Code Monster: https://huggingface.co/monster-labs/control_v1p_sd15_qrcode_monster Апскейл • https://rentry.co/sd__upscale • https://rentry.co/SD_upscale • https://rentry.co/2ch_nai_guide#апскейл • https://rentry.co/UpscaleByControl Лоры с форча • Pony Diffusion: https://rentry.org/ponyxl_loras_n_stuff • SD 1.5: https://gitgud.io/badhands/makesomefuckingporn Обучение LoRA • https://rentry.co/waavd • https://rentry.co/2chAI_hard_LoRA_guide Прочее • AIBooru: https://aibooru.online/ • Гайды на английском: https://stable-diffusion-art.com/tutorials/ • Больше ссылок: https://rentry.co/sdg-link • Шаблон для переката: https://rentry.co/nwhci
20 ноября 2024
Сохранен
1521
AI Chatbot General № 371 /aicg/ — AI Chatbot General № 371 Общий вопросов по чат-ботам и прочего тред. - Фронтэнды - Agnai, SillyTavern Гайды: https://rentry.co/ultimatespoonfeed | https://rentry.co/ClaudForAgnai | https://rentry.co/Aicg4Retards (Гайд на английском) https://github.com/SillyLossy/TavernAI https://agnai.chat/ - GPT-4 - Джейлы: https://rentry.co/SillyTavern_JB_Pack | https://dumb.one/gpt/prompts-scraped/ - Claude - https://github.com/Barbariskaa/Spermack https://github.com/Pan
10 декабря 2023
Сохранен
535
Новости об искусственном интеллекте №37 /news/ — В этот тредик скидываются свежие новости по теме ИИ! Залетай и будь в курсе самых последних событий и достижений в этой области! Прошлый тред: >>1378751 (OP)
31 января 1:32
Сохранен
526
Anime Diffusion #193 /nai/ — Генерируем тяночек! Прошлый тред: >>1052657 (OP) https://arhivach.hk/thread/1132082/ Схожие тематические треды • SD-тред (не аниме): >>1054180 (OP) • Технотред: >>974163 (OP) • Фурри-тред: https://2ch.hk/fur/res/374311.html FAQ https://2ch-ai.gitgud.site/wiki/nai Установка • NVidia: https://rentry.co/2ch_nai_guide • AMD: https://2ch-ai.gitgud.site/wiki/nai/install/amd • Облака: https://2ch-ai.gitgud.site/wiki/nai/install/clouds Дополнительная информация • Интерфейсы: https://2ch-ai.gitgud.site/wiki/nai/interfaces • Модели: https://2ch-ai.gitgud.site/wiki/nai/models • Промпты: https://2ch-ai.gitgud.site/wiki/nai/prompts • Апскейл: https://2ch-ai.gitgud.site/wiki/nai/upscale • LoRA: https://2ch-ai.gitgud.site/wiki/nai/lora • ControlNet: https://2ch-ai.gitgud.site/wiki/nai/controlnet Прочее • CivitAI: https://civitai.com • Каталог ссылок от форчанеров: https://rentry.co/sdg-link • Шаблон для переката: https://rentry.co/nwhci
11 мая 2025
Сохранен
571
CharacterAI thread № 224 Сохраняем промпты/настройки нейротяночек, вкатываемся в пигму, параллельно — CharacterAI thread № 224 Сохраняем промпты/настройки нейротяночек, вкатываемся в пигму, параллельно бугуртим и следим за непрекращающимися обсёрами индусов, обходим цензуру. Remember: no Russian Everything Characters say is made up! https://beta.character.ai CharacterAI — это сайт, на котором можно создавать ботов и задавать им тип личности. Боты представляют собой нейросеть, которая отыгр
10 апреля 2023


жалоба / abuse: arhivach@airmail.cc