Прошлые домены не функционирует! Используйте адрес ARHIVACH.VC.
24 декабря 2023 г. Архивач восстановлен после серьёзной аварии. К сожалению, значительная часть сохранённых изображений и видео была потеряна. Подробности случившегося. Мы призываем всех неравнодушных помочь нам с восстановлением утраченного контента!
Сортировка: за
Активный
509
Новости об искусственном интеллекте №19 /news/ — В этот тредик скидываются свежие новости по теме ИИ! Залетай и будь в курсе самых последних событий и достижений в этой области! Прошлый тред: >>1260857 (OP)
8 августа 4:50
Активный
508
Stable Diffusion технотред #19 /tech/ — ИТТ делимся советами, лайфхаками, наблюдениями, результатами обучения, обсуждаем внутреннее устройство диффузионных моделей, собираем датасеты, решаем проблемы и экспериментируем Тред общенаправленныей, тренировка дедов, лупоглазых и фуррей приветствуются Предыдущий тред: >>974163 (OP) ➤ Софт для обучения https://github.com/kohya-ss/sd-scripts Набор скриптов для тренировки, используется под капотом в большей части готовых GUI и прочих скриптах. Для удобства запуска можно использовать дополнительные скрипты в целях передачи параметров, например: https://rentry.org/simple_kohya_ss https://github.com/bghira/SimpleTuner Линукс онли, бэк отличается от сд-скриптс https://github.com/Nerogar/OneTrainer Фич меньше, чем в сд-скриптс, бэк тоже свой ➤ GUI-обёртки для sd-scripts https://github.com/bmaltais/kohya_ss https://github.com/derrian-distro/LoRA_Easy_Training_Scripts ➤ Обучение SDXL https://2ch-ai.gitgud.site/wiki/tech/sdxl/ ➤ Flux https://2ch-ai.gitgud.site/wiki/nai/models/flux/ ➤ Гайды по обучению Существующую модель можно обучить симулировать определенный стиль или рисовать конкретного персонажа. ✱ LoRA – "Low Rank Adaptation" – подойдет для любых задач. Отличается малыми требованиями к VRAM (6 Гб+) и быстрым обучением. https://github.com/cloneofsimo/lora - изначальная имплементация алгоритма, пришедшая из мира архитектуры transformers, тренирует лишь attention слои, гайды по тренировкам: https://rentry.co/waavd - гайд по подготовке датасета и обучению LoRA для неофитов https://rentry.org/2chAI_hard_LoRA_guide - ещё один гайд по использованию и обучению LoRA https://rentry.org/59xed3 - более углубленный гайд по лорам, содержит много инфы для уже разбирающихся (англ.) ✱ LyCORIS (Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion) - проект по созданию алгоритмов для обучения дополнительных частей модели. Ранее имел название LoCon и предлагал лишь тренировку дополнительных conv слоёв. В настоящий момент включает в себя алгоритмы LoCon, LoHa, LoKr, DyLoRA, IA3, а так же на последних dev ветках возможность тренировки всех (или не всех, в зависимости от конфига) частей сети на выбранном ранге: https://github.com/KohakuBlueleaf/LyCORIS Подробнее про алгоритмы в вики https://2ch-ai.gitgud.site/wiki/tech/lycoris/ ✱ Dreambooth – для SD 1.5 обучение доступно начиная с 16 GB VRAM. Ни одна из потребительских карт не осилит тренировку будки для SDXL. Выдаёт отличные результаты. Генерирует полноразмерные модели: https://rentry.co/lycoris-and-lora-from-dreambooth (англ.) https://github.com/nitrosocke/dreambooth-training-guide (англ.) https://rentry.org/lora-is-not-a-finetune (англ.) ✱ Текстуальная инверсия (Textual inversion), или же просто Embedding, может подойти, если сеть уже умеет рисовать что-то похожее, этот способ тренирует лишь текстовый энкодер модели, не затрагивая UNet: https://rentry.org/textard (англ.) ➤ Тренировка YOLO-моделей для ADetailer: YOLO-модели (You Only Look Once) могут быть обучены для поиска определённых объектов на изображении. В паре с ADetailer они могут быть использованы для автоматического инпеинта по найденной области. Подробнее в вики: https://2ch-ai.gitgud.site/wiki/tech/yolo/ Не забываем про золотое правило GIGO ("Garbage in, garbage out"): какой датасет, такой и результат. ➤ Гугл колабы ﹡Текстуальная инверсия: https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/sd_textual_inversion_training.ipynb ﹡Dreambooth: https://colab.research.google.com/github/TheLastBen/fast-stable-diffusion/blob/main/fast-DreamBooth.ipynb ﹡LoRA https://colab.research.google.com/github/hollowstrawberry/kohya-colab/blob/main/Lora_Trainer.ipynb ➤ Полезное Расширение для фикса CLIP модели, изменения её точности в один клик и более продвинутых вещей, по типу замены клипа на кастомный: https://github.com/arenasys/stable-diffusion-webui-model-toolkit Гайд по блок мерджингу: https://rentry.org/BlockMergeExplained (англ.) Гайд по ControlNet: https://stable-diffusion-art.com/controlnet (англ.) Подборка мокрописек для датасетов от анона: https://rentry.org/te3oh Группы тегов для бур: https://danbooru.donmai.us/wiki_pages/tag_groups (англ.) NLP тэггер для кэпшенов T5: https://github.com/2dameneko/ide-cap-chan (gui), https://huggingface.co/Minthy/ToriiGate-v0.3 (модель), https://huggingface.co/2dameneko/ToriiGate-v0.3-nf4/tree/main (квант для врамлетов) Оптимайзеры: https://2ch-ai.gitgud.site/wiki/tech/optimizers/ Визуализация работы разных оптимайзеров: https://github.com/kozistr/pytorch_optimizer/blob/main/docs/visualization.md Гайды по апскейлу от анонов: https://rentry.org/SD_upscale https://rentry.org/sd__upscale https://rentry.org/2ch_nai_guide#апскейл https://rentry.org/UpscaleByControl Старая коллекция лор от анонов: https://rentry.org/2chAI_LoRA Гайды, эмбеды, хайпернетворки, лоры с форча: https://rentry.org/sdgoldmine https://rentry.org/sdg-link https://rentry.org/hdgfaq https://rentry.org/hdglorarepo https://gitgud.io/badhands/makesomefuckingporn https://rentry.org/ponyxl_loras_n_stuff - пони лоры https://rentry.org/illustrious_loras_n_stuff - люстролоры ➤ Legacy ссылки на устаревшие технологии и гайды с дополнительной информацией https://2ch-ai.gitgud.site/wiki/tech/legacy/ ➤ Прошлые треды https://2ch-ai.gitgud.site/wiki/tech/old_threads/ Шапка: https://2ch-ai.gitgud.site/wiki/tech/tech-shapka/
8 августа 4:50
Активный
508
Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №128 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/ Инструменты для запуска на десктопах: • Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp • Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui • Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai • Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern Инструменты для запуска на мобилках: • Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid • Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI • Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux Модели и всё что их касается: • Актуальный Не совсем актуальный список моделей с отзывами от тредовичков на конец 2024-го: https://rentry.co/llm-models • Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models • Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Дополнительные ссылки: • Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org • Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets • Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread • Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki • Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/ • Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing • Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk • Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking • Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/ Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >>1189041 (OP) >>1184583 (OP)
8 августа 4:50
Удален?
508
Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №124 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, бугуртим с кривейшего тормозного говна и обоссываем калотарок. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/ Инструменты для запуска на десктопах: • Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp • Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui • Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai • Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern Инструменты для запуска на мобилках: • Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid • Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI • Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux Модели и всё что их касается: • Актуальный Не совсем актуальный список моделей с отзывами от тредовичков на конец 2024-го: https://rentry.co/llm-models • Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models • Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Дополнительные ссылки: • Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org • Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets • Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread • Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki • Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/ • Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing • Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk • Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking • Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/ Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >>1159889 (OP) >>1149538 (OP)
8 августа 4:50
Сохранен
508
Локальные языковые модели (LLM): LLaMA, Mistral, DeepSeek и прочие №111 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/ Инструменты для запуска на десктопах: • Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp • Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui • Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai • Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern Инструменты для запуска на мобилках: • Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid • Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI • Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux Модели и всё что их касается: • Актуальный список моделей с отзывами от тредовичков: https://rentry.co/llm-models • Неактуальный список моделей устаревший с середины прошлого года: https://rentry.co/lmg_models • Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Moraliane и https://huggingface.co/Aleteian • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Дополнительные ссылки: • Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org • Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets • Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread • Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki • Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/local-llm-guide/how-to-use-a-self-hosted-model • Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing • Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk • Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking • Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/ Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >>1061545 (OP) >>1054330 (OP)
11 мая 16:09
Сохранен
508
Новости об искусственном интеллекте №6 /news/ — В этот тредик скидываются свежие новости по теме ИИ! Залетай и будь в курсе самых последних событий и достижений в этой области! Прошлые треды: https://2ch.hk/ai/res/973010.html https://2ch.hk/ai/res/877586.html https://2ch.hk/ai/res/1014050.html https://2ch.hk/ai/res/1027441.html https://2ch.hk/ai/res/1039034.html
11 мая 16:09
Сохранен
508
Новости об искусственном интеллекте №4 /news/ — В этот тредик скидываются свежие новости по теме ИИ! Залетай и будь в курсе самых последних событий и достижений в этой области! Прошлые треды: https://2ch.hk/ai/res/973010.html https://2ch.hk/ai/res/877586.html https://2ch.hk/ai/res/1014050.html
6 мая 4:50
Сохранен
508
Anime Diffusion #182 /nai/ — Генерируем тяночек! Прошлый тред: >>980823 (OP) https://arhivach.xyz/thread/1109482/ Схожие тематические треды • SD-тред (не аниме): >>981150 (OP) • Технотред: >>974163 (OP) FAQ https://2ch-ai.gitgud.site/wiki/nai Установка • NVidia: https://rentry.co/2ch_nai_guide • AMD: https://2ch-ai.gitgud.site/wiki/nai/install/amd • Облака: https://2ch-ai.gitgud.site/wiki/nai/install/clouds Дополнительная информация • Интерфейсы: https://2ch-ai.gitgud.site/wiki/nai/interfaces • Модели: https://2ch-ai.gitgud.site/wiki/nai/models • Промпты: https://2ch-ai.gitgud.site/wiki/nai/prompts • Апскейл: https://2ch-ai.gitgud.site/wiki/nai/upscale • LoRA: https://2ch-ai.gitgud.site/wiki/nai/lora • ControlNet: https://2ch-ai.gitgud.site/wiki/nai/controlnet Прочее • CivitAI: https://civitai.com • Каталог ссылок от форчанеров: https://rentry.co/sdg-link • Шаблон для переката: https://rentry.co/nwhci figure.post__image:has(img[src='/ai/thumb/985977/17350207115912s.jpg']:not([data-media-replaced])) { display: none; } .de-fullimg-center { width: auto !important; }
5 апреля 7:58
Сохранен
508
Anime Diffusion #170 /nai/ — Генерируем тяночек! Прошлый тред: >>891361 (OP) https://arhivach.xyz/thread/1068730/ Схожие тематические треды • SD-тред (не аниме): >>894310 (OP) • Технотред: >>758561 (OP) FAQ https://2ch-ai.gitgud.site/wiki/nai Установка • NVidia: https://rentry.co/2ch_nai_guide • AMD: https://2ch-ai.gitgud.site/wiki/nai/install/amd • Облака: https://2ch-ai.gitgud.site/wiki/nai/install/clouds Дополнительная информация • Интерфейсы: https://2ch-ai.gitgud.site/wiki/nai/interfaces • Модели: https://2ch-ai.gitgud.site/wiki/nai/models • Промпты: https://2ch-ai.gitgud.site/wiki/nai/prompts • Апскейл: https://2ch-ai.gitgud.site/wiki/nai/upscale • LoRA: https://2ch-ai.gitgud.site/wiki/nai/lora • ControlNet: https://2ch-ai.gitgud.site/wiki/nai/controlnet Прочее • CivitAI: https://civitai.com • Каталог ссылок от форчанеров: https://rentry.co/sdg-link • Шаблон для переката: https://rentry.co/nwhci
26 января 22:11
Сохранен
508
Anime Diffusion #166 /nai/ — Генерируем тяночек! Прошлый тред: >>863120 (OP) https://arhivach.top/thread/1054826/ Схожие тематические треды • SD-тред (не аниме): >>864667 (OP) • Технотред: >>758561 (OP) FAQ (устарел) https://rentry.co/nai_faq Ставим локально • NVidia: https://rentry.co/2ch_nai_guide • AMD: https://rentry.co/SD-amd-gpu AMD-юзерам также рекомендуется ознакомиться с гайдом для NVidia, поскольку в нём много общей инфы. Генерируем в облаке • https://civitai.com • https://tensor.art • https://seaart.ai • https://pixai.art • https://colab.research.google.com/github/lllyasviel/Fooocus/blob/main/fooocus_colab.ipynb • https://huggingface.co/black-forest-labs (Flux schnell/dev) • https://replicate.com/black-forest-labs/flux-schnell (Flux schnell) Интерфейсы • AUTOMATIC1111: https://github.com/AUTOMATIC1111/stable-diffusion-webui • Forge: https://github.com/lllyasviel/stable-diffusion-webui-forge • reForge: https://github.com/Panchovix/stable-diffusion-webui-reForge • ComfyUI: https://github.com/comfyanonymous/ComfyUI • Fooocus: https://github.com/lllyasviel/Fooocus Где брать модели • https://civitai.com • https://huggingface.co/models?other=stable-diffusion Модели Flux • dev: https://huggingface.co/black-forest-labs/FLUX.1-dev • schnell: https://huggingface.co/black-forest-labs/FLUX.1-schnell Поддержка Flux ✅ Forge: https://github.com/lllyasviel/stable-diffusion-webui-forge/discussions/981 ✅ ComfyUI: https://comfyanonymous.github.io/ComfyUI_examples/flux ❌ AUTOMATIC1111: https://github.com/AUTOMATIC1111/stable-diffusion-webui/issues/16311 (пока нет поддержки) ❌ reForge: https://github.com/Panchovix/stable-diffusion-webui-reForge/issues/122 (автор работает над реализацией) ❌ Fooocus: https://github.com/lllyasviel/Fooocus/issues/3424 (поддержки нет и не планируется) Тренировка лор для Flux • sd-scripts: https://github.com/kohya-ss/sd-scripts/tree/sd3?tab=readme-ov-file#flux1-lora-training-wip (ветка sd3) • LoRA_Easy_Training_Scripts: https://github.com/derrian-distro/LoRA_Easy_Training_Scripts/tree/flux (ветка flux) • SimpleTuner: https://github.com/bghira/SimpleTuner/blob/main/documentation/quickstart/FLUX.md Пример конфига для LoRA_Easy_Training_Scripts: https://files.catbox.moe/du67iy.toml Сгенерировать натуртекст описания картинок для Flux • joy-caption-pre-alpha: https://huggingface.co/spaces/fancyfeast/joy-caption-pre-alpha • joy-caption-batch: https://github.com/MNeMoNiCuZ/joy-caption-batch (массовая обработка) Модели SDXL • Pony Diffusion: https://civitai.com/models/257749/pony-diffusion-v6-xl • AutismMix: https://civitai.com/models/288584/autismmix-sdxl • Animagine: https://civitai.com/models/260267 Модели SD 1.5 • Старый каталог: https://civitai.com/collections/42742 • EasyFluff+hll: https://rentry.org/5exa3 Расширения • AUTOMATIC1111: https://rentry.co/sd_automatic_extensions • Forge: https://github.com/Haoming02/sd-forge-couple ControlNet • https://stable-diffusion-art.com/controlnet (англ) • https://2ch-ai.gitgud.site/wiki/nai/controlnet/controlnet-complete-guide (перевод статьи выше) • https://www.itshneg.com/controlnet-upravlyaj-pozami-v-stable-diffusion ControlNet-модели для SDXL • 2vXpSwA7 (Animagine/Pony) v1: https://huggingface.co/2vXpSwA7/iroiro-lora/tree/main/test_controlnet • 2vXpSwA7 (Animagine/Pony) v2: https://huggingface.co/2vXpSwA7/iroiro-lora/tree/main/test_controlnet2 • Mistoline (Animagine): https://civitai.com/models/441432/mistoline • kataragi (Animagine): https://huggingface.co/kataragi ControlNet-модели для SD 1.5 • ControlNet 1.1: https://civitai.com/models/38784 • QR Code Monster: https://huggingface.co/monster-labs/control_v1p_sd15_qrcode_monster Апскейл • https://rentry.co/sd__upscale • https://rentry.co/SD_upscale • https://rentry.co/2ch_nai_guide#апскейл • https://rentry.co/UpscaleByControl Лоры с форча • Pony Diffusion: https://rentry.org/ponyxl_loras_n_stuff • SD 1.5: https://gitgud.io/badhands/makesomefuckingporn Обучение LoRA • https://rentry.co/waavd • https://rentry.co/2chAI_hard_LoRA_guide Прочее • AIBooru: https://aibooru.online/ • Гайды на английском: https://stable-diffusion-art.com/tutorials/ • Больше ссылок: https://rentry.co/sdg-link • Шаблон для переката: https://rentry.co/nwhci
4 января 10:08
Сохранен
508
Anime Diffusion #159 /nai/ — Генерируем тяночек! Прошлый тред: >>818967 (OP) https://arhivach.top/thread/1040533/ Схожие тематические треды • SD-тред (не аниме): >>819176 (OP) • Технотред: >>758561 (OP) FAQ (устарел) https://rentry.co/nai_faq Ставим локально • NVidia: https://rentry.co/2ch_nai_guide • AMD: https://rentry.co/SD-amd-gpu AMD-юзерам также рекомендуется ознакомиться с гайдом для NVidia, поскольку в нём много общей инфы. Генерируем в облаке • https://civitai.com • https://tensor.art • https://seaart.ai • https://pixai.art • https://colab.research.google.com/github/lllyasviel/Fooocus/blob/main/fooocus_colab.ipynb Интерфейсы • AUTOMATIC1111: https://github.com/AUTOMATIC1111/stable-diffusion-webui • Forge: https://github.com/lllyasviel/stable-diffusion-webui-forge • ComfyUI: https://github.com/comfyanonymous/ComfyUI • Fooocus: https://github.com/lllyasviel/Fooocus Где брать модели • https://civitai.com • https://huggingface.co/models?other=stable-diffusion Модели SDXL • Pony Diffusion: https://civitai.com/models/257749/pony-diffusion-v6-xl • AutismMix: https://civitai.com/models/288584/autismmix-sdxl • Animagine: https://civitai.com/models/260267 Модели SD 1.5 • Старый каталог: https://civitai.com/collections/42742 • EasyFluff+hll: https://rentry.org/5exa3 Расширения • AUTOMATIC1111: https://rentry.co/sd_automatic_extensions • Forge: https://github.com/Haoming02/sd-forge-couple ControlNet • https://stable-diffusion-art.com/controlnet (англ) • https://2ch-ai.gitgud.site/wiki/nai/controlnet/controlnet-complete-guide (перевод статьи выше) • https://www.itshneg.com/controlnet-upravlyaj-pozami-v-stable-diffusion ControlNet-модели для SDXL • 2vXpSwA7 (Animagine + Pony): https://huggingface.co/2vXpSwA7/iroiro-lora/tree/main/test_controlnet • Mistoline (Animagine): https://civitai.com/models/441432/mistoline • kataragi (Animagine): https://huggingface.co/kataragi ControlNet-модели для SD 1.5 • ControlNet 1.1: https://civitai.com/models/38784 • QR Code Monster: https://huggingface.co/monster-labs/control_v1p_sd15_qrcode_monster Апскейл • https://rentry.co/sd__upscale • https://rentry.co/SD_upscale • https://rentry.co/2ch_nai_guide#апскейл • https://rentry.co/UpscaleByControl Лоры с форча • Pony Diffusion: https://rentry.org/ponyxl_loras_n_stuff • SD 1.5: https://gitgud.io/badhands/makesomefuckingporn Обучение LoRA • https://rentry.co/waavd • https://rentry.co/2chAI_hard_LoRA_guide Прочее • AIBooru: https://aibooru.online/ • Гайды на английском: https://stable-diffusion-art.com/tutorials/ • Больше ссылок: https://rentry.co/sdg-link • Шаблон для переката: https://rentry.co/nwhci
20 ноября 2024
Сохранен
508
NovelAI and WaifuDiffusion тред #145 /nai/ — Генерируем тяночек! Прошлый >>733295 (OP) https://arhivach.top/thread/1015351/ Схожие тематические треды: — Технотред >>639060 (OP) — SD-тред (фотореализм) >>735830 (OP) — Тред в /fur/ https://2ch.hk/fur/res/284014.html Генерируя в коллабе на чужом блокноте будьте готовы к тому, что его автору могут отправляться все ваши промты, генерации, данные google-аккаунта, IP-адрес и фингерпринт браузера. F.A.Q. треда: https://rentry.co/nai_faq Устанавливаем на ПК/Облако: https://rentry.co/nai_faq#как-поставить-на-пкоблако Полезные расширения для WebUI: https://rentry.co/sd_automatic_extensions ➤ Гайды Гайды по промптам, списки тегов и негативных эмбеддингов: https://rentry.co/nai_faq#как-писать-промпты ControlNet для начинающих: https://www.itshneg.com/controlnet-upravlyaj-pozami-v-stable-diffusion Полная инфа по ControlNet: https://stable-diffusion-art.com/controlnet Апскейл для начинающих: https://rentry.co/sd__upscale | https://rentry.co/SD_upscale | https://rentry.co/2ch_nai_guide#апскейл Апскейл с помощью ControlNet (для продвинутых, требуется минимум 8GB VRAM): https://rentry.co/UpscaleByControl Гайды по обучению лор: https://rentry.co/waavd | https://rentry.co/2chAI_hard_LoRA_guide ➤ Интерфейсы для Stable Diffusion Stable Diffusion WebUI by AUTOMATIC1111 https://github.com/AUTOMATIC1111/stable-diffusion-webui Классический WebUI от AUTOMATIC1111. Самое большое число пользователей и наработок. Оптимизации для слабых ПК (6GB VRAM и менее): https://rentry.co/voldy#-running-on-4gb-and-under- Общие советы по оптимизациям: https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Optimizations ComfyUI https://github.com/comfyanonymous/ComfyUI Интерфейс, заточенный на построение собственных workflow посредством организации конвееров через редактирование нод с различными действиями и указанием связей между ними. Англоязычный гайд от автора в виде визуальный новеллы: https://comfyanonymous.github.io/ComfyUI_tutorial_vn/ Примеры готовых workflow: https://comfyanonymous.github.io/ComfyUI_examples/ Русскоязычный гайд: https://habr.com/ru/articles/729848/ WebUI Forge https://github.com/lllyasviel/stable-diffusion-webui-forge WebUI от автора контролнета. По интерфейсу аналогичен WebUI от автоматика, но более быстрый. Foocus https://github.com/lllyasviel/Fooocus Альтернативный WebUI от автора контролнета, ориентированный на простоту использования. Доступен в облаке гугла (колаб): https://colab.research.google.com/github/lllyasviel/Fooocus/blob/main/fooocus_colab.ipynb ➤ Каталог популярных моделей Чекпоинты SD 1.5: https://civitai.com/collections/42742 Чекпоинты SD XL: https://civitai.com/collections/42753 Генерация аниме на EasyFluff + hll-ликорисе: https://rentry.org/5exa3 Каталог лор на стилизацию для SD 1.5: https://civitai.com/collections/42751 Лоры с форча для SD 1.5: https://gitgud.io/badhands/makesomefuckingporn Лоры и примечания для PonyDiffusion: https://rentry.org/ponyxl_loras_n_stuff ➤ Дополнительная инфа Где искать модели, эмбединги, лоры, вайлдкарды и всё остальное: https://civitai.com | https://huggingface.co/models?other=stable-diffusion АИ-галереи: https://aibooru.online | https://majinai.art Англоязычные каталоги ссылок: https://stable-diffusion-art.com/tutorials | https://rentry.co/sdg-link | https://rentry.co/sdgoldmine Шаблон для переката: https://rentry.co/nwhci
16 сентября 2024
Сохранен
508
Локальные языковые модели (LLM): LLaMA, MPT, Falcon и прочие №50 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2-х бит, на кофеварке с подкачкой на микроволновку. Здесь и далее расположена базовая информация, полная инфа и гайды в вики https://2ch-ai.gitgud.site/wiki/llama/ Базовой единицей обработки любой языковой модели является токен. Токен это минимальная единица, на которые разбивается текст перед подачей его в модель, обычно это слово (если популярное), часть слова, в худшем случае это буква (а то и вовсе байт). Из последовательности токенов строится контекст модели. Контекст это всё, что подаётся на вход, плюс резервирование для выхода. Типичным максимальным размером контекста сейчас являются 2к (2 тысячи) и 4к токенов, но есть и исключения. В этот объём нужно уместить описание персонажа, мира, истории чата. Для расширения контекста сейчас применяется метод NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества. Базовым языком для языковых моделей является английский. Он в приоритете для общения, на нём проводятся все тесты и оценки качества. Большинство моделей хорошо понимают русский на входе т.к. в их датасетах присутствуют разные языки, в том числе и русский. Но их ответы на других языках будут низкого качества и могут содержать ошибки из-за несбалансированности датасета. Существуют мультиязычные модели частично или полностью лишенные этого недостатка, из легковесных это openchat-3.5-0106, который может давать качественные ответы на русском и рекомендуется для этого. Файнтюны семейства "Сайга" не рекомендуются в виду их низкого качества и ошибок при обучении. Основным представителем локальных моделей является LLaMA. LLaMA это генеративные текстовые модели размерами от 7B до 70B, притом младшие версии моделей превосходят во многих тестах GTP3 (по утверждению самого фейсбука), в которой 175B параметров. Сейчас на нее существует множество файнтюнов, например Vicuna/Stable Beluga/Airoboros/WizardLM/Chronos/(любые другие) как под выполнение инструкций в стиле ChatGPT, так и под РП/сторитейл. Для получения хорошего результата нужно использовать подходящий формат промта, иначе на выходе будут мусорные теги. Некоторые модели могут быть излишне соевыми, включая Chat версии оригинальной Llama 2. Кроме LLaMA для анона доступны множество других семейств моделей: Pygmalion- заслуженный ветеран локального кума. Старые версии были основаны на древнейшем GPT-J, новые переехали со своим датасетом на LLaMA, но, по мнению некоторых анонов, в процессе потерялась Душа © MPT- попытка повторить успех первой лламы от MosaicML, с более свободной лицензией. Может похвастаться нативным контекстом в 65к токенов в версии storywriter, но уступает по качеству. С выходом LLaMA 2 с более свободной лицензией стала не нужна. Falcon- семейство моделей размером в 40B и 180B от какого-то там института из арабских эмиратов. Примечательна версией на 180B, что является крупнейшей открытой моделью. По качеству несколько выше LLaMA 2 на 70B, но сложности с запуском и малый прирост делаю её не самой интересной. Mistral- модель от Mistral AI размером в 7B, с полным повторением архитектуры LLaMA. Интересна тем, что для своего небольшого размера она не уступает более крупным моделям, соперничая с 13B (а иногда и с 70B), и является топом по соотношению размер/качество. Qwen - семейство моделей размером в 7B и 14B от наших китайских братьев. Отличается тем, что имеет мультимодальную версию с обработкой на входе не только текста, но и картинок. В принципе хорошо умеет в английский, но китайские корни всё же проявляется в чате в виде периодически высираемых иероглифов. Yi - Неплохая китайская модель на 34B, способная занять разрыв после невыхода LLaMA соответствующего размера Основные форматы хранения весов это GGML и GPTQ, остальные нейрокуну не нужны. Оптимальным по соотношению размер/качество является 5 бит, по размеру брать максимальную, что помещается в память (видео или оперативную), для быстрого прикидывания расхода можно взять размер модели и прибавить по гигабайту за каждые 1к контекста, то есть для 7B модели GGML весом в 4.7ГБ и контекста в 2к нужно ~7ГБ оперативной. В общем и целом для 7B хватает видеокарт с 8ГБ, для 13B нужно минимум 12ГБ, для 30B потребуется 24ГБ, а с 65-70B не справится ни одна бытовая карта в одиночку, нужно 2 по 3090/4090. Даже если использовать сборки для процессоров, то всё равно лучше попробовать задействовать видеокарту, хотя бы для обработки промта (Use CuBLAS или ClBLAS в настройках пресетов кобольда), а если осталась свободная VRAM, то можно выгрузить несколько слоёв нейронной сети на видеокарту. Число слоёв для выгрузки нужно подбирать индивидуально, в зависимости от объёма свободной памяти. Смотри не переборщи, Анон! Если выгрузить слишком много, то начиная с 535 версии драйвера NVidia это может серьёзно замедлить работу, если не выключить CUDA System Fallback в настройках панели NVidia. Лучше оставить запас. Гайд для ретардов для запуска LLaMA без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой: 1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии. 2. Скачиваем модель в gguf формате. Например вот эту: https://huggingface.co/Sao10K/Fimbulvetr-10.7B-v1-GGUF/blob/main/Fimbulvetr-10.7B-v1.q5_K_M.gguf Можно просто вбить в huggingace в поиске "gguf" и скачать любую, охуеть, да? Главное, скачай файл с расширением .gguf, а не какой-нибудь .pt 3. Запускаем koboldcpp.exe и выбираем скачанную модель. 4. Заходим в браузере на http://localhost:5001/ 5. Все, общаемся с ИИ, читаем охуительные истории или отправляемся в Adventure. Да, просто запускаем, выбираем файл и открываем адрес в браузере, даже ваша бабка разберется! Для удобства можно использовать интерфейс TavernAI 1. Ставим по инструкции, пока не запустится: https://github.com/Cohee1207/SillyTavern 2. Запускаем всё добро 3. Ставим в настройках KoboldAI везде, и адрес сервера http://127.0.0.1:5001 4. Активируем Instruct Mode и выставляем в настройках пресетов Alpaca 5. Радуемся Инструменты для запуска: https://github.com/LostRuins/koboldcpp/ Репозиторий с реализацией на плюсах https://github.com/oobabooga/text-generation-webui/ ВебуУИ в стиле Stable Diffusion, поддерживает кучу бекендов и фронтендов, в том числе может связать фронтенд в виде Таверны и бекенды ExLlama/llama.cpp/AutoGPTQ Ссылки на модели и гайды: https://huggingface.co/models Модели искать тут, вбиваем название + тип квантования https://rentry.co/TESFT-LLaMa Не самые свежие гайды на ангельском https://rentry.co/STAI-Termux Запуск SillyTavern на телефоне https://rentry.co/lmg_models Самый полный список годных моделей http://ayumi.m8geil.de/ayumi_bench_v3_results.html Рейтинг моделей для кума со спорной методикой тестирования https://rentry.co/llm-training Гайд по обучению своей лоры https://rentry.co/2ch-pygma-thread Шапка треда PygmalionAI, можно найти много интересного https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде Предыдущие треды тонут здесь: >>695332 (OP) >>689693 (OP)
3 августа 2024
Сохранен
508
Локальные языковые модели (LLM): LLaMA, MPT, Falcon и прочие №45 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2-х бит, на кофеварке с подкачкой на микроволновку. Здесь и далее расположена базовая информация, полная инфа и гайды в вики https://2ch-ai.gitgud.site/wiki/llama/ Базовой единицей обработки любой языковой модели является токен. Токен это минимальная единица, на которые разбивается текст перед подачей его в модель, обычно это слово (если популярное), часть слова, в худшем случае это буква (а то и вовсе байт). Из последовательности токенов строится контекст модели. Контекст это всё, что подаётся на вход, плюс резервирование для выхода. Типичным максимальным размером контекста сейчас являются 2к (2 тысячи) и 4к токенов, но есть и исключения. В этот объём нужно уместить описание персонажа, мира, истории чата. Для расширения контекста сейчас применяется метод NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества. Текущим трендом на данный момент являются мультимодальные модели, это когда к основной LLM сбоку приделывают модуль распознавания изображений, что в теории должно позволять LLM понимать изображение, отвечать на вопросы по нему, а в будущем и манипулировать им. Основным представителем локальных моделей является LLaMA. LLaMA это генеративные текстовые модели размерами от 7B до 70B, притом младшие версии моделей превосходят во многих тестах GTP3 (по утверждению самого фейсбука), в которой 175B параметров. Сейчас на нее существует множество файнтюнов, например Vicuna/Stable Beluga/Airoboros/WizardLM/Chronos/(любые другие) как под выполнение инструкций в стиле ChatGPT, так и под РП/сторитейл. Для получения хорошего результата нужно использовать подходящий формат промта, иначе на выходе будут мусорные теги. Некоторые модели могут быть излишне соевыми, включая Chat версии оригинальной Llama 2. Кроме LLaMA для анона доступны множество других семейств моделей: Pygmalion- заслуженный ветеран локального кума. Старые версии были основаны на древнейшем GPT-J, новые переехали со своим датасетом на LLaMA, но, по мнению некоторых анонов, в процессе потерялась Душа © MPT- попытка повторить успех первой лламы от MosaicML, с более свободной лицензией. Может похвастаться нативным контекстом в 65к токенов в версии storywriter, но уступает по качеству. С выходом LLaMA 2 с более свободной лицензией стала не нужна. Falcon- семейство моделей размером в 40B и 180B от какого-то там института из арабских эмиратов. Примечательна версией на 180B, что является крупнейшей открытой моделью. По качеству несколько выше LLaMA 2 на 70B, но сложности с запуском и малый прирост делаю её не самой интересной. Mistral- модель от Mistral AI размером в 7B, с полным повторением архитектуры LLaMA. Интересна тем, что для своего небольшого размера она не уступает более крупным моделям, соперничая с 13B (а иногда и с 70B), и является топом по соотношению размер/качество. Qwen - семейство моделей размером в 7B и 14B от наших китайских братьев. Отличается тем, что имеет мультимодальную версию с обработкой на входе не только текста, но и картинок. В принципе хорошо умеет в английский, но китайские корни всё же проявляется в чате в виде периодически высираемых иероглифов. Yi - Неплохая китайская модель на 34B, способная занять разрыв после невыхода LLaMA соответствующего размера Сейчас существует несколько версий весов, не совместимых между собой, смотри не перепутай! 0) Оригинальные .pth файлы, работают только с оригинальным репозиторием. Формат имени consolidated.00.pth 1) Веса, сконвертированные в формат Hugging Face. Формат имени pytorch_model-00001-of-00033.bin 2) Веса, квантизированные в GGML/GGUF. Работают со сборками на процессорах. Имеют несколько подформатов, совместимость поддерживает только koboldcpp, Герганов меняет форматы каждый месяц и дропает поддержку предыдущих, так что лучше качать последние. Формат имени ggml-model-q4_0, расширение файла bin для GGML и gguf для GGUF. Суффикс q4_0 означает квантование, в данном случае в 4 бита, версия 0. Чем больше число бит, тем выше точность и расход памяти. Чем новее версия, тем лучше (не всегда). Рекомендуется скачивать версии K (K_S или K_M) на конце. 3) Веса, квантизированные в GPTQ. Работают на видеокарте, наивысшая производительность (особенно в Exllama) но сложности с оффлоадом, возможность распределить по нескольким видеокартам суммируя их память. Имеют имя типа llama-7b-4bit.safetensors (формат .pt скачивать не стоит), при себе содержат конфиги, которые нужны для запуска, их тоже качаем. Могут быть квантованы в 3-4-8 бит (Exllama 2 поддерживает адаптивное квантование, тогда среднее число бит может быть дробным), квантование отличается по числу групп (1-128-64-32 в порядке возрастания качества и расхода ресурсов). Основные форматы это GGML и GPTQ, остальные нейрокуну не нужны. Оптимальным по соотношению размер/качество является 5 бит, по размеру брать максимальную, что помещается в память (видео или оперативную), для быстрого прикидывания расхода можно взять размер модели и прибавить по гигабайту за каждые 1к контекста, то есть для 7B модели GGML весом в 4.7ГБ и контекста в 2к нужно ~7ГБ оперативной. В общем и целом для 7B хватает видеокарт с 8ГБ, для 13B нужно минимум 12ГБ, для 30B потребуется 24ГБ, а с 65-70B не справится ни одна бытовая карта в одиночку, нужно 2 по 3090/4090. Даже если использовать сборки для процессоров, то всё равно лучше попробовать задействовать видеокарту, хотя бы для обработки промта (Use CuBLAS или ClBLAS в настройках пресетов кобольда), а если осталась свободная VRAM, то можно выгрузить несколько слоёв нейронной сети на видеокарту. Число слоёв для выгрузки нужно подбирать индивидуально, в зависимости от объёма свободной памяти. Смотри не переборщи, Анон! Если выгрузить слишком много, то начиная с 535 версии драйвера NVidia это серьёзно замедлит работу. Лучше оставить запас. Гайд для ретардов для запуска LLaMA без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой: 1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии. 2. Скачиваем модель в gguf формате. Например вот эту: https://huggingface.co/TheBloke/Frostwind-10.7B-v1-GGUF/blob/main/frostwind-10.7b-v1.Q5_K_M.gguf Можно просто вбить в huggingace в поиске "gguf" и скачать любую, охуеть, да? Главное, скачай файл с расширением .gguf, а не какой-нибудь .pt 3. Запускаем koboldcpp.exe и выбираем скачанную модель. 4. Заходим в браузере на http://localhost:5001/ 5. Все, общаемся с ИИ, читаем охуительные истории или отправляемся в Adventure. Да, просто запускаем, выбираем файл и открываем адрес в браузере, даже ваша бабка разберется! Для удобства можно использовать интерфейс TavernAI 1. Ставим по инструкции, пока не запустится: https://github.com/Cohee1207/SillyTavern 2. Запускаем всё добро 3. Ставим в настройках KoboldAI везде, и адрес сервера http://127.0.0.1:5001 4. Активируем Instruct Mode и выставляем в настройках пресетов Alpaca 5. Радуемся Инструменты для запуска: https://github.com/LostRuins/koboldcpp/ Репозиторий с реализацией на плюсах https://github.com/oobabooga/text-generation-webui/ ВебуУИ в стиле Stable Diffusion, поддерживает кучу бекендов и фронтендов, в том числе может связать фронтенд в виде Таверны и бекенды ExLlama/llama.cpp/AutoGPTQ Ссылки на модели и гайды: https://huggingface.co/models Модели искать тут, вбиваем название + тип квантования https://rentry.co/TESFT-LLaMa Не самые свежие гайды на ангельском https://rentry.co/STAI-Termux Запуск SillyTavern на телефоне https://rentry.co/lmg_models Самый полный список годных моделей http://ayumi.m8geil.de/ayumi_bench_v3_results.html Рейтинг моделей для кума со спорной методикой тестирования https://rentry.co/llm-training Гайд по обучению своей лоры https://rentry.co/2ch-pygma-thread Шапка треда PygmalionAI, можно найти много интересного https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде Предыдущие треды тонут здесь: >>661076 (OP) >>654587 (OP)
24 июня 2024
Сохранен
508
Локальные языковые модели (LLM): LLaMA, MPT, Falcon и прочие №43 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2-х бит, на кофеварке с подкачкой на микроволновку. Здесь и далее расположена базовая информация, полная инфа и гайды в вики https://2ch-ai.gitgud.site/wiki/llama/ Базовой единицей обработки любой языковой модели является токен. Токен это минимальная единица, на которые разбивается текст перед подачей его в модель, обычно это слово (если популярное), часть слова, в худшем случае это буква (а то и вовсе байт). Из последовательности токенов строится контекст модели. Контекст это всё, что подаётся на вход, плюс резервирование для выхода. Типичным максимальным размером контекста сейчас являются 2к (2 тысячи) и 4к токенов, но есть и исключения. В этот объём нужно уместить описание персонажа, мира, истории чата. Для расширения контекста сейчас применяется метод NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества. Текущим трендом на данный момент являются мультимодальные модели, это когда к основной LLM сбоку приделывают модуль распознавания изображений, что в теории должно позволять LLM понимать изображение, отвечать на вопросы по нему, а в будущем и манипулировать им. Основным представителем локальных моделей является LLaMA. LLaMA это генеративные текстовые модели размерами от 7B до 70B, притом младшие версии моделей превосходят во многих тестах GTP3 (по утверждению самого фейсбука), в которой 175B параметров. Сейчас на нее существует множество файнтюнов, например Vicuna/Stable Beluga/Airoboros/WizardLM/Chronos/(любые другие) как под выполнение инструкций в стиле ChatGPT, так и под РП/сторитейл. Для получения хорошего результата нужно использовать подходящий формат промта, иначе на выходе будут мусорные теги. Некоторые модели могут быть излишне соевыми, включая Chat версии оригинальной Llama 2. Кроме LLaMA для анона доступны множество других семейств моделей: Pygmalion- заслуженный ветеран локального кума. Старые версии были основаны на древнейшем GPT-J, новые переехали со своим датасетом на LLaMA, но, по мнению некоторых анонов, в процессе потерялась Душа © MPT- попытка повторить успех первой лламы от MosaicML, с более свободной лицензией. Может похвастаться нативным контекстом в 65к токенов в версии storywriter, но уступает по качеству. С выходом LLaMA 2 с более свободной лицензией стала не нужна. Falcon- семейство моделей размером в 40B и 180B от какого-то там института из арабских эмиратов. Примечательна версией на 180B, что является крупнейшей открытой моделью. По качеству несколько выше LLaMA 2 на 70B, но сложности с запуском и малый прирост делаю её не самой интересной. Mistral- модель от Mistral AI размером в 7B, с полным повторением архитектуры LLaMA. Интересна тем, что для своего небольшого размера она не уступает более крупным моделям, соперничая с 13B (а иногда и с 70B), и является топом по соотношению размер/качество. Qwen - семейство моделей размером в 7B и 14B от наших китайских братьев. Отличается тем, что имеет мультимодальную версию с обработкой на входе не только текста, но и картинок. В принципе хорошо умеет в английский, но китайские корни всё же проявляется в чате в виде периодически высираемых иероглифов. Yi - Неплохая китайская модель на 34B, способная занять разрыв после невыхода LLaMA соответствующего размера Сейчас существует несколько версий весов, не совместимых между собой, смотри не перепутай! 0) Оригинальные .pth файлы, работают только с оригинальным репозиторием. Формат имени consolidated.00.pth 1) Веса, сконвертированные в формат Hugging Face. Формат имени pytorch_model-00001-of-00033.bin 2) Веса, квантизированные в GGML/GGUF. Работают со сборками на процессорах. Имеют несколько подформатов, совместимость поддерживает только koboldcpp, Герганов меняет форматы каждый месяц и дропает поддержку предыдущих, так что лучше качать последние. Формат имени ggml-model-q4_0, расширение файла bin для GGML и gguf для GGUF. Суффикс q4_0 означает квантование, в данном случае в 4 бита, версия 0. Чем больше число бит, тем выше точность и расход памяти. Чем новее версия, тем лучше (не всегда). Рекомендуется скачивать версии K (K_S или K_M) на конце. 3) Веса, квантизированные в GPTQ. Работают на видеокарте, наивысшая производительность (особенно в Exllama) но сложности с оффлоадом, возможность распределить по нескольким видеокартам суммируя их память. Имеют имя типа llama-7b-4bit.safetensors (формат .pt скачивать не стоит), при себе содержат конфиги, которые нужны для запуска, их тоже качаем. Могут быть квантованы в 3-4-8 бит (Exllama 2 поддерживает адаптивное квантование, тогда среднее число бит может быть дробным), квантование отличается по числу групп (1-128-64-32 в порядке возрастания качества и расхода ресурсов). Основные форматы это GGML и GPTQ, остальные нейрокуну не нужны. Оптимальным по соотношению размер/качество является 5 бит, по размеру брать максимальную, что помещается в память (видео или оперативную), для быстрого прикидывания расхода можно взять размер модели и прибавить по гигабайту за каждые 1к контекста, то есть для 7B модели GGML весом в 4.7ГБ и контекста в 2к нужно ~7ГБ оперативной. В общем и целом для 7B хватает видеокарт с 8ГБ, для 13B нужно минимум 12ГБ, для 30B потребуется 24ГБ, а с 65-70B не справится ни одна бытовая карта в одиночку, нужно 2 по 3090/4090. Даже если использовать сборки для процессоров, то всё равно лучше попробовать задействовать видеокарту, хотя бы для обработки промта (Use CuBLAS или ClBLAS в настройках пресетов кобольда), а если осталась свободная VRAM, то можно выгрузить несколько слоёв нейронной сети на видеокарту. Число слоёв для выгрузки нужно подбирать индивидуально, в зависимости от объёма свободной памяти. Смотри не переборщи, Анон! Если выгрузить слишком много, то начиная с 535 версии драйвера NVidia это серьёзно замедлит работу. Лучше оставить запас. Гайд для ретардов для запуска LLaMA без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой: 1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии. 2. Скачиваем модель в gguf формате. Например вот эту: https://huggingface.co/TheBloke/Frostwind-10.7B-v1-GGUF/blob/main/frostwind-10.7b-v1.Q5_K_M.gguf Можно просто вбить в huggingace в поиске "gguf" и скачать любую, охуеть, да? Главное, скачай файл с расширением .gguf, а не какой-нибудь .pt 3. Запускаем koboldcpp.exe и выбираем скачанную модель. 4. Заходим в браузере на http://localhost:5001/ 5. Все, общаемся с ИИ, читаем охуительные истории или отправляемся в Adventure. Да, просто запускаем, выбираем файл и открываем адрес в браузере, даже ваша бабка разберется! Для удобства можно использовать интерфейс TavernAI 1. Ставим по инструкции, пока не запустится: https://github.com/Cohee1207/SillyTavern 2. Запускаем всё добро 3. Ставим в настройках KoboldAI везде, и адрес сервера http://127.0.0.1:5001 4. Активируем Instruct Mode и выставляем в настройках пресетов Alpaca 5. Радуемся Инструменты для запуска: https://github.com/LostRuins/koboldcpp/ Репозиторий с реализацией на плюсах https://github.com/oobabooga/text-generation-webui/ ВебуУИ в стиле Stable Diffusion, поддерживает кучу бекендов и фронтендов, в том числе может связать фронтенд в виде Таверны и бекенды ExLlama/llama.cpp/AutoGPTQ Ссылки на модели и гайды: https://huggingface.co/TheBloke Основной поставщик квантованных моделей под любой вкус (не актуален, ищем замену). https://rentry.co/TESFT-LLaMa Не самые свежие гайды на ангельском https://rentry.co/STAI-Termux Запуск SillyTavern на телефоне https://rentry.co/lmg_models Самый полный список годных моделей http://ayumi.m8geil.de/ayumi_bench_v3_results.html Рейтинг моделей для кума со спорной методикой тестирования https://rentry.co/llm-training Гайд по обучению своей лоры https://rentry.co/2ch-pygma-thread Шапка треда PygmalionAI, можно найти много интересного https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде Предыдущие треды тонут здесь: >>647548 (OP) >>641598 (OP)
11 июня 2024
Сохранен
508
Локальные языковые модели (LLM): LLaMA, MPT, Falcon и прочие №47 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2-х бит, на кофеварке с подкачкой на микроволновку. Здесь и далее расположена базовая информация, полная инфа и гайды в вики https://2ch-ai.gitgud.site/wiki/llama/ Базовой единицей обработки любой языковой модели является токен. Токен это минимальная единица, на которые разбивается текст перед подачей его в модель, обычно это слово (если популярное), часть слова, в худшем случае это буква (а то и вовсе байт). Из последовательности токенов строится контекст модели. Контекст это всё, что подаётся на вход, плюс резервирование для выхода. Типичным максимальным размером контекста сейчас являются 2к (2 тысячи) и 4к токенов, но есть и исключения. В этот объём нужно уместить описание персонажа, мира, истории чата. Для расширения контекста сейчас применяется метод NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества. Базовым языком для языковых моделей является английский. Он в приоритете для общения, на нём проводятся все тесты и оценки качества. Большинство моделей хорошо понимают русский на входе т.к. в их датасетах присутствуют разные языки, в том числе и русский. Но их ответы на других языках будут низкого качества и могут содержать ошибки из-за несбалансированности датасета. Существуют мультиязычные модели частично или полностью лишенные этого недостатка, из легковесных это openchat-3.5-0106, который может давать качественные ответы на русском и рекомендуется для этого. Файнтюны семейства "Сайга" не рекомендуются в виду их низкого качества и ошибок при обучении. Основным представителем локальных моделей является LLaMA. LLaMA это генеративные текстовые модели размерами от 7B до 70B, притом младшие версии моделей превосходят во многих тестах GTP3 (по утверждению самого фейсбука), в которой 175B параметров. Сейчас на нее существует множество файнтюнов, например Vicuna/Stable Beluga/Airoboros/WizardLM/Chronos/(любые другие) как под выполнение инструкций в стиле ChatGPT, так и под РП/сторитейл. Для получения хорошего результата нужно использовать подходящий формат промта, иначе на выходе будут мусорные теги. Некоторые модели могут быть излишне соевыми, включая Chat версии оригинальной Llama 2. Кроме LLaMA для анона доступны множество других семейств моделей: Pygmalion- заслуженный ветеран локального кума. Старые версии были основаны на древнейшем GPT-J, новые переехали со своим датасетом на LLaMA, но, по мнению некоторых анонов, в процессе потерялась Душа © MPT- попытка повторить успех первой лламы от MosaicML, с более свободной лицензией. Может похвастаться нативным контекстом в 65к токенов в версии storywriter, но уступает по качеству. С выходом LLaMA 2 с более свободной лицензией стала не нужна. Falcon- семейство моделей размером в 40B и 180B от какого-то там института из арабских эмиратов. Примечательна версией на 180B, что является крупнейшей открытой моделью. По качеству несколько выше LLaMA 2 на 70B, но сложности с запуском и малый прирост делаю её не самой интересной. Mistral- модель от Mistral AI размером в 7B, с полным повторением архитектуры LLaMA. Интересна тем, что для своего небольшого размера она не уступает более крупным моделям, соперничая с 13B (а иногда и с 70B), и является топом по соотношению размер/качество. Qwen - семейство моделей размером в 7B и 14B от наших китайских братьев. Отличается тем, что имеет мультимодальную версию с обработкой на входе не только текста, но и картинок. В принципе хорошо умеет в английский, но китайские корни всё же проявляется в чате в виде периодически высираемых иероглифов. Yi - Неплохая китайская модель на 34B, способная занять разрыв после невыхода LLaMA соответствующего размера Основные форматы хранения весов это GGML и GPTQ, остальные нейрокуну не нужны. Оптимальным по соотношению размер/качество является 5 бит, по размеру брать максимальную, что помещается в память (видео или оперативную), для быстрого прикидывания расхода можно взять размер модели и прибавить по гигабайту за каждые 1к контекста, то есть для 7B модели GGML весом в 4.7ГБ и контекста в 2к нужно ~7ГБ оперативной. В общем и целом для 7B хватает видеокарт с 8ГБ, для 13B нужно минимум 12ГБ, для 30B потребуется 24ГБ, а с 65-70B не справится ни одна бытовая карта в одиночку, нужно 2 по 3090/4090. Даже если использовать сборки для процессоров, то всё равно лучше попробовать задействовать видеокарту, хотя бы для обработки промта (Use CuBLAS или ClBLAS в настройках пресетов кобольда), а если осталась свободная VRAM, то можно выгрузить несколько слоёв нейронной сети на видеокарту. Число слоёв для выгрузки нужно подбирать индивидуально, в зависимости от объёма свободной памяти. Смотри не переборщи, Анон! Если выгрузить слишком много, то начиная с 535 версии драйвера NVidia это может серьёзно замедлить работу, если не выключить CUDA System Fallback в настройках панели NVidia. Лучше оставить запас. Гайд для ретардов для запуска LLaMA без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой: 1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии. 2. Скачиваем модель в gguf формате. Например вот эту: https://huggingface.co/TheBloke/Frostwind-10.7B-v1-GGUF/blob/main/frostwind-10.7b-v1.Q5_K_M.gguf Можно просто вбить в huggingace в поиске "gguf" и скачать любую, охуеть, да? Главное, скачай файл с расширением .gguf, а не какой-нибудь .pt 3. Запускаем koboldcpp.exe и выбираем скачанную модель. 4. Заходим в браузере на http://localhost:5001/ 5. Все, общаемся с ИИ, читаем охуительные истории или отправляемся в Adventure. Да, просто запускаем, выбираем файл и открываем адрес в браузере, даже ваша бабка разберется! Для удобства можно использовать интерфейс TavernAI 1. Ставим по инструкции, пока не запустится: https://github.com/Cohee1207/SillyTavern 2. Запускаем всё добро 3. Ставим в настройках KoboldAI везде, и адрес сервера http://127.0.0.1:5001 4. Активируем Instruct Mode и выставляем в настройках пресетов Alpaca 5. Радуемся Инструменты для запуска: https://github.com/LostRuins/koboldcpp/ Репозиторий с реализацией на плюсах https://github.com/oobabooga/text-generation-webui/ ВебуУИ в стиле Stable Diffusion, поддерживает кучу бекендов и фронтендов, в том числе может связать фронтенд в виде Таверны и бекенды ExLlama/llama.cpp/AutoGPTQ Ссылки на модели и гайды: https://2ch-ai.gitgud.site/wiki/llama/ Ещё раз шапка https://huggingface.co/models Модели искать тут, вбиваем название + тип квантования https://rentry.co/TESFT-LLaMa Не самые свежие гайды на ангельском https://rentry.co/STAI-Termux Запуск SillyTavern на телефоне https://rentry.co/lmg_models Самый полный список годных моделей http://ayumi.m8geil.de/ayumi_bench_v3_results.html Рейтинг моделей для кума со спорной методикой тестирования https://rentry.co/llm-training Гайд по обучению своей лоры https://rentry.co/2ch-pygma-thread Шапка треда PygmalionAI, можно найти много интересного https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде Предыдущие треды тонут здесь: >>676400 (OP) >>671376 (OP)
7 июля 2024
Сохранен
508
Stable Diffusion технотред #11 /tech/ — ИТТ делимся советами, лайфхаками, наблюдениями, результатами обучения, обсуждаем внутреннее устройство диффузионных моделей, собираем датасеты, решаем проблемы и экспериментируем Тред общенаправленныей, тренировка дедов, лупоглазых и фуррей приветствуются Предыдущий тред: >>314956 (OP) ➤ Софт для обучения https://github.com/kohya-ss/sd-scripts Набор скриптов для тренировки, используется под капотом в большей части готовых GUI и прочих скриптах. Для удобства запуска можно использовать дополнительные скрипты в целях передачи параметров, например: https://rentry.org/simple_kohya_ss ➤ GUI-обёртки для kohya-ss https://github.com/bmaltais/kohya_ss https://github.com/derrian-distro/LoRA_Easy_Training_Scripts https://github.com/anon-1337/LoRA-train-GUI ➤ Обучение SDXL Если вы используете скрипты https://github.com/kohya-ss/sd-scripts напрямую, то, для обучения SDXL, вам необходимо переключиться на ветку "sdxl" и обновить зависимости. Эта операция может привести к проблемам совместимости, так что, желательно, делать отдельную установку для обучения SDXL и используовать отдельную venv-среду. Скрипты для тренировки SDXL имеют в имени файла префикс sdxl_. Подробнее про обучение SDXL через kohya-ss можно почитать тут: https://github.com/kohya-ss/sd-scripts/tree/sdxl#about-sdxl-training Для GUI https://github.com/bmaltais/kohya_ss и https://github.com/derrian-distro/LoRA_Easy_Training_Scripts/tree/SDXL так же вышли обновления, позволяющее делать файнтьюны для SDXL. Кроме полноценного файнтьюна и обучения лор, для bmaltais/kohya_ss так же доступны пресеты для обучения LoRA/LoHa/LoKr, в том числе и для SDXL, требующие больше VRAM. Всё пока сырое и имеет проблемы с совместимостью, только для самых нетерпеливых. Требования к системе для обучения SDXL выше, чем для обучения SD 1.x. ➤ Гайды по обучению Существующую модель можно обучить симулировать определенный стиль или рисовать конкретного персонажа. ✱ Текстуальная инверсия (Textual inversion) может подойти, если сеть уже умеет рисовать что-то похожее: https://rentry.org/textard (англ.) ✱ Гиперсеть (Hypernetwork) может подойти, если она этого делать не умеет; позволяет добавить более существенные изменения в существующую модель, но тренируется медленнее: https://rentry.org/hypernetwork4dumdums (англ.) ✱ Dreambooth – выбор 24 Гб VRAM-бояр. Выдаёт отличные результаты. Генерирует полноразмерные модели: https://github.com/nitrosocke/dreambooth-training-guide (англ.) ✱ LoRA – "легковесный Dreambooth" – подойдет для любых задач. Отличается малыми требованиями к VRAM (6 Гб+) и быстрым обучением: https://rentry.org/2chAI_easy_LORA_guide - гайд по подготовке датасета и обучению LoRA для неофитов https://rentry.org/2chAI_LoRA_Dreambooth_guide - ещё один гайд по использованию и обучению LoRA https://rentry.org/59xed3 - более углубленный гайд по лорам, содержит много инфы для уже разбирающихся (англ.) ✱ LyCORIS (Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion) - это проект по созданию алгоритма для более эффективного дообучения SD. Ранее носил название LoCon. В настоящий момент включает в себя алгоритмы LoCon, LoHa, LoKr и DyLoRA: https://github.com/KohakuBlueleaf/LyCORIS ✱ LoCon (LoRA for Convolution layer) - тренирует дополнительные слои в UNet. Теоретически должен давать лучший результат тренировки по сравнению с LoRA, меньше вероятность перетренировки и большая вариативность при генерации. Тренируется примерно в два раза медленнее чистой LoRA, требует меньший параметр network_dim, поэтому размер выходного файла меньше. ✱ LoHa (LoRA with Hadamard Product representation) - тренировка с использованием алгоритма произведения Адамара. Теоретически должен давать лучший результат при тренировках с датасетом в котором будет и персонаж и стилистика одновременно. ✱ LoKr (LoRA with Kronecker product representation) - тренировка с использованием алгоритма произведения Кронекера. Алгоритм довольно чувствителен к learning_rate, так что требуется его тонкая подгонка. Из плюсов - очень маленький размер выходного файла (auto factor: 900~2500KB), из минусов - слабая переносимость между моделями. ✱ DyLoRA (Dynamic Search-Free LoRA) - по сути та же LoRA, только теперь в выходном файле размер ранга (network_dim) не фиксирован максимальным, а может принимать кратные промежуточные значения. После обучения на выходе будет один многоранговый файл модели, который можно разбить на отдельные одноранговые. Количество рангов указывается параметром --network_args "unit=x", т.е. допустим если network_dim=128, network_args "unit=4", то в выходном файле будут ранги 32,64,96,128. По заявлению разработчиков алгоритма, обучение одного многорангового файла в 4-7 раз быстрее, чем учить их по отдельности. ✱ Text-to-image fine-tuning для Nvidia A100/Tesla V100-бояр: https://keras.io/examples/generative/finetune_stable_diffusion (англ.) Не забываем про золотое правило GIGO ("Garbage in, garbage out"): какой датасет, такой и результат. ➤ Гугл колабы ﹡Текстуальная инверсия: https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/sd_textual_inversion_training.ipynb ﹡Dreambooth: https://colab.research.google.com/github/TheLastBen/fast-stable-diffusion/blob/main/fast-DreamBooth.ipynb ﹡LoRA [1] https://colab.research.google.com/github/Linaqruf/kohya-trainer/blob/main/kohya-trainer.ipynb ﹡LoRA [2] https://colab.research.google.com/drive/1bFX0pZczeApeFadrz1AdOb5TDdet2U0Z ➤ Полезное Гайд по фиксу сломанных моделей: https://rentry.org/clipfix (англ.) Расширение WebUI для проверки "сломаных" тензоров модели: https://github.com/iiiytn1k/sd-webui-check-tensors Гайд по блок мерджингу: https://rentry.org/BlockMergeExplained (англ.) Гайд по ControlNet: https://stable-diffusion-art.com/controlnet (англ.) Гайды по апскейлу от анонов: https://rentry.org/SD_upscale https://rentry.org/sd__upscale https://rentry.org/2ch_nai_guide#апскейл https://rentry.org/UpscaleByControl Ручная сборка и установка последней версии xformers и torch в venv автоматика: Windows: https://rentry.org/sd_performance Linux: https://rentry.org/SD_torch2_linux_guide Подборка мокрописек от анона: https://rentry.org/te3oh Группы тегов для бур: https://danbooru.donmai.us/wiki_pages/tag_groups (англ.) Коллекция лор от анонов: https://rentry.org/2chAI_LoRA Гайды, эмбеды, хайпернетворки, лоры с форча: https://rentry.org/sdgoldmine https://rentry.org/sdg-link https://rentry.org/hdgfaq https://rentry.org/hdglorarepo https://gitgud.io/gayshit/makesomefuckingporn Шапка: https://rentry.org/catb8 Прошлые треды: №1 https://arhivach.top/thread/859827/ №2 https://arhivach.top/thread/860317/ №3 https://arhivach.top/thread/861387/ №4 https://arhivach.top/thread/863252/ №5 https://arhivach.top/thread/863834/ №6 https://arhivach.top/thread/864377/ №7 https://arhivach.top/thread/868143/ №8 https://arhivach.top/thread/873010/ №9 https://arhivach.top/thread/878287/ №10 https://arhivach.top/thread/893334/
12 января 2024
Сохранен
508
ChatGPT-тред №5 /chatgpt/ — ChatGPT-тред №5 ChatGPT is at capacity right now Общаемся с самым продвинутым ИИ самой продвинутой текстовой моделью из доступных. Горим с доступа к свежевыпущенному новому поколению GPT-4. Гайд по регистрации из России: 1. Установи VPN, например расширение FreeVPN под свой любимый браузер и включи его. 2. Заведи свежую почту, которую ты еще не засветил из-под российского ip. 3. Зайди на https://chat.openai.com/chat и начни регистрацию. Ссылку а
27 августа 2023
Сохранен
508
ChatGPT-тред №3 /chatgpt/ — ChatGPT-тред №3 ChatGPT is at capacity right now Общаемся с самым продвинутым ИИ самой продвинутой текстовой моделью из доступных. Гайд по регистрации из России: 1. Установи VPN, например расширение FreeVPN под свой любимый браузер и включи его. 2. Заведи свежую почту, которую ты еще не засветил из-под российского ip. 3. Зайди на https://chat.openai.com/chat и начни регистрацию. Ссылку активации с почты запускай только со включенным VPN. 4. Когда попросят указать
17 мая 2023
Сохранен
508
CharacterAI thread №213 Сохраняем промпты/настройки нейротяночек, потихоньку вкатываемся в пигму, п — CharacterAI thread №213 Сохраняем промпты/настройки нейротяночек, потихоньку вкатываемся в пигму, параллельно бугуртим и следим за ситуацией с обсёром индусов, охуеваем с разрабов. https://beta.character.ai Remember: no Russian Everything Characters say is made up! CharacterAI — новое слово в мире нейросетей. Это сайт, на котором можно создавать умных ботов и задавать им тип личности. Бот
5 апреля 2023
Сохранен
508
CharacterAI thread №211 Сохраняем промпты/настройки нейротяночек, потихоньку вкатываемся в пигму, п — CharacterAI thread №211 Сохраняем промпты/настройки нейротяночек, потихоньку вкатываемся в пигму, параллельно бугуртим и следим за ситуацией с обсёром индусов, охуеваем с разрабов. https://beta.character.ai Remember: no Russian Everything Characters say is made up! CharacterAI — новое слово в мире нейросетей. Это сайт, на котором можно создавать умных ботов и задавать им тип личности. Бот
3 апреля 2023
Сохранен
507
Локальные языковые модели (LLM): LLaMA, MPT, Falcon и прочие №34 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2-х бит, на кофеварке с подкачкой на микроволновку. Базовой единицей обработки любой языковой модели является токен. Токен это минимальная единица, на которые разбивается текст перед подачей его в модель, обычно это слово (если популярное), часть слова, в худшем случае это буква (а то и вовсе байт). Из последовательности токенов строится контекст модели. Контекст это всё, что подаётся на вход, плюс резервирование для выхода. Типичным максимальным размером контекста сейчас являются 2к (2 тысячи) и 4к токенов, но есть и исключения. В этот объём нужно уместить описание персонажа, мира, истории чата. Для расширения контекста сейчас применяется метод NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества. Текущим трендом на данный момент являются мультимодальные модели, это когда к основной LLM сбоку приделывают модуль распознавания изображений, что в теории должно позволять LLM понимать изображение, отвечать на вопросы по нему, а в будущем и манипулировать им. Основным представителем локальных моделей является LLaMA. LLaMA это генеративные текстовые модели размерами от 7B до 70B, притом младшие версии моделей превосходят во многих тестах GTP3 (по утверждению самого фейсбука), в которой 175B параметров. Сейчас на нее существует множество файнтюнов, например Vicuna/Stable Beluga/Airoboros/WizardLM/Chronos/(любые другие) как под выполнение инструкций в стиле ChatGPT, так и под РП/сторитейл. Для получения хорошего результата нужно использовать подходящий формат промта, иначе на выходе будут мусорные теги. Некоторые модели могут быть излишне соевыми, включая Chat версии оригинальной Llama 2. Кроме LLaMA для анона доступны множество других семейств моделей: Pygmalion- заслуженный ветеран локального кума. Старые версии были основаны на древнейшем GPT-J, новые переехали со своим датасетом на LLaMA, но, по мнению некоторых анонов, в процессе потерялась Душа © MPT- попытка повторить успех первой лламы от MosaicML, с более свободной лицензией. Может похвастаться нативным контекстом в 65к токенов в версии storywriter, но уступает по качеству. С выходом LLaMA 2 с более свободной лицензией стала не нужна. Falcon- семейство моделей размером в 40B и 180B от какого-то там института из арабских эмиратов. Примечательна версией на 180B, что является крупнейшей открытой моделью. По качеству несколько выше LLaMA 2 на 70B, но сложности с запуском и малый прирост делаю её не самой интересной. Mistral- модель от Mistral AI размером в 7B, с полным повторением архитектуры LLaMA. Интересна тем, что для своего небольшого размера она не уступает более крупным моделям, соперничая с 13B (а иногда и с 70B), и является топом по соотношению размер/качество. Qwen - семейство моделей размером в 7B и 14B от наших китайских братьев. Отличается тем, что имеет мультимодальную версию с обработкой на входе не только текста, но и картинок. В принципе хорошо умеет в английский, но китайские корни всё же проявляется в чате в виде периодически высираемых иероглифов. Yi - Неплохая китайская модель на 34B, способная занять разрыв после невыхода LLaMA соответствующего размера Сейчас существует несколько версий весов, не совместимых между собой, смотри не перепутай! 0) Оригинальные .pth файлы, работают только с оригинальным репозиторием. Формат имени consolidated.00.pth 1) Веса, сконвертированные в формат Hugging Face. Формат имени pytorch_model-00001-of-00033.bin 2) Веса, квантизированные в GGML/GGUF. Работают со сборками на процессорах. Имеют несколько подформатов, совместимость поддерживает только koboldcpp, Герганов меняет форматы каждый месяц и дропает поддержку предыдущих, так что лучше качать последние. Формат имени ggml-model-q4_0, расширение файла bin для GGML и gguf для GGUF. Суффикс q4_0 означает квантование, в данном случае в 4 бита, версия 0. Чем больше число бит, тем выше точность и расход памяти. Чем новее версия, тем лучше (не всегда). Рекомендуется скачивать версии K (K_S или K_M) на конце. 3) Веса, квантизированные в GPTQ. Работают на видеокарте, наивысшая производительность (особенно в Exllama) но сложности с оффлоадом, возможность распределить по нескольким видеокартам суммируя их память. Имеют имя типа llama-7b-4bit.safetensors (формат .pt скачивать не стоит), при себе содержат конфиги, которые нужны для запуска, их тоже качаем. Могут быть квантованы в 3-4-8 бит (Exllama 2 поддерживает адаптивное квантование, тогда среднее число бит может быть дробным), квантование отличается по числу групп (1-128-64-32 в порядке возрастания качества и расхода ресурсов). Основные форматы это GGML и GPTQ, остальные нейрокуну не нужны. Оптимальным по соотношению размер/качество является 5 бит, по размеру брать максимальную, что помещается в память (видео или оперативную), для быстрого прикидывания расхода можно взять размер модели и прибавить по гигабайту за каждые 1к контекста, то есть для 7B модели GGML весом в 4.7ГБ и контекста в 2к нужно ~7ГБ оперативной. В общем и целом для 7B хватает видеокарт с 8ГБ, для 13B нужно минимум 12ГБ, для 30B потребуется 24ГБ, а с 65-70B не справится ни одна бытовая карта в одиночку, нужно 2 по 3090/4090. Даже если использовать сборки для процессоров, то всё равно лучше попробовать задействовать видеокарту, хотя бы для обработки промта (Use CuBLAS или ClBLAS в настройках пресетов кобольда), а если осталась свободная VRAM, то можно выгрузить несколько слоёв нейронной сети на видеокарту. Число слоёв для выгрузки нужно подбирать индивидуально, в зависимости от объёма свободной памяти. Смотри не переборщи, Анон! Если выгрузить слишком много, то начиная с 535 версии драйвера NVidia это серьёзно замедлит работу. Лучше оставить запас. Гайд для ретардов для запуска LLaMA без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой: 1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии. 2. Скачиваем модель в gguf формате. Например вот эту: https://huggingface.co/TheBloke/Frostwind-10.7B-v1-GGUF/blob/main/frostwind-10.7b-v1.Q5_K_M.gguf Можно просто вбить в huggingace в поиске "gguf" и скачать любую, охуеть, да? Главное, скачай файл с расширением .gguf, а не какой-нибудь .pt 3. Запускаем koboldcpp.exe и выбираем скачанную модель. 4. Заходим в браузере на http://localhost:5001/ 5. Все, общаемся с ИИ, читаем охуительные истории или отправляемся в Adventure. Да, просто запускаем, выбираем файл и открываем адрес в браузере, даже ваша бабка разберется! Для удобства можно использовать интерфейс TavernAI 1. Ставим по инструкции, пока не запустится: https://github.com/Cohee1207/SillyTavern 2. Запускаем всё добро 3. Ставим в настройках KoboldAI везде, и адрес сервера http://127.0.0.1:5001 4. Активируем Instruct Mode и выставляем в настройках пресетов Alpaca 5. Радуемся Инструменты для запуска: https://github.com/LostRuins/koboldcpp/ Репозиторий с реализацией на плюсах https://github.com/oobabooga/text-generation-webui/ ВебуУИ в стиле Stable Diffusion, поддерживает кучу бекендов и фронтендов, в том числе может связать фронтенд в виде Таверны и бекенды ExLlama/llama.cpp/AutoGPTQ Ссылки на модели и гайды: https://huggingface.co/TheBloke Основной поставщик квантованных моделей под любой вкус. https://rentry.co/TESFT-LLaMa Не самые свежие гайды на ангельском https://rentry.co/STAI-Termux Запуск SillyTavern на телефоне https://rentry.co/lmg_models Самый полный список годных моделей http://ayumi.m8geil.de/ayumi_bench_v3_results.html Рейтинг моделей для кума со спорной методикой тестирования https://rentry.co/llm-training Гайд по обучению своей лоры https://rentry.co/2ch-pygma-thread Шапка треда PygmalionAI, можно найти много интересного https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально https://rentry.co/xzuen Гайд для запуска на видеокарте на русском Шапка треда находится в https://rentry.co/llama-2ch предложения принимаются в треде Предыдущие треды тонут здесь: >>577814 (OP) >>573687 (OP)
30 апреля 2024
Сохранен
507
ChatGPT-тред №10 /chatgpt/ — You do not have an account because it has been deleted or deactivated. Общаемся с самым продвинутым ИИ самой продвинутой текстовой моделью из доступных. Горим с доступа к свежевыпущенному новому поколению GPT-4. Гайд по регистрации из России: 1. Установи VPN, например расширение FreeVPN под свой любимый браузер и включи его. 2. Возьми нормальную почту. Адреса со многих сервисов временной почты блокируются. Отбитые могут использовать почту в RU зоне, она прекрасно
20 сентября 2023
Сохранен
507
ChatGPT-тред №6 /chatgpt/ — ChatGPT-тред №6 ChatGPT is at capacity right now Общаемся с самым продвинутым ИИ самой продвинутой текстовой моделью из доступных. Горим с доступа к свежевыпущенному новому поколению GPT-4. Гайд по регистрации из России: 1. Установи VPN, например расширение FreeVPN под свой любимый браузер и включи его. 2. Возьми нормальную почту. Адреса со многих сервисов временных почт блокируются. Отбитые могут использовать почту в RU зоне, она прекрасно работает. 3. Зайди на
28 июня 2023
Сохранен
507
PygmalionAI тред №6 /pai/ — PygmalionAI тред №6 Пишем промпты, стараемся адаптировать их под количество токенов, обсуждаем, какой стиль лучше, ждём софтпромптов. https://huggingface.co/PygmalionAI Что такое PygmalionAI? PygmalionAI - локально запускаемая нейросеть с открытым исходным кодом, которая специализированна под чатботы. Её сделали выходцы из 4chan (/vt) → (/g). Их мотивация, создать нейросеть, которая свободна от цензуры, в отличии от CharacterAI. Основа для 6B модели - это GPT-J, кото
28 июня 2023


жалоба / abuse: arhivach@airmail.cc