Прошлые домены не функционирует! Используйте адрес ARHIVACH.VC.
24 декабря 2023 г. Архивач восстановлен после серьёзной аварии. К сожалению, значительная часть сохранённых изображений и видео была потеряна. Подробности случившегося. Мы призываем всех неравнодушных помочь нам с восстановлением утраченного контента!
Сортировка: за
Сохранен
1531
AI Chatbot General № 587 /aicg/ — AI Chatbot General № 587 БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!! Общий вопросов по чат-ботам и прочего тред. Новости • Вышел grok-2-1212 - https://x.com/xai/status/1868045132760842734 • gemini-2.0-flash-exp вышла на Gemini API - https://ai.google.dev/gemini-api/docs/models/experimental-models Большие фронтенды • SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна) • Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид) • Agnai: https://agnai.chat/ • Risu: https://risuai.xyz/ Малые фронтенды • Adventure-UI: https://rentry.co/CYOA_AdventureUI Модели • Claude: https://docs.anthropic.com/en/docs • GPT: https://platform.openai.com/docs • Gemini: https://ai.google.dev/gemini-api/docs • Grok: https://docs.x.ai/docs • Mistral: https://docs.mistral.ai/api/ Пресеты • Бургерский список: https://rentry.org/jb-listing • Тредовский список: https://rentry.org/2ch-aicg-jb Полезности • Тредовский список: https://rentry.org/2ch-aicg-utils Ботоводчество • Чуб: https://characterhub.org | https://chub.ai/characters • Гайды: https://rentry.org/meta_botmaking_list • Редакторы: https://agnai.chat/editor | https://des une.moe/aichared/ • Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 • Бургерские боты: https://rentry.org/meta_bot_list Прочее • Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/ • База по Клоду: https://rentry.org/how2claude • Чекер ключей: https://github.com/kingbased/keychecker • Чай: https://character.ai/ Прокси • gpt-4o-mini: https://unicorn.scylla.wtf/ Мета • Архив тредов: https://rentry.org/2ch-aicg-archives2 • Тредовые ивенты: https://rentry.org/2chaicgthemedevents • Реквесты ботоделам: https://rentry.org/2ch-aicg-requests • Локальные языковые модели: >>979451 (OP) • Шаблон шапки: https://rentry.org/shapka_aicg Прошлый тред: >>978627 (OP)*
1 апреля 2:35
Сохранен
598
Stable Diffusion тред X+101 /sd/ — Stable Diffusion тред X+101 ====================================== Предыдущий тред >>826535 (OP) https://arhivach.top/?tags=13840 ------------------------------------------ схожие тематические треды - аниме-тред >>832282 (OP) - технотред >>758561 (OP) ======================== Stable Diffusion (SD) - открытая нейросеть генеративного искусства для создания картинок из текста/исходных картинок, обучения на своих изображениях. Полный функционал в локальной установке (см. ниже) Альтернативный онлайн-генератор №1: https://dezgo.com/txt2img Альтернативный онлайн-генератор №2: https://civitai.com/ (create после регистрации) Альтернативный онлайн-генератор №3: https://tensor.art/ (Workspace) ⚠️ Стандартные модели stable diffusion от Stability AI значительно отстают по качеству от кастомных моделей (см. civitai ниже). ???? Без цензуры и полный функци_анал: только ПК-версия =========================================== ????УСТАНОВКА НА ПК WebUI от Automatic1111 https://teletype.in/@stablediffusion/PC_install_SD ------------------------------------------ ???? Для новичков - простой в работе WebUI Fooocus https://github.com/lllyasviel/Fooocus?tab=readme-ov-file#download ------------------------------------------ Портативная версия альтернативного WebUI от Comfy (запуск с одного из run.bat файлов) https://github.com/comfyanonymous/ComfyUI/releases Примерные workflow для ComfyUI (можно загружать напрямую из картинок) https://comfyanonymous.github.io/ComfyUI_examples/ ------------------------------------------ Для тех, у кого видеокарта не тянет - ускоренная генерация на ЦПУ https://github.com/rupeshs/fastsdcpu =========================================== ???? РАЗЛИЧНЫЕ МОДЕЛИ (И МНОГОЕ ДРУГОЕ) ???? https://civitai.com/ ------------------------------------------ ???? ПАРАМЕТРЫ И НАСТРОЙКИ ГЕНЕРАЦИИ ???? https://teletype.in/@stablediffusion/samplers_steps =========================================== ???? ГАЙД ПО СОСТАВЛЕНИЮ ЗАПРОСА, СТИЛИ https://teletype.in/@stablediffusion/artists_for_prompts Пример промпта-запроса (для sd1.5 или SDXL): an european girl, standing, high quality, soft focus, 8k, photograph by nick nichols Пример промпта-запроса (для SD3): screengrab from fisheye surveillance webcam, somewhere in Smolensk at night, an obese old blond wife in a wet clear transparent sheer crop top stand in room, smile, close-up, wet hair and wet skin, nuclear mushroom-explosion in window ------------------------------------------ ♾️РАЗЛИЧНЫЕ ХУДОЖЕСТВЕННЫЕ СТИЛИ (С ПРИМЕРАМИ) ???? https://supagruen.github.io/StableDiffusion-CheatSheet/ https://www.artvy.ai/styles ------------------------------------------ ????ЧТО ТАКОЕ CONTROLNET И КАК ЕГО ИСПОЛЬЗОВАТЬ https://dtf.ru/howto/1669307-ustanovka-i-obyasnenie-nastroek-control-net-kopirovanie-pozy-kompozicii-i-td ========================================== ???? ОБУЧЕНИЕ ПО СВОИМ КАРТИНКАМ ???? https://dtf.ru/howto/1660668-obuchenie-modeli-s-pomoshchyu-lora https://civitai.com/models/train
3 декабря 2024
Сохранен
518
Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №120 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, бугуртим с кривейшего тормозного говна и обоссываем калотарок. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/ Инструменты для запуска на десктопах: • Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp • Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui • Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai • Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern Инструменты для запуска на мобилках: • Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid • Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI • Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux Модели и всё что их касается: • Актуальный список моделей с отзывами от тредовичков: https://rentry.co/llm-models • Неактуальный список моделей устаревший с середины прошлого года: https://rentry.co/lmg_models • Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Moraliane и https://huggingface.co/Aleteian • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Дополнительные ссылки: • Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org • Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets • Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread • Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki • Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/ • Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing • Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk • Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking • Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/ Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >>1127590 (OP) >>1118220 (OP)
23 июля 8:56
Сохранен
554
Stable Diffusion Flux тред X+127 /sd/ — Stable Diffusion Flux тред X+127 ====================================== Предыдущий тред >>937578 (OP) https://arhivach.top/?tags=13840 ------------------------------------------ схожий тематический тред - аниме-тред >>939290 (OP) ======================== Stable Diffusion (SD) - открытая нейросеть генеративного искусства для создания картинок из текста/исходных картинок, обучения на своих изображениях. Flux — открытая нейросеть нового поколения для генерации изображений от стартапа Black Forest Labs, основанного бывшими разработчиками Stable Diffusion. Полный функционал в локальной установке (см. ниже) Пробный онлайн-генератор Stable Diffusion: https://dezgo.com/txt2img Пробные онлайн-генераторы Flux: https://huggingface.co/black-forest-labs https://fluxpro.art/ ⚠️ Официальные модели stable diffusion от Stability AI значительно отстают по качеству от кастомных моделей (см. civitai ниже). ???? Без цензуры и полный функци_анал: только ПК-версия =========================================== ????УСТАНОВКА НА ПК Портативная версия основного WebUI от Comfy (запуск с одного из run.bat файлов) https://github.com/comfyanonymous/ComfyUI/releases Примерные workflow для ComfyUI (можно загружать напрямую из картинок) https://comfyanonymous.github.io/ComfyUI_examples/ ------------------------------------------ Альтернатива - еще поддерживаемый форк ранее популярного WebUI от Automatic1111 (R.I.P) https://github.com/lllyasviel/stable-diffusion-webui-forge?tab=readme-ov-file ------------------------------------------ ???? Для новичков - простой в работе WebUI Fooocus https://github.com/lllyasviel/Fooocus?tab=readme-ov-file#download ------------------------------------------ Для тех, у кого видеокарта не тянет - оптимизированная генерация на ЦПУ https://github.com/rupeshs/fastsdcpu =========================================== ???? РАЗЛИЧНЫЕ МОДЕЛИ (И МНОГОЕ ДРУГОЕ) ???? https://civitai.com/ https://huggingface.co/ ------------------------------------------ ???? ПАРАМЕТРЫ И НАСТРОЙКИ ГЕНЕРАЦИИ ???? https://teletype.in/@stablediffusion/samplers_steps =========================================== ???? ГАЙД ПО СОСТАВЛЕНИЮ ЗАПРОСА, СТИЛИ https://teletype.in/@stablediffusion/artists_for_prompts Пример промпта (запроса) для sd1.5 или SDXL: an european girl, standing, high quality, soft focus, 8k, photograph by nick nichols Пример промпта (запроса) для Flux: This photo shows a small smiling young caucasian adult woman with blonde hair wearing a pink t-shirt with the words "SD3" and panties sitting on a white couch with her legs crossed in a yoga pose, in the background of the image behind the couch there a several standing large buff african american men wearing white t-shirts with the words "FLUX" and white shorts, they are staring at the blode young woman, the woman is very small in the image allowing the men to tower over her ------------------------------------------ ♾️РАЗЛИЧНЫЕ ХУДОЖЕСТВЕННЫЕ СТИЛИ (С ПРИМЕРАМИ) ???? https://supagruen.github.io/StableDiffusion-CheatSheet/ https://www.artvy.ai/styles ------------------------------------------ ????ЧТО ТАКОЕ CONTROLNET И КАК ЕГО ИСПОЛЬЗОВАТЬ https://dtf.ru/howto/1669307-ustanovka-i-obyasnenie-nastroek-control-net-kopirovanie-pozy-kompozicii-i-td ========================================== ???? ОБУЧЕНИЕ ПО СВОИМ КАРТИНКАМ ???? https://dtf.ru/howto/1660668-obuchenie-modeli-s-pomoshchyu-lora https://civitai.com/models/train
3 марта 21:11
Сохранен
1537
AI Chatbot General № 539 /aicg/ — AI Chatbot General № 539 БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!! Общий вопросов по чат-ботам и прочего тред. Фронтэнды • SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app • Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид) • Agnai: https://agnai.chat/ • Risu: https://risuai.xyz/ Модели • Claude: https://docs.anthropic.com/en/docs • GPT: https://platform.openai.com/docs • Gemini: https://ai.google.dev/gemini-api/docs Пресеты • Бургерский список: https://rentry.org/jb-listing • Тредовский список: https://rentry.org/2ch-aicg-jb Полезности • Тредовский список: https://rentry.org/2ch-aicg-utils Ботоводчество • Чуб: https://characterhub.org | https://chub.ai/characters • Гайды: https://rentry.org/meta_botmaking_list • Редакторы: https://agnai.chat/editor | https://des une.moe/aichared/ • Боты анонов: https://rentry.co/2chaicgtavernbots | https://rentry.co/2chaicgtavernbots2 | https://rentry.co/2chaicgtavernbots3 Прочее • Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/ • База по Клоду: https://rentry.org/how2claude • Чекер ключей: https://github.com/kingbased/keychecker • Чай: https://character.ai/ Прокси • gpt-4o-mini: https://unicorn.scylla.wtf/ Мета • Архив тредов: https://rentry.co/2ch-aicg-archives2 • Тредовые ивенты: https://rentry.co/2chaicgthemedevents | Текущий: >>860269 → • Локальные языковые модели: >>854573 (OP) • Шаблон шапки: https://rentry.org/shapka_aicg/raw Прошлый тред: >>860142 (OP)
21 декабря 2024
Сохранен
525
Этика ИИ /ethics/ — Тред для IQ > 90. Часто люди не понимают, зачем нужны ограничения для пользователей в публичных ИИ-моделях, или почему инвесторы со страхом смотрят на аналоговнетные стартапы. Всё дело в ИИ-этике. Ей уделяют много внимания на Западе, и куда меньше - в КНР. Я не верю в "скайнет, который уничтожит цивилизацию" и просто объясню на пальцах проблемы и задачи ИИ-этики. 1. Генерация дипфейков. Они могут фабриковаться для дезинформации и деструктивных вбросов, в т.ч. со стороны авторитарных государств, как случае с лахтой. Порнографические дипфейки могут рушить репутацию знаменитостей (например, когда в интернетах вдруг всплывает голая Эмма Уотсон). Возможен даже шантаж через соцсети, обычной тянки, которую правдоподобно "раздели" нейронкой. Или, дипфейк чтобы подвести кого-то под "педофильскую" статью. Еще лет пять назад был скандал вокруг раздевающей нейронки, в итоге все подобные разработки были свернуты. 2. Замещение людей на рынке труда ИИ-системами, которые выполняют те же задачи в 100 раз быстрее. Это относится к цифровым художникам, программистам-джуниорам, писателям. Скоро ИИ потеснит 3д-моделеров, исполнителей музыки, всю отрасль разработки видеоигр и всех в киноиндустрии. При этом многие страны не предлагают спецам адекватной компенсации или хотя бы социальных программ оказания помощи. 3. Распознавание лиц на камерах, и усовершенствование данной технологии. Всё это применяется тоталитарными режимами, чтобы превращать людей в бесправный скот. После опыта в Гонконге Китай допиливает алгоритм, чтобы распознавать и пробивать по базе даже людей в масках - по росту, походке, одежде, любым мелочам. Россия тоже внедрит сначала в Москве, потом и повсеместно, т.к. мобики сами в военкомат не идут. 4. Создание нереалистичных образов и их социальные последствия. Группа южнокорейских исследователей поднимала тему о создании средствами Stable Diffusion и Midjourney не соответствующих действительности (гиперсексуализированных) изображений женщин. Многие пользователи стремятся написать такие промпты, чтобы пикчи были как можно круче, "пизже". Публично доступный "AI art" повышает планку и оказывает давление уже на реальных женщин, которые вынуждены гнаться за неадекватно завышенными стандартами красоты. 5. Возможность создания нелегальной порнографии с несовершеннолетними. Это в свою очередь ведет к нормализации ЦП феноменом "окна Овертона" (сначала обсуждение неприемлемо, затем можно обсуждать и спорить, затем это часть повседневности). Давно слежу за комьюнити Stable Horde, их админ жаловался: чуть ли не каждый второй пользователь - педофил, приходится постоянно латать уязвимости в фильтрах. Можно лишь догадываться, что творится вне этой платформы на частных приватных машинах. Сложности добавляет то, что присутствие обычного прона + обычных детей в дате делает возможным ЦП. Приходится убирать или то, или другое. В случае SD 2.0, убрали прон и оставили детей. 6. Кража интеллектуальной собственности. Данные для тренировки передовых моделей были собраны со всего интернета. Ободрали веб-скраппером каждый сайт, каждую платформу для художников, не спрашивая авторов контента. Насколько этичен такой подход? (Stability обещали убрать из данных для SD 3.0 работы всех художников, подавших заявление.) Кроме того, безответственный подход пользователей, которые постят "оригинальные" изображения, сгенерированные на основе работы художника (ИИ-плагиат). 7. Понижение средней планки произведений искусства: ArtStation и Pixiv теперь засраны дженериком с артефактами, с неправильными кистями рук. Видно, что генерировали в SD/Midjourney/Niji из промпта в пару слов. Когда листаешь галерею, то трудно найти работы профессионалов, и по умолчанию вся страница в сладком хлебе. 8. Индоктринация пользователей идеями ненависти. Распространение экстремистских идей через языковые модели типа GPT (нацизм и его производные, расизм, антисемитизм, ксенофобия, шовинизм). Зачастую ИИ предвзято относится к меньшинствам, например обрезает групповую фотку, чтобы убрать с нее негра и "улучшить" фото. Это решается фильтрацией данных, ибо говно на входе = говно на выходе. Один старый чатбот в свое время произвел скандал и породил мем "кибернаци", разгадка была проста: его обучали на нефильтрованных текстах из соцсетей. 9. Рост киберпреступности и кража приватных данных. Всё это обостряется вместе с совершенствованием ИИ, который может стать оружием в руках злоумышленника. Более того, корпорация которая владеет проприетарным ИИ, может собирать любые данные, полученные при использовании ИИ. 10. Понижение качества образования, из-за халтуры при написании работ с GPT. Решается через создание ИИ, заточенного на распознавание сгенерированного текста. Но по мере совершенствования моделей придется совершенствовать и меры по борьбе с ИИ-халтурой. 11. Вопросы юридической ответственности. Например, автомобиль с ИИ-автопилотом сбил пешехода. Кому предъявлять обвинение? 12. Оружие и военная техника, автономно управляемые ИИ. Крайне аморальная вещь, даже когда она полностью под контролем владельца. Стивен Хокинг в свое время добивался запрета на военный ИИ.
7 февраля 2024
Активный
1509
AI Chatbot General № 701 /aicg/ — AI Chatbot General № 701 БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!! Общий вопросов по чат-ботам и прочего тред. Новости • Вышли gemini-2.5-pro и gemini-2.5-flash - https://ai.google.dev/gemini-api/docs/models Фронтенды • SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна) • Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид) • Agnai: https://agnai.chat/ • Risu: https://risuai.xyz/ • Adventure-UI: https://rentry.co/CYOA_AdventureUI • Cavern: https://github.com/Barbariskaa/Cavern Модели • Claude: https://docs.anthropic.com/en/docs • GPT: https://platform.openai.com/docs • Gemini: https://ai.google.dev/gemini-api/docs • Grok: https://docs.x.ai/docs • DeepSeek: https://api-docs.deepseek.com/ Пресеты • Бургерский список: https://rentry.org/jb-listing • Тредовский список: https://rentry.org/2ch-aicg-jb Полезности • Тредовский список: https://rentry.org/2ch-aicg-utils • Сборник рентри: https://rentry.org/mrhd Ботоводчество • Чуб: https://characterhub.org | https://chub.ai/characters • Гайды: https://rentry.org/meta_botmaking_list • Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 • Бургерские боты: https://rentry.org/meta_bot_list Ресурсы • Арена: https://beta.lmarena.ai/ • OpenRouter: https://openrouter.ai/ • Чай: https://character.ai/ Прочее • Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/ • База по Клоду: https://rentry.org/how2claude • Чекер ключей: https://github.com/kingbased/keychecker • OAI Прокси: https://gitgud.io/SternAnon/aoi-foxy-rose | https://gitgud.io/reanon/nonono/ Мета • Архив тредов: https://rentry.org/2ch-aicg-archives3 • Тредовые ивенты: https://rentry.org/2chaicgthemedevents • Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2 • Локальные языковые модели: >>1249785 (OP) • Шаблон шапки: https://rentry.org/shapka_aicg Прошлый тред: >>1248774 (OP)
19 августа 8:13
Сохранен
520
10 апреля 13:59
Сохранен
1514
AI Chatbot General № 545 /aicg/ — AI Chatbot General № 545 БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!! Общий вопросов по чат-ботам и прочего тред. Фронтэнды • SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна) • Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид) • Agnai: https://agnai.chat/ • Risu: https://risuai.xyz/ Модели • Claude: https://docs.anthropic.com/en/docs • GPT: https://platform.openai.com/docs • Gemini: https://ai.google.dev/gemini-api/docs Пресеты • Бургерский список: https://rentry.org/jb-listing • Тредовский список: https://rentry.org/2ch-aicg-jb Полезности • Тредовский список: https://rentry.org/2ch-aicg-utils Ботоводчество • Чуб: https://characterhub.org | https://chub.ai/characters • Гайды: https://rentry.org/meta_botmaking_list • Редакторы: https://agnai.chat/editor | https://des une.moe/aichared/ • Боты анонов: https://rentry.co/2chaicgtavernbots | https://rentry.co/2chaicgtavernbots2 | https://rentry.co/2chaicgtavernbots3 Прочее • Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/ • База по Клоду: https://rentry.org/how2claude • Чекер ключей: https://github.com/kingbased/keychecker • Чай: https://character.ai/ Прокси • gpt-4o-mini: https://unicorn.scylla.wtf/ Мета • Архив тредов: https://rentry.co/2ch-aicg-archives2 • Тредовые ивенты: https://rentry.co/2chaicgthemedevents | Текущий: >>874724 → • Локальные языковые модели: >>869674 (OP) • Шаблон шапки: https://rentry.org/shapka_aicg/raw Прошлый тред: >>873884 (OP)
2 января 6:43
Сохранен
494
Локальные языковые модели (LLM): LLaMA, Mistral, Command-R и прочие №60 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Здесь и далее расположена базовая информация, полная инфа и гайды в вики https://2ch-ai.gitgud.site/wiki/llama/ LLaMA 3 вышла! Увы, только в размерах 8B и 70B. Промты уже вшиты в новую таверну, так же последние версии кобольда и оригинальной ллама.цпп уже пофикшены. Есть инфа о проблемах с реализацией кода ллама.цпп на видеокартах, но пока без конкретики. Базовой единицей обработки любой языковой модели является токен. Токен это минимальная единица, на которые разбивается текст перед подачей его в модель, обычно это слово (если популярное), часть слова, в худшем случае это буква (а то и вовсе байт). Из последовательности токенов строится контекст модели. Контекст это всё, что подаётся на вход, плюс резервирование для выхода. Типичным максимальным размером контекста сейчас являются 2к (2 тысячи) и 4к токенов, но есть и исключения. В этот объём нужно уместить описание персонажа, мира, истории чата. Для расширения контекста сейчас применяется метод NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, Llama 3 обладает базовым контекстом в 8к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества. Базовым языком для языковых моделей является английский. Он в приоритете для общения, на нём проводятся все тесты и оценки качества. Большинство моделей хорошо понимают русский на входе т.к. в их датасетах присутствуют разные языки, в том числе и русский. Но их ответы на других языках будут низкого качества и могут содержать ошибки из-за несбалансированности датасета. Существуют мультиязычные модели частично или полностью лишенные этого недостатка, из легковесных это openchat-3.5-0106, который может давать качественные ответы на русском и рекомендуется для этого. Из тяжёлых это Command-R. Файнтюны семейства "Сайга" не рекомендуются в виду их низкого качества и ошибок при обучении. Основным представителем локальных моделей является LLaMA. LLaMA это генеративные текстовые модели размерами от 7B до 70B, притом младшие версии моделей превосходят во многих тестах GTP3 (по утверждению самого фейсбука), в которой 175B параметров. Сейчас на нее существует множество файнтюнов, например Vicuna/Stable Beluga/Airoboros/WizardLM/Chronos/(любые другие) как под выполнение инструкций в стиле ChatGPT, так и под РП/сторитейл. Для получения хорошего результата нужно использовать подходящий формат промта, иначе на выходе будут мусорные теги. Некоторые модели могут быть излишне соевыми, включая Chat версии оригинальной Llama 2. Про остальные семейства моделей читайте в вики. Основные форматы хранения весов это GGML и GPTQ, остальные нейрокуну не нужны. Оптимальным по соотношению размер/качество является 5 бит, по размеру брать максимальную, что помещается в память (видео или оперативную), для быстрого прикидывания расхода можно взять размер модели и прибавить по гигабайту за каждые 1к контекста, то есть для 7B модели GGML весом в 4.7ГБ и контекста в 2к нужно ~7ГБ оперативной. В общем и целом для 7B хватает видеокарт с 8ГБ, для 13B нужно минимум 12ГБ, для 30B потребуется 24ГБ, а с 65-70B не справится ни одна бытовая карта в одиночку, нужно 2 по 3090/4090. Даже если использовать сборки для процессоров, то всё равно лучше попробовать задействовать видеокарту, хотя бы для обработки промта (Use CuBLAS или ClBLAS в настройках пресетов кобольда), а если осталась свободная VRAM, то можно выгрузить несколько слоёв нейронной сети на видеокарту. Число слоёв для выгрузки нужно подбирать индивидуально, в зависимости от объёма свободной памяти. Смотри не переборщи, Анон! Если выгрузить слишком много, то начиная с 535 версии драйвера NVidia это может серьёзно замедлить работу, если не выключить CUDA System Fallback в настройках панели NVidia. Лучше оставить запас. Гайд для ретардов для запуска LLaMA без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой: 1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии. 2. Скачиваем модель в gguf формате. Например вот эту: https://huggingface.co/Sao10K/Fimbulvetr-11B-v2-GGUF/blob/main/Fimbulvetr-11B-v2.q4_K_S.gguf Можно просто вбить в huggingace в поиске "gguf" и скачать любую, охуеть, да? Главное, скачай файл с расширением .gguf, а не какой-нибудь .pt 3. Запускаем koboldcpp.exe и выбираем скачанную модель. 4. Заходим в браузере на http://localhost:5001/ 5. Все, общаемся с ИИ, читаем охуительные истории или отправляемся в Adventure. Да, просто запускаем, выбираем файл и открываем адрес в браузере, даже ваша бабка разберется! Для удобства можно использовать интерфейс TavernAI 1. Ставим по инструкции, пока не запустится: https://github.com/Cohee1207/SillyTavern 2. Запускаем всё добро 3. Ставим в настройках KoboldAI везде, и адрес сервера http://127.0.0.1:5001 4. Активируем Instruct Mode и выставляем в настройках пресетов Alpaca 5. Радуемся Инструменты для запуска: https://github.com/LostRuins/koboldcpp/ Репозиторий с реализацией на плюсах https://github.com/oobabooga/text-generation-webui/ ВебуУИ в стиле Stable Diffusion, поддерживает кучу бекендов и фронтендов, в том числе может связать фронтенд в виде Таверны и бекенды ExLlama/llama.cpp/AutoGPTQ https://github.com/ollama/ollama , https://lmstudio.ai/ и прочее - Однокнопочные инструменты для полных хлебушков, с красивым гуем и ограниченным числом настроек/выбором моделей Ссылки на модели и гайды: https://huggingface.co/models Модели искать тут, вбиваем название + тип квантования https://rentry.co/TESFT-LLaMa Не самые свежие гайды на ангельском https://rentry.co/STAI-Termux Запуск SillyTavern на телефоне https://rentry.co/lmg_models Самый полный список годных моделей https://ayumi.m8geil.de/erp4_chatlogs/ Рейтинг моделей для кума со спорной методикой тестирования https://rentry.co/llm-training Гайд по обучению своей лоры https://rentry.co/2ch-pygma-thread Шапка треда PygmalionAI, можно найти много интересного https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде Предыдущие треды тонут здесь: >>735155 (OP) >>728812 (OP)
18 сентября 2024
Сохранен
1506
AI Chatbot General № 529 /aicg/ — AI Chatbot General № 529 БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!! Общий вопросов по чат-ботам и прочего тред. Фронтэнды • SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app • Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид) • Agnai: https://agnai.chat/ • Risu: https://risuai.xyz/ Модели • Claude: https://docs.anthropic.com/en/docs • GPT: https://platform.openai.com/docs • Gemini: https://ai.google.dev/gemini-api/docs Пресеты • Бургерский список: https://rentry.org/jb-listing • Солянка: https://rentry.org/anon4anon • ХМЛК: https://rentry.co/CharacterProvider • Мемо: https://rentry.co/DrunkArcadeExample | https://rentry.co/LazyMemo | https://rentry.co/HornyPigs • Ноасс: https://rentry.org/noass_ext | https://rentry.org/CladeOpus-GigaSchizoKostyl | https://rentry.co/Claude-NoAssTag Полезности • Кум мод: https://rentry.org/coom_mode • РП инфоблок: https://rentry.org/anonika_infoblock • Внешние блоки: https://rentry.org/ext_blocks • Саундтреки с ютуба: https://gitgud.io/Monblant/soundtrackplayer • Паки джейлов: https://rentry.co/SillyTavern_JB_Pack | https://rentry.co/absolutejail | https://rentry.co/jinxbreaks • Префилы: https://rentry.co/aui3u Ботоводчество • Чуб: https://characterhub.org | https://chub.ai/characters • Гайды: https://rentry.org/meta_botmaking_list • Редакторы: https://agnai.chat/editor | https://des une.moe/aichared/ • Боты анонов: https://rentry.co/2chaicgtavernbots | https://rentry.co/2chaicgtavernbots2 | https://rentry.co/2chaicgtavernbots3 Прочее • Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/ • База по Клоду: https://rentry.org/how2claude • Чекер ключей: https://github.com/kingbased/keychecker • Чай: https://character.ai/ Мета • Архив тредов: https://rentry.co/2ch-aicg-archives2 • Тредовые ивенты: https://rentry.co/2chaicgthemedevents | Текущий: >>837700 → • Локальные языковые модели: >>834981 (OP) • Шаблон шапки: https://rentry.org/shapka_aicg/raw Прошлый тред: >>837682 (OP)
5 декабря 2024
Сохранен
505
6 апреля 2023
Сохранен
1578
AI Chatbot General № 604 /aicg/ — AI Chatbot General № 604 БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!! Общий вопросов по чат-ботам и прочего тред. Новости • gemini-2.0-flash-thinking-exp-01-21 вышла на Gemini API - https://ai.google.dev/gemini-api/docs/models/experimental-models • deepseek-reasoner вышел на API - https://api-docs.deepseek.com/guides/reasoning_model Большие фронтенды • SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна) • Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид) • Agnai: https://agnai.chat/ • Risu: https://risuai.xyz/ Малые фронтенды • Adventure-UI: https://rentry.co/CYOA_AdventureUI • Cavern: https://github.com/Barbariskaa/Cavern Модели • Claude: https://docs.anthropic.com/en/docs • GPT: https://platform.openai.com/docs • Gemini: https://ai.google.dev/gemini-api/docs • Grok: https://docs.x.ai/docs • Mistral: https://docs.mistral.ai/api/ Пресеты • Бургерский список: https://rentry.org/jb-listing • Тредовский список: https://rentry.org/2ch-aicg-jb Полезности • Тредовский список: https://rentry.org/2ch-aicg-utils Ботоводчество • Чуб: https://characterhub.org | https://chub.ai/characters • Гайды: https://rentry.org/meta_botmaking_list • Редакторы: https://agnai.chat/editor | https://des une.moe/aichared/ • Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 • Бургерские боты: https://rentry.org/meta_bot_list Прочее • Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/ • База по Клоду: https://rentry.org/how2claude • Чекер ключей: https://github.com/kingbased/keychecker • Чай: https://character.ai/ Прокси • gpt-4o-mini: https://unicorn.scylla.wtf/ Мета • Архив тредов: https://rentry.org/2ch-aicg-archives3 • Тредовые ивенты: https://rentry.org/2chaicgthemedevents • Реквесты ботоделам: https://rentry.org/2ch-aicg-requests • Локальные языковые модели: >>1011615 (OP) • Шаблон шапки: https://rentry.org/shapka_aicg Прошлый тред: >>1018992 (OP)
20 апреля 14:43
Сохранен
1658
13 декабря 2023
Сохранен
527
1 июля 1:43
Сохранен
123
17 ноября 2023
Активный
520
ИИ-видео общий №10 /video/ — Генерируем свое (и постим чужое) в Hunyuan, Wan, Veo3, Luma Dream Machine, Hailuo Minimax, Kling, Sora, Vidu, Runway, Pixverse, Pika и др. сервисах. 1. Hailuo Minimax https://hailuoai.video/ 2. Kling https://klingai.com/ 3. Sora от OpenAI https://openai.com/sora/ 4. Luma Dream Machine https://lumalabs.ai/ 5. Vidu https://www.vidu.com/create 6. Pixverse https://app.pixverse.ai/ 7. Pika https://pika.art/try 8. Runway Gen. 4 https://runwayml.com/ 9. Wan от Alibaba https://wan.video/ 10. Veo3 от Google https://deepmind.google/models/veo/ Сайты, где можно попробовать генерации на разных моделях https://nim.video/ https://pollo.ai/ https://www.florafauna.ai/ Коллекция ИИ-видео: https://www.reddit.com/r/aivideo/ Локальные модели 1. Hunyuan от Tencent. https://hunyuanvideoai.com/ https://github.com/Tencent/HunyuanVideo 2. Wan от Alibaba https://github.com/Wan-Video/Wan2.1 3. MAGI-1 от Sand AI https://sand.ai/magi https://github.com/SandAI-org/MAGI-1 Локальный UI https://github.com/comfyanonymous/ComfyUI Установка локальных моделей Hunyuan Video: https://comfyanonymous.github.io/ComfyUI_examples/hunyuan_video/ Wan 2.1: https://comfyanonymous.github.io/ComfyUI_examples/wan/ Альтернативные ноды ComfyUI Hunyuan Video: https://github.com/kijai/ComfyUI-HunyuanVideoWrapper Wan 2.1: https://github.com/kijai/ComfyUI-WanVideoWrapper Квантованные чекпоинты Hunyuan Video (GGUF): https://huggingface.co/Kijai/SkyReels-V1-Hunyuan_comfy/tree/main Wan 2.1 (GGUF): https://huggingface.co/city96/Wan2.1-I2V-14B-480P-gguf/tree/main Wan 2.1 (NF4): https://civitai.com/models/1299436?modelVersionId=1466629 Где брать готовые LoRA https://civitai.com/models Hunyuan Video: https://civitai.com/search/models?baseModel=Hunyuan%20Video&sortBy=models_v9 Wan 2.1: https://civitai.com/search/models?baseModel=Wan%20Video&sortBy=models_v9 Обучение LoRA https://github.com/tdrussell/diffusion-pipe Предыдущий тред >>1240311 (OP)
19 августа 8:13
Сохранен
1561
AI Chatbot General № 569 /aicg/ — AI Chatbot General № 569 БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!! Общий вопросов по чат-ботам и прочего тред. Фронтэнды • SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна) • Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид) • Agnai: https://agnai.chat/ • Risu: https://risuai.xyz/ Модели • Claude: https://docs.anthropic.com/en/docs • GPT: https://platform.openai.com/docs • Gemini: https://ai.google.dev/gemini-api/docs Пресеты • Бургерский список: https://rentry.org/jb-listing • Тредовский список: https://rentry.org/2ch-aicg-jb Полезности • Тредовский список: https://rentry.org/2ch-aicg-utils Ботоводчество • Чуб: https://characterhub.org | https://chub.ai/characters • Гайды: https://rentry.org/meta_botmaking_list • Редакторы: https://agnai.chat/editor | https://des une.moe/aichared/ • Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 Прочее • Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/ • База по Клоду: https://rentry.org/how2claude • Чекер ключей: https://github.com/kingbased/keychecker • Чай: https://character.ai/ Прокси • gpt-4o-mini: https://unicorn.scylla.wtf/ Мета • Архив тредов: https://rentry.org/2ch-aicg-archives2 • Тредовые ивенты: https://rentry.org/2chaicgthemedevents | Текущий: >>931084 → • Реквесты ботоделам: https://rentry.org/2ch-aicg-requests • Локальные языковые модели: >>933707 (OP) • Шаблон шапки: https://rentry.org/shapka_aicg/raw Прошлый тред: >>933505 (OP)
20 февраля 21:06
Сохранен
518
Локальные языковые модели (LLM): LLaMA, Mistral, Command-R и прочие №59 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Здесь и далее расположена базовая информация, полная инфа и гайды в вики https://2ch-ai.gitgud.site/wiki/llama/ LLaMA 3 вышла! Увы, только в размерах 8B и 70B. Промты уже вшиты в новую таверну, так же последние версии кобольда и оригинальной ллама.цпп уже пофикшены. Есть инфа о проблемах с реализацией кода ллама.цпп на видеокартах, но пока без конкретики. Базовой единицей обработки любой языковой модели является токен. Токен это минимальная единица, на которые разбивается текст перед подачей его в модель, обычно это слово (если популярное), часть слова, в худшем случае это буква (а то и вовсе байт). Из последовательности токенов строится контекст модели. Контекст это всё, что подаётся на вход, плюс резервирование для выхода. Типичным максимальным размером контекста сейчас являются 2к (2 тысячи) и 4к токенов, но есть и исключения. В этот объём нужно уместить описание персонажа, мира, истории чата. Для расширения контекста сейчас применяется метод NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, Llama 3 обладает базовым контекстом в 8к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества. Базовым языком для языковых моделей является английский. Он в приоритете для общения, на нём проводятся все тесты и оценки качества. Большинство моделей хорошо понимают русский на входе т.к. в их датасетах присутствуют разные языки, в том числе и русский. Но их ответы на других языках будут низкого качества и могут содержать ошибки из-за несбалансированности датасета. Существуют мультиязычные модели частично или полностью лишенные этого недостатка, из легковесных это openchat-3.5-0106, который может давать качественные ответы на русском и рекомендуется для этого. Из тяжёлых это Command-R. Файнтюны семейства "Сайга" не рекомендуются в виду их низкого качества и ошибок при обучении. Основным представителем локальных моделей является LLaMA. LLaMA это генеративные текстовые модели размерами от 7B до 70B, притом младшие версии моделей превосходят во многих тестах GTP3 (по утверждению самого фейсбука), в которой 175B параметров. Сейчас на нее существует множество файнтюнов, например Vicuna/Stable Beluga/Airoboros/WizardLM/Chronos/(любые другие) как под выполнение инструкций в стиле ChatGPT, так и под РП/сторитейл. Для получения хорошего результата нужно использовать подходящий формат промта, иначе на выходе будут мусорные теги. Некоторые модели могут быть излишне соевыми, включая Chat версии оригинальной Llama 2. Про остальные семейства моделей читайте в вики. Основные форматы хранения весов это GGML и GPTQ, остальные нейрокуну не нужны. Оптимальным по соотношению размер/качество является 5 бит, по размеру брать максимальную, что помещается в память (видео или оперативную), для быстрого прикидывания расхода можно взять размер модели и прибавить по гигабайту за каждые 1к контекста, то есть для 7B модели GGML весом в 4.7ГБ и контекста в 2к нужно ~7ГБ оперативной. В общем и целом для 7B хватает видеокарт с 8ГБ, для 13B нужно минимум 12ГБ, для 30B потребуется 24ГБ, а с 65-70B не справится ни одна бытовая карта в одиночку, нужно 2 по 3090/4090. Даже если использовать сборки для процессоров, то всё равно лучше попробовать задействовать видеокарту, хотя бы для обработки промта (Use CuBLAS или ClBLAS в настройках пресетов кобольда), а если осталась свободная VRAM, то можно выгрузить несколько слоёв нейронной сети на видеокарту. Число слоёв для выгрузки нужно подбирать индивидуально, в зависимости от объёма свободной памяти. Смотри не переборщи, Анон! Если выгрузить слишком много, то начиная с 535 версии драйвера NVidia это может серьёзно замедлить работу, если не выключить CUDA System Fallback в настройках панели NVidia. Лучше оставить запас. Гайд для ретардов для запуска LLaMA без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой: 1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии. 2. Скачиваем модель в gguf формате. Например вот эту: https://huggingface.co/Sao10K/Fimbulvetr-11B-v2-GGUF/blob/main/Fimbulvetr-11B-v2.q4_K_S.gguf Можно просто вбить в huggingace в поиске "gguf" и скачать любую, охуеть, да? Главное, скачай файл с расширением .gguf, а не какой-нибудь .pt 3. Запускаем koboldcpp.exe и выбираем скачанную модель. 4. Заходим в браузере на http://localhost:5001/ 5. Все, общаемся с ИИ, читаем охуительные истории или отправляемся в Adventure. Да, просто запускаем, выбираем файл и открываем адрес в браузере, даже ваша бабка разберется! Для удобства можно использовать интерфейс TavernAI 1. Ставим по инструкции, пока не запустится: https://github.com/Cohee1207/SillyTavern 2. Запускаем всё добро 3. Ставим в настройках KoboldAI везде, и адрес сервера http://127.0.0.1:5001 4. Активируем Instruct Mode и выставляем в настройках пресетов Alpaca 5. Радуемся Инструменты для запуска: https://github.com/LostRuins/koboldcpp/ Репозиторий с реализацией на плюсах https://github.com/oobabooga/text-generation-webui/ ВебуУИ в стиле Stable Diffusion, поддерживает кучу бекендов и фронтендов, в том числе может связать фронтенд в виде Таверны и бекенды ExLlama/llama.cpp/AutoGPTQ https://github.com/ollama/ollama , https://lmstudio.ai/ и прочее - Однокнопочные инструменты для полных хлебушков, с красивым гуем и ограниченным числом настроек/выбором моделей Ссылки на модели и гайды: https://huggingface.co/models Модели искать тут, вбиваем название + тип квантования https://rentry.co/TESFT-LLaMa Не самые свежие гайды на ангельском https://rentry.co/STAI-Termux Запуск SillyTavern на телефоне https://rentry.co/lmg_models Самый полный список годных моделей https://ayumi.m8geil.de/erp4_chatlogs/ Рейтинг моделей для кума со спорной методикой тестирования https://rentry.co/llm-training Гайд по обучению своей лоры https://rentry.co/2ch-pygma-thread Шапка треда PygmalionAI, можно найти много интересного https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде Предыдущие треды тонут здесь: >>728812 (OP) >>724301 (OP)
4 сентября 2024
Сохранен
552
Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №113 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/ Инструменты для запуска на десктопах: • Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp • Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui • Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai • Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern Инструменты для запуска на мобилках: • Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid • Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI • Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux Модели и всё что их касается: • Актуальный список моделей с отзывами от тредовичков: https://rentry.co/llm-models • Неактуальный список моделей устаревший с середины прошлого года: https://rentry.co/lmg_models • Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Moraliane и https://huggingface.co/Aleteian • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Дополнительные ссылки: • Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org • Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets • Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread • Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki • Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/local-llm-guide/how-to-use-a-self-hosted-model • Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing • Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk • Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking • Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/ Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >>1083681 (OP) >>1071720 (OP)
20 июня 23:44
Сохранен
504
Локальные языковые модели (LLM): LLaMA, Mistral, Command-R и прочие №57 /llama/ — #Локальные языковые модели (LLM): LLaMA, Mistral, Command-R и прочие №xxx В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Здесь и далее расположена базовая информация, полная инфа и гайды в вики https://2ch-ai.gitgud.site/wiki/llama/ LLaMA 3 вышла! Увы, только в размерах 8B и 70B. Промты уже вшиты в новую таверну, ждём исправлений по части квантования от жоры, он в курсе проблемы и правит прямо сейчас. Базовой единицей обработки любой языковой модели является токен. Токен это минимальная единица, на которые разбивается текст перед подачей его в модель, обычно это слово (если популярное), часть слова, в худшем случае это буква (а то и вовсе байт). Из последовательности токенов строится контекст модели. Контекст это всё, что подаётся на вход, плюс резервирование для выхода. Типичным максимальным размером контекста сейчас являются 2к (2 тысячи) и 4к токенов, но есть и исключения. В этот объём нужно уместить описание персонажа, мира, истории чата. Для расширения контекста сейчас применяется метод NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, Llama 3 обладает базовым контекстом в 8к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества. Базовым языком для языковых моделей является английский. Он в приоритете для общения, на нём проводятся все тесты и оценки качества. Большинство моделей хорошо понимают русский на входе т.к. в их датасетах присутствуют разные языки, в том числе и русский. Но их ответы на других языках будут низкого качества и могут содержать ошибки из-за несбалансированности датасета. Существуют мультиязычные модели частично или полностью лишенные этого недостатка, из легковесных это openchat-3.5-0106, который может давать качественные ответы на русском и рекомендуется для этого. Из тяжёлых это Command-R. Файнтюны семейства "Сайга" не рекомендуются в виду их низкого качества и ошибок при обучении. Основным представителем локальных моделей является LLaMA. LLaMA это генеративные текстовые модели размерами от 7B до 70B, притом младшие версии моделей превосходят во многих тестах GTP3 (по утверждению самого фейсбука), в которой 175B параметров. Сейчас на нее существует множество файнтюнов, например Vicuna/Stable Beluga/Airoboros/WizardLM/Chronos/(любые другие) как под выполнение инструкций в стиле ChatGPT, так и под РП/сторитейл. Для получения хорошего результата нужно использовать подходящий формат промта, иначе на выходе будут мусорные теги. Некоторые модели могут быть излишне соевыми, включая Chat версии оригинальной Llama 2. Про остальные семейства моделей читайте в вики. Основные форматы хранения весов это GGML и GPTQ, остальные нейрокуну не нужны. Оптимальным по соотношению размер/качество является 5 бит, по размеру брать максимальную, что помещается в память (видео или оперативную), для быстрого прикидывания расхода можно взять размер модели и прибавить по гигабайту за каждые 1к контекста, то есть для 7B модели GGML весом в 4.7ГБ и контекста в 2к нужно ~7ГБ оперативной. В общем и целом для 7B хватает видеокарт с 8ГБ, для 13B нужно минимум 12ГБ, для 30B потребуется 24ГБ, а с 65-70B не справится ни одна бытовая карта в одиночку, нужно 2 по 3090/4090. Даже если использовать сборки для процессоров, то всё равно лучше попробовать задействовать видеокарту, хотя бы для обработки промта (Use CuBLAS или ClBLAS в настройках пресетов кобольда), а если осталась свободная VRAM, то можно выгрузить несколько слоёв нейронной сети на видеокарту. Число слоёв для выгрузки нужно подбирать индивидуально, в зависимости от объёма свободной памяти. Смотри не переборщи, Анон! Если выгрузить слишком много, то начиная с 535 версии драйвера NVidia это может серьёзно замедлить работу, если не выключить CUDA System Fallback в настройках панели NVidia. Лучше оставить запас. Гайд для ретардов для запуска LLaMA без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой: 1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии. 2. Скачиваем модель в gguf формате. Например вот эту: https://huggingface.co/Sao10K/Fimbulvetr-11B-v2-GGUF/blob/main/Fimbulvetr-11B-v2.q4_K_S.gguf Можно просто вбить в huggingace в поиске "gguf" и скачать любую, охуеть, да? Главное, скачай файл с расширением .gguf, а не какой-нибудь .pt 3. Запускаем koboldcpp.exe и выбираем скачанную модель. 4. Заходим в браузере на http://localhost:5001/ 5. Все, общаемся с ИИ, читаем охуительные истории или отправляемся в Adventure. Да, просто запускаем, выбираем файл и открываем адрес в браузере, даже ваша бабка разберется! Для удобства можно использовать интерфейс TavernAI 1. Ставим по инструкции, пока не запустится: https://github.com/Cohee1207/SillyTavern 2. Запускаем всё добро 3. Ставим в настройках KoboldAI везде, и адрес сервера http://127.0.0.1:5001 4. Активируем Instruct Mode и выставляем в настройках пресетов Alpaca 5. Радуемся Инструменты для запуска: https://github.com/LostRuins/koboldcpp/ Репозиторий с реализацией на плюсах https://github.com/oobabooga/text-generation-webui/ ВебуУИ в стиле Stable Diffusion, поддерживает кучу бекендов и фронтендов, в том числе может связать фронтенд в виде Таверны и бекенды ExLlama/llama.cpp/AutoGPTQ https://github.com/ollama/ollama Однокнопочный инструмент для полных хлебушков в псевдо стиле Apple (никаких настроек, автор знает лучше) Ссылки на модели и гайды: https://huggingface.co/models Модели искать тут, вбиваем название + тип квантования https://rentry.co/TESFT-LLaMa Не самые свежие гайды на ангельском https://rentry.co/STAI-Termux Запуск SillyTavern на телефоне https://rentry.co/lmg_models Самый полный список годных моделей https://ayumi.m8geil.de/erp4_chatlogs/ Рейтинг моделей для кума со спорной методикой тестирования https://rentry.co/llm-training Гайд по обучению своей лоры https://rentry.co/2ch-pygma-thread Шапка треда PygmalionAI, можно найти много интересного https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде Предыдущие треды тонут здесь: >>721275 (OP) >>717999 (OP)
28 августа 2024
Сохранен
1541
AI Chatbot General № 481 /aicg/ — AI Chatbot General № 481 БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!! Общий вопросов по чат-ботам и прочего тред. - Фронтэнды - Agnai, SillyTavern, RisuAI Гайды: https://rentry.co/ultimatespoonfeed | https://rentry.co/Tavern4Retards (Гайд на английском) | https://rentry.org/STAI-Termux (На андроид) Базовые термины: https://2ch-ai.gitgud.site/wiki/llama/ Скрипты SillyTavern (Quick Replies): https://rentry.org/stscript https://github.com/SillyTavern/SillyTavern | https://github.com/ntvm/SillyTavern (Форк нв-куна) https://agnai.chat/ https://risuai.xyz/ - GPT - Джейлы на 0314/0613: https://rentry.co/SillyTavern_JB_Pack | https://rentry.co/fa5fv | https://dumb.one/gpt/prompts-scraped/ | https://rentry.co/lobstersgpt Джейлы на 1106: https://rentry.co/anonaugusproductionsCustomJB | https://rentry.co/crustcrunchGPT | https://rentry.co/Myuu_Jippy | https://rentry.co/CoTonAugus | https://rentry.org/onichan2210 Джейлы на 0125: https://rentry.org/neo-furbo | https://rentry.org/camicle-jb Джейлы на Turbo: https://rentry.co/YAnonTurbo | https://rentry.co/hochi-reupload - Claude - Джейлы: https://rentry.co/SillyTavern_JB_Pack | https://rentry.co/absolutejail | https://rentry.co/pitanonbots#prompt-presets | https://rentry.co/XML-dva-shiza | https://rentry.co/crustcrunchJB | https://rentry.co/CharacterProvider | https://rentry.co/MyuuTastic Опус/Соннет: https://rentry.org/Anon4Anon | https://unconvincing.neocities.org/ | https://rentry.org/pancatb3ta | https://rentry.org/AiBrainPresets | https://rentry.org/CladeOpus-GigaSchizoKostyl Удаление Human/Assistant: https://rentry.co/TavernNoAss | https://rentry.co/HumAssistOff Префилл: https://rentry.co/aui3u Полезное: https://rentry.org/anonika_infoblock | https://rentry.org/zapominator - Мемо - Мемо вручную: https://rentry.co/DrunkArcadeExample Генератор мемо: https://rentry.co/LazyMemo Мемо на опусе: https://rentry.co/HornyPigs - Bing - https://github.com/Barbariskaa/Biba Гайд: https://rentry.co/BingZOVEdition - Локалки - https://openrouter.ai/ Гайд (на английском): https://rentry.co/meta_golocal_list - Ботоводчество - https://www.chub.ai https://booru.plus/+pygmalion https://des une.moe/aichared/ https://agnai.chat/editor https://rentry.co/botmaking_tips https://rentry.co/MothsBotMakingStuff https://rentry.co/oaicards Боты анонов: https://rentry.co/2chaicgtavernbots | https://rentry.co/2chaicgtavernbots2 - Село 2ch - https://rentry.co/selo2ch - Архив тредов - https://rentry.co/2ch-aicg-archives - GIGACHAT - https://rentry.co/3bc7r - Character.AI - https://beta.character.ai/ https://rentry.co/CAI-FAQ Боты анонов: https://rentry.co/CAI-bots - Прочее - Проверить ключ: GPT https://github.com/Buhankoanon/OAI_API_Checker | https://github.com/CncAnon1/kkc Claude https://github.com/Definetelynotbranon/Anthropic_API_Checker Специфические промпты в джейл для кума: https://rentry.co/jinxbreaks Забавные промпты после кума: https://rentry.co/weirdbutfunjailbreaksandprompts - Конкурсы - Общая информация: https://rentry.co/2chaicgthemedevents Текущий конкурс: >>725230 → - Шапка - https://rentry.co/shapkacaitreda БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!! - Локальные языковые модели: >>661076 (OP) - - Прошлый тред: >>725205 (OP) -
28 августа 2024
Сохранен
1506
AI Chatbot General № 563 /aicg/ — AI Chatbot General № 563 БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!! Общий вопросов по чат-ботам и прочего тред. Фронтэнды • SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна) • Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид) • Agnai: https://agnai.chat/ • Risu: https://risuai.xyz/ Модели • Claude: https://docs.anthropic.com/en/docs • GPT: https://platform.openai.com/docs • Gemini: https://ai.google.dev/gemini-api/docs Пресеты • Бургерский список: https://rentry.org/jb-listing • Тредовский список: https://rentry.org/2ch-aicg-jb Полезности • Тредовский список: https://rentry.org/2ch-aicg-utils Ботоводчество • Чуб: https://characterhub.org | https://chub.ai/characters • Гайды: https://rentry.org/meta_botmaking_list • Редакторы: https://agnai.chat/editor | https://des une.moe/aichared/ • Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 Прочее • Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/ • База по Клоду: https://rentry.org/how2claude • Чекер ключей: https://github.com/kingbased/keychecker • Чай: https://character.ai/ Прокси • gpt-4o-mini: https://unicorn.scylla.wtf/ Мета • Архив тредов: https://rentry.org/2ch-aicg-archives2 • Тредовые ивенты: https://rentry.org/2chaicgthemedevents | Текущий: >>919560 → • Реквесты ботоделам: https://rentry.org/2ch-aicg-requests • Локальные языковые модели: >>917224 (OP) • Шаблон шапки: https://rentry.org/shapka_aicg/raw Прошлый тред: >>919399 (OP)
13 февраля 11:50
Сохранен
39
14 октября 2023
Сохранен
582
Stable Diffusion тред X+66 /sd/ — Stable Diffusion тред X+66 ====================================== Предыдущий тред >>626761 (OP) https://arhivach.top/?tags=13840 ------------------------------------------ схожие тематические треды - технотред >>570475 (OP) - NAI-тред (аниме) >>629577 (OP) ======================== Stable Diffusion (SD) - открытая нейросеть генеративного искусства для создания картинок из текста/исходных картинок, обучения на своих изображениях. Полный функционал в локальной установке (см. ниже) Альтернативный онлайн-генератор №1: https://dezgo.com/txt2img Альтернативный онлайн-генератор №2: https://civitai.com/ (create после регистрации) Альтернативный онлайн-генератор №3: https://tensor.art/ (Workspace) ⚠️ Стандартные модели stable diffusion (v1.4 - v2.1) от Stability AI значительно отстают по качеству от кастомных моделей (см. ниже). Модели SD XL ставятся и запускаются так же как и любые другие модели SD. ???? Без цензуры и полный функци_анал: только ПК-версия =========================================== ????УСТАНОВКА НА ПК WebUI от Automatic1111 https://teletype.in/@stablediffusion/PC_install_SD ------------------------------------------ Портативная версия альтернативного WebUI от Comfy (запуск с одного из run.bat файлов) https://github.com/comfyanonymous/ComfyUI/releases Примерные workflow для ComfyUI (можно загружать напрямую из картинок) https://comfyanonymous.github.io/ComfyUI_examples/ ------------------------------------------ А также простой в работе WebUI Fooocus https://github.com/lllyasviel/Fooocus?tab=readme-ov-file#download =========================================== ???? РАЗЛИЧНЫЕ МОДЕЛИ (И МНОГОЕ ДРУГОЕ) ???? https://civitai.com/ ------------------------------------------ ???? ПАРАМЕТРЫ И НАСТРОЙКИ ГЕНЕРАЦИИ ???? https://teletype.in/@stablediffusion/samplers_steps =========================================== ???? ГАЙД ПО СОСТАВЛЕНИЮ ЗАПРОСА, СТИЛИ https://teletype.in/@stablediffusion/artists_for_prompts Пример запроса (Промпт): a tiger, wildlife photography, high quality, wildlife, soft focus, 8k, national geographic, photograph by nick nichols ------------------------------------------ ♾️РАЗЛИЧНЫЕ ХУДОЖЕСТВЕННЫЕ СТИЛИ (С ПРИМЕРАМИ) ???? https://supagruen.github.io/StableDiffusion-CheatSheet/ https://www.artvy.ai/styles ------------------------------------------ ????ЧТО ТАКОЕ CONTROLNET И КАК ЕГО ИСПОЛЬЗОВАТЬ https://www.itshneg.com/controlnet-upravlyaj-pozami-v-stable-diffusion/ ========================================== ???? ОБУЧЕНИЕ МОДЕЛИ ПО СВОИМ КАРТИНКАМ ???? https://dtf.ru/howto/1660668-obuchenie-modeli-s-pomoshchyu-lora https://civitai.com/models/train
23 мая 2024