К сожалению, значительная часть сохранённых до 2024 г. изображений и видео была потеряна (подробности случившегося). Мы призываем всех неравнодушных помочь нам с восстановлением утраченного контента!
Сортировка: за
Активный
221
AI Chatbot General № 830 /aicg/ — AI Chatbot General № 830 БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!! Общий вопросов по чат-ботам и прочего тред. Фронтенды • SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна) • Гайды на таверну: https://rentry.co/Tavern4Retards • Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8 Модели • Claude: https://docs.anthropic.com/en/docs • GPT: https://platform.openai.com/docs • Gemini: https://ai.google.dev/gemini-api/docs • DeepSeek: https://api-docs.deepseek.com/ • GLM: https://docs.z.ai Ботоводчество • /aicg/hub: https://aicg-hub.ru/characters.html • Чуб: https://characterhub.org | https://chub.ai/characters • Гайды: https://aicg.neocities.org/botmaking • Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4 • Бургерские боты: https://aicg.neocities.org/bots Ресурсы • Бесплатные API: https://github.com/cheahjs/free-llm-api-resources • OpenRouter: https://openrouter.ai/ • Арена: https://lmarena.ai/ • Чай: https://character.ai/ Прочее • Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/ Мета • Архив тредов: https://rentry.org/2ch-aicg-archives4 • Шаблон шапки: https://rentry.org/aicg_shapka Прошлый тред: >>1644738 (OP)
сегодня 10:23
Активный
514
Anime Diffusion #254 /nai/ — Генерируем тяночек! Прошлый тред: >>1630018 (OP) https://arhivach.vc/thread/1376506/ Схожие тематические треды • SD-тред (не аниме): >>1639130 (OP) • Технотред: >>1405043 (OP) • Фурри-тред: https://2ch.su/fur/res/374311.html FAQ https://2ch-ai.github.io/wiki/nai Установка • NVidia: https://teletype.in/@aranon/welcome • AMD: https://2ch-ai.github.io/wiki/nai/install/amd • Облака: https://2ch-ai.github.io/wiki/nai/install/clouds Дополнительная информация • Интерфейсы: https://2ch-ai.github.io/wiki/nai/interfaces • Модели: https://2ch-ai.github.io/wiki/nai/models • Промпты: https://2ch-ai.github.io/wiki/nai/prompts • Апскейл: https://2ch-ai.github.io/wiki/nai/upscale • LoRA: https://2ch-ai.github.io/wiki/nai/lora • ControlNet: https://2ch-ai.github.io/wiki/nai/controlnet Прочее • CivitAI: https://civitai.com • Каталог ссылок от форчанеров: https://rentry.co/sdg-link • Шаблон для переката: https://rentry.co/nwhci
9 июля 16:05
Активный
504
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №245 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/ Гайд для новичков: https://rentry.org/2ch-llama-inference Инструменты для запуска на десктопах: • llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp • koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp • TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen • TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI • Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai Универсальные десктопные фронтенды: • SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern • Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine • Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI Инструменты для запуска на мобилках: • Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid • ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI • Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux Поставщики локальных моделей: • Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models • Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth Рейтинги и списки локальных моделей: • Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026 • Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models • Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Готовые карточки для таверны: • Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com • Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai Официальные документации к инструментам: • llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md • koboldcpp: https://github.com/LostRuins/koboldcpp/wiki • SillyTavern: https://docs.sillytavern.app/usage/quick-start Дополнительные ссылки: • Перевод нейронками для таверны: https://rentry.co/magic-translation • Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets • Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread • Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing • Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk • Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking • Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/ • Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7 • Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906 • Тесты tensor_parallel: https://rentry.org/8cruvnyw Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >>1639857 (OP) >>1636327 (OP)
9 июля 16:05
Активный
504
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №244 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/ Гайд для новичков: https://rentry.org/2ch-llama-inference Инструменты для запуска на десктопах: • llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp • koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp • TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen • TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI • Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai Универсальные десктопные фронтенды: • SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern • Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine • Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI Инструменты для запуска на мобилках: • Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid • ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI • Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux Поставщики локальных моделей: • Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models • Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth Рейтинги и списки локальных моделей: • Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026 • Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models • Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Готовые карточки для таверны: • Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com • Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai Официальные документации к инструментам: • llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md • koboldcpp: https://github.com/LostRuins/koboldcpp/wiki • SillyTavern: https://docs.sillytavern.app/usage/quick-start Дополнительные ссылки: • Перевод нейронками для таверны: https://rentry.co/magic-translation • Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets • Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread • Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing • Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk • Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking • Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/ • Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7 • Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906 • Тесты tensor_parallel: https://rentry.org/8cruvnyw Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >>1636327 (OP) >>1633496 (OP)
9 июля 16:05
Активный
503
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №243 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/ Гайд для новичков: https://rentry.org/2ch-llama-inference Инструменты для запуска на десктопах: • llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp • koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp • TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen • TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI • Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai Универсальные десктопные фронтенды: • SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern • Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine • Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI Инструменты для запуска на мобилках: • Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid • ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI • Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux Поставщики локальных моделей: • Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models • Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth Рейтинги и списки локальных моделей: • Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026 • Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models • Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Готовые карточки для таверны: • Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com • Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai Официальные документации к инструментам: • llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md • koboldcpp: https://github.com/LostRuins/koboldcpp/wiki • SillyTavern: https://docs.sillytavern.app/usage/quick-start Дополнительные ссылки: • Перевод нейронками для таверны: https://rentry.co/magic-translation • Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets • Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread • Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing • Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk • Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking • Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/ • Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7 • Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906 • Тесты tensor_parallel: https://rentry.org/8cruvnyw Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >>1633496 (OP) >>1630186 (OP)
9 июля 16:05
Активный
501
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №242 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/ Гайд для новичков: https://rentry.org/2ch-llama-inference Инструменты для запуска на десктопах: • llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp • koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp • TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen • TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI • Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai Универсальные десктопные фронтенды: • SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern • Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine • Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI Инструменты для запуска на мобилках: • Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid • ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI • Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux Поставщики локальных моделей: • Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models • Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth Рейтинги и списки локальных моделей: • Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026 • Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models • Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Готовые карточки для таверны: • Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com • Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai Официальные документации к инструментам: • llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md • koboldcpp: https://github.com/LostRuins/koboldcpp/wiki • SillyTavern: https://docs.sillytavern.app/usage/quick-start Дополнительные ссылки: • Перевод нейронками для таверны: https://rentry.co/magic-translation • Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets • Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread • Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing • Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk • Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking • Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/ • Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7 • Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906 • Тесты tensor_parallel: https://rentry.org/8cruvnyw Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >>1630186 (OP) >>1628031 (OP)
9 июля 16:05
Активный
503
AI Chatbot General № 829 /aicg/ — AI Chatbot General № 829 БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!! Общий вопросов по чат-ботам и прочего тред. Новости • Вышел Claude Sonnet 5.0 https://platform.claude.com/docs/en/about-claude/models/whats-new-sonnet-5 Фронтенды • SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна) • Гайды на таверну: https://rentry.co/Tavern4Retards • Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8 Модели • Claude: https://docs.anthropic.com/en/docs • GPT: https://platform.openai.com/docs • Gemini: https://ai.google.dev/gemini-api/docs • DeepSeek: https://api-docs.deepseek.com/ • GLM: https://docs.z.ai Ботоводчество • /aicg/hub: https://aicg-hub.ru/characters.html • Чуб: https://characterhub.org | https://chub.ai/characters • Гайды: https://aicg.neocities.org/botmaking • Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4 • Бургерские боты: https://aicg.neocities.org/bots Ресурсы • Бесплатные API: https://github.com/cheahjs/free-llm-api-resources • OpenRouter: https://openrouter.ai/ • Арена: https://lmarena.ai/ • Чай: https://character.ai/ Прочее • Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/ Мета • Архив тредов: https://rentry.org/2ch-aicg-archives4 • Шаблон шапки: https://rentry.org/aicg_shapka Прошлый тред: >>1642091 (OP)
9 июля 16:05
Активный
417
Исследования ИИ тред #3 /research/ — Обсуждаем развитие искусственного интеллекта с более технической стороны, чем обычно. Ищем замену надоевшим трансформерам и диффузии, пилим AGI в гараже на риге из под майнинга и игнорируем горький урок. Я ничего не понимаю, что делать? Без петросянства: смотри программу стэнфорда CS229, CS231n https://see.stanford.edu/Course/CS229 (классика) и http://cs231n.stanford.edu (введение в нейроночки) и изучай, если не понятно - смотри курсы prerequisites и изучай их. Как именно ты изучишь конкретные пункты, типа линейной алгебры - дело твое, есть книги, курсы, видосики, ссылки смотри ниже. Где узнать последние новости? https://www.reddit.com/r/MachineLearning https://datatau.net https://twitter.com/ylecun На реддите также есть хороший FAQ для вкатывающихся. Какая математика используется? В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus. Как работает градиентный спуск? https://cs231n.github.io/optimization-2 Почему python? Исторически сложилось. Поэтому давай, иди и перечитывай Dive into Python. Можно не python? Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет. Что почитать для вкатывания? http://www.deeplearningbook.org https://d2l.ai/index.html Николенко "Глубокое обучение" — на русском, есть примеры, но меньше охват материала Франсуа Шолле — Глубокое обучение на Python Все книги и статьи фактически устаревают за год. В чем практиковаться нубу? http://deeplearning.stanford.edu/tutorial https://www.hackerrank.com/domains/ai https://github.com/pytorch/examples https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials Где набрать первый самостоятельный опыт? https://www.kaggle.com Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента. Где работать? https://www.indeed.com/q-deep-learning-jobs.html Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел Есть ли фриланс в машобе? Есть, https://www.upwork.com/search/jobs/?q=machine+learning Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой Где посмотреть последние статьи? http://www.arxiv-sanity.com https://paperswithcode.com https://openreview.net Версии для зумеров (Килхер): https://www.youtube.com/channel/UCZHmQk67mSJgfCCTn7xBfew Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском Где посмотреть must read статьи? https://github.com/ChristosChristofidis/awesome-deep-learning#papers https://huggingface.co/transformers/index.html То, что обозревает Килхер тоже зачастую must read Где ещё можно поговорить про анализ данных? http://ods.ai Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Google Colab дает бесплатно аналог GPU среднего ценового уровня на несколько часов с возможностью продления, при чем этот "средний уровень" постоянно растет. Некоторым достается даже V100. Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning заодно в майнкрафт на топовых настройках погоняешь. Когда уже изобретут AI и он нас всех поработит? На текущем железе — никогда, тред не об этом Кто-нибудь использовал машоб для трейдинга? Огромное количество ордеров как в крипте так и на фонде выставляются ботами: оценщиками-игральщиками, перекупщиками, срезальщиками, арбитражниками. Часть из них оснащена тем или иным ML. Даже на швабре есть пара статей об угадывании цены. Тащем-то пруф оф ворк для фонды показывали ещё 15 лет назад. Так-что бери Tensorflow + Reinforcement Learning и иди делать очередного бота: не забудь про стоп-лоссы и прочий риск-менеджмент, братишка Список дедовских книг для серьёзных людей Trevor Hastie et al. "The Elements of Statistical Learning" Vladimir N. Vapnik "The Nature of Statistical Learning Theory" Christopher M. Bishop "Pattern Recognition and Machine Learning" Взять можно тут: https://www.libgen.is Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах. Disclaimer: Шапка сгенерирована нейросетью и нуждается в чистке. Исходник шапки: https://rentry.co/research-2ch Предыдущий тред: >>511426 (OP)
вчера 13:01
Активный
511
AI Chatbot General № 828 /aicg/ — AI Chatbot General № 828 БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!! Общий вопросов по чат-ботам и прочего тред. Фронтенды • SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна) • Гайды на таверну: https://rentry.co/Tavern4Retards • Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8 Модели • Claude: https://docs.anthropic.com/en/docs • GPT: https://platform.openai.com/docs • Gemini: https://ai.google.dev/gemini-api/docs • DeepSeek: https://api-docs.deepseek.com/ • GLM: https://docs.z.ai Ботоводчество • /aicg/hub: https://aicg-hub.ru/characters.html • Чуб: https://characterhub.org | https://chub.ai/characters • Гайды: https://aicg.neocities.org/botmaking • Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4 • Бургерские боты: https://aicg.neocities.org/bots Ресурсы • Бесплатные API: https://github.com/cheahjs/free-llm-api-resources • OpenRouter: https://openrouter.ai/ • Арена: https://lmarena.ai/ • Чай: https://character.ai/ Прочее • Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/ Мета • Шаблон шапки: https://rentry.org/aicg_shapka Прошлый тред: >>1638710 (OP)
9 июля 16:05
Активный
509
Anime Diffusion #253 /nai/ — Генерируем тяночек! Прошлый тред: >>1623694 (OP) https://arhivach.vc/thread/1368697/ Схожие тематические треды • SD-тред (не аниме): >>1629238 (OP) • Технотред: >>1405043 (OP) • Фурри-тред: https://2ch.su/fur/res/374311.html FAQ https://2ch-ai.github.io/wiki/nai Установка • NVidia: https://teletype.in/@aranon/welcome • AMD: https://2ch-ai.github.io/wiki/nai/install/amd • Облака: https://2ch-ai.github.io/wiki/nai/install/clouds Дополнительная информация • Интерфейсы: https://2ch-ai.github.io/wiki/nai/interfaces • Модели: https://2ch-ai.github.io/wiki/nai/models • Промпты: https://2ch-ai.github.io/wiki/nai/prompts • Апскейл: https://2ch-ai.github.io/wiki/nai/upscale • LoRA: https://2ch-ai.github.io/wiki/nai/lora • ControlNet: https://2ch-ai.github.io/wiki/nai/controlnet Прочее • CivitAI: https://civitai.com • Каталог ссылок от форчанеров: https://rentry.co/sdg-link • Шаблон для переката: https://rentry.co/nwhci
9 июля 16:05
Активный
508
AI Chatbot General № 827 /aicg/ — AI Chatbot General № 827 БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!! Общий вопросов по чат-ботам и прочего тред. Фронтенды • SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна) • Гайды на таверну: https://rentry.co/Tavern4Retards • Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8 Модели • Claude: https://docs.anthropic.com/en/docs • GPT: https://platform.openai.com/docs • Gemini: https://ai.google.dev/gemini-api/docs • DeepSeek: https://api-docs.deepseek.com/ • GLM: https://docs.z.ai Ботоводчество • /aicg/hub: https://aicg-hub.ru/characters.html • Чуб: https://characterhub.org | https://chub.ai/characters • Гайды: https://aicg.neocities.org/botmaking • Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4 • Бургерские боты: https://aicg.neocities.org/bots Ресурсы • Бесплатные API: https://github.com/cheahjs/free-llm-api-resources • OpenRouter: https://openrouter.ai/ • Арена: https://lmarena.ai/ • Чай: https://character.ai/ Прочее • Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/ Мета • Шаблон шапки: https://rentry.org/aicg_shapka Прошлый тред: >>1636370 (OP)
9 июля 16:05
Активный
557
Агентов и вайб-кодинга тред #8 /agents/ — Тред про AI-агентов - от вайб-кодинга до персональных ассистентов, которые сидят в твоих чатах, читают заметки и автономно ломают всё вокруг. Для кодеров, которые разучились писать руками, и для гуманитариев, чей диплом филолога наконец котируется в IT. Сеньор в 2026 - это тот, кто умеет внятно объяснить машине, чего он блять хочет. С чего начать: • Хочешь кодить с AI эффективно: Cursor или Claude Code • Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter • Хочешь кодить с AI локально: OpenCode, Qwen Code или Pi Coding Agent + из моделей аноны советуют Qwen3.6, подробности в llama-треде • Хочешь приложение без кода: Lovable или bolt.new • Хочешь автоматизировать рутину: n8n или Langflow • Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке FAQ и расширенная инфа: https://rentry.org/2ch-agents-faq IDE с AI: • Cursor: https://cursor.com • Windsurf: https://windsurf.com • Antigravity: https://antigravity.google.com • Zed: https://zed.dev CLI-агенты: • Claude Code: https://code.claude.com/docs • Codex (OpenAI): https://github.com/openai/codex • Pi: https://shittycodingagent.ai/ • OpenCode: https://github.com/anomalyco/opencode • Qwen Code: https://github.com/QwenLM/qwen-code • Gemini CLI: https://github.com/google-gemini/gemini-cli • Kimi Code: https://www.kimi.com/code/en • MiMo Code (Xiaomi): https://mimo.xiaomi.com/mimocode/start Плагины для IDE: • Kilo Code: https://kilo.ai • Cline: https://github.com/cline/cline • Roo Code: https://github.com/RooCodeInc/Roo-Code • GitHub Copilot: https://github.com/features/copilot • Continue: https://github.com/continuedev/continue Вайб-кодинг без кода: • Lovable: https://lovable.dev • bolt.new: https://bolt.new • v0: https://v0.dev Персональные ассистенты: • OpenClaw: https://github.com/openclaw/openclaw • NemoClaw: https://github.com/NVIDIA/NemoClaw • Hermes Agent: https://github.com/nousresearch/hermes-agent • nanobot: https://github.com/HKUDS/nanobot • PicoClaw: https://github.com/sipeed/picoclaw Автоматизация и фреймворки: • n8n: https://github.com/n8n-io/n8n • Langflow: https://github.com/langflow-ai/langflow • LangChain/LangGraph: https://github.com/langchain-ai/langchain • CrewAI: https://github.com/crewAIInc/crewAI • AutoGen: https://github.com/microsoft/autogen • Agno: https://docs.agno.com/ Полезные тулзы: • RTK: https://github.com/rtk-ai/rtk - CLI-прокси, сжимает вывод консольных команд перед попаданием в контекст агента • Caveman: https://github.com/juliusbrussee/caveman - скилл с набором слэш-комманд, заставляет агента отвечать кратко Локалки и прочее API: • OpenRouter: https://openrouter.ai • NVIDIA Build: https://build.nvidia.com/models - бесплатно, 40 RPM, OAI-Like API, 100+ моделей включая DeepSeek/GLM/MiniMax • llama-тред: >>1630186 (OP) Шаблон для переката: https://rentry.co/2ch-agents Предыдущий тред: >>1625784 (OP)
9 июля 16:05
Активный
617
Агентов и вайб-кодинга тред #7 /agents/ — Тред про AI-агентов - от вайб-кодинга до персональных ассистентов, которые сидят в твоих чатах, читают заметки и автономно ломают всё вокруг. Для кодеров, которые разучились писать руками, и для гуманитариев, чей диплом филолога наконец котируется в IT. Сеньор в 2026 - это тот, кто умеет внятно объяснить машине, чего он блять хочет. С чего начать: - Хочешь кодить с AI эффективно: Cursor или Claude Code - Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter - Хочешь кодить с AI локально: OpenCode, Qwen Code или Pi Coding Agent + из моделей аноны советуют Qwen3.6, подробности в llama-треде - Хочешь приложение без кода: Lovable или bolt.new - Хочешь автоматизировать рутину: n8n или Langflow - Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке FAQ и расширенная инфа: https://rentry.org/2ch-agents-faq IDE с AI: - Cursor: https://cursor.com - Windsurf: https://windsurf.com - Antigravity: https://antigravity.google.com - Zed: https://zed.dev CLI-агенты: - Claude Code: https://code.claude.com/docs - Codex (OpenAI): https://github.com/openai/codex - Pi: https://pi.dev/ - OpenCode: https://github.com/anomalyco/opencode - Qwen Code: https://github.com/QwenLM/qwen-code - Gemini CLI: https://github.com/google-gemini/gemini-cli - Kimi Code: https://www.kimi.com/code/en Плагины для IDE: - Kilo Code: https://kilo.ai - Cline: https://github.com/cline/cline - Roo Code: https://github.com/RooCodeInc/Roo-Code - GitHub Copilot: https://github.com/features/copilot - Continue: https://github.com/continuedev/continue Вайб-кодинг без кода: - Lovable: https://lovable.dev - bolt.new: https://bolt.new - v0: https://v0.dev Персональные ассистенты: - OpenClaw: https://github.com/openclaw/openclaw - NemoClaw: https://github.com/NVIDIA/NemoClaw (OpenClaw в песочнице от NVIDIA) - Hermes Agent: https://github.com/nousresearch/hermes-agent - nanobot: https://github.com/HKUDS/nanobot - PicoClaw: https://github.com/sipeed/picoclaw Автоматизация и фреймворки: - n8n: https://github.com/n8n-io/n8n - Langflow: https://github.com/langflow-ai/langflow (визуальный построитель workflow) - LangChain/LangGraph: https://github.com/langchain-ai/langchain - CrewAI: https://github.com/crewAIInc/crewAI - AutoGen: https://github.com/microsoft/autogen - Agno: https://docs.agno.com/ Локалки и прочее API: - OpenRouter: https://openrouter.ai - NVIDIA Build: https://build.nvidia.com/models (бесплатно, 40 RPM, OAI-Like API, 100+ моделей включая DeepSeek/GLM/MiniMax) - llama-тред: >>1624998 (OP) Предыдущий тред: >>1616724 (OP)
9 июля 16:05
Активный
590
Агентов и вайб-кодинга тред #5 /agents/ — Тред про AI-агентов - от вайб-кодинга до персональных ассистентов, которые сидят в твоих чатах, читают заметки и автономно ломают всё вокруг. Для кодеров, которые разучились писать руками, и для гуманитариев, чей диплом филолога наконец котируется в IT. Сеньор в 2026 - это тот, кто умеет внятно объяснить машине, чего он блять хочет. С чего начать: - Хочешь кодить с AI эффективно: Cursor или Claude Code - Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter - Хочешь кодить с AI локально: OpenCode, Qwen Code или Pi Coding Agent + из моделей аноны советуют Qwen3.5, подробности в llama-треде - Хочешь приложение без кода: Lovable или bolt.new - Хочешь автоматизировать рутину: n8n или Langflow - Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке FAQ и расширенная инфа: https://rentry.org/2ch-agents-faq IDE с AI: - Cursor: https://cursor.com - Windsurf: https://windsurf.com - Antigravity: https://antigravity.google.com - Zed: https://zed.dev CLI-агенты: - Claude Code: https://code.claude.com/docs - Codex (OpenAI): https://github.com/openai/codex - Pi: https://pi.dev/ - OpenCode: https://github.com/anomalyco/opencode - Qwen Code: https://github.com/QwenLM/qwen-code - Gemini CLI: https://github.com/google-gemini/gemini-cli - Kimi Code: https://www.kimi.com/code/en Плагины для IDE: - Kilo Code: https://kilo.ai - Cline: https://github.com/cline/cline - Roo Code: https://github.com/RooCodeInc/Roo-Code - GitHub Copilot: https://github.com/features/copilot - Continue: https://github.com/continuedev/continue Вайб-кодинг без кода: - Lovable: https://lovable.dev - bolt.new: https://bolt.new - v0: https://v0.dev Персональные ассистенты: - OpenClaw: https://github.com/openclaw/openclaw - NemoClaw: https://github.com/NVIDIA/NemoClaw (OpenClaw в песочнице от NVIDIA) - Hermes Agent: https://github.com/nousresearch/hermes-agent - nanobot: https://github.com/HKUDS/nanobot - PicoClaw: https://github.com/sipeed/picoclaw Автоматизация и фреймворки: - n8n: https://github.com/n8n-io/n8n - Langflow: https://github.com/langflow-ai/langflow (визуальный построитель workflow) - LangChain/LangGraph: https://github.com/langchain-ai/langchain - CrewAI: https://github.com/crewAIInc/crewAI - AutoGen: https://github.com/microsoft/autogen - Agno: https://docs.agno.com/ Локалки и прочее API: - OpenRouter: https://openrouter.ai - llama-тред: >>1600155 (OP) Предыдущий тред: >>1585804 (OP)
9 июля 16:05
Активный
519
Агентов и вайб-кодинга тред #4 /agents/ — Тред про AI-агентов - от вайб-кодинга до персональных ассистентов, которые сидят в твоих чатах, читают заметки и автономно ломают всё вокруг. Для кодеров, которые разучились писать руками, и для гуманитариев, чей диплом филолога наконец котируется в IT. Сеньор в 2026 - это тот, кто умеет внятно объяснить машине, чего он блять хочет. С чего начать: - Хочешь кодить с AI эффективно: Cursor или Claude Code - Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter - Хочешь кодить с AI локально: OpenCode, Qwen Code или Pi Coding Agent + из моделей аноны советуют Qwen3.5, подробности в llama-треде - Хочешь приложение без кода: Lovable или bolt.new - Хочешь автоматизировать рутину: n8n или Langflow - Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке FAQ и расширенная инфа: https://rentry.org/2ch-agents-faq IDE с AI: - Cursor: https://cursor.com - Windsurf: https://windsurf.com CLI-агенты: - Claude Code: https://code.claude.com/docs - Codex (OpenAI): https://github.com/openai/codex - Pi: https://pi.dev/ - OpenCode: https://github.com/anomalyco/opencode - Qwen Code: https://github.com/QwenLM/qwen-code - Gemini CLI: https://github.com/google-gemini/gemini-cli - Kimi Code: https://www.kimi.com/code/en Плагины для IDE: - Kilo Code: https://kilo.ai - Cline: https://github.com/cline/cline - Roo Code: https://github.com/RooCodeInc/Roo-Code - GitHub Copilot: https://github.com/features/copilot Вайб-кодинг без кода: - Lovable: https://lovable.dev - bolt.new: https://bolt.new - v0: https://v0.dev Персональные ассистенты: - OpenClaw: https://github.com/openclaw/openclaw - NemoClaw: https://github.com/NVIDIA/NemoClaw (OpenClaw в песочнице от NVIDIA) - Hermes Agent: https://github.com/nousresearch/hermes-agent - nanobot: https://github.com/HKUDS/nanobot - PicoClaw: https://github.com/sipeed/picoclaw Автоматизация и фреймворки: - n8n: https://github.com/n8n-io/n8n - Langflow: https://github.com/langflow-ai/langflow (визуальный построитель workflow) - LangChain/LangGraph: https://github.com/langchain-ai/langchain - CrewAI: https://github.com/crewAIInc/crewAI - AutoGen: https://github.com/microsoft/autogen - Agno: https://docs.agno.com/ Локалки и прочее API: - OpenRouter: https://openrouter.ai - llama-тред: >>1585197 (OP) Предыдущий тред: >>1560761 (OP)
9 июля 16:05
Активный
541
Агентов и вайб-кодинга тред #3 /agents/ — Тред про AI-агентов - от вайб-кодинга до персональных ассистентов, которые сидят в твоих чатах, читают заметки и автономно ломают всё вокруг. Для кодеров, которые разучились писать руками, и для гуманитариев, чей диплом филолога наконец котируется в IT. Сеньор в 2026 - это тот, кто умеет внятно объяснить машине, чего он блять хочет. С чего начать: - Хочешь кодить с AI эффективно: Cursor или Claude Code - Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter - Хочешь кодить с AI локально: OpenCode, Qwen Code или Pi Coding Agent + из моделей аноны советуют Qwen3.5, подробности в llama-треде - Хочешь приложение без кода: Lovable или bolt.new - Хочешь автоматизировать рутину: n8n или Langflow - Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке FAQ и расширенная инфа: https://rentry.org/2ch-agents-faq IDE с AI: - Cursor: https://cursor.com - Windsurf: https://windsurf.com CLI-агенты: - Claude Code: https://code.claude.com/docs - Codex (OpenAI): https://github.com/openai/codex - Pi: https://pi.dev/ - OpenCode: https://github.com/anomalyco/opencode - Qwen Code: https://github.com/QwenLM/qwen-code - Gemini CLI: https://github.com/google-gemini/gemini-cli - Kimi Code: https://www.kimi.com/code/en Плагины для IDE: - Kilo Code: https://kilo.ai - Cline: https://github.com/cline/cline - Roo Code: https://github.com/RooCodeInc/Roo-Code - GitHub Copilot: https://github.com/features/copilot Вайб-кодинг без кода: - Lovable: https://lovable.dev - bolt.new: https://bolt.new - v0: https://v0.dev Персональные ассистенты: - OpenClaw: https://github.com/openclaw/openclaw - NemoClaw: https://github.com/NVIDIA/NemoClaw (OpenClaw в песочнице от NVIDIA) Автоматизация и фреймворки: - n8n: https://github.com/n8n-io/n8n - Langflow: https://github.com/langflow-ai/langflow (визуальный построитель workflow) - LangChain/LangGraph: https://github.com/langchain-ai/langchain - CrewAI: https://github.com/crewAIInc/crewAI - AutoGen: https://github.com/microsoft/autogen - Agno: https://docs.agno.com/ Локалки и прочее API: - OpenRouter: https://openrouter.ai - llama-тред: >>1560242 (OP) Предыдущий тред: >>1550870 (OP)
9 июля 16:05
Активный
575
Агентов и вайб-кодинга тред #2 /agents/ — Тред про AI-агентов - от вайб-кодинга до персональных ассистентов, которые сидят в твоих чатах, читают заметки и автономно ломают всё вокруг. Для кодеров, которые разучились писать руками, и для гуманитариев, чей диплом филолога наконец котируется в IT. Сеньор в 2026 - это тот, кто умеет внятно объяснить машине, чего он блять хочет. Что обсуждаем: - Персональные агенты: OpenClaw и прочие велосипеды - нейронка живёт на твоём компе, помнит всё о тебе и шлёт сообщения в телегу - Вайб-кодинг: искусство объяснять машине задачу 15 раз, пока она не перестанет срать в кодовую базу - Автономные агенты: нейронка сама разбивает задачу на шаги и разъёбывает весь проект автономно, без твоего участия - Автоматизация всего остального: почта, календарь, мессенджеры, заметки - нейронка с аватаркой анимешной лисодевочки напомнит что время кушать и разгребёт за тебя входящую почту - MCP-серверы, тулзы, интеграции - подключаем нейронке руки чтобы сама двигала тикеты в жире, шитпостила на дваче и заказывала еду на дом - Делимся опытом: рассказываем как нейронка спасла ваш дедлайн или как вы проебали на токенах $200 за вечер нагенерировав нерабочую херню С чего начать: - Хочешь кодить с AI эффективно: Cursor или Claude Code - Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter - Хочешь кодить с AI локально: OpenCode или Pi Coding Agent + из моделей аноны советуют Qwen3.5, подробности на настройке окружения в llama-треде - Хочешь приложение без кода: Lovable или bolt.new - Хочешь автоматизировать рутину: n8n или Langflow - Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке FAQ для нюфагов: Q: Программисты больше не нужны? Нужны, блять. Кто-то же должен разгребать ту херню, которую ты пролил в продакшн нажав "Accept All" не глядя. Q: Оно работает? Тудушку запилит за 5 минут. Прототип SaaS-стартапа за вечер. Что-то серьёзное - будешь ебаться с контекстом, галлюцинациями и "я переписал тебе весь проект на раст, надеюсь ты не против". Персонального ассистента настроишь за час, а потом неделю будешь отлаживать чтобы он не отключал тебе будильники решив что ты не высыпаешься. Q: Какую модель брать? - Для максимального качества: Claude Opus 4.6 ($20/мес для бомжей, $100-200/мес для мажоров). - Локально: серия Qwen3.5 начиная с 27B или выше, если позволяет твой конфиг пеки. - Для ультрабомжей: можно полакомиться бесплатными моделями на OpenRouter. Q: А чё за персональные ассистенты? Это когда нейронка не просто в веб-чатике сидит, а прям живёт на твоём компе - роется в файлах, читает заметки, помнит что ты ей три недели назад говорил, и шлёт сообщения в твои чаты. Q: Это безопасно? Ты даёшь нейронке доступ к файлам, мессенджерам и терминалу. Что может пойти не так? Три основные угрозы: 1. Нейронка сама наворотит дел - сломает конфиг, выполнит "sudo rm -rf /", запушит на гит или отправит коллегам по почте твою коллекцию цветных коней. Лечится контейнерами (Docker/Podman), отдельной пекой под агента, настройкой прав и подтверждением действий. 2. Промпт-инъекции - кто-то пишет в письме "ignore all previous instructions" и поздравляю, у тебя угнали ассистента с доступом к твоему терминалу и файлам. 3. Утечка данных - при настройке персонального ассистента ты скармливаешь ему всё о себе. Параноишь - гоняй локалки и не плачь потом, что она думает по несколько минут на запрос. Q: Ничего не работает с локалкой/OpenRouter, агент тупит Скорее всего проблема с функциональными вызовами (tool use / function calling). Не все модели и бэкенды корректно их поддерживают. Проверь что твой сервак правильно обрабатывает tool calls - погоняй тестовый запрос и посмотри что возвращается. Q: Куда селить агента чтобы он не наворотил дел? Отдельный комп (старый ПК, минипека), Docker/Podman контейнер, виртуалка. НЕ давай ему полный доступ к основной системе. Особенно если используешь --dangerously-skip-permissions или аналоги. Полезные ссылки: Редакторы и IDE: - Cursor: https://cursor.com - Claude Code: https://docs.anthropic.com/en/docs/claude-code - Windsurf: https://windsurf.com - Codex (OpenAI): https://chatgpt.com/codex - GitHub Copilot: https://github.com/features/copilot - OpenCode: https://github.com/opencode-ai/opencode - Qwen Code: https://github.com/QwenLM/qwen-code - Gemini CLI: https://github.com/google-gemini/gemini-cli - Kimi Code: https://kimi.com VS Code плагины: - Kilo Code: https://kilocode.ai - Cline: https://github.com/cline/cline - Roo Code: https://github.com/RooCodeInc/Roo-Code Минималистичные CLI-агенты: - Pi Coding Agent: https://pi.dev/ Вайб-кодинг без кода: - Lovable: https://lovable.dev - bolt.new: https://bolt.new - v0: https://v0.dev Персональные ассистенты: - OpenClaw: https://github.com/openclaw/openclaw Автоматизация и фреймворки: - n8n: https://github.com/n8n-io/n8n - Langflow: https://github.com/langflow-ai/langflow (визуальный построитель workflow) - LangChain/LangGraph: https://github.com/langchain-ai/langchain - CrewAI: https://github.com/crewAIInc/crewAI - AutoGen: https://github.com/microsoft/autogen - Agno: https://docs.agno.com/ Локалки и прочее API: - OpenRouter: https://openrouter.ai - llama-тред: >>1548846 (OP) Предыдущий тред: >>1530474 (OP)
9 июля 16:05
Активный
515
AI Chatbot General № 826 /aicg/ — AI Chatbot General № 826 БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!! Общий вопросов по чат-ботам и прочего тред. Фронтенды • SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна) • Гайды на таверну: https://rentry.co/Tavern4Retards • Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8 Модели • Claude: https://docs.anthropic.com/en/docs • GPT: https://platform.openai.com/docs • Gemini: https://ai.google.dev/gemini-api/docs • DeepSeek: https://api-docs.deepseek.com/ • GLM: https://docs.z.ai Ботоводчество • /aicg/hub: https://aicg-hub.ru/characters.html • Чуб: https://characterhub.org | https://chub.ai/characters • Гайды: https://aicg.neocities.org/botmaking • Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4 • Бургерские боты: https://aicg.neocities.org/bots Ресурсы • Бесплатные API: https://github.com/cheahjs/free-llm-api-resources • OpenRouter: https://openrouter.ai/ • Арена: https://lmarena.ai/ • Чай: https://character.ai/ Прочее • Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/ Мета • Шаблон шапки: https://rentry.org/aicg_shapka Прошлый тред: >>1633384 (OP)
9 июля 16:05
Активный
508
AI Chatbot General № 825 /aicg/ — AI Chatbot General № 825 БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!! Общий вопросов по чат-ботам и прочего тред. Новости • Вышел Claude Fable 5 - https://www.anthropic.com/claude/fable • Вышел Claude Opus 4.8 - https://www.anthropic.com/news/claude-opus-4-8 Фронтенды • SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна) • Гайды на таверну: https://rentry.co/Tavern4Retards • Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8 Модели • Claude: https://docs.anthropic.com/en/docs • GPT: https://platform.openai.com/docs • Gemini: https://ai.google.dev/gemini-api/docs • DeepSeek: https://api-docs.deepseek.com/ • GLM: https://docs.z.ai Ботоводчество • /aicg/hub: https://aicg-hub.ru/characters.html • Чуб: https://characterhub.org | https://chub.ai/characters • Гайды: https://aicg.neocities.org/botmaking • Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4 • Бургерские боты: https://aicg.neocities.org/bots Ресурсы • Бесплатные API: https://github.com/cheahjs/free-llm-api-resources • OpenRouter: https://openrouter.ai/ • Арена: https://lmarena.ai/ • Чай: https://character.ai/ Прочее • Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/ Мета • Шаблон шапки: https://rentry.org/aicg_shapka Прошлый тред: >>1631386 (OP)
9 июля 16:05
Активный
547
AI Chatbot General № 824 /aicg/ — AI Chatbot General № 824 БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!! Общий вопросов по чат-ботам и прочего тред. Фронтенды • SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна) • Гайды на таверну: https://rentry.co/Tavern4Retards • Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8 Модели • Claude: https://docs.anthropic.com/en/docs • GPT: https://platform.openai.com/docs • Gemini: https://ai.google.dev/gemini-api/docs • DeepSeek: https://api-docs.deepseek.com/ • GLM: https://docs.z.ai Ботоводчество • /aicg/hub: https://aicg-hub.ru/characters.html • Чуб: https://characterhub.org | https://chub.ai/characters • Гайды: https://aicg.neocities.org/botmaking • Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4 • Бургерские боты: https://aicg.neocities.org/bots Ресурсы • Бесплатные API: https://github.com/cheahjs/free-llm-api-resources • OpenRouter: https://openrouter.ai/ • Арена: https://lmarena.ai/ • Чай: https://character.ai/ Прочее • Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/ • База по Клоду: https://rentry.org/how2claude Мета • Архив тредов: https://rentry.org/2ch-aicg-archives4 • Локальные языковые модели: >>1620318 (OP) • Шаблон шапки: https://rentry.org/aicg_shapka Прошлый тред: >>1621230 (OP)
9 июля 16:05
Активный
531
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №241 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/ Гайд для новичков: https://rentry.org/2ch-llama-inference Инструменты для запуска на десктопах: • llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp • koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp • TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen • TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI • Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai Универсальные десктопные фронтенды: • SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern • Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine • Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI Инструменты для запуска на мобилках: • Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid • ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI • Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux Поставщики локальных моделей: • Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models • Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth Рейтинги и списки локальных моделей: • Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026 • Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models • Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Готовые карточки для таверны: • Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com • Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai Официальные документации к инструментам: • llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md • koboldcpp: https://github.com/LostRuins/koboldcpp/wiki • SillyTavern: https://docs.sillytavern.app/usage/quick-start Дополнительные ссылки: • Перевод нейронками для таверны: https://rentry.co/magic-translation • Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets • Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread • Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing • Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk • Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking • Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/ • Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7 • Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906 • Тесты tensor_parallel: https://rentry.org/8cruvnyw Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >>1628031 (OP) >>1624998 (OP)
9 июля 16:05
Активный
502
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №240 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/ Гайд для новичков: https://rentry.org/2ch-llama-inference Инструменты для запуска на десктопах: • llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp • koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp • TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen • TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI • Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai Универсальные десктопные фронтенды: • SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern • Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine • Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI Инструменты для запуска на мобилках: • Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid • ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI • Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux Поставщики локальных моделей: • Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models • Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth Рейтинги и списки локальных моделей: • Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026 • Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models • Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Готовые карточки для таверны: • Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com • Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai Официальные документации к инструментам: • llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md • koboldcpp: https://github.com/LostRuins/koboldcpp/wiki • SillyTavern: https://docs.sillytavern.app/usage/quick-start Дополнительные ссылки: • Перевод нейронками для таверны: https://rentry.co/magic-translation • Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets • Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread • Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing • Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk • Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking • Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/ • Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7 • Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906 • Тесты tensor_parallel: https://rentry.org/8cruvnyw Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >>1624998 (OP) >>1622922 (OP)
9 июля 16:05
Активный
525
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №239 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/ Неофициальный гайд для новичков: https://rentry.org/2ch-llama-inference Инструменты для запуска на десктопах: • llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp • koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp • TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen • TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI • Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai Универсальные десктопные фронтенды: • SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern • Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine • Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI Инструменты для запуска на мобилках: • Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid • ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI • Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux Поставщики локальных моделей: • Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models • Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth Рейтинги и списки локальных моделей: • Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026 • Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models • Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Готовые карточки для таверны: • Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com • Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai Официальные документации к инструментам: • llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md • koboldcpp: https://github.com/LostRuins/koboldcpp/wiki • SillyTavern: https://docs.sillytavern.app/usage/quick-start Дополнительные ссылки: • Перевод нейронками для таверны: https://rentry.co/magic-translation • Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets • Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread • Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing • Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk • Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking • Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/ • Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7 • Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906 • Тесты tensor_parallel: https://rentry.org/8cruvnyw Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >>1622922 (OP) >>1620318 (OP)
9 июля 16:05
Активный
512
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №238 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/ Инструменты для запуска на десктопах: • Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp • Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp • Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui • Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI • Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai • Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern • Альтернативный фронт с уникальным игровым режимом: https://github.com/Pasta-Devs/Marinara-Engine • Альтернативный фронт: https://github.com/kwaroran/RisuAI Инструменты для запуска на мобилках: • Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid • Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI • Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux Модели и всё что их касается: • Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026 • Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models • Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Дополнительные ссылки: • Гайд для новичков: https://rentry.org/2ch-llama-inference • Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org • Перевод нейронками для таверны: https://rentry.co/magic-translation • Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets • Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread • Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki • Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/ • Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing • Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk • Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking • Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/ • Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7 • Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906 • Тесты tensor_parallel: https://rentry.org/8cruvnyw • Доки к LLaMA.cpp со всеми параметрами: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >>1620318 (OP) >>1617427 (OP)
9 июля 16:05
Активный
513
Anime Diffusion #252 /nai/ — Генерируем тяночек! Прошлый тред: >>1617342 (OP) https://arhivach.vc/thread/1363844/ Схожие тематические треды • SD-тред (не аниме): >>1621106 (OP) • Технотред: >>1405043 (OP) • Фурри-тред: https://2ch.su/fur/res/374311.html FAQ https://2ch-ai.github.io/wiki/nai Установка • NVidia: https://teletype.in/@aranon/welcome • AMD: https://2ch-ai.github.io/wiki/nai/install/amd • Облака: https://2ch-ai.github.io/wiki/nai/install/clouds Дополнительная информация • Интерфейсы: https://2ch-ai.github.io/wiki/nai/interfaces • Модели: https://2ch-ai.github.io/wiki/nai/models • Промпты: https://2ch-ai.github.io/wiki/nai/prompts • Апскейл: https://2ch-ai.github.io/wiki/nai/upscale • LoRA: https://2ch-ai.github.io/wiki/nai/lora • ControlNet: https://2ch-ai.github.io/wiki/nai/controlnet Прочее • CivitAI: https://civitai.com • Каталог ссылок от форчанеров: https://rentry.co/sdg-link • Шаблон для переката: https://rentry.co/nwhci
9 июля 16:05


жалоба / abuse: arhivach@airmail.cc