локальная сеть | Архивач — Архив тредов имиджборд

Сортировка:

за


Активный 530	Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №222 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/ Инструменты для запуска на десктопах: • Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp • Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp • Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui • Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI • Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai • Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern • Альтернативный фронт: https://github.com/kwaroran/RisuAI Инструменты для запуска на мобилках: • Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid • Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI • Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux Модели и всё что их касается: • Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026 • Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models • Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Дополнительные ссылки: • Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org • Перевод нейронками для таверны: https://rentry.co/magic-translation • Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets • Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread • Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki • Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/ • Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing • Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk • Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking • Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/ • Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7 • Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906 • Тесты tensor_parallel: https://rentry.org/8cruvnyw • Доки к LLaMA.cpp со всеми параметрами: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >>1589069 (OP) >>1587453 (OP) локальная сеть /ai/ - Искусственный интеллект 2ch	29 апреля 18:57
Сохранен 66	ИДЕЯ ЛОКАЛЬНОЙ ГОРОДСКОЙ/РАЙОННОЙ ЛОКАЛЬНОЙ СЕТИ НА СЛУЧАЙ ЧЕБУРНЕТА. Аноны как вам идея сейчас заве — ИДЕЯ ЛОКАЛЬНОЙ ГОРОДСКОЙ/РАЙОННОЙ ЛОКАЛЬНОЙ СЕТИ НА СЛУЧАЙ ЧЕБУРНЕТА. Аноны как вам идея сейчас завести usb жесткие диски с любимым музлом, играми, либо просто качнуть себе на комп, а когда ебанет чебурнет, прокинуть кабеля по району и обьявить всем об этом, постепенно набирая новых абонентов? Сколько максимально людей в локальной сети, 255^4? 4 лярда пк? Насколько хуево будет работать такая сеть, с обычными хабами например у меня дома? Можно ли будет между пк всей сети перекидывать файлы и играть по сети во всякие кс2? Насколько будет хуевая скорость передачи если например хабы локаций типа квартал 1, квартал 2, квартал 3 будут хабами соединяться с секциями кварталов 4-6 и 7-9 и тд? локальная сеть mesh-сети чебурнет /b/ - Бред 2ch	9 апреля 2025
Сохранен 96	2004-2024 Юбилей! 20 (двадцать) лет назад я чисто конкретно пришОл в Интернет. Были неоднократно поп — 2004-2024 Юбилей! 20 (двадцать) лет назад я чисто конкретно пришОл в Интернет. Были неоднократно поползновения и ранее, ещё в 90-е. Но! Весной 2004-го года мне в будку провели ADSL сразу аж на 8 мегабит входящих! А как и когда, в каком году впервые ЭТО случилось у вас? Web 1.0 диалап локальная сеть ностальгия по нулевым Яндекс Интернет прошлое ностальгия нулевые девяностые годы /b/ - Бред 2ch	25 марта 2024
Сохранен 143	А потом ещё удивляются, что пиратят. Нет ну серьёзно, неужели так тяжело сделать хотя бы субтитры. — А потом ещё удивляются, что пиратят. Нет ну серьёзно, неужели так тяжело сделать хотя бы субтитры. локальная сеть пиратство цены Украина WebM-тред /v/ - Video Games 2ch	10 марта 2021
Сохранен 295	Годной локализации тредж — У каких игр самая охуенная локализация? В плане текста, диалога вот этого всего. локальная сеть перевод /v/ - Video Games 2ch	14 марта 2021
Сохранен 128	Господи, как же хочется локалочку... локальная сеть сисадмин операторы связи и интернет-провайдеры /b/ - Бред 2ch	10 августа 2020