Это что, кто-то аналог kobold-horde изобрел?
эта хуйня была еще до орды, только вот там был тупой bloom/bloomz, он хоть и на 175B параметров как chatgpt, но тупой как пробка
Какие-нибудь квоты или привелегии для шарящих есть? Например, приоритетный доступ чтобы иметь больше скорости чем на одной карточке с выгрузкой (если с подобной архитектурой вообще возможно). Сильно бы помогло в развитии сети, а то надеяться на добряков с "тремя серверами А100" сомнительно.
привилегий ноль, а так там еще и lora можно подключить спокойно любую судя по всему. А ну еще старый добрый p-tuning
а так petals жив здоров и без добряков, у него кажись когда ты клиентом подключаешься ты тоже становишься хостом маленькой части нейросетки
> и lora можно подключить спокойно любую судя по всему
Любую всмысле которую ты хочешь чтобы была на модели, или что каждый из хостов может как-то модель поменять?
> когда ты клиентом подключаешься ты тоже становишься хостом маленькой части нейросетки
Слишком мелкое дробление безсмысленно, трафик и времена ожидания все убьют до скорости ниже чем на древнем цп.
по идеи любую лору которую ты захочешь
Кто ее выбирает, пользователь что дает запрос и ее скачают все узлы применив на свои части, или хост, что может заставить лламу рисовать аски арты вместо ответов?
а вот я уже не знаю, я не копал слишком глубоко
```
This will host a part of LLaMA-65B with optional Guanaco adapters on your machine. You can also host meta-llama/Llama-2-70b-hf, meta-llama/Llama-2-70b-chat-hf, bigscience/bloom, bigscience/bloomz, and other compatible models from 🤗 Model Hub, or add support for new model architectures.
```
napizdel получается
хостит лору все же сам сервер, а юзер сам нужную лору не выбирает(
Опять какие-то пидоры сервис сбора данных с нищуков организовали?
Блядь, ну единственное преимущество локальных сеток - в том что они локальные, блядь. Ты можешь чатится с ними на любые темы и быть уверенным что твои данные не попадут на стол к тащ майору и нее станут основой для внедрения цензуры в будущих сетках.
Если запускать локальные сетки онлайн - то у них литералли ноль преимуществ перед чат-гпт и клодом, т.е. ты также отдаешь свои данные непонятно кому, еще и сетку получаешь хуевую.
сайт этой хуйни: https://petals.dev/
протестить эту хуйню сейчас же: https://colab.research.google.com/drive/1uCphNY7gfAUkdDrTx21dZZwCOUDCMPw8?usp=sharing
скорость от 1 токена в секунду, у меня лично 3-5 выбивало иногда.