Зависит от облака, но во многих serverless это под по цене виртуалки, нахуй оно надо, когда можно на говне и палках куб поднять и крутить там? Хочешь дам тебе ansible репу, которая поднимет тебе куб на раз-два?
бамп
>дешевле
>с сотнями пользователей
Чел, на таких нагрузках ничто не должно быть дорого.
мимо airbnb анон
> куб
> на микроговне
Бля аноныч ну ты чево, я даже докер не планироваю первые полгода.
>мимо airbnb анон
Ты сравниваешь обычные скрипты с содержанием на сервере пусть и легкой, но нейросети?
Вопрос в том, что тебе всё равно придётся это осваивать, если это коммерческий сервис, иначе ты просто вгонишься в ловушку техдолга. Пиши сразу cloud native, с шедулером там и всей хуйнёй, а не чтоб твои даги висели и жрали деньги за простой. А там можно вкатиться в пущее бомжатство с спотовыми нодами и всяким таким.
>с содержанием на сервере пусть и легкой, но нейросети?
Не сразу понял, о чём ты. А не проще у себя локально сторить?
Я бы взял облако и не ебал мозги, селф мб и выйдет дешевле вот вообще не факт. Но поддержка и прочие скачки нагрузки - надо оно тебе.
>даги висели и жрали деньги за простой
Пояснительную бригаду.
>Хочешь дам тебе ansible репу, которая поднимет тебе куб на раз-два?
Ето.
У тебя пустой под будет висеть и нихуя не делать. Зачем он нужен, ресурсы кушать? Можно напердолить шедулер, который будет запрашивать под, выполняющий dag, а потом всё подчищать. Посмотри как airflow делает короче.
А вот твоя репа: https://hub.2853.org/s/SdLxNpHgdnXx4it
Мопед не мой, я просто обернул его в .gitlab-ci
Тебе потребуется свежий гитлаб (бери публичный, похуй) и образ с ansible (можешь взять официальный или через pip собрать сам, тоже похуй)
У анона может MVP даже не готов, может быть, а ты ему облако сразу. Пусть на своей хуйне покрутит, но хотя бы сразу в кубе, чтоб потом перенести быстренько и всё.
Спасибо.
Да я как раз из этих же соображений. На его месте собрал бы на langchain чего по быстрому, да выбрал провайдера аишки подешевле, векторную бд бы пришлось самому развернуть, но это готовый докер образ с эластиком или ещё чем. Ушло бы < 1 дня работы, с учётом, что питон вообще не мой язык. Есть ли смысл платить только за эмбендинги - хороший вопрос, но с самой llm я бы вообще не думал.
Леха, ты на ОПе?
> Леха, ты на ОПе?
Нет.
И слава богу
Я просто смотрю, и как будто облако дороже, чем взять даже один дэдик и хотя бы на нём, первое время. Но дело хозяйское, как говорится.
Мне дай.
Мне не столько репу поднять, сколько разобраться чего там и как
Возьми docker desktop, там kind приделали и можно мультинодовый куб запилить у себя локально, на поиграться хватит. Репа ссылкой выше.
Вот именно что, а я бы взял минимальную вдс (2 яда 4 гига или типо того). А бабки да спустил на токены, чтоб вообще самому ничего ресурснозатратного не делать. У нас векторная база и запросы, все.
сяп
хорошее решение
А что за продукт? В какой стране регистрировать будете? ИНвесторы есть?
Я бы почитал вашу презентацию для инвесторов.
Ничего не могу сказать. Вряд ли это будет сильно лучше mail.sru-шного openstack или хуяндекса, так что если ты из СНГ, есть ли смысл переплачивать за забугор?
Нахуй кому твои гроши? Двач -- борда наносеков. Да и пенсия по шизе не прям, знаешь, деньги.
анончик возьми мои бабки, вы станете успешными а меня сделаете миллионером
>смысл переплачивать за забугор
Где переплата? Покажи российские дешевле? Также мой рынок это забугор, а не СНГ. Хотя конечно дешевые серваки в Гермашке, вот с США было бы лучше.
Тем более последние новости что дохуя ботнет трафика идет от российских хостинг провов.
>Также мой рынок это забугор, а не СНГ
а как ты типа деньги туда переводишь?
Продолжай.
Ты модератор?
Так мульон способов оплат. Начиная с предоплаченных карточек, заканчивая оформлением банковского акка в Казахиях и прочих Индиях.
что вообще за продукт? Валидация рынка есть?
Ести. Я MVP запускал без продукта. Накатило с пердитов народу с желанием уплотить. Направил в waiting.
>Накатило с пердитов народу с желанием уплотить
заебись. Последний штрих - каждый такой желающий должен тебе в привлечении стоить чуть дешевле, чем он у тебя оставляет денег. Если это может работать на маленьком масштабе, тогда ты можешь загрузить в свой продукт условно 10к долларов, и крутить их по кругу.
на звод пойти работать не пробывал?
понаобучают хуйни всякой и в попу балуются
Само собой.
Ебень, ты накидал технических терминов без рассказа че ты вообще делать собираешься, как тебе помогать-то?
Мы с трудом, но поняли. Но контекст бы помог, конечно.
Если он расскажет, что делает, вы спиздите его идею
>без рассказа
Короче план такой. Я собираю чемодан и еду создавать ячейку общества в Африку! Зайду издалека. Перехвачу демографический кризис так сказать. А когда африканцы доедут, уже считай русские. Как тебе такой план?
Гоподи как же легко получить бан на параше с ботами, я чувствую себя богом. Пойду и сломаю ебало любому. И я могу сделать это! Я пойди сделаю что ?
таки называемое что надобно делать с такими как ты ?
Я хочу крови
Ты как поп, который через айфон в инет пишет что айфоны это творение сотоны и надо от них избавляться.
Это бототреда какой-то, почему какая-то хуета написана полная?
Мимо SRE
Мимо SRE
Сани забыл
>Мимо SRE
>какая-то хуета написана
Потому-что ты нерелевантен треду.
Потому что макака не может бота нормального написать?
Куда ни плюнь, девопсы. Куда не доплюнул - там SRE.
СРОЧНО ПРИЗЫВАЮТСЯ В ТРЕД ML, DS И ПРОЧИЕ ИИ АНАЛЬНИКИ
Что дешевле для первых месяцев RAG с сотнями пользователей?
Serverless или сервер? Учитывая что LLM будет внешним как API?
Компоненты:
- Векторная БД (Сhroma или Pgvector для сервера так как векторов меньше 2000)
- Эмбединг модель (планирую брать те, что жрут не больше 2-2.5GB, но возьму скорее gemma embedding, что укладывается в 600мб)
- Serverless compute (если бессерверный вариант чтобы дергать RAG логику) типа Vercel Functions/Netlify functions
И еще тупой вопрос вдогонку - для эмбединг модели если она на сервере - нужна видяха или хватит CPU? Хочется экономить.