bump
Я скрам мастер
Где новогодние обращение про скрам мастера? Без нее ты не можешь называть себя такими волшебными должностями.
/thread
1 ядро 512мб рам, лол. Зачем там что-то мощное?
Короче, ✨волшебство🎄 посчитала за круглые сутки, то есть 1 URL/сек (2.6 млн запросов/мес):
Свой сервер + Прокси: ~$250 – $450 (4 vCPU / 8 GB RAM)
Готовый сервис (API): ~$1,200 – $1,500
>1 ядро 512мб рам, лол. Зачем там что-то мощное?
Потому-что реактолисёнокасы со SPA, вот зачем. Спасибо Цукерлисёнокасу с его копрофейсбуком блядским, что породили этого монстра на свет.
Плюс многие сайты сливают серверные прокси и пропускают только дорогие резидентные, чай не 2010, сейчас не обойдешься чистым питоном для скрапинга и нужен Playwright или Puppeteer.
Свой сервер + Прокси: ~$250 – $450 (4 vCPU / 8 GB RAM)
Готовый сервис (API): ~$1,200 – $1,500
>1 ядро 512мб рам, лол. Зачем там что-то мощное?
Потому-что реактолисёнокасы со SPA, вот зачем. Спасибо Цукерлисёнокасу с его копрофейсбуком блядским, что породили этого монстра на свет.
Плюс многие сайты сливают серверные прокси и пропускают только дорогие резидентные, чай не 2010, сейчас не обойдешься чистым питоном для скрапинга и нужен Playwright или Puppeteer.
+
>веб приложение
пряникй завоняло.
Для 1-3 урла в секунду ты дольше будешь io ждать чем парсать эту залупэ на любой ебале которая на письку мощнее чем rpi zero w
>пряникй завоняло.
Ну конечно гoвной. Кто бы спорил блядь. Ладно бы они их делали нормально как раньше, так леденец блядский, уже просто всем похуй на обратную совместимость.
3-5с на урл, 1-3 запроса в сек = 5-15 параллельных браузеров.
А что парсить собрался братишка? Маркетплейсы? Надо капчи там будет закупать. Мимо пытался караулить авиа
А еще ебаные пpoститутки, они же ддосеры. Ведь они помогли подняться Cloudflare. Теперь каждый мелкий лисенок ставит эту ебало НУ А ЧЕ ОНО ЖЕ У ВСЕХ ТАК СТАНДАРТ КАЧЕСТВО ОМНОМНОМ
Aviasales?
Проверяй браузер тут - https://abrahamjuliot.github.io/creepjs/
Если палится на хедлесе, то ирония судьбы. Ну и зависит от айпишника оч многое.
Я тебе лайфхак дам, для краула хуйни Х в своем регионе, попробуй выделить ресурсы в этом же ДЦ, будет меньше шанс джингл-белзся с клаудфлаерами если админ долбаёб
ето облака, а я их боюсь - так как размандавошат мой бюджет
ну я имею ввиду, что скрапить мне нужно сайты со всего мира, а не из пары стран
Да ты с бесплатного тира попробуй, не знаю есть он щас в авс или нет, каждая вторая макака в авс будет
тебя забанят и всё
Забанить невозможно, если есть хорошие прокси. Можно лишь сделать экономически нецелесообразным (дорогие прокси).
тогда тебе нужна сеть прокси, балансировать запросы через них и не палится что через прокси смотрит один и тот же скрапер
Это называется ротация.
анон, вижу ты шаристый чувак. мне надо бы скрапить один сайт, я его раньше просто скриптом скрапил без безголового браузера, но суки ввели рейтлимиты там. Бесплатные прокси будто бы ваще не работают, брал прокси с proxyscrape но нихуя не получается таймауты ебучие и я вот думаю это я долбоеб или сани не едут
В твоём случае - авторотация
4 гига рамы, 4-6 цпу заглаза будет, у меня все виртуалки просто на таком минимуме работают
а вообще самая дешевая (раньше было бесплатно) ес2 амазон тачка вполне справится, 3 запроса в секунду то
Я не чтобы прям шарю.
Причин много. Паблик прокси это вообще калище. Надо брать шаред, а лучше резидентские (но для очень сложных случаев). Ты можешь попробовать триал прокси для начала подрубить. Многие сервисы дают.
Ну и попробуй curl_cffi (с параметром impersonate="chrome") если хочешь безбровзера. У меня И скрипт И Playwright (с playwright-stealth). Скрипт использую для экономии, но если там без js никуда или ебучий cloudflare, расчехляю playwright попутно меняя прокси.
Какая машина нужна для 1-3 url в секунду чтобы скрапить headless браузером?
Сколько оперативы и ядер?
Сколько стоит нормальный прокси за запрос? Или там все в гигах только?
Короче нихуя не понятно.
Нейронки пишут какие-то ебанутые спеки.