Тригерится ли этот блок на количество запросов? Могу я просто делать по 10 запросов раз в 5 минут?
50 страниц это херня вообще, проблем не должно быть, если ты не молотишь в сервер с частотой дятла
Максимум хорошо притвориться честным юзером, от правильных user agent до использования headless браузера с работающим javascript и куками
Максимум хорошо притвориться честным юзером, от правильных user agent до использования headless браузера с работающим javascript и куками
user-agent = "Mozilla/5.0" пойдет?
Возможно когда я словил блок, у меня вообще user-agent не был прописан
То есть мне скоипровать и вставить всю эту строчку в программу?
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36
оо ссука. лет 10 уже как у них защиты.
ты понимаешь, что ты ничтожество перед авито?
ты понимаешь, что ты ничтожество перед авито?
Понимаю, но можно же человеческие действия имитировать? Я вот и спрашиваю, на что это защита тригерится.
нет, нельзя. иди нахуй
Ты пока сам признался, что никакой имитации вообще не делал. Даже банального user-agent.
Посмотри, как выглядит запрос в браузере, F12. Можно через curl воспроизвести запрос. Помимо user-agent есть и другие заголовки, их тоже очень желательно воспроизводить, чтобы ты не выглядел как робот.
В теории можно делать очень продвинутые и изощрённые защиты, которые будут анализировать поведение пользователя, специфичную активность браузера (подтягивание графики, работу скриптов и т.п.), но я сомневаюсь, что там это есть.
Есть headless браузеры, которые от браузера отличаются только отсутствием гуя. Очень удобно, потому что он и запрос запросит, и картинки скачает. Хотя какой-нибудь гугл транслейт запрашивает у меня капчу даже при абсолютно легитимных запросах, потому что айпи билайновский
Хедлессы тоже палятся несложно отсутствием\присутствием того, чего нет в реальном браузере.
Можно скриптовать реальный браузер, но что-то ещё подпиливать придется, да.
Попробуй парсить мобильную версию. Всё работало, правда я занимался этим год или два назад.
>Хедлессы тоже палятся
>чего нет в реальном браузере
Болван, блядь. Хедлесс - это и есть реальный браузер, только без GUI.
Посмотрел, сейчас там авито какую-то диагностику ведёт, посылает пакеты с данными по fps, явно для анализа, что на клиенте именно реальный браузер.
Ты бы хоть загуглил, перед тем как в штаны себе срать.
Помимо этого, headless браузер будет срать в память не меньше хрома и для смены в нём прокси тебе нужно будет перезапускать процесс headless браузера, убив перед этим старый (что не всегда работает, засерая память еще больше). Ну и общая скорость загрузки страницы тоже страдать будет, так как он будет выполнять все скрипты на страницы и подгружать всё что подгружается скриптами.
Для этого уже есть готовые решения, зачем ты велосипед изобретаешь, особенно когда у тебя знаний чуть менее чем нихуя?
Куда ты лезешь, недоумок? Тебе же объяснили, что headless бразуер, отличается отсутствием GUI. То, что ты не умеешь программировать - это твои проблемы.
Оправдывайся, чмо некомпетентное, но только после того как подмоешься и постираешь штанишки, которые ты только что обдристал.
>чмо некомпетентное
>подмоешься
>обдристал
Типичные беседы джавагоспод
Мимо-с-главной
гугли browser automation studio + FingerprintSwitcher
Так если страниц не много, то зачем с хедлесом страдать? или все на сервере происходит? просто селениум + профиль от своего браузера подключить. Один раз обучить его и все. Если он 10-20 минут проработает и спокойно все спарсит, то ничего страшного не случится. яндекс-маркет пакетно так паршу с картинками и всем остальным - все спокойно, а там программисты тоже не лохи
Двачую, вариант лучше, чем селениум, на коленке не склепать.
На 50 страниц запросов можно и на JS написать простенький парсер, который будет работать из консоли разработчика.
Распарсить мне нужно немного, всего страниц 50 в день. Написал код, распарсил одну, потом запустил парситься все остальные и после 10 успешных перестало работать.
Если пытаюсь загрузить любую страницу программой, то title страницы показывается как "Доступ временно заблокирован".
Спустя несколько часов этот блок спал и я задумался как работает эта защита и можно ли ее обойти?
Пока приходят на ум использование хороших приватных https прокси. Если бы я знал как работает защита то может мог бы придумат что-то еще. Например, есть идея делать запросы с небольшим рандомизированым интервалом времени, но чет мне кажется что там программисты не дураки и предусмотрели это.
Повторяю, мне не нужно парсить очень много страниц.