Анон, прошу помоги! Есть один форум, пытаюсь его

Анон, прошу помоги! Есть один форум, пытаюсь его спарсить уже второй месяц, а он меня палит и блочит доступ. Ставил платную проксю (анонимную), пытался через Тор, vpn, все без толку. Объясни дураку как у них этот самый механизм защиты организован, что он палит так? Тонны нефти за любую помощь...

forums.wood.ru

>>206994970 (OP)
По UA

>>206995304
Что это?

>>206995304
Юзер агенты тоже менял, бесполезно

Фингерпринтинг. Меняй также браузер и размер экрана хотя бы.

И еще загугли про суперкуки, наверняка у тебя такое в пеке сидит.

>>206996201
Смена браузера не особо помогает, когда тебя уже с одного ip спалили. А вот если прокся попалась годная, то там уже и без разницы с чего парсить. Вопрос в том, каким образом реализовать обход механизма, смысл которого я не улавливаю. Скриптом палит, Селениум после сбора с двух страниц форума тоже палятся. Пробовал привокси - хуета без задач, Тор по определению со своими выходными нодами в черном списке. Короче Анон, спасай, я не знаю как быть

>>206997068
Я лазаду парсил, там селениум палился по внутреннему параметру, который через js был зашит в драйвер браузера.

Надо было убирать в коде драйвера эту хуергу, тогда давал капчу проходить спокойно, а так ошибку выкидывал

>>206998293
Тут проблема в том, что если этот форум тебя спалил, то доступа к нему больше нет. Тупо не можешь войти на страницу, либо пустой результат

>>206998293
navigator.webdriver

>>206998388
Так не пались больше?

>>206998492
Спасибо. Принял. Попробуй сам на него зайти и походи по тематикам туда сюда. Заблочит

Абу благословил этот пост.

>>206998534
То есть им в принципе пользоваться нельзя нормально?
Меня даже с первого раза не пускает, тайм-аут соединения через минуту ожидания запроса.
Но я с публичного ip сижу

>>206998623
В том то и дело, что можно. Он так блочит

>>206998623
Видимо этот ip у него в черном списке

>>206998534
я конечно не супер кодер, но может взять кучу бекконнект прокси и кучу потоков с кучей задержек между запросами? И блять заморочится не скриптами а хуй знает, хуман эмулятором или как его блять, зеннопостером.

>>206998681
Ну попробуй айпи сменить, в хроме новый профиль создай и в драйвере хуйню из навигатора убери, запусти это в селениуме и глянь, блочит ли.

С мобильного интернета потыкать разделы, вроде просто без основания не блочит

>>206994970 (OP)
делей поставить на запросы никак? обычная защита от дудос

>>206998954
Делеи не спасет, братюнь. Уж поверь

>>206999000
Я тоже думаю, не в делее проблема, а в фингерпринтах

>>206998915
Все понял, кроме хуйни из навигатора. Можно подробнее плиз, может годная идея

Бамп

>>206999117
Ну ебаный в рот, я только комп выключил.

Я столько с этим ебался, на поверишь. Поищи в Гугле chrome selenium navigator.webdriver и тебе нужен код на перле с регуляркой, который изменит тебе переменную в драйвере

Почитай вот это ещё, тоже полезно может быть.
https://intoli.com/blog/not-possible-to-block-chrome-headless/

>>206999612
обнял

>>206999612
А вообще, не поленился комп включить
Вот ссылка на мой код на пистоне

pastebin.com/aXLf2PGA

>>206999702
ванную, что твое решение - годное

>>206999000
>>206995001
хз как ты парсишь, помойму он нихуя не блочит
>forums.wood.ru

>>206999864
А, ну блядь, тебе ещё надо код из статьи использовать.

Регуляркой ты патчишь драйвер, чтобы убрать read-only с этого свойства.
Эта залупа все равно ставится в тру будет.
Ее надо будет просто на false поменять

>>207000112
А нет, не просто фолс ставить.

Нужно js код вызвать "delete navigator.__proto__.webdriver". У меня иначе не работало

>>206999914
Ну нихуя себе, приколы блядь. Так можно было?

>>206999914
Так вот я и говорю, что не за количество запросов блочат, а на другом он палился

Я полагаю мой скрипт, часто страницы дёргал туда сюда. Одну откроет, потом следующую и так далее. Попробуй в своем скрипте на js также

Но вопрос с навигатором очень даже актуален, стоит только взглянуть в исходный код страницы форума. В теге script эта байда присутствует

>>207000343
на тебе рабочую версию

>>207000705
Лол. Ты кодировку видел?

>>207000705
Я не ОП, но тоже интересно как там пофиксить кодировку в результате fetch

>>207001133
Да никак. Они спецом windows1251 ебанули, при чем хитровыебаным образом. Там либо с русских проксей надо заходить, либо как анон выше, но ебаться с декодированием, что такое себе

>>207000705
Блэт, я думал, вы через прогу на Джабе или C# гоняете запросы, там, специально меняете User Agent или что-то еще, а вы из браузера. Пиздец.

>>207001347
Да. Прости. Но мне все способы хороши, если поможешь понять как они палят. Я уже даже забил на парсинг, я просто понять хочу. К слову нашел на одном форуме в 12 году такой же вопрос с этим же форумом, так и не решили

>>207001133
>>207000754
и че тут сложного?
response.setContentType("text/html;charset=UTF-8")

>>207001419
Ну тащемта на более низкоуровневом языке можно редактировать абсолютно все параметры, поэтому я и подумал, что так и делаете.

>>207001552
Ага на Асм с байтами ебемся. Сделаешь на сях, я тебе скажу респект и уважуха, но нахуя?

>>207001529
Ладно. Короче /thread ? Вопрос с парсингом закрыт, но механизм серверной блокировки я так и не раскрыл для себя

>>207001683
я ж тебе сказал делей ставь, по запросу в секунду из браузера нихуя не будет, после 10 тыщ за секунду он кикает 4 раза, что скрипт слетает, на 5 раз банит

>>206994970 (OP)
Заходи в Точку Сбора, там наверняка помогут. @netstalking в тг

>>207002187
Добра тебе. Принял.

на оп, пофиксил твои блокировки и заодно кодировку
for (var i = 1; i<2;i++){fetch("https://translate.google.com/translate?hl=en&sl=ru&tl=en&u=http%3A%2F%2Fforums.wood.ru%2Fshowthread.php%3Fthreadid%3D"++i+"&anno=2").then(response => response.text())
.then(data => console.log(data))}

напишите им что вас взломали

>>206994970 (OP)
поясните нахуя вы это делаете?

>>207004272
там типа быдло палит свои телефоны, можно их поставить на робообзвон и предлагать пройти бесплатное медицинское обследование в частной клинике в городе москва