Сап, двачата. Расклад такой: имеется возможность парсить данные с любого сайта. Будь он даже с динамически подгружаемым контентом и на js. Как можно полезно применить эти скиллы для себя например или продать? Какие деньги можно заработать? Как приложить вобщем это и куда? Например есть идея парсить горящие туры, но как и кому это продавать?
Добро пожаловать на борт.
Могу парсить что угодно при помощи cheerio и phantom
пока не продал
Могу парсить что угодно при помощи cheerio и phantom
пока не продал
я тебе даже более скажу.
предлагал людям писать парсеры и размещать их у себя на сервере с АПИ.
хуй кому уперлось
предлагал людям писать парсеры и размещать их у себя на сервере с АПИ.
хуй кому уперлось
Бля я заебался этот phantom ставить ждешь 3 часа пока компилится, потом ошибка какая-нибудь. Забил хуй на него.
пока искал на каких площадках можно раместить свой талант, увидел 100500 таких же объявлений.
100500.
таких же.
за 50 рублей пишут.
под что угодно.
100500.
таких же.
за 50 рублей пишут.
под что угодно.
так что друг, пойдем ка мы с тобой оба на хуй.. как бы это не прискорбно звучало
да это школота которая реально ничего серьезного спарсить не может. Эти дебилы даже curl не знают что такое
парсинг это уже последнее дело
вся суть - понимание механизма и веб-инжект
вся суть - понимание механизма и веб-инжект
да не, зачем так. Нужно просто хорошо подумать какая инфа может пригодиться...
Вот те же туры или объявления авито например хорошая же тема?
Пилишь парсер авито и продаешь его как SaaS сервис. Вот точно
ну и тем не менее. рынок переполнен предложениями не очень хорошего качества, а покупателей совсем мало.
2gis распарсить в нормальный xml или xls не помешало бы, а то все руки не доходят
>парсинг это уже последнее дело
вся суть - понимание механизма и веб-инжект
Да, я и имел весь процесс "под ключ", называй это "получить данные с другого ресурса автоматически и массово и предоставить в нужном формате для заказчика" как угодно,
Я бы нам с тобой порекомендовал заняться QA.
Сейчас вот смотрю лекции.
Удаленной работы полно.
платят неплохо
и это нужно.
Знаний много не требуется.
Попытаюсь в этой сфере пробиться чутка на удаленку.
почему не JSON?
> имеется возможность парсить данные с любого сайта
Ты хотяб HTML, CSS, js выучил, сынка? Или костылишь костыльными костылями в браузере?
Фрилансить за копейки, писать кому-то очередной парсер для того чтобы скачивать фотки вибраторов для его интернет-магазина - это не то. В треде речь идет как реально и выгодно применить эти навыки?
предполагаю что ОП осилил node.js
и соответсенно js, jq, и html как минимум
дай линки плз
потому что говнософт в котором это требуется в него не может, точнее конфигурация 1С написанная васянами за откаты
Это легко. Но эти базы давно в свободном доступе. Кто у тебя их купит? И кому они нахуй нужны?
Базы в ебанутом бинарном формате, которые никто не понимает, проще всего кошмарить веб-версию.
Палю идею БИСПЛАТНА.
Сайт-агрегатор самых высоких скидок на али. Хотя там не нужно ничего парсить, там есть API.
Сайт-агрегатор самых высоких скидок на али. Хотя там не нужно ничего парсить, там есть API.
Нет не node.js способ парсинга раскрывать не буду. Но да, умею в js и пару компилируемых и интерпретируемых языков + знаю и умею регулярки
сам сейчас вот сюда добрел
http://www.protesting.ru/
Начал только ночью сегодня вникать.
Из роликов глянул это. и во мне поселилась надежда.
http://www.youtube.com/watch?v=2W903npGGMw
Посмотри ещё по щапросам более детальную инфу.
Глянь сколько вакансий на hh/
Молодца. А теперь учись делать сложные сайты.
не, видел еще пару лет назад продавали раскошмаренные веб-версии, в формате xml причем
ну пздц.
россия не может в цивилизацию
Я их уже 5 лет делаю. Заебался.
Да чувак с отдела пытался купить у таких, обещали свежие этого месяца, а оказались протухшими на год. Поэтому и начал хуячить свой парсер на баше, сейчас только в файл пишет, до xls еще не дошли руки
и как это говно продать? Нищеброды покупающие на АЛИ точно не будут покупать абонемент чтобы следить за скидками
Распарсил тебе за щеку http://api.2gis.ru/
Так развивайся: учись в мобильный девелопмент. Работы полно.
Ага, заполнял это говно и был послан на хуй, ключа так и не увидел, а публичное API почти ничего не умеет
А забыл. Школьникам API не дают его. И правильно делают.
>Так развивайся: учись в мобильный девелопмент. Работы полно.
Я уже на своем опыте понял что всю работу и все технологии не переделаешь и не изучишь. Это бессмысленно. Ну будешь ты получать денег больше, в любом случае твой потолок ЗП будет ограничен эффективностью твоей работы. А вот взять и применить уже существующие скиллы - не всякий сможет, зато их успешно применяет твой работодатель. Эта тема достойна отдельного демагого-треда, а здесь мы обсуждаем как применить сабж
Так попросили документы предприятия, устав предприятия и подпись директора, который назначен уставом. Ну мы директора уже беспокоить не стали, не особо и нужны пока
Халявы больше не будет. Или учи 10 ЯП, или иди парсить за 50 рублей. Если найдешь работу, хехе.
съеби зеленый
А если как-то для анализа применять? Ну парсим цены в регионах на какую-нибудь хуйню.
>Если найдешь работу, хехе.
Работы дохуя, вопрос не в том как найти работу, а как избавиться от нее. Как применить скиллы для того чтобы не работать?
Парсер-хуярсер, забанят тебя на сервисах за твой наглый парсинг, добалуешься.
Сап, двачата. Расклад такой: имеется возможность сортировки массива пузырьками. Будь он даже с файла прочитан или с клавиатуры введен. Как можно полезно применить эти скиллы для себя например или продать? Какие деньги можно заработать? Как приложить вобщем это и куда? Например есть идея делать лабы, но как и кому это продавать?
Ну учи анализ и какую-нибудь хуйню. Можешь в маркетинг и менеджмент повтыкать. С кругозором и эрудицией идеи приходят чаще.
Ну не учи. Рыночек уже насыщен и остануться только те, кто знает 10 ЯП. А остальные будут рисовать по 20 логотипов на воркзилле за 500 р. и натягивать шаблоны на WordPress за 100.
ты такой наивный
ОП, парси имейлы на авито и прочих досках, продавай потом эту базу имейлов за стотыщ мильенов.
Автоматизация, мб? Или посредничество между заказчиками и рабами.
Почему же?
Вот насчет лаб это ты круто подметил. Сейчас дохуя студентов-долбоебов которым нужен диплом через неделю, а они нихуя даже html/css не знают, потому что "работали, было некогда, пок-пок". С лошка можно сбрить 30-50 т.р. Работы уровня хеллоуворд, а требования вроде написать свою CMS на PHP, т.е. 10-летней давности. Главная твоя работа будет: расписать такому вот выпускнику в комментариях откуда что берется, чтобы он не завалился перед комиссией на сдаче. Вот такой кейс, лул.
ОП, парси цены по каким нибудь услугам, например по услугам разработки сайтов или продвижению, формируй в таблицы, строй графики и продавай всяким диванным аналитикам.
ОП, парси свой анус и продавай его для анальной ебли.
Ты бы и собаку распарсил.
а анус собаки?
ОП распарсил бы, он же специалист.
Вот какому работодателю нужен спец который знает 10 ЯП. Вот пример можешь привести?
Будешь смеяться но воспитание не позволяет. Считаю что имейл это личные данные. И поступок гадский
Да автоматизация. Ну и посредничество тоже подойдет. Но где найти дешевых рабов-некидал?
Писать под каждый сайт-визитку ООО "рога и копыта" парсер? Ебнуться.
Преподаватель в ВУЗе
Препод знает максимум 2-3 языка, а на хорошем уровне хорошо если 1 хотя бы знает, т.к. на практике преподы реально не используют языки, ибо не погромисты а преподы. Показывают как решать олимпиадные задачки - их максимальный лвл
Как можно знать 10 языков? Вы ебанутые? Это же знания уровня б будут.
А, ты хотел ПОБЫСТРЕЙ И ПОПРОЩЕ. Ну что ж ты сразу не сказал, тогда вот вариант для тебя:
Самое главное эльфийский выучить.
У тебя отсутствует логика напрочь. Задача становится абсурдной.
Короче IT соснуло с проглотом. Парсеры они пишут вообще охуеть.
Бро, на чирио и фантомджс ты еще тут?
Поясни свою позицию.
Блядь, скоро цыгане на рынке будут разводить доверчивых прохожих и впаривать им ненужные IT-решения
Yes, shko op տղամարդ, piztia, í harlot dull, sapor
toi
>Как можно полезно применить эти скиллы для себя например или продать?
>Сделай Х и Y, затем продай это
>У тебя отсутствует логика.
Впрочем, можешь не пояснять. Пошел ты нахуй. Развелось блять нытиков, Хочу зарабатывать, но делать нихуя не буду, ибо сложно, долго, затратно
Поссал на тебя.
и да, я подгорел с твоей тупости
Это уже зависит от твоих скиллов. Но раз ты так предположил, то их у тебя нет.
Парсинг нужен при больших объемах информации. Расценки на программинг на сайте ООО Рога и Копыта - это не большой объем информации. Парсер всегда заточен под конкретную структуру данных. Нельзя написать универсальный сразу под все сайты. В итоге ты предлагаешь применять парсинг там где он не нужен. Проще посадить макаку которая по базе из 2gis проверит все сайты контор и раскидает их ценники в табличку csv/xls
>Как можно применить эти скиллы?
>Сделай бочку
>У тебя отсутствует логика
>Можешь не пояснять пошел нахуй нытик
Нет, не зависит
>
> >Как можно применить эти скиллы?
> >Сделай бочку
> >У тебя отсутствует логика
> >Можешь не пояснять пошел нахуй нытик
> У МИНЯ БАМБИТ!!!
> У МИНЯ БАМБИТ!!!
Бамп годному треду
Мам, я парсить умею маам почему никто не предлагает мне работу за млн $, я же парсить умею! Нахуй иди, кретин.
Лучше уметь в парсниг, чем не уметь и завидовать на двачах тем, кто умеет. И да, работа мне не нужна, интересуют идеи двачат, как можно применить это. Так что нахуй иди, кретин.
>есть идея парсить горящие туры, но как и кому это продавать?
Еблан, зачем у школьника покупать парсер, который сломается после обновления сайта, если можно купить доступ к базе? Парсить он умеет, вообще охуеть.
Все умеют парсить, кретин. Но только тебе пришло в голову насобирать охуенных идей на млн $ на дваче.
ЛУЧШИ УМЕТЬ В ПАРСИН НО Я НЕ ЗНАЮ ЗАЧЕМ НО ЛУЧШЕ УМЕТЬ Я НЕ ПРИДУМАЛ ЗАЧЕМ ДВАААЧ ЗАЧЕМ НУЖНО ПАРСИТЬ????
>который сломается после обновления сайта
не сломается, сайт тут не причем. Формат в котором передаются данные не меняются 10 летия на сайтах туроператоров
>если можно купить доступ к базе
Доступ к базе получают только турагентства. И от того что у тебя есть доступ к базе, не значит что у тебя есть система оповещения о появлении дешевых туров например.
>школьник думает что все умеют парсить
ты наверно и сам умеешь, только вот еще никто не просил написать, поэтому опыта нет.
>Будь он даже с динамически подгружаемым контентом
Поподробнее. давно хочу написать граббер фоток с вк или инста, но нихрена не понимаю как обойти динамику?
припекло? Таблеточки прими
Парсинг это очень простая задача, особенно сегодня, особенно регэкспами и прочими примитивными инструментами. Реализация в правильном месте оказывается главным вопросом.
Есть, например airdates.tv - чувак парсит регэкспами википедию под конкретные, реально востребованные задачи. И ему норм. Здесь видно, что востребована некоторая инфа, которую уже можно найти в более-менее организованом виде.
Встаёшь из-за компа, берёшь ручку и бумажку. Придумываешь 100 инфы, которую хотелось бы иметь в организованном и читаемом виде. Придумываешь 100 источников данных, которые можно парсить с разумными усилиями. Если нет пересечений в списке, то придумываешь ещё 100. Не можешь придумать? Значит не хватает ума\эрудиции\серьёзного отношения к делу. Задавай вопросы на мейл.ру, яху ансверс, стак оверфлоу. У знакомых, друзей, двачика. На специализированных форумах (не кодерских). Глядишь - за тебя всё придумают.
Есть, например airdates.tv - чувак парсит регэкспами википедию под конкретные, реально востребованные задачи. И ему норм. Здесь видно, что востребована некоторая инфа, которую уже можно найти в более-менее организованом виде.
Встаёшь из-за компа, берёшь ручку и бумажку. Придумываешь 100 инфы, которую хотелось бы иметь в организованном и читаемом виде. Придумываешь 100 источников данных, которые можно парсить с разумными усилиями. Если нет пересечений в списке, то придумываешь ещё 100. Не можешь придумать? Значит не хватает ума\эрудиции\серьёзного отношения к делу. Задавай вопросы на мейл.ру, яху ансверс, стак оверфлоу. У знакомых, друзей, двачика. На специализированных форумах (не кодерских). Глядишь - за тебя всё придумают.
гугли phantomjs например
> У знакомых, друзей, двачика
Друзья омежки-биороботы. А вот у двачика я и поинтересовался
>phantomjs
Ну, меня сам механизм интересует, т.к. хочу сделать на питоне.
Алсо, ОП мог бы бота для али написать - там бывают распродажи с 90% скидкой, но сильно ограниченным количесвтом.
Я умею в 2 млн рублей в год не ходя в офис каждый будний день. И парсинг один из многих скиллов. Причем малозначительный.
А то что любой школьник, изучивший js и DOM, может в парсинг это ты верно подметил.
Сам механизм - нужен браузер кароче. Без него никак.
Там есть раздел специальный для этого http://group.aliexpress.com/ruNew.htm?tracelog=rugroupbuyyt01
Алсо есть агрегатор, который гребет скидки со всех китайских площадок.
>Алсо, ОП мог бы бота для али написать - там бывают распродажи с 90% скидкой, но сильно ограниченным количесвтом.
А вот тут подробней, я покупал пару раз на АЛИ но охуенных скидок 90% как то не встречал. Думаешь бота будуту покупать такого? Алсо тут говорили что для али есть апи, так что нахуй парсер нужен?
>А то что любой школьник, изучивший js и DOM, может в парсинг это ты верно подметил.
Парсинг парсингу рознь, ну попробуй например парсера ленты новостей вк написать.
А что за агрегатор? Нахуй тогда бот для али нужен если уже есть агрегатор?
Для этого есть API. Вот с ним уже посложнее дела у школьников. Не хватает понимания. Похоже, и у тебя проблемы с этим, раз ты новости ПАРСИТЬ собрался.
170к дерева в месяц. Ну охуеть ты теперь богач.
Дело не в апи. Ты же заявляешь что любой школьник умеет в парсинг. Давай запили парсер сайта на angular. посмотрим как ты обосрешься
Так хватит сидеть на параше ето я про святую троицу: двач, вк, ютуб и прогуляйся уже по интернетам. Погромисты мля. Сайты тут делают, пасеры, млин)))
>Любой школьник умеет парсить
>Ну попробуй спарсить X
>Но ведь у X же есть АПИ
покормил школьника
Да иди ты на хуй, ОП. Продать он, ссука, хочет. Нет чтобы для людей что-то запилить, для двачика того же. Русский оверчан 2.0 какой-нибудь. Нет, ссука, он хочет кому-то горящие пердаки туры впаривать. Sage во все поля.
Школьник не видит разницы между парсингом и АПИ
>Нет чтобы для людей что-то запилить, для двачика того же
Например? Все уже запилено же
Школьник не умеет в API, поэтому парсит.
Блять апи есть далеко не у всех сайтов дебил, апи это самое простое что может быть
Ага. Не умею в API буду кукарекать что это легко, поэтому нинужна, в отличии от парсинга. Кек. Ну и дебил.
>А вот тут подробней, я покупал пару раз на АЛИ но охуенных скидок 90% как то не встречал.
Во-первых в горящих товарах периодически появляются 90% скидки. Во-вторых, есть всевозможные распродаже тоже с огромными скидкам. Без бота ни то, ни другое купить нереально, т.к. все раскупается мгновенно ботами других. Купят ли такого бота? ХЗ, но можешь продавать возможность что-то купить с такой скидкой. Т.е., клиент платит 10% от цены за сам товар и тебе, скажем, 5%.
Запили бота который раз в час выбирает самый популярный тред с рандомной доски и постит в группу вк, ну тип топовые треды харкача))) мне начало казаться это слишком раково и я не стал афишировать группу.
не оп
Съеби с моих двачей толстяк
Слив защитан, школьник.
Тут вопрос покупки товара тогда встает. Написать бота который не только вычисляет товар но еще и покупает его достаточно сложно. Если он оплачивает с какого-то внутреннего счета сайта, то это одно. Но бот который проходит через процессинг банка вводит капчу и смс какую-нибудь - это уже что-то фантастическое
Кстати это довольно легко
Ну пиздец, теперь каждый школьник, прочитавший два абзаца про nokogiri, мнит себя первооткрывателем золотой жилы.
Ты еще тут, неумеющий в программинг?
Вычленять данные из уже готовой html странички любой школьник сможет. ибо библиотек для этого как говна. ОП-пост о другом
Ну постинг пикчи в вк достаточно ебонуто делается через api, плюс нужно оп-пост очистить от разметки.
>a Ruby
А вот и говноеды подтянулись.
О чем? Вычленять данные из RSS может быть? Или строить какие нибудь графики готовой рисовалкой на jQuery? Удиви меня.
Похаперебенок подпалился.
>ебонуто делается через ap
Нормально делается Главное чтобы пикча была адекватных размеров. От разметки вообще пиздетс как легко чистить - preg_replace (все что не кириллица и не знаки препинания)
Сорт говна уровня руби.
гоу на Upwork фрилансить. Постоянно кому-то нужны парсеры. И сложные и простые. Раньше занимался этим. Потом начал писать проги посложнее. Брал за работу от $20. З такими работами не шиковал конечно. Чисто за еду работал.
Можешь пример привести работы за которую дают $100 хотя бы?
Если за 3 часа нельзя сделать $100 то это реально хуйня какая-то за еду.
И как бабки выводить с этого апворка? Баксы же через финмониторинг проходят
>2015
>плавать в луже си
Во-первых кроулер, или парсер всех урлов по маске. Во-вторых как ты динамический контент выдернешь?
Спарсить страницу новостей в вк, несмотря на то что для этого есть API.
К размерам там вроде вообще нет ограничений, ну покрайне мере в доках не указаны и я не сталкивался с этой проблемой, там суть в ебонутых методах.
>От разметки вообще пиздетс как легко чистить
>все что не кириллица и не знаки препинания
Ну вот такие дауны и парсят даже кода есть api/
>2015
>говно слышало только о двух языках программирования
ебану тебе саги, придурок. парсить у него есть возможность. что еще спизданешь?
Очень зависит от работодателя. Разброс может быть в 5 раз. Пример работы - залогиниться на сайт автозапчастей и мультипоточно парсить 100,000 страничек с динамическими ajax подзапросами.
Фейсбук, ибей, амазон парсить. В общем я бы сказал зарплата зависит больше от работодателя чем от задания.
>Ну вот такие дауны и парсят даже кода есть api
Если есть апи то заебись и лучше через апи, если позволяет конечно, причем тут парсинг?
>Кроулер по маске
Любая пыхопыподобная залупа способна на это.
>Динамический контент
Что ты подразумеваешь под динамическим контентом? Аякс? Урл легко находится в сырце страницы или смотрится в запросах браузера. Аякс на страничке, которая генерируется после авторизации? Делаем пост запрос и находим урл той же nokogiri.
и еще подкину
Забыл. С upwork выводил через payoneer, около 10-20% потери на выводе. При снятии с payoneer карты в местном банкомате финмониторинг не видит. Минус - потери на выводе.
А про бабки что скажешь? Ну вот выполнил задание, работодатель как оплачивать будет? И куда? Можно ли ему счет выставлять от ИП?
Сделаю качественно, быстро, за отзыв
и тебе саги, в гугле забанили что ли?
А есть возможность все в белую делать? Если да то как? Заплатить 6% не проблема вообще. УЖ всяко лучше чем 20%
забыл
на пике же собственность компании, оральце тебя не простит
Если ты серьезно - напишу тебе отзыв просто 10 из 10.
Скорей всего да. Сам не в курсе. Гугли. По odesk, upwork много инфы.
ебанутые блять, парсеры они пишут. нет бы чем-нибудь нормальным заняться, нет, хочу жрать говно и писать парсеры для ебанутых заказчиков. чтоб вас всех наебали
са-жи
са-жи
На самом деле я сейчас в стадии познавания и мне жутко интересно сделать что нибудь полезное (а не решать высосанные задачи из пальца впустую). Был бы ты моим другом, например, я бы потратил на твою задачу свои скучные вечера за пару кружек пива в пятницу. И деньги стесняюсь брать, таки да.
>Любая пыхопыподобная залупа способна на это.
Не любая, средний пхпер даже не знает что такое cURL например. Более того такой парсинг с 100500 запросами в секунду спалит любой более-менее добротно сделанный сайт и забанит нахуй.
>Что ты подразумеваешь под динамическим контентом? Аякс?
нет, пост запрос может сделать любая php-залупа как ты говоришь. Я говорю об Angular например. Да и через ajax ты тоже не всегда вытенешь ибо сервер-сайд скрипт легко пошлет тебя нахуй когда увидит что реквест идет не с локалхоста
>когда увидит что реквест идет не с локалхоста
ну или когда проверочный хеш-код не совпадет
ты говно которое кудахтает и ничего не предлагает
>Angular
Selenium. Алсо, все, что приходит клиенту с сервера, запрашивается запросом, и из запроса можно вручную выдрать соответствующий урл и скриптом получать данные по этому урлу (сэмулировать последовательность запросов при необходимости). С вебсокетами ненамного сложнее. Все остальное, что генерируется на клиенте, генерируется джаваскриптом из существующих или получаемых по запросу (см. выше) данных. Библиотеки исполнения джаваскрипта на сервере уже давно существуют.
Не впечатлил, в общем.
Занимался подобной хуетой.
CURL + wget + explode() + SQL
Самое сложное полностью эмулировать клиент.
Тянул разное, одно время даже веб-приложение разрабатывал, которое парсит недвигу, заливает к нам в общую б.д. и объявления, контор, которые заказывали у нас продвижение, выкладывали на все сайты.
>парсить данные
чё это?
>Самое сложное полностью эмулировать клиент.
Серьезно? В 2015 говорят изобрели Selenium WebDriver.
В 2015 безголовые браузеры это норма. Курлы все эти уже устарели.
Сразу видно что ты не имел дело с этим
Посмотрел бы для начала что такое Angualr и как работает технология. Там ты не увидишь привычных тебе $.ajax()
Нормальная тема, спасибо
Не имел, но здравый смысл мне подсказывает, что нельзя передать клиенту в браузер web-страничку, минуя http(s) или websocket. А джаваскрипт в браузере опять же эмулируется тем же Selenium.
Таки впечатлиш меня реальной задачей, а не рассуждениями на тему плоскости в пифагоровой вселенной?
Знакомый вот там обе машины себе покупал. Накатал парсер на православном питоне, который слал ему sms при появлении стоящего объявления.
Можно аналогично, думаю, парсить какой-нить железач для печек и потом перепродавать. Но сам-то я нихуя не рисковый, мне и просто кодить пока хватает. Вот.
Хз, что это?
Палю сервис который мне бы и еще паре ебанутых журналистов пригодился
Новости, которые заминают
Парсишь новости за неделю с главных порталов новостных и начинаешь смотреть о чем резко перестают пиздеть
Ещё я весь прошлый год мимимикал с риа новостей где к новостям о донбассе приладывали "вводную" состоящую из болтовни от "в апреле недовольные колхозники самопровозгласились .... " до "в апреле ЖИТЕЛИ ВЫРАЗИЛИ СВОЮ УБЕЖДЁННОСТЬ В ПРИВЕРЖЕННОСТИ РОССИИ, РУСЬКОМУ ДУХУ, ОТСТАИВАЮТ ПРАВО БЫТЬ ЧАСТЬЮ РОССИИ!!!!"
Хотел даже сделать сайтец типа riadonbasspobedametr
Новости, которые заминают
Парсишь новости за неделю с главных порталов новостных и начинаешь смотреть о чем резко перестают пиздеть
Ещё я весь прошлый год мимимикал с риа новостей где к новостям о донбассе приладывали "вводную" состоящую из болтовни от "в апреле недовольные колхозники самопровозгласились .... " до "в апреле ЖИТЕЛИ ВЫРАЗИЛИ СВОЮ УБЕЖДЁННОСТЬ В ПРИВЕРЖЕННОСТИ РОССИИ, РУСЬКОМУ ДУХУ, ОТСТАИВАЮТ ПРАВО БЫТЬ ЧАСТЬЮ РОССИИ!!!!"
Хотел даже сделать сайтец типа riadonbasspobedametr
> с любого сайта
с флеша спарси мне, олень
тут
>2015
>flash
изи
>с любого
Те проекты что были в реальных задачах показать не могу ибо деанон. А других что-то нагуглить не получается. Вобещм суть такая: если ты запустишь отладчик хрома и на сайте, с использованием angular js будешь осуществлять какие-либо действия подгружающие контент, то в отладчике ты не увидишь никаких post-get реквестов. Если откроешь исходный код то не увидешь контента, вместо этого увидишь что-нибудь типа {{imageHere}}. Вот как-то так. Надеюсь понятно объяснил?
> Приветствуется умение кроссбраузерной верстки (Edge, Opera 29+, Mosaic)
Там это где? На авито?
ОП подскажи, мне вот надо парсить рекламу с сайтов как декстоп, так и мобайл, соответственно все это дело сохранять в базу данных в том числе и скачивать баннеры, чтобы сайты думали, что я дейстивтельно юзер, а не парсер от школьника и плюс ко всему, чтобы работал через впн. Сделать такой парсер возможно или нужно под каждый сайт пилить свой скрипт?
Два чаю, сударю.
Нет запросов, данные ходят в websocket-коннекте. Изучаем, что браузер пишет в вебсокет, и что на это получает, делаем тоже самое из скриптоязыка.
пиздец достижение
база адблока тебе в помощь
Кстати слушай Хочу подобное сделать - но смс отправлять дорого нахуй это надо. А вот пушап-уведомление на мой ведроид было бы заебись.
Сейчас в голове такая схема выстроилась. Мой бот парсит например авито раз в 5 минут по определенным запросам и складывает стоящие предложения в табличку на сервере. Потом раз в 10 минут мое приложение на телефоне делает запрос на сервер, скрипт на сервере обрабатывает запрос и если что-то появилось новенькое - возвращает краткий текст объяв. И тут же приложение в телефоне мне алармирует что появились объявы. Я мыслю в правильном направлении? Можно ли такое приложение написать? ПРоблема в том что я ни разу под телефоны не писал нативных приложений
Пишешь костяк, затем к нему правила/модули для каждого сайта. Я так новости парсю, для каждого сайта свой набор селекторов, по которым скрипт узнает, откуда брать дату, откуда ссылку, откуда текст новости и т.д.
и можно ли сделать наоборот? Чтобы сервер сразу слал на телефон сообщение как только что-то появится, а не делать так чтобы телефон опрашивал сервер каждые 10 минут
Эу, программисты
я ж идейку подкинул, чагой-та никто и не комментирует?
я ж идейку подкинул, чагой-та никто и не комментирует?
Охуеничк! Анон! Добра тебе, классная идея, буду думать на эту тему.
Тебе смешно, а многие долбоебы на IE6 до сих пор сидят. рот их ебал
Дропнул все что ниже IE9. Ебал лапшу. Ебал ТЗ. ПИШУ КАК ХОЧУ.
>riadonbasspobedametr
Слушай а нахуй так узко? Может сделать график трендов лучше? Ну типа проводить не только анализ новостей но и анализ твитов хуитов и гугл трендсы
Я чисто по предисловию этому, какими сегодня угодно Главному видеть донбасских пацанов. Ну и потому что меня с русской ПОБЕДЫ пробирает на ржач не меньше чем с хохловской ПЭРЭМОГИ
Так-то да, транжировать можно куда-угодно, если угодно
:-* удачи, надеюсь у тебя всё получится.
>Изучаем, что браузер пишет в вебсокет
Во-первых я понял что теперь ты меня начал понимать это гуд.
Во-вторых каким образом отследить что пишет в вебсокет? wireshark?
В-третьих. Я надеюсь ты уже понял что не любая пхп макака способна на такое?
А нахуй ты новости парсишь или сИкрет?
>раз в 10 минут мое приложение на телефоне делает запрос на сервер
Чем тебя электронная почта не устраивает? да и смс можно нахаляву слать через гугл.
Сделать можно, для этого нужно чтобы парсер понимал где баннеры. То есть должен быть какой-то критерий оценки - баннер перед тобой или нет. Во-вторых странная задача какая-то. Тебе это надо для чего? Обалата за просмотр рекламы?
>да и смс можно нахаляву слать через гугл.
Вот это не знал спасибо!
>Чем тебя электронная почта не устраивает?
Чтобы не открывать телефон каждый раз когда мне новая почта приходит. Мне нужно по звуку определять что пришли новые объявления стоящие а не почта.
Можно, электронная почта называется ну или какой нибудь жабер/телеграм с api.
А приложение "электронная почта" на ведроиде разве не опрашивает почтовый сервер каждые N секунд/минут?
Бамп
Опрашивает, но тебе не нужно будет городить велосипедов.
А звук на входящую почту, ты не можешь поставить?
>Во-вторых каким образом отследить что пишет в вебсокет?
CTRL+SHIFT+I не выходя из оперы, например
Ну хуй знает, я считал, что любой веб-разработчик так или иначе прошел фазу ручного анализа трафика в/из браузера. Это же дико интересно (я таким образом заимствовал некоторые методы работы вконташи).
>А звук на входящую почту, ты не можешь поставить?
Сорри я не слежу за технологиями. А что можно сделать разный звук для разных отправителей? Если да то добра тебе. Ну у меня сейчас вот приходит почта и издается тихий звук стандартный и светодиодик горит. А я бы хотел совершенно четко узнавать что пришли объявления. А еще желательно чтобы эти объявления были в опласти уведомлений (ну знаешь когда приложение обновилось какое-нибудь). Или после разблокировки экрана я сразу видел popup-окно или как это называется там у вас
php-залупа !== веб-разработчик
Чтобы оставаться в тренде по своей профессиональной деятельности, при этом не шляться по десяткам говен с вырвиглазными дизайнами.
Сколько возьмешь за базу кинопоиска?
Анон извини, конечно Но тыкни меня носом где там посмотреть вебсокет в опере. Скрин если можно. Пока ничего не вижу такого чтобы отличало оперовский отладчик от аналогичного в лисе или хроме
Для этого же есть rss? Ну или любой новостной ресурс + adblock
Алсо ты журналист?
На скрине аяксовые запросы с кодами 200. У вебсокета будет код 100.
Половина харкача быдлокодеры на пхп, можешь им продать.
Вот этому дебилу продай.
Товар отслеживается заранее еще до начала распродажи - их обычно объявляют за какой-то срок. Остается только сделать ввод капчи. Оплату можно совершить в течение суток.
Купи парсер! Купи парсер, сука!
Не везде есть rss, ну и мне показалось удобным чистенький списочек - сразу видны тренды, очень наглядно. Нет, не журналист (отдел сми кстати интересовался этим, но то ли забыли, то ли постеснялись).
Нахуя? Я сам себе напишу.
Нужно оценить сложность. Черкани фейкомыльце, думаю 1к баксов примерно.
Кроме ПХП слышал что-нибудь про OCR, а слышал что-нибудь про мобильные приложения?
Ебать ты дебил. 200 это код ответа http сервера
>думаю 1к баксов примерно
Там охуенно хитроумная защита от парсинга. Почту не оставлю, потому что все равно хуй что у тебя закажу.
>Остается только сделать ввод капчи
> То есть должен быть какой-то критерий оценки - баннер перед тобой или нет
Для определения где баннер, думал использовать домены рекламных сетей, соответственно их домен есть в рекламной ссылке и крупных рекламных сеток не так много, но есть проблема ссылки подгружаются яваскрптом, т.е. в html коде их нет.
> Во-вторых странная задача какая-то. Тебе это надо для чего? Обалата за просмотр рекламы?
Нужно иммено для создания, обновления базы данных баннеров и отслеживания, как, где, и склько откручиваются.
Ольгинский бот? Вариантов других нет же
Ебать, ты - дебил. 200 это код ответа HTTP-сервера.
>Там охуенно хитроумная защита от парсинга.
Кароче понятно. Ты сам пишешь и наебался. Спасибо за совет. Поищю покупателей.
Не понимаю о чем ты, няша. Инфобезопасность вообще-то ололо диванон
>Нужно иммено для создания, обновления базы данных баннеров и отслеживания, как, где, и склько откручиваются
Блять загадками какими-то говоришь. Анализ рекламы конкурентов или что?
>чух-пух, я думаю что осилил nodejizz
ну так пиздуй работай в офис, 150к, вакансий полно
ну или дома фрилансь, но я хз как у тебя с английским.
странные вопросы у тебя вообще, подозреваю что ты просто очередной фантазёр-долбоёб.
> Блять загадками какими-то говоришь. Анализ рекламы конкурентов или что?
Точно
А причем тут английский и нодежс? Умные слова выучил?
Оп, парсер пишется за 500р студентом.
Это как написать:
>имеется возможность ходить и читать по русски. Куда применить эти скиллы, как заработать?
А ты собрался фрилансить на пидорашек? удачи
рекламные сети типа яндекса покзывают рекламу не абы кому а таргетированно. МОжно взять бота с чистыми куками, но тогда яндекс может не показать рекламу конкурента боту вообще, потому что конкуренты могли настроить рекламу так чтобы показывать свои сковородки только тем кто ищет сковородки.
А как фрилансить не на пидорашек? Всю жизнь на них пидорасил. Научи епта
потому что фрилинсить на пидорахию может догадаться только последний дибил, типа тебя.
забыл обьяснить степень ненужности парсерошкольников. тулзы, позволяющие безмозглому заказчику тупо накликать на странице нужные поля и всё, ты видел их?
например: https://www.youtube.com/watch?v=y00t5NpW7pY
они существуют как минимум с шестого года, с 2006ого ГОДА, КАРЛ!
Покупать не будут. Заработок на рекламе себе на интернет и пиво.
Не, меня только буржуйский интернет и баннеры интересуют и к тому же обычная реклама, а не контекстная.
если ты найдешь даже самого голодного школьника он не сможет физически распарсить тебе пару тысяч страниц за пару дней
Бамп
Бамп
Бампецкий
Бамп
продай мне? а что такое парсить, кстати?
>парсить данные с любого сайта
У меня такие быстро всей подсетью в бан летят.
Какие? Обычные юзеры которые заходят и просматривают страницы подряд? Как ты их отсеиваешь?
А деньги у тебя есть?
