Ссылка на оригинальную статью - https://vc.ru/dev/496144-20-mln-rublei-v-god-na-parsinge-saitov
3. Что такое аналитика? Мало собрать данные, с ними надо уметь работать. Например, сервисы, которые занимаются аналитикой маркетплейсов. Эти команды парсят данные и сразу их обрабатывают в удобном для использования виде. Как упоминал ранее, мы попробовали и не справились. Почему? Нужно очень хорошо знать предметную область, чтобы сделать качественную аналитику. Мы же парсим все, что “шевелится”: ) и далее наши клиенты сами работают с этими данными.
4. Что клиенты делают с данными? Анализируют, но как — мы не знаем. Наша задача обеспечить поставку на ежедневной основе полных данных. Знаю, что часть клиентов загружают данные в 1С для удобства работы менеджеров, кто-то работает с PowerBI/Google BigQuery, а кто-то просто предпочитает Excel и открывать файлы по протоколу WebDav (у вас файлы будут доступны в проводнике Windows, как будто они находятся локально).
5. Что вы парсите? Все то, что в открытом доступе и доступно к сбору руками человека. Например: цены на товары, наличие по магазинам и т. п. Мы не занимаемся парсингом сайтов, где требуется указать логин- пароль (или эти данные должен предоставить сам клиент, понимая, что риски на блокировку полностью на его стороне, но стараемся отговаривать от таких решений).
4. Что клиенты делают с данными? Анализируют, но как — мы не знаем. Наша задача обеспечить поставку на ежедневной основе полных данных. Знаю, что часть клиентов загружают данные в 1С для удобства работы менеджеров, кто-то работает с PowerBI/Google BigQuery, а кто-то просто предпочитает Excel и открывать файлы по протоколу WebDav (у вас файлы будут доступны в проводнике Windows, как будто они находятся локально).
5. Что вы парсите? Все то, что в открытом доступе и доступно к сбору руками человека. Например: цены на товары, наличие по магазинам и т. п. Мы не занимаемся парсингом сайтов, где требуется указать логин- пароль (или эти данные должен предоставить сам клиент, понимая, что риски на блокировку полностью на его стороне, но стараемся отговаривать от таких решений).
6. Какой средний чек в этом бизнесе? С некоторой погрешностью можно назвать сумму 15 000 руб. в месяц. Но учитывая, что это бизнес больше проектный, чем продуктовый, разброс цен может быть большой. У нас есть клиенты, которые платят 400 000 р. в месяц за большой набор данных, а есть совсем “малыши” с чеком 5 000 р. в месяц.
7. В чем плюсы и минусы этого бизнеса? 80% клиентов ожидают регулярные данные (ежедневно, еженедельно), что позволяет применять подписную модель (иными словами — регулярные платежи). Минус в большой конкуренции и низкой стоимости входа.
8. Этот бизнес масштабируем? Да, но не так просто, как хотелось бы. Любой новый клиент (если он крупный), требует усиление команды разработчиков.
7. В чем плюсы и минусы этого бизнеса? 80% клиентов ожидают регулярные данные (ежедневно, еженедельно), что позволяет применять подписную модель (иными словами — регулярные платежи). Минус в большой конкуренции и низкой стоимости входа.
8. Этот бизнес масштабируем? Да, но не так просто, как хотелось бы. Любой новый клиент (если он крупный), требует усиление команды разработчиков.
9. Сколько у вас сейчас персонала? 5 разработчиков full time в штате и команда поддержки (сотрудники, которые занимаются ежедневным тестированием результатов суточного парсинга). У нас очень молодая команда, ребята учатся (магистратура, бакалавриат) и им очень интересно заниматься парсингом, особенно если этому противодействуют.
10. Почему вы занялись этим бизнесом? Совершенно случайно. Нас попросили собрать цены с Леруа Мерлен. Попробовали, получилось ну и закрутилось: ).
10. Почему вы занялись этим бизнесом? Совершенно случайно. Нас попросили собрать цены с Леруа Мерлен. Попробовали, получилось ну и закрутилось: ).
12. Как клиенты получают данные? После многих экспериментов, мы остановились на частном облаке на базе NextCloud и я могу смело его рекомендовать. Удивительно устойчивое и бесплатное решение, регулярно обновляется, есть документированное API. Мы ежедневно выгружаем огромный объем данных на это облако в виде файлов, а клиенты забирают информацию удобным способом: API, WebDav, браузер. Звучит не так уж сложно, но как показал опыт — работает.
13. Сколько у вас серверов задействовано? Недавно заказали 6-й. Ранее мы парсили с VPS/VDS, но оказалось, что экономически целесообразнее парсить с помощью bare metal серверов (иными словами “железные” выделенные сервера), которые мы арендуем в нескольких ДЦ. В месяц серверам нам обходятся в ~70 000 руб. и сейчас, к сожалению, сильно подорожала аренда. Перед арендой мы рассказываем хостеру (ДЦ) в чем суть нашего бизнеса, как мы работаем и т. п. Очень редко (может быть раз в год) поступают жалобы на работу наших парсеров хостеру, но всегда вопросы урегулируем.
14. Насколько этот бизнес устойчив к санкциям? Мы, откровенно говоря, ничего не заметили. 100% наших клиентов в СНГ (80% Россия, 20% Казахстан, Беларусь и т. п.). Разве что пришлось открыть еще один расчетный счет помимо Альфа-Банка (клиенты из Казахстана не могли оплачивать).
15. Какие типы сайтов вы парсите? Любые, где есть открытые данные. Подчеркну — парсинг фактически означает автоматизацию того, что может сделать руками человек. Чаще всего (90%) просят парсить Интернет-магазины, которые относятся к категории ТОП 100.
14. Насколько этот бизнес устойчив к санкциям? Мы, откровенно говоря, ничего не заметили. 100% наших клиентов в СНГ (80% Россия, 20% Казахстан, Беларусь и т. п.). Разве что пришлось открыть еще один расчетный счет помимо Альфа-Банка (клиенты из Казахстана не могли оплачивать).
15. Какие типы сайтов вы парсите? Любые, где есть открытые данные. Подчеркну — парсинг фактически означает автоматизацию того, что может сделать руками человек. Чаще всего (90%) просят парсить Интернет-магазины, которые относятся к категории ТОП 100.
16. Были судебные угрозы? Пару раз мы получали предупреждающие письма от компаний, которые находили у нас примеры парсинга их сайтов. Последний раз я получил письмо от CEO Aviasales, который угрожал судом и жесткой расправой, хотя по факту мы их не парсили на момент обращения.
18. Парсить этично? Сложный вопрос, полагаю что да. Вообще мне кажется, что бизнес должны работать в правовом поле, а не рассматривать свое существование как этичное или нет. Вопрос философский, но обсуждаемый, т. к. парсинг зачастую вызывает негативные эмоции. Никто не любит, если их парсят. Но я сотрудникам всегда говорю — при общении с новым клиентом, если мы вдруг парсим его сайт, обязательно расскажите про это.
19. Парсить законно? Да, если вы соблюдаете некоторые моменты. Я не буду приводить развернутую юридическую оценку нашего бизнеса, но если говорить коротко — то любая общедоступная информация может собираться, если это не наносит вред источнику и не нарушает прав. Канцелярским языком это звучит следующим образом:
Организация вправе осуществлять автоматизированный сбор информации (парсинг сайтов), размещенной в открытом доступе на сайтах в сети интернет если соблюдаются следующие условия:
Информация находится в открытом доступе и не защищается законодательством об авторских и смежных правах.
Автоматизированный сбор осуществляется законными способами.
Автоматизированный сбор информации не приводит к нарушению в работе сайтов в сети интернет.
Автоматизированный сбор информации не приводит к ограничению конкуренции.
19. Парсить законно? Да, если вы соблюдаете некоторые моменты. Я не буду приводить развернутую юридическую оценку нашего бизнеса, но если говорить коротко — то любая общедоступная информация может собираться, если это не наносит вред источнику и не нарушает прав. Канцелярским языком это звучит следующим образом:
Организация вправе осуществлять автоматизированный сбор информации (парсинг сайтов), размещенной в открытом доступе на сайтах в сети интернет если соблюдаются следующие условия:
Информация находится в открытом доступе и не защищается законодательством об авторских и смежных правах.
Автоматизированный сбор осуществляется законными способами.
Автоматизированный сбор информации не приводит к нарушению в работе сайтов в сети интернет.
Автоматизированный сбор информации не приводит к ограничению конкуренции.
Вот жто пример бизнеса, который осилит даже двачер. Если найдёт клиентов.
21. Я написал в оферте на моем сайте, что запрещаю парсинг! Простите, но это никого не интересует и вашу оферту никто читать не будет.
22. Усложняю вам парсинг — цену выведу картинкой! Хоть звучит смешно, но встречали и такое на ряде сайтов. Пожалуйста, не тратьте свое время — библиотеки распознавания изображений работают великолепно. Вы же не будете цены на ваши товары выводить следующим образом:
22. Усложняю вам парсинг — цену выведу картинкой! Хоть звучит смешно, но встречали и такое на ряде сайтов. Пожалуйста, не тратьте свое время — библиотеки распознавания изображений работают великолепно. Вы же не будете цены на ваши товары выводить следующим образом:
23. Я тогда ограничу количество запросов, а потом попрошу решить капчу (captcha) и это усложнит вам работу сильно! Есть очень дешевые сервисы ручного решения капчи. Упрощенно говоря, когда наши роботы встречают капчу, по API мы подключаем этот сервис, которые перекидывает задачу оператору для ручного решения. В месяц мы тратим порядка 4 000 р. на оплачу этих сервисов.
24. Вы сильно нагружаете сайты, которые парсите? Нет. Никто не хочет сделать так, чтобы владельцы сайта, раздраженные мощной, паразитной нагрузкой от парсеров, стали внедрять механизмы защиты, которые просто усложняют нам «жизнь”. Если говорить про абсолютные цифры, то нормальным считаем парсинг данных с карточки одного товара в 3-4 секунды. К сожалению, не все придерживаются такой парадигмы и ко мне лично обращались владельцы сайтов, которые уточняли не мы ли их парсим, т. к. нагрузка была запредельной. Чаще всего причина в »кривых руках” разработчиков.
24. Вы сильно нагружаете сайты, которые парсите? Нет. Никто не хочет сделать так, чтобы владельцы сайта, раздраженные мощной, паразитной нагрузкой от парсеров, стали внедрять механизмы защиты, которые просто усложняют нам «жизнь”. Если говорить про абсолютные цифры, то нормальным считаем парсинг данных с карточки одного товара в 3-4 секунды. К сожалению, не все придерживаются такой парадигмы и ко мне лично обращались владельцы сайтов, которые уточняли не мы ли их парсим, т. к. нагрузка была запредельной. Чаще всего причина в »кривых руках” разработчиков.
27. Можно ли защититься от парсинга? Нет, но можно усложнить парсинг до такой степени, что мы начнем отказывать клиентам, т. к. для клиента это будет экономически невыгодно оплачивать нашу исследовательскую работу по обходу защиты. Все что доступно без пароля в сети Интернет так или иначе может быть собрано автоматизированным способом.
29. У кого самая сложная защита? АВИТО. У них достаточно ресурсов, чтобы заниматься этим вопросом на очень высоком уровне. Причем, как я думаю, в основном компании защищаются не от самого парсинга, а от DDOS — атак, а парсинг, образно говоря, попадает “под раздачу” защитными фильтрами.
29. У кого самая сложная защита? АВИТО. У них достаточно ресурсов, чтобы заниматься этим вопросом на очень высоком уровне. Причем, как я думаю, в основном компании защищаются не от самого парсинга, а от DDOS — атак, а парсинг, образно говоря, попадает “под раздачу” защитными фильтрами.
31. Много у вас конкурентов? Очень. Много фрилансеров-самозанятых, которые предлагают услуги парсинга значительно дешевле наших. Насколько мне известно, к ним обращаются за разовым услугами, т. к. если заниматься парсингом регулярно, должна уже быть команда специалистов в штате на поддержку.
>В 2022 году надеемся, что результат будет чуть лучше.
Интересно, как у них с результатом по итогу вышло. Надеюсь ничего не случилось.
32. Как вы обходите защиту? Прокси. Разные. Много. Смена fingerprint (цифровой отпечаток браузера). Плюс — опыт команды, который накопился за несколько лет. Чем сложнее защита, тем медленнее парсинг, т.к. нам приходится, например, решать капчу - а это время. Сайты на 5-6 запрос просят решить капчу, парсер ждет решения человеком, далее продолжает работу (меняя fingerprint), до следующего запроса на решение.
34. Как вы ищите клиентов? Тут мы не оригинальны и все клиенты приходят через сайт с помощью органического трафика (Яндекс и Google 50-50%). Мы пытались давать контекстную рекламу, но отдачу не увидели. Самое результативное, что догадались сделать — публиковать примеры (статичные) парсинга известных компаний на своем сайте с возможностью их скачать и изучить. Дальше люди просят данные уже в динамике и мы заключаем договор. Пример ниже, цифры по скачиванию честные. Сам сайт сделан на WordPress, ничего сложного.
34. Как вы ищите клиентов? Тут мы не оригинальны и все клиенты приходят через сайт с помощью органического трафика (Яндекс и Google 50-50%). Мы пытались давать контекстную рекламу, но отдачу не увидели. Самое результативное, что догадались сделать — публиковать примеры (статичные) парсинга известных компаний на своем сайте с возможностью их скачать и изучить. Дальше люди просят данные уже в динамике и мы заключаем договор. Пример ниже, цифры по скачиванию честные. Сам сайт сделан на WordPress, ничего сложного.
36. Какой запрос на парсинг самый частый? “Соберите мне, пожалуйста, контакты маркетологов фитнес-центров г. Казань”. Это не шутка, именно подобные запросы мы получаем чаще всего. Задача не имеет роботизированного решения, т. к. мы не работаем с персональными данными людей, которые еще и не хотят их делать публичными. Мы можем сделать, например, базу Интернет-магазинов косметики, с помощью анализа title/description сайтов в зоне. RU/. РФ и собрать публичные адреса электронной почты и телефоны. Но не решить задачу по сбору личных контактов ЛПР.
Какие еще интересные запросы вы получаете? Вот, пожалуйста. Задача тоже не имеет никакого решения.
“Здравствуйте, хотим получить базу стоматологических клиник. При возможности параметры: в городах больше 500,000. Более 4 кабинетов в клинике. Средний чек больше 7000. + Имейл и телефон ЛПР (рабочие, не пустые)”
Какие еще интересные запросы вы получаете? Вот, пожалуйста. Задача тоже не имеет никакого решения.
“Здравствуйте, хотим получить базу стоматологических клиник. При возможности параметры: в городах больше 500,000. Более 4 кабинетов в клинике. Средний чек больше 7000. + Имейл и телефон ЛПР (рабочие, не пустые)”
37. Как делают базы компаний? Создание баз компаний с открытыми данными — производная парсинга. Настраивают роботов, которые обходят все сайты в Рунете (где-то 6.5 млн.) и собирают общедоступные данные. Таким образом можно создать, например, Базу всех ресторанов и кафе, Базу оптовых компаний и т. п. В любом случае, обрабатываются только общедоступные, публичные корпоративные данные.
38. А вы делаете матчинг товаров? Нет. Может быть зря, но наша задача — поставлять данные регулярно, в запрашиваемом клиентом объеме. Признаю, что если сделать “шаг вперед” и заняться матчингом товаров между разными продавцами и продавать аналитическую отчетность, мы могли бы добиться больших результатов. Могу ошибаться, но именно этим занимаются наши конкуренты (или смежники, так лучше назвать) и финансовые результаты по выручке у них явно лучше (см. ниже). Что удерживает? Ресурсоемкость. Матчить (сопоставлять) между собой товары по названию между разными игроками на постоянно основе очень сложно. Мы пытались внедрять различные алгоритмы, которые частично автоматизируют этот процесс, но результаты были неудовлетворительные (попробуйте, например, сопоставить аптечные препараты с фасовкой-граммовкой-литражом).
39. Почему крупные компании заказывают парсинг на стороне, а не делают сами? Причины разные. Очень крупные, публичные компании, сталкиваются с рекомендациями своих юристов/СБ, чтобы никоем образом не быть самим вовлеченными в автоматизированном сборе данных (это не домыслы, а опыт общения). Другие компании не хотят заниматься наймом дополнительных разработчиков, управлять ими, тестировать результаты и т. п.
40. Компании вообще знают, что вы (или кто-то другой) их парсит? Часто новые клиенты спрашивают (в шутку или нет), а не парсим ли мы их случайно!? Наша позиция — мы честно отвечаем как есть. Только один раз, крупный клиент рассердился и сказал, что если мы хотим с ним работать, прекратить парсить его. В итоге мы с ним не работаем.
40. Компании вообще знают, что вы (или кто-то другой) их парсит? Часто новые клиенты спрашивают (в шутку или нет), а не парсим ли мы их случайно!? Наша позиция — мы честно отвечаем как есть. Только один раз, крупный клиент рассердился и сказал, что если мы хотим с ним работать, прекратить парсить его. В итоге мы с ним не работаем.
41. Вы храните данные исторические? Нет. Нам не "по карману" хранить историю ежедневного среза цен по всем магазинам. Звучит очень интересно, но нашими силами это не потянуть. Мы регулярно удаляем данные старше 7 дней.
42. Можете выйти на глобальные рынки? Боюсь что нет. Это больше проектная деятельность, чем продуктовая. Нужен менеджер по работе с клиентами с отличным английским, поддержка на этом языке и т.п. Но совершенно точно - можно работать на локальных рынках и зарабатывать, т.к. услуга востребованная. Чем больше информации, чем активнее идет цифровая трансформация (простите за этот изъезженный термин), тем больше востребованность превращения неструктурированных данных в структурированные!
42. Можете выйти на глобальные рынки? Боюсь что нет. Это больше проектная деятельность, чем продуктовая. Нужен менеджер по работе с клиентами с отличным английским, поддержка на этом языке и т.п. Но совершенно точно - можно работать на локальных рынках и зарабатывать, т.к. услуга востребованная. Чем больше информации, чем активнее идет цифровая трансформация (простите за этот изъезженный термин), тем больше востребованность превращения неструктурированных данных в структурированные!
Какие пруфы, что они не рисуют эти данные чатгопотой? Проверить результат заказчик не может, а при несоответствии просто спихиваем все на ограничения.
Мнение?
>Какие пруфы, что они не рисуют эти данные чатгопотой?
Статья была написана в 22, у них была деятельность ещё до этого момента, когда е1 просто не было.
Их ООО - "Мониторинг цен"
Сейчас выручка 96 миллионов
Анон, если ты захватишь всего 1% от этого бизнеса, то у тебя будет выручка в 900 тысяч рублей!
Хуйня какая-то для парсинга сайтов достаточно аренды нескольких виртуалок, десяток арендованных ip. Простой скрипт на питоне.
Вопрос в другом кто это покупает и главное зачем? Поскольку сам парсинг — ничего сложного.
Если кто-то эту хуйню покупает и потом обрабатывает, то что ему мешает самому парсить? Это делается повторюсь очень просто.
Вопрос в другом кто это покупает и главное зачем? Поскольку сам парсинг — ничего сложного.
Если кто-то эту хуйню покупает и потом обрабатывает, то что ему мешает самому парсить? Это делается повторюсь очень просто.
>Хуйня какая-то для парсинга сайтов достаточно аренды нескольких виртуалок
Ну то есть в статье пиздёж, и ООО не существует?
Ебло, первую версию гпт сделали в 18 году
Осталось найти тех кто будет платить тонны денег за xml
> Ну то есть в статье пиздёж, и ООО не существует?
Может и не пиздеж, но скорее всего это какая-то попильная история через которую кто-то получает откат из этой ооо-шки за воздух
>Может и не пиздеж, но скорее всего это какая-то попильная история
А ты не замечал, что у двачеров всё - попильная история, где есть деньги, и нет двачеров?
Онлифанс? Да они там бабки пилят, аноны, вы чего))) Не зарабатывает там никто.
Павел Дуров? Да он просто пилит бабки окружения Путина. Не зарабатывает он.
А может это просто двачеры зарабатывать не умеют?
А 17 вопрос?
Он писал, что делал это в гугле. Ты можешь так же, или искать по личным знакомствам.
приходится удалять неинтересное, чтобы аноны не скучали. Можешь глянуть его в статье, ссылка в 1 комменте.
20 млн это что? Чистый доход? Это хуйня, буквально это просто зп 1 команды в бигтехе
Вот только значительную часть от этого получает один человек, владелец этой шаражки.
> Чем сложнее защита, тем медленнее парсинг, т.к. нам приходится, например, решать капчу - а это время. Сайты на 5-6 запрос просят решить капчу, парсер ждет решения человеком, далее продолжает работу (меняя fingerprint), до следующего запроса на решение.
Охуенный парсинг
Охуенный парсинг
Их сайт, открывается не очень хорошо
тем не менее, у них доход 96 миллионов рублей сейчас, так что они всё правильно делают.
Да вот хуй на. Серьёзные сайты от этой хуйни имеют нормальную защиту, так что всё не просто. А если у тебя в работе овер 1000+ сайтов которые постоянно проблем подкидывают - так себе история в общем.
Ну для начала непонятно доход это или оборот. Если доход, то неплохой, не спорю. Но это вряд ли
>Да вот хуй на. Серьёзные сайты от этой хуйни имеют нормальную защиту
он же писал, что даже авито парсят.
>А если у тебя в работе овер 1000+ сайтов которые постоянно проблем подкидывают - так себе история в общем.
Они же как-то справляются, имея даже небольшой штат. Может не всё так сложно, как ты представляешь?
выручка. То есть надо вычесть расходы и будет прибыль.
сейчас прибыль 40 миллионов в год
>9. Сколько у вас сейчас персонала? 5 разработчиков full time в штате и команда поддержки (сотрудники, которые занимаются ежедневным тестированием результатов суточного парсинга)
сколько же у них челоек?
>6. Какой средний чек в этом бизнесе? С некоторой погрешностью можно назвать сумму 15 000 . Но учитывая, что это бизнес больше проектный, чем продуктовый, разброс цен может быть большой. У нас есть клиенты, которые платят 400 000 р. в месяц за большой набор данных, а есть совсем “малыши” с чеком 5 000 р. в месяц.
>15 000 руб. в месяц
Тебе сказали - 5 работников + энное число обезьян мышекликателей на гпх.
Работал немного в компании которые парсила цены на различных сайтах. В общем есть сайты которые имеют защиту от этого, допустим сайт лемана про, не знаю, обошли они это сейчас или нет. Другие сайты обычно очень легко парсятся, у некоторых открыты апи, что делает парсинг ещё легче и продуктивнее, у некоторых открытого апи нет, парсят по html тэгам.
>В общем есть сайты которые имеют защиту от этого
как я понял, они умеют её обходить.
так у них прибыль всё равно большая, норм же.
Посчитай, если у тебя будет всего 3 клиента, уже 45к в месяц. Жить можно.
>по html тэгам
Парсил авто.сру по заданию товарища майора.
Так эти пидораны буквально каждые 4-5 дней меняли названия тэгов, и приходилось переписывать код.
>и приходилось переписывать код
не проще задавать номер div по ветке, чем имя?
Тащемта, эта хуйня (решение капчи живыми долбоёбами) практиковалась ещё лет 20 назад.
Нормальные нанимали студоту на гпх за копейки.
Пидарасы делали сайты якобы по "заработку в интернете", где тебе предлагалось решать капчу якобы за деньги.
На деле ты получал либо целое нихуя (якобы проблемы при выводе денег), либо смешные копейки уровня нынешних 100 рублей за неделю работы.
В то время как с надроченной тобой капчи регались тысячи ящиков для спама на каком-нибудь гмыле.
лол я в компании этим занимаюсь, тут прибыль за день как у них за все время работы
А ты думаешь количество дивов они не меняли?
молодцы.
Допустим решение капчи, не прям сложная вещь, на том же питоне есть куча библиотек которые с этим справляются. У лемана бэкэнд расположен где то на серваках сервиса, которые банят ботов. АПИ у них скрыт, обработка вся происходят локально, спарсить html не дают, потому что тебя выявляют как бота. Делается это разными способами, один из них, это собирают фингерпринт твоей железки, но эту инфу можно подделать и так же написать скрипт на обход. В целом обходы то явно есть, но т.к. существуют сервисы по защите от ботов и парсеров, это игра превращается в кошки мышки, ты вроде как нашёл обход, начал парсить, но они апдейтнулись и ты ищешь новое решение. Некоторые сайты попроще, кстати делают так, просто меняют тэги или классы\айдишники у тэгов, но это за 10 минут фиксится со стороны парсера.
>тут прибыль за день как у них за все время работы
>это игра превращается в кошки мышки
Так и есть.
Вообще, я просто опубликовал пример бизнеса, который есть в айти, чтобы у анонов было понимание, что там вообще существует.
>кто это покупает и главное зачем?
зачем человеку который делает ботинки покупать кожу, он что сам не может? Зачем человеку который делает кожу покупать ботинки, он сам не может сделать.
Это буквально есть в ответах. Ты продаёшь аналитику, у тебя команда аналитиков ты сам аналитик, ты вообще не ебёшь что там где какой html, у тебя сидит 1 айтишник который хагоняет формулы которые ты ему дашь в код который обрабаывает xml. Если он начнёт парсить сайты, готовить данные, сводить все данные в одинаковый формат, он не сможет писать формулы которые каджый день меняются. И твой бизнес встанет. Ты можешь нанять ещё айтишника, но тебе нужно им управлять, а ты вроде занят управлением аналитиков. Тебе дешевле и проще а главное надежнее купить готовые данные. Твой продукт аналитика. Тебе для него нужны данные. Если их легко достать, значит их можно очень дёшево купить. У чувака кастов только по серверам на 70к, а средний чек 15к. И вот ты такой занимаешься аналитикой, покупаешь данные за 50к, и думаешь как бы тебе теперь въёбывать ещё 10ку на vds и на айтишника 150к который будет это всё настраивать и делать. Отличная затея.
Так просто, это пока ты не занимаешься этим каждыё день и ты ради фана попарсил 1 страничку 1ого сайта это всё просто. Когда ты сталкиваешься с потребностями реального бизнеса, тут возникают нюансы.
Ну так в итоге двачеры всегда правы оказываются. Онлифанс? 90% шлюх получают ровным счетом нихуя. Мир немного сложнее устроен и двачеры это понимают, в отличии от нормисов, которые верят в колосальные заработки на хуйне, которую может сделать практически каждый, а потом ноют и записывают тик-токи как они бедные несчастные попали в очередной ммм.
>
>31. Много у вас конкурентов? Очень. Много фрилансеров-самозанятых, которые предлагают услуги парсинга значительно дешевле наших
ха ха, то есть одиночники уже этим занимаются.
реальная история хули, не в рф конечно
В общем написать парсер, арендовать серваки не сложно. Найти клиентов, вот тут надо быть кабан кабанычем, плюс бизнес не прощает простой даже в день, а если это часто, то от тебя просто уйдут клиенты. На кой хуй бизнесу ценники с днсов и прочих магазов, я честно так и не разобрался. Что то видимо анализируют, что бы выставлять ценник своему продукту около рыночной и попытаться накрутить ценник на сколько это возможно.
>Найти клиентов, вот тут надо быть кабан кабанычем
А что сложного? Даёшь объявления в гугл адсенс, когда он ещё работал. Платишь только за готового клиента, чтобы не терять деньги. Нужно, чтобы для тебя цена клиента была ниже прибыли, которую ты получишь с него. И так будешь положительным.
Хули бы и не заниматься.
Всех расходов - аренда сервера и аренда проксей, желательноне зашкваренных.
Хотя на первое время можно и дома этот кал поднять, если есть гигабит.
Вы видели какое уёбище автор этого сайта?
Саша Пеганов, автор Цукерберг Позвонит. Андрогин, стартапер.
https://daily.afisha.ru/archive/vozduh/archive/12361/
то это Имя Саша Пеганов, как и большинство сведений на его странице в фейсбуке, выбрано генератором случайных цифр. На самом деле автор блога «Цукерберг позвонит» называет себя Андрей, в блогосфере он известен под ником Унабомбер. В Москву переехал из Киева в ноябре по приглашению агентства, которое занимается продвижением в социальных медиа, в нем сейчас и работает. По образованию инженер-математик, 28 лет.
то это Имя Саша Пеганов, как и большинство сведений на его странице в фейсбуке, выбрано генератором случайных цифр. На самом деле автор блога «Цукерберг позвонит» называет себя Андрей, в блогосфере он известен под ником Унабомбер. В Москву переехал из Киева в ноябре по приглашению агентства, которое занимается продвижением в социальных медиа, в нем сейчас и работает. По образованию инженер-математик, 28 лет.
>На кой хуй бизнесу ценники с днсов и прочих магазов
ты подписочный сервис для мелких кобан кобанычей по продажи хуйни на меркетплейсах
>продажи лабубу подскачили
>стоимость лубубу упала
>количество карточек товаров с лабубу заполонила весь маркетплейс
>эльдорадо продаёт мышки по 100 рублей
>днс продаёт мышки по 95 рублей
>эльдорадо срочно трясёт своих закупщиков какого хуя закупаем так дорого, склады забъются мышками, бизнес встанет
>закупщики бегут искать завод в китае кторый начал делать мышки дешевле
тебе сколько ещё накидать?
>ты кобан кобаныч
>у тебя на руках несколько мультов
>5к на анатитику не деньги, что бы не въебать всё в темку котору посоветовал алкаш с лавочки
Примерно в этом ключе я и думал, но с реальным бизнесом не сталкивался, поэтому подтверждений к этим мыслям ни каких.
они же занимаются этим, значит кому-то нужно. типа ты им не веришь? А другим 100 бизнесменам тоже? Это путь в дурку.
>В 2022 году надеемся, что результат будет чуть лучше
Ага, удачи там
/thread
Сейчас рынок 94 миллиона в год. 10% рынка - это 9 миллионов в год или 900к в месяц.
Хуй знает, стоит ли ради этого делать что-то, как думоите?
Хуй знает, стоит ли ради этого делать что-то, как думоите?
но если вы тут реально обсуждаете как вкатиться, то в целом практически невозможно без инвестиций в несколько миллионов долларов
>Ага, удачи там
чел, у них в 25 94 миллиона
>без инвестиций в несколько миллионов долларов
Почему именно такая сумма? Как посчитал?
>не сталкивался
>подтверждений ни каких
твой тред ?
инфра чтобы адекватно все сделать нужна огромная, плюс очень желательно свой прокси пулл иметь
я бы офк мог рассказать все нюансы этой работы, но не буду
лучше что-то другое программировать короче
Ещё есть хитрожопые модельки, подсказывающие вероятные изменения цен и спроса в ближайшее время.
Правда там количество говна, которым их кормят, измеряется петабайтами.
мимо бывший админ hadoop кластера в озоне
Чел проебался в рассказе что и прокси используют и капчу решают, как бы нахуя, это не нужно, пиздит же
>и прокси используют и капчу решают, как бы нахуя, это не нужно
в смысле не нужно?
ну то есть пруфов не будет?
>инфра чтобы адекватно все сделать нужна огромная
Чел писал, что у них было всего 6 серверов. Где же огромная? И они арендовали их за 70 тысяч в месяц. Какие миллионы долларов?
да, но на вопросы могу ответить
А нахуя тебе прокси тогда, тебя определили в бота, просят капчу, меняешь прокси - ты новый человек. Всегда так делали все, зачем при этом заставлять ирл вводить капчу
Я могу начать этот бизнес с простыми заказами, имея 1 арендованный сервер за 10 тысяч рублей в месяц и арендуя прокси. ИЗ людей только я один.
Я пишу код. Я настраиваю прокси. Я делаю рекламу для себя.
Зачем мне миллионы долларов?
>А нахуя тебе прокси тогда
Чтобы делать вид, что данные собирают множество людей, а не те 6 серваков, что у них есть.
потому что у них не сделано адекватно, они капчу вручную решают бля, не удивлюсь если до сих пор
заебись, как ты отправлять запрос будешь?
Ты не очень разбираешься в вопросе, да?!
>потому что у них не сделано адекватно
Возможно.
Но даже так они делали 20 миллионов в год. Если анон решит повторить их путь, то ему это подойдёт на первое время.
>заебись, как ты отправлять запрос будешь?
какой запрос?
на сайт который ты скрапить будешь
через прокси же.
как именно?
>им очень интересно заниматься парсингом, особенно если этому противодействуют.
Извращенцы. Ощущения от такого парсинга - что ты жалкий бомж, который пытается присосаться к чужому бизнесу, но тебя обоссывают и пинками выгоняют, а ты все равно пытаешься пролезть обратно за новой млчой и пинками.
вопросошиз, срыг оформи.
всё ещё лучше, чем каждый день как раб на работку.
>Руководит всей командой разработчиков парсеров
Простыми словами начальник над макаками, которые капчу решают за спасибо.
Простыми словами начальник над макаками, которые капчу решают за спасибо.
ПОЧЕМУ ТЫ НЕ МОЖЕШЬ АК ЖЕ?
Спрашивают одного миллиардера:
— "Скажите, пожалуйста, а как вы заработали свои деньги?
« Он говорит:
— „Ну как? Очень просто. Я купил яблоко за доллар, помыл, продал за два доллара. Потом купил два яблока, помыл, продал их за четыре. А потом умерла тётя и оставила мне миллион“
— "Скажите, пожалуйста, а как вы заработали свои деньги?
« Он говорит:
— „Ну как? Очень просто. Я купил яблоко за доллар, помыл, продал за два доллара. Потом купил два яблока, помыл, продал их за четыре. А потом умерла тётя и оставила мне миллион“
Ахаха___))))) ну они эти бизнесмены, всё они врут))) мы то знаем что стать богатым нельзя, мы же не богатые, правда мы и не пробовали.
ну вот на этом твой бизнес и закончился
база
>Мы делаем чуть проще - вначале ищем кластер похожих А потом кидаем в Ии уровня Kimi и она возвращает для пары товаров вероятность схожести. Простите пишу с телефона . Похожие ищем через Вектора имен. В Ии кидаем название и характеристики для каждой пары
шиз
>Подскажите пожалуйста, у нас есть грант 100к , но не понимаю - мы можем этот грант задействовать для работы с новой версией GPT по АПИ? :)
Это ты шиз, а я пощу посты твоего мкаксинчика с хабра.
>FAQ: наш опыт получения государственного гранта (4 млн рублей) на развитие IT-бизнеса
Достаточно просто получить грант
Достаточно просто получить грант
в чём он не прав? Ты бы тоже мог получить, но вместо этого сидел сложа лапки.
По сравнению с заводом может быть, но по сравнению с другими популярными задачами в айти парсинг это дно и постоянное унижение.
Ну да, и прибыль не такая большая. 10% от их доли рынка это 900к в месяц, не так много.
в чем смысл поста...
как цже написали кому ты это продавать буш..
люди покупаю те даееык с которых можно поучить профит.
данные с паблика никому нах не нужны. фирмы если нужны выгрузки сами сделают проги
короче макс ты хаебад ужк срать везде свлим сервисом
мимо тоже парсил /бекендщик
как цже написали кому ты это продавать буш..
люди покупаю те даееык с которых можно поучить профит.
данные с паблика никому нах не нужны. фирмы если нужны выгрузки сами сделают проги
короче макс ты хаебад ужк срать везде свлим сервисом
мимо тоже парсил /бекендщик
>в чем смысл поста...
Рассказ о том, что бывает.
>как цже написали кому ты это продавать буш..
Всё написано.
Я не Макс, я соска из соседнего тредю
Да именно так это и работает. компания решила спалить свой ресурс публично, оп хуй
ре рн дробоеб просто.
\
можно просто близость векторлв сравнивать описаний... нахуй еще ллм туда нужен
мимо бекендщик
>компания решила спалить свой ресурс публично
а какие риски?
>оп хуй
Это ты хукй.
Всмысле какие риски? Появление конкурентов? Зачем ей вообще это делать?
>Появление конкурентов?
Каких конкурентов? Много ли на дваче желающих делать то же самое? Большинство людей умеют только команды начальника на работке повторять. Им можно хоть постриначный план бизнеса вывалить, они найдут 1000 причин, чтобы ничего не делать.
Причем здесь двач, дебич? Статья же изначально на вс постилась, настоящие ресурсные кабанчики не будут вообще палиться в нете, вот ты в курсе кто такая Дианочка? Пока ее не спалили никто про нее не знал
>Причем здесь двач, дебич?
Потому что люди в целом такие же, ты ведь не думаешь, что двачеры уникальныЫ?
>Статья же изначально на вс постилась
Значит он не боится конкурентов.
>настоящие ресурсные кабанчики не будут вообще палиться в нете
Схуяль?
Ты же реально тупой, тупой настолько что тебе и не объяснишь, иди нахуй кароч
Мутная хуйня. Я такой хренью занимался лет 8 назад в определённой нише. Разослал 200 писем всем участникам рынка, мол, вы можете получить актуальные данные по своим конкурентам, и скрины части статистики. Ответили трое, купили ноль. При этом предлагал за копейки, 2к рублей, вроде, не помню точно. Тут точно где-то наеб. Либо ниша необычная, либо попил, либо просто пиздёжь
Так у него батя единорос, лол
У него прибыльный биз, батя не может быть гарантией этого.
надо было продолжать, наверно, или изучать причины отказов. Статистика неплохая, что вообще ответили.
лол бля. Ссыкунишка, твоя идея для биза ничего не стоит
Это кстати незаконно
почему их ещё не набутылили?
>Сейчас выручка 96 миллионов
Если у них штат в 100 человек, то это по ляму на человека в год? Такое себе
у них была 20 лямов и штат всего 5-6 челов, остальное наёмные редакторы кода. Интересно, какую часть берёт себе СЕО?
РЯЯЯ!!! ДА КАК У НИХ ПОЛУЧАЕТСЯ!!! НУ НИ ДАЛЖНО ЖИ""!!!
> 20 лямов и штат всего 5-6 челов
10 на налоги и социалку. Остальные десять - офис, техника, зарплаты и небольшой жирок, чтобы не сдохнуть при потере клиента. 600к чистыми в месяц на 5-6 человек опять же такое себе.
Если бы СЕО во втором случае брал себе 10%, то есть 9 лямов из 96, то немного.
Поднять
Бамп
ЭТо борьба с парсингом
А где они берут прокси?
Понятно что покупают, но покупают ГДЕ?
Есть серверные прокси - они легко выкупаются любым антифродом и антипарсингом.
Есть резидентные прокси - условно подняты на обычных домашних роутерах (ботнет). Такие прокси мягко говоря не законны.
Но автор статьи этот манюсенький нюанс почему-то не расписывает. Почему?
Понятно что покупают, но покупают ГДЕ?
Есть серверные прокси - они легко выкупаются любым антифродом и антипарсингом.
Есть резидентные прокси - условно подняты на обычных домашних роутерах (ботнет). Такие прокси мягко говоря не законны.
Но автор статьи этот манюсенький нюанс почему-то не расписывает. Почему?
Не рушь
Да нет, если реально ПД не собирают и не приводят к ДОС на сайтах.
>есть сайты которые имеют защиту от этого
А зачем?
Если конкурент парсит и анализирует тебя, то у него есть преимущество. Защититься стоит дешевле, чем анализировать, так что если ты меньше конкурента, то пусть он хотя бы за преимущество платит больше, сокращаяя разрыв в темпе развития.
>Эти команды парсят данные и сразу их обрабатывают в удобном для использования виде. Как упоминал ранее, мы попробовали и не справились
ясно
>меняешь прокси
Поинтересуйся на досуге, сколько стоит белый российский айпишник, не зашкваренный до тебя спамом и парсерами.
inb4: много
inb4: скоро его придётся менять, потому что зашкварится как раз твоим парсингом
Гораздо дешевле посадить бибизьяну говностудента на гпх, которая будет раз в час решать фапчу и делать вид, что с этого айпишника сидит живой человек.
Чем менять подсети по КД, выгребая бан по сотне адресов в день.
>не собирают
Почти 1488% собирают телефоны на лохвито и прочих подобных сайтах, но естественно он это палить в паблик истории узбека не будет.
Мне вот нужны были недавно данные с яндекс карт. Так мне чатжпт написала за пару часов парсер. Бесплатно.
Давай стори
Да нету стори. Парсили объявы в поисках ворованных тачек.
>Мне вот нужны были недавно данные с яндекс карт
какие?
20 млн ВЫРУЧКИ в год. Это копейки. Вычти ЗП анальников, налоги, расходы на прокси для парсинга а они не маленькие - получится почти нихуя. У гречневого с завода доход больше.
>20 млн ВЫРУЧКИ в год. Это копейки
Чел, ну если в команде немного людей, то главному нормально будет.
И плюс это масштабируется. А зарплата анальника в 300к не особо.
>У гречневого с завода доход больше.
Это не правда.
ООО тмыв бабла
>Ну так в итоге двачеры всегда правы оказываются
Нет, двачеры ошибаются. Никакого отмыва на онлифанс нет, это просто симпы.
Никакого отмыва и тут нет, они просто парсят. Парсят, блядь. Из-за своей веры в заговоры двачер каждый раз упускает возможности. Мог бы продавать свои фото на онлифанс.
>Понятно что покупают, но покупают ГДЕ?
я не знаю
РЯЯ НЕ МОГУТ ЛЮДИ ХАРАБАТЫВАТь
Уверен что секрет этого бузнесса именно в проксях, т.к. всё остальное решается по щелчку пальцев.
И чё? Иди дальше парсь залупы, пидор ёбаный, и уноси это говно с собой.
>тем не менее, у них доход 96 миллионов рублей сейчас, так что они всё правильно делают.
это не доход, а выручка. вычти из этого аренду серверов, зарплаты и тд. На верхней картинке выручка 19 млн, затраты - 70к в мес на сервера, т.е. где-то миллион в год, и 5 программистов, пусть даже с зарплатой 150к, т.е. фонд оплаты труда около 200к, получится 12 млн в год. Остается прибыли 6 млн в год, и это не считая офиса, подписок, лаптопов и тд, так что скорей там ближе к 4 млн в год прибыли, из этого оплати нолох, и останется у тебя, бизнес-кабанчика, тыщ 250-300 в мес.
фингерпринты ja4 берут в учет те части tcp/ip стека, которые ты скриптом на пайтоне не обойдешь, надо своего клиента писать
вк опа хуя
maxim.kulgin
maxim.kulgin
> Чел проебался в рассказе что и прокси используют и капчу решают, как бы нахуя, это не нужно, пиздит же
в смысле нахуя? мой WAF после десятого твоего запроса с одного и того же айпи вьебет тебе рейт лимит и в лучшем случае перебросит на капчу, а в худжем HTTP 429 вернет и ебись как хочешь.
Для парсинга, как и для ддоса, надо нехуевый пул айпишников, причем не из датацентров, а из жилого сектора. пиздит он только в том, что не говорит что покупает эти айпишники на черном рынке.
В чём не прав?
Ахаха пиздося мля! На такие высеры ещё кто-то ведётся?
а что такого в прокси?
ЧТо не так? Инфа проверяется.
На сосач инфу о себе залил.
квадрипл хуйни не спизданет
КЬВЯДЬРИПЛЬ ХЮЙНИ НИ СЬКИЗИТЬ
История успеха.
ну и еще я не в курсе про российские законы, но в большинстве стран это как минимум серая зона - закона, кокретно запрещающего это нет, но судья при рассмотрении дела нихуя не примет аргумент "раз живой человек может легально зайти на сайт и переписать цены в тетрадочку, то и наш робот значит может легально это сделать". Если владелец сайта выкладывает /robots.txt где говорит что запрещает таким-то и таким-то роботам собирать данные с его сайта, то он может сначала послать cease & desist letter владельцу кравлера с требованием прекратить, а если тот не прекращает, то притянуть его за яйцо в суд по статье "нарушение работы компьютерных систем (в сша будет Computer Fraud and Abuse Act (CFAA)), если сможет доказать что его система запрещает доступ робота к данным, а кравлер специально написал программу чтобы обходить его запрет.
Пиздёж и провокация
У всех маркетов свой собственный парсинг.
Самая главная защита от парсинга? Цену указывать после нажатия кнопки уточнить цену.
Интересно, а эти кабаны по каждому региону парсят? Ведь цены разнятся внутри РФ на многие товары на маркетах
>Цену указывать после нажатия кнопки уточнить цену.
Хуя ты умный, разработчики всяких селениумов аплодируют стоя. Ногами.
Я работаю в им, такую защиту ставят мелкие игроки, нет смысла ебаться с этим, не все так просто, после нажатия показать цену может случиться что угодно.
Да мне похуй.
Помню парсил лохвито, когда эти умники показывали телефон картинкой после нажатия кнопки.
Лал.
Картинка увеличивалась в 4 раза через imagemagick и скармливалась простейшей распознавалке без всяких нейронок хуейронок. Опенсорсной, не АББУУУ ГУСЕЙ ЕБУУУУ ПЫНЯРИДЕР. Вполне работало.
Червь пидор. Это что-то уровня сеошника.
топ сео стоит от полуляма в месяц, и это по малым запросам, ремонт в москве или пластиковые онла в москве могут выйти 4кк а то и вообще откажут.
и там не просят проставить метатеги и не высылаюст тебе тексты, к твоему сайту им вообще доступ не нужен, только ссылка
Перепост статьи с Цукерберг позвонит, ссылочка в первом комментарии
Меня зовут Максим Кульгин, моя компания xmldatafeed занимается парсингом сайтов в России порядка четырёх лет. Ежедневно мы парсим более 500 крупнейших интернет-магазинов в России. Теперь делимся опытом.
Так как тема парсинга часто привлекает внимание и вызывает эмоции (в массе негативные), подготовил статью, где ответил на основные вопросы (их получилось 40) с которыми сталкивались в процессе работы и, надеюсь, развеял некоторые мифы.
1. Можно ли зарабатывать на парсинге? Да. Мы стали активно заниматься этим бизнесом в 2018 году и с тех пор к счастью растем. Привожу открытые налоговые данные. В 2022 году надеемся, что результат будет чуть лучше.
2. В чем заключается бизнес на базе парсинга? Бизнес, условно говоря, можно разделить на две части: сбор данных и аналитика. Мы не занимаемся аналитикой (попробовали и поняли, что не потянем) и сконцентрировались только на сборе “сырых” данных. Другими словами — мы ежедневно предоставляем нашим заказчикам итоги парсинга в формате CSV/XML.
Прошу прощения за скучную картинку в ОП посте (ОП)