Парсинг данных на заказ
Чаще всего парсинг заказывают для мониторинга цен: знать, по чём продают конкуренты, и не проверять это руками каждое утро. Второй по частоте случай — перенос большого каталога, когда выгрузку получить неоткуда.
Работаем с открытыми данными — теми, что доступны обычному посетителю. За обходом защиты, доступом к закрытым разделам и сбором персональных данных не беремся: это и юридически рискованно, и технически хрупко.
Обсудить задачуЧто делаем
- Регулярный сбор цен и наличия по заданному списку позиций
- Выгрузку каталогов с характеристиками и изображениями
- Сопоставление чужих позиций с вашими — по артикулу или по названию
- Приведение данных к единому виду: единицы, форматы, категории
- Отчёты об изменениях: что подорожало, что пропало, что появилось
- Доставку результата в таблицу, базу или вашу систему
- Оповещение, если сбор сломался или источник изменился
Почему парсер приходится поддерживать
Сайты меняются. Источник переверстал каталог — и сбор начинает возвращать пустоту или, что хуже, неправильные значения. Парсер без присмотра тихо деградирует, и обнаруживается это через месяц по странным отчётам.
Поэтому мы закладываем проверки на осмысленность данных и оповещение при отклонениях. Это не отменяет необходимости иногда подстраивать сбор под изменения источника — такова природа задачи, и мы говорим об этом сразу.
Что обычно спрашивают
Это законно?
Сбор общедоступной информации сам по себе не запрещён, но есть ограничения: пользовательские соглашения сайтов, авторские права на контент, персональные данные. Мы работаем с открытыми данными и не беремся за обход защиты.
Как часто можно собирать данные?
По потребности и с разумной нагрузкой на источник. Мониторинг цен обычно раз в сутки, для быстро меняющихся позиций чаще.
Что если на сайте защита от сбора?
Это сигнал, что владелец против. Мы такие источники не обходим — и потому что рискованно, и потому что решение будет ломаться постоянно.
Как сопоставить чужие товары с нашими?
По артикулу, если он общий, иначе по названию с ручной проверкой спорных случаев. Полностью автоматическое сопоставление разнородных каталогов даёт ошибки, и мы это не скрываем.
Сколько стоит?
Зависит от числа источников и сложности их структуры. Разовая выгрузка одного каталога и постоянный мониторинг с отчётами — разные работы.