Ваше задание сканирования успешно завершено. Это не значит, что он получил данные. В каждом конвейере парсинга есть панель мониторинга, и каждая панель мониторинга имеет одну и ту же «слепую зону»: она отслеживает, были ли успешны запросы, а не то, был ли конфликт...
Ваше задание сканирования успешно завершено. Это не значит, что он получил данные.
У каждого конвейера парсинга есть панель мониторинга, и у каждой панели мониторинга есть одна и та же «слепая зона»: она отслеживает, были ли успешны запросы, а не был ли возвращенный контент реальным. Работа, завершающаяся стеной из 200 зеленых кодов статуса, выглядит здорово. Это также может быть незаметной ошибкой, страница за страницей, в течение нескольких недель, потому что ответ 200 только говорит вам, что сервер принял запрос. В нем ничего не говорится о том, просматриваете ли вы реальную страницу или версию, созданную специально для посетителей, которым сайт не полностью доверяет.
Именно этот разрыв между «запрос успешен» и «данные верны» является причиной большинства скрытых сбоев конвейера, и он становится все шире по мере того, как системы защиты от ботов становятся все более изощренными в отношении того, что они обслуживают, а не прямой блокировки.
Что на самом деле может содержать «успешный» ответ
Раньше блок было легко обнаружить: 403, 429, сброс соединения. Современные системы защиты от ботов все чаще предпочитают другой подход, поскольку очевидный блок сообщает запрашивающему, что именно произошло, и предлагает исправить ситуацию. Мягкий блок, подаваемый с 200, этого не делает.
На практике эти 200 могут стать проблемой.