Флагнут, проверяют или заблокирован — и гадание о причине жжёт время и IP. Пройдите эти семь шагов по порядку, чтобы найти реальную причину и устранить нужный слой.
Сначала диагностика, потом починка. Повторите запрос с заведомо чистого мобильного IP: если он работает, причиной была репутация IP (ASN, подсеть или блок-лист) — смените тип IP. Если всё ещё блок — дело в вашем отпечатке или поведении. Если реальный браузер на чистом IP всё равно получает отказ — сайт применяет политику(идентифицируйся или плати), а не детектит вас. Семь шагов ниже изолируют причину.
Самый быстрый сигнал. Успех означает, что причиной была репутация исходного IP — остановитесь здесь и смените тип IP.
Если он разрешается в хостинг/облако (AWS, OVH, DigitalOcean), ASN — это разоблачение. Дата-центровые ASN флагаются по умолчанию.
Чистый IP в грязной /24 всё равно наследует подозрение. Если соседство сожжено, ротация внутри него не поможет.
Посмотрите, появляется ли IP в DNSBL или у вендоров фрод-скоринга. Если да, он считается виновным независимо от вашего поведения.
Мгновенный 403 ещё до запуска JS указывает на несовпадение TLS/JA4 или headless — не на IP. Гоняйте реальный браузерный движок.
Циклы CAPTCHA на чистом IP часто означают роботизированный тайминг или темп запросов. Добавьте джиттер, соблюдайте лимиты, варьируйте навигацию.
Сайт хочет идентификации (Web Bot Auth) или оплаты (pay-per-crawl), а не просто детекта. Решите, идентифицироваться, платить или уйти.
Большинство флагов решаются на шагах 1–4 — на слое IP. В этом весь тезис руководства по репутации IP: репутация определяет всё, поэтому IP высокой репутации сразу устраняет большинство случаев «почему меня флагают».
Обычно деградировала репутация IP: он (или его подсеть) накопил злоупотребления, попал во фрод-фид или цель ужесточила правила. Реже изменился ваш отпечаток или паттерн запросов. Диагностируйте, протестировав тот же запрос с заведомо чистого мобильного IP — если он работает, проблема была в репутации исходного IP.
Редко стоит того. Репутация восстанавливается медленно, а блок-листы вам неподконтрольны. Практичное решение — перейти на IP высокой репутации (реальный мобильный или чистый резидентный), а не реабилитировать сожжённый. Для мобильных IP ротация на свежий операторский IP мгновенна и фактически даёт вам чистый адрес.
Изолируйте по одной переменной за раз. Тот же запрос + чистый мобильный IP, который проходит = дело было в репутации IP. Всё ещё блок с чистого IP = отпечаток или поведение. Всё ещё блок с реальным браузером на чистом IP = сайт применяет политику (он хочет идентификации или оплаты), а не просто детектит вас.
Реальные 4G/5G мобильные + резидентные IP в 17+ странах — $4/GB, бесплатные эндпоинты, бесплатная ротация на свежий чистый IP.