403, стена CAPTCHA или пустой ответ. Прежде чем менять библиотеки или докупать прокси, диагностируйте блокировку — и примените то единственное исправление, которое ей соответствует.
Сделайте один тест: повторите запрос с чистого 4G/5G мобильного IP. Сработало — была проблема репутации IP, продолжайте через мобильные прокси. Всё ещё блок — это проблема отпечатка (чините TLS/JA4 и профиль браузера) или политики (сайт хочет, чтобы вы представились через Web Bot Auth или заплатили за краул). Сначала диагностика, не гадание.
Направьте ровно тот же запрос через 4G/5G мобильный прокси, больше ничего не меняя.
Запустите настоящий браузер (например, стелс-сборку Chromium/Firefox) поверх мобильного прокси вместо «сырого» HTTP-клиента.
Реальный браузер на чистом IP всё равно отвергается — сайт сознательно блокирует неопознанную автоматизацию.
| Симптом | Вероятная причина | Исправление |
|---|---|---|
| Работает на ноутбуке, блок на сервере | Репутация дата-центрового IP | Маршрут через мобильный прокси |
| Мгновенный 403 до запуска JS | Несовпадение TLS / JA4 отпечатка | Реальный браузер-клиент + мобильный IP |
| CAPTCHA / цикл проверок | Низкое доверие к IP + headless-сигналы | Мобильный IP + реальный браузер, замедлиться |
| Отказ даже с реального устройства | Политика сайта (нет анон-автоматизации) | Подпись (Web Bot Auth) или оплата за краул |
Три из четырёх частых блокировок решаются на уровне IP/отпечатка — поэтому реальный слой мобильных прокси закрывает большинство тикетов «моего агента заблокировали». Полная модель — в как AI-агенты получают доступ к вебу в 2026.
В 2026 агентов обычно блокируют по одной из трёх причин: IP — известный дата-центровый или помеченный резидентный адрес (репутация), отпечаток клиента не совпадает с реальным браузером (JA4/TLS), либо сайт просто не допускает неопознанную автоматизацию и требует представиться или заплатить. Перед изменениями определите, какой сигнал сработал: пускают с чистого мобильного IP — это репутация; блокируют даже с реального устройства — это отпечаток или политика.
Подписывайте запросы только на сайтах с поддержкой Web Bot Auth, где вы в белом списке — там личность это самый чистый доступ. Везде остальном (по умолчанию) идите через реальные 4G/5G мобильные прокси и ведите себя как обычный пользователь. Если издатель продаёт доступ через оплату за краул и контент того стоит, оплата — третий вариант.
Это классическая подпись репутации IP. Ноутбук на резидентном или мобильном подключении с хорошей репутацией; сервер — на дата-центровом ASN, который антибот блокирует с ходу. Решение — дать трафику сервера доверенный IP, направив его через мобильный прокси.
Реальные 4G/5G мобильные прокси в 17+ странах — $4/GB, бесплатные эндпоинты и ротация, MCP + x402 для агентов.