Веб строит способ для «хороших» ботов доказывать, кто они. Разбираем, как работает Web Bot Auth, кто поддерживает и какой подвох должен понимать каждый парсер и разработчик агентов.
Web Bot Auth позволяет AI-агенту подписывать HTTP-запросы (ключи Ed25519 и HTTP Message Signatures, RFC 9421), чтобы сайт мог проверить, какой агент обращается. Cloudflare и Google поддерживают, IETF создал рабочую группу в начале 2026. Подвох: доступ даётся только на сайтах, которые внедрили схему и решили пропускать вашего агента. На остальном вебе — почти всём — опознанный бот это просто лёгкая мишень, так что вам всё равно нужна репутация IP от мобильных прокси.
Механизм нарочно «скучный», и для стандарта это хорошо. У агента есть приватный ключ. В каждом запросе он добавляет подпись над выбранными заголовками (метод, путь, хост, метка времени, иногда дайджест тела). Сайт читает два заголовка — грубо говоря, Signature-Input с описанием подписанного и Signature с самой подписью Ed25519 — и сверяет их с вашим опубликованным публичным ключом.
Поскольку подпись привязана к запросу, её нельзя переиграть или украсть, как утёкший API-ключ или строку User-Agent. Сайт узнаёт то, чему раньше не мог доверять: запрос действительно от того агента, за которого он себя выдаёт. Что сайт с этим сделает — пропустит, ограничит, возьмёт плату или залогирует — целиком на его усмотрение.
Cloudflare проверяет подписи агентов и связывает это со своими бот-контролями; Google опубликовал совместимый подход Web Bot Auth для своих краулеров; рабочая группа IETF означает, что формат скорее сойдётся, чем расколется. Это покрывает заметную долю высоконагруженной инфраструктуры.
Но «Cloudflare умеет проверить подпись» — не то же, что «сайт вас пускает». Внедрение опционально на каждом сайте, а попадание в белый список обычно означает отношения — вы известный поисковик, одобренный AI-краулер или партнёр. Для анонимного парсящего агента, бьющего по случайному магазину, никакого белого списка нет, и подпись лишь снимает анонимность.
Это ключевой компромисс верифицированного агентного веба: личность сильна там, где её приветствуют, и обуза там, где нет. Поэтому зрелые стеки агентов держат слой мобильных прокси для всего вне белого списка и выбирают по запросу с помощью дерева решений.
Web Bot Auth — это формирующийся стандарт, позволяющий автоматизированному клиенту (боту или AI-агенту) криптографически подписывать HTTP-запросы, чтобы сайт мог проверить, какой именно агент их шлёт. Он опирается на HTTP Message Signatures (RFC 9421) с ключами Ed25519 и стандартизируется через рабочую группу IETF, созданную в начале 2026. Cloudflare и Google поддерживают совместимые схемы.
Нет. Web Bot Auth помогает только на сайтах, которые внедрили его и решили пропускать именно вашего агента. У подавляющего большинства сайтов нет белого списка, поэтому подпись там просто делает вашего бота тривиально опознаваемым и блокируемым. Для таких сайтов репутация IP реальных мобильных прокси остаётся надёжным входом.
Примерно да: подпись — механизм, верификация — результат. Сайт с поддержкой Web Bot Auth сверяет вашу подпись с известным публичным ключом (или каталогом) и, если доверяет агенту, считает его верифицированным ботом: пропускает, ограничивает или маршрутизирует иначе, чем анонимный трафик.
4G/5G мобильные прокси в 17+ странах — $4/GB, бесплатные эндпоинты и ротация, MCP + x402 для агентов.