Zillow — самый сложный для скрапинга портал недвижимости: антибот Imperva и почти бесполезный лимит API. Вот что на самом деле вас останавливает и какая связка даёт чистые данные объявлений.
Zillow использует Imperva/Incapsula (JS-челлендж + фингерпринтинг + блэклистинг IP), а его официальный API ограничен примерно 1000 вызовами/день с запретом на скрапинг. Чтобы собирать в любом масштабе, вы управляете реальным браузером поверх резидентских или мобильных IP США — дата-центровые IP помечаются по их ASN ещё до рендера страницы. Сопоставьте фингерпринт с IP, задавайте темп как у человека и соблюдайте условия Zillow и закон.
Защиты Zillow складываются из трёх слоёв. IP-слой (репутация Imperva) мгновенно отбрасывает известные дата-центровые и злоупотребляющие диапазоны. Слой челленджа отдаёт JavaScript-головоломки, которые небраузерный клиент не может решить. Слой фингерпринта проверяет, что ваши TLS/JA4 и сигналы браузера совпадают с реальным Chrome/Firefox. Обойдите один — остальные всё равно вас поймают: они оцениваются на согласованность, ровно как описано в стеке отпечатков 2026.
Официальный API тоже не спасёт дата-проект: ~1000 вызовов/день — нормально для точечных запросов, бесполезно для систематического сбора объявлений или истории цен, а условия запрещают скрапинг в обход.
Zillow стоит за Imperva (Incapsula), которая сочетает JavaScript-челленджи, фингерпринтинг браузера/TLS и блэклистинг по репутации IP. Дата-центровый IP помечается по своему ASN ещё до рендера страницы, а сырой HTTP-клиент проваливает JS-челлендж. Нужен реальный движок браузера, приходящий с резидентского или мобильного IP, чтобы и сетевой, и клиентский слой выглядели как настоящий посетитель.
Только для малых объёмов. API разработчика Zillow сильно ограничены — порядка 1000 вызовов в день — а условия разработчика запрещают скрапинг и требуют соблюдать их антибот-контроли. Для более широкого сбора объявлений или истории цен API недостаточно, поэтому команды используют браузерную автоматизацию поверх доверенных IP на публичном сайте (в рамках условий каждого сайта и закона).
Резидентские или мобильные 4G/5G IP в США. Их операторские/провайдерские ASN несут репутацию, которую ищут IP-проверки Zillow, а мобильные IP за CGNAT особенно дорого блокировать любому сайту. Дата-центровые IP — единственный тип, который надёжно проваливается здесь.
Реальные мобильные 4G/5G + резидентские IP США — $4/ГБ, бесплатные эндпоинты, бесплатная ротация. Та репутация ASN, которую ищет Imperva.