Богатые данные Redfin о ценах продаж и истории цен — золото для сопоставимых объектов и оценки. Его главный барьер — одна вещь: дата-центровые IP, и вот как чисто его пройти.
Главная защита Redfin — блокировка дата-центровых IP-диапазонов — легче, чем стек Imperva у Zillow. Ключ — просто прийти с резидентского или мобильного IP с реальным браузером; оттуда вы можете собирать публичные данные объявлений, истории цен и проданных сопоставимых объектов. Широкого публичного API нет, так что это (или лицензированный фид RESO/IDX) — это путь. Соблюдайте условия и закон.
По сравнению со слоистыми челленджами Imperva у Zillow, Redfin опирается в основном на репутацию IP: он отбрасывает дата-центровые ASN, но гораздо снисходительнее, как только вы приходите с резидентского или мобильного адреса. Именно этот факт объясняет, почему «Redfin меня всё время блокирует» почти всегда сводится к хостинговому IP — исправление это смена типа IP, а не переработка фингерпринта. (Всё равно сопоставляйте реальный браузер; принцип согласованности из стека отпечатков по-прежнему применим.)
Главная ценность Redfin — история цен продаж — основа автоматизированной оценки и сопоставимых объектов. Собранные в масштабе по рынкам, это сильный датасет для инвесторов и проптеха.
В целом да. Основная защита Redfin — блокировка дата-центровых IP-диапазонов, а не тяжёлый многослойный стек челленджей, который Zillow гоняет через Imperva. Это значит, что главный ключ — просто прийти с резидентского или мобильного IP; реальный браузер плюс чистый IP обычно дают чистый доступ к данным объявлений, истории цен и проданных объектов.
Публично отображаемые поля: цена объявления, спальни/санузлы/площадь, тип объекта, статус, дни на рынке, история цен и недавно проданные сопоставимые объекты. Покрытие цен продаж у Redfin делает его особенно полезным для оценки и работы с сопоставимыми объектами. Избегайте сбора любых персональных данных и соблюдайте условия сайта.
Широкого публичного API данных о недвижимости для общего скрапинга нет. Команды, которым нужны структурированные данные, либо лицензируют фиды MLS/IDX через RESO Web API, если подходят, либо собирают публичные страницы браузерной автоматизацией поверх резидентских/мобильных IP в рамках условий сайта и применимого права.
Реальные мобильные 4G/5G + резидентские IP США — $4/ГБ, бесплатные эндпоинты, бесплатная ротация.