美國(guó)法拍房數(shù)據(jù)藏在3萬(wàn)個(gè)政府網(wǎng)站里，有人用Python把它扒干凈

全美每年新增約30萬(wàn)套法拍房，但這些數(shù)據(jù)散落在3143個(gè)縣的 Clerk 辦公室網(wǎng)站里。有人想查隔壁街的違約記錄，得先學(xué)會(huì)用1998年風(fēng)格的網(wǎng)頁(yè)表單——這相當(dāng)于讓 TikTok 用戶去操作 DOS 系統(tǒng)。

一位開(kāi)發(fā)者把這套流程寫(xiě)成了 Python 腳本。他的目標(biāo)很明確：把「 County Clerk 網(wǎng)站（縣書(shū)記官網(wǎng)站）」變成可編程的數(shù)據(jù)接口。

為什么法拍數(shù)據(jù)值錢(qián)？

法拍房（Foreclosure）是經(jīng)濟(jì)壓力的領(lǐng)先指標(biāo)。2008年金融危機(jī)前，內(nèi)華達(dá)州和佛羅里達(dá)州的法拍申請(qǐng)量提前18個(gè)月飆升——比房?jī)r(jià)崩盤(pán)早了一年半。

對(duì)三類(lèi)人這是金礦：

投資者：以低于市場(chǎng)價(jià)30-50%的價(jià)格收購(gòu)

記者：追蹤掠奪性貸款（Predatory Lending）的地理分布

研究者：驗(yàn)證「住房可負(fù)擔(dān)性」政策的實(shí)際效果

問(wèn)題在于數(shù)據(jù)主權(quán)。聯(lián)邦政府只維護(hù) HUD 的已上市房源，而「違約通知（Notice of Default）」——也就是最早的預(yù)警信號(hào)——?dú)w縣級(jí)法院管。每個(gè)縣的網(wǎng)站架構(gòu)、更新頻率、反爬策略都不一樣。

拆解 HUD 官方數(shù)據(jù)源

美國(guó)住房與城市發(fā)展部（HUD）運(yùn)營(yíng)著 hudhomestore.gov，收錄聯(lián)邦政府持有的法拍房。這是唯一結(jié)構(gòu)化的入口，但只覆蓋已走完流程、進(jìn)入公開(kāi)銷(xiāo)售的房源。

開(kāi)發(fā)者用 ScraperAPI 繞過(guò)反爬，核心邏輯很直接：

POST 請(qǐng)求到 PropertySearchResult 端點(diǎn)，參數(shù)包括州、城市、郵編。返回的 HTML 用 BeautifulSoup 解析，提取地址、價(jià)格、狀態(tài)三個(gè)字段。

代碼里留了三個(gè) CSS 選擇器兜底：`.property-listing`、`.listing-row`、`tr`。這是因?yàn)?HUD 網(wǎng)站改版過(guò)至少兩次，舊版用表格布局，新版用了 div 卡片。

一個(gè)細(xì)節(jié)：價(jià)格字段可能為空。開(kāi)發(fā)者在解析時(shí)做了容錯(cuò)，返回 "N/A" 而不是拋異常——這對(duì)批量跑 50 個(gè)州的腳本很重要。

縣級(jí)法院：真正的戰(zhàn)場(chǎng)

CountyRecordsScraper 類(lèi)面對(duì)的是更混亂的現(xiàn)實(shí)。縣級(jí)網(wǎng)站技術(shù)棧跨度極大：有的用 2003 年的 ASP.NET，有的用現(xiàn)代的 React 但做了服務(wù)端渲染，還有的直接把 PDF 掃描件傳上去。

開(kāi)發(fā)者的策略是「表格優(yōu)先」。遍歷所有 `

反爬對(duì)抗是日常。ScraperAPI 的 `render=true` 參數(shù)啟用無(wú)頭瀏覽器，處理 JavaScript 渲染的頁(yè)面。超時(shí)設(shè)為 60 秒，因?yàn)槟承┛h的服務(wù)器響應(yīng)速度堪比撥號(hào)上網(wǎng)。

一個(gè)未完成的代碼片段顯示，開(kāi)發(fā)者計(jì)劃提取 `case_number`、`filing_date`、`plaintiff`、`defendant`、`property_address` 五個(gè)字段。但縣級(jí)數(shù)據(jù)的質(zhì)量參差不齊：有些縣把地址藏在 PDF 附件里，有些縣用縮寫(xiě)代指房產(chǎn)（如「LOT 17, BLOCK 3, SUNSET ESTATES」），需要額外調(diào)用地理編碼 API 才能定位。

這套系統(tǒng)的價(jià)值不在于技術(shù)復(fù)雜度，而在于「時(shí)間差」。當(dāng)違約通知出現(xiàn)在縣法院網(wǎng)站，到 Zillow 更新房源狀態(tài)，中間有 30-90 天的窗口期。搶先一步意味著避開(kāi)競(jìng)價(jià)。

但法律風(fēng)險(xiǎn)真實(shí)存在。加州反爬蟲(chóng)法（CFAA 相關(guān)判例）和各縣的服務(wù)條款（ToS）構(gòu)成灰色地帶。2022 年 hiQ Labs 訴 LinkedIn 案確立了「公開(kāi)數(shù)據(jù)可爬」的原則，但法拍數(shù)據(jù)涉及個(gè)人財(cái)務(wù)困境，隱私訴訟的風(fēng)險(xiǎn)高于普通房產(chǎn)數(shù)據(jù)。

開(kāi)發(fā)者在代碼注釋里留了免責(zé)聲明的占位符，但沒(méi)寫(xiě)具體措辭。

這個(gè)原型展示了最小可行架構(gòu)：HUD 作為基準(zhǔn)數(shù)據(jù)源，縣級(jí)爬蟲(chóng)作為增量補(bǔ)充，ScraperAPI 作為基礎(chǔ)設(shè)施層。要變成商用產(chǎn)品，還需要：

地址標(biāo)準(zhǔn)化（USPS API 或 Libpostal）

去重引擎（同一房產(chǎn)可能在 HUD 和縣記錄里各出現(xiàn)一次）

變更檢測(cè)（監(jiān)控特定房產(chǎn)的狀態(tài)流轉(zhuǎn)）

合規(guī)層（各州法拍通知期的法律差異）

最后一個(gè)代碼片段停在 `cells[0].get_text(strip=True)`——案號(hào)提取完成，但 `filing_date` 的解析邏輯還沒(méi)寫(xiě)。這很像產(chǎn)品經(jīng)理的草稿：核心路徑通了，邊緣情況留給下一個(gè) Sprint。

GitHub 上類(lèi)似的法拍爬蟲(chóng)項(xiàng)目，Star 數(shù)通常在 200-800 之間。這個(gè)區(qū)間的項(xiàng)目有個(gè)共同點(diǎn)：代碼能跑，但文檔寫(xiě)著「你需要自己搞清楚每個(gè)縣的網(wǎng)站結(jié)構(gòu)」。換句話說(shuō)，這是套需要人工維護(hù)的自動(dòng)化系統(tǒng)——技術(shù)解決了 80% 的問(wèn)題，剩下 20% 是體力活。

如果要把這套腳本變成月付 99 美元的 SaaS，你愿意為哪個(gè)功能買(mǎi)單：是「自動(dòng)適配新縣網(wǎng)站」的機(jī)器學(xué)習(xí)模塊，還是「7×24 小時(shí)監(jiān)控特定街區(qū)」的告警系統(tǒng)？

` 標(biāo)簽，跳過(guò)表頭，取第 0 列作為案號(hào)、第 3 列作為當(dāng)事人——這基于一個(gè)觀察：美國(guó)法院系統(tǒng)的表格結(jié)構(gòu)比 CSS 類(lèi)名更穩(wěn)定。

信息套利的邊界

從腳本到產(chǎn)品