阿姆斯特丹市政府(City of Amsterdam)
福利申請 Smart Check 風險模型
阿姆斯特丹在約 1,600 件申請的試行中發現模型標記更多人並出現新的偏見,2023 年終止福利詐欺風險模型
問題
福利承辦人員審查申請是否有錯誤與詐欺,依市府數據,逾半數調查並未發現不當行為。市府希望找到更公平、更準確的選案方式。
做法
相關工作自 2019 年展開。模型以 3,400 件過往調查訓練,使用 15 項特徵,並排除性別、國籍與年齡。重新加權訓練資料後,測試中荷蘭籍與非荷蘭籍申請人的錯誤率趨於一致。試行於 2023 年啟動,市府於 2023 年 11 月放棄,原因是無法排除不當歧視的可能。
主要數據
~1,600實際試行中經模型處理的福利申請件數(據《麻省理工科技評論》報導)
~€500,000市府自行估算的內部成本,另加與 Deloitte 簽訂的 35,000 歐元合約
20% better than caseworkers (internal test)市府團隊在試行前內部測試中看到的準確度提升;據記者報導,試行時該模型並未優於承辦人員
€2.4 million per year (expected)市府在試行前所稱的預估年度節省金額;未能達成
啟示
《麻省理工科技評論》報導,實際試行中再度出現偏見。市府則表示誤報少於舊方法,但稱其偏見分析尚無定論;開發於 2023 年 11 月結束。
分類
來源
來源摘要
[1]MIT Technology Review2025年6月11日
《麻省理工科技評論》、Lighthouse Reports 與 Trouw 利用市府紀錄及自行進行的偏見測試,調查該模型。他們發現 2022 年測試中即有偏見,且在約 1,600 件申請的試行中,經緩解措施後再度出現偏見,標記的申請人更多。市府估計內部成本約 500,000 歐元,另有 35,000 歐元的 Deloitte 合約,原預期每年節省 240 萬歐元。
[2]City of Amsterdam, Open Research2024年6月24日
市府表示,試行在約 3 年的開發之後,於 2023 年 4 月至 8 月進行。最終評估發現誤報少於舊方法,但偏見分析尚無定論。參與委員會於 2022 年建議停止,市政行政委員(alderman)在委員會同意下,於 2023 年 11 月決定終止。
詳細內容請參閱原始資料。
收錄日期 2026年10月25日 · 更新日期 2026年10月25日