← 案例
荷兰公共部门2019–2023

阿姆斯特丹市政府

福利申请风险模型Smart Check

阿姆斯特丹的福利欺诈风险模型在约1,600份申请的试点中标记了更多人,并出现新的偏见,该市于2023年终止了该模型

失败或中止媒体报道

问题

福利审核人员核查申请中的错误和欺诈,据该市数据,超过半数的调查未发现违规行为。该市希望找到更公平、更准确的案件筛选方式。

方法

该项目始于2019年。模型以3,400件过往调查为训练数据,使用15项特征,不含性别、国籍和年龄。对训练数据重新加权后,测试中荷兰籍与非荷兰籍申请人的错误率趋于一致。2023年启动试点,该市于2023年11月放弃该模型,原因是无法排除不当歧视。

主要数据

~1,600实际试点中经该模型处理的福利申请数量(据《麻省理工科技评论》报道)媒体报道[1]
~€500,000该市自行估算的内部成本,另加与德勤签订的3.5万欧元合同企业自行披露[1]
20% better than caseworkers (internal test)该市团队在试点前的内部测试中观察到的准确率提升;据记者称,试点中该模型并不比福利审核人员更准确企业自行披露[1]
€2.4 million per year (expected)该市在试点前提出的预计年度节省额;未能实现企业自行披露[1]

启示

《麻省理工科技评论》报道称,实际试点中再度出现偏见。该市称误报少于旧方法,但认为其偏见分析尚无定论;开发工作于2023年11月结束。

分类

创新类型
流程创新
引入方式
自主研发
依据
媒体报道

来源

  1. Inside Amsterdam's high-stakes experiment to create fair welfare AI
    MIT Technology Review2025年6月11日新闻报道
  2. Slimme Check Onderzoeksproject (Smart Check research project)
    City of Amsterdam, Open Research2024年6月24日政府发布资料

来源摘要

[1]MIT Technology Review2025年6月11日

《麻省理工科技评论》、Lighthouse Reports和Trouw利用该市记录和自行开展的偏见测试对该模型进行了调查。他们发现,2022年的测试中存在偏见,在约1,600份申请的试点中,缓解措施实施后偏见再度出现,且模型标记了更多申请人。该市估算内部成本约50万欧元,另有一份3.5万欧元的德勤合同,并曾预期每年节省240万欧元。

[2]City of Amsterdam, Open Research2024年6月24日

该市称,经过约3年开发,试点于2023年4月至8月进行。最终评估发现误报少于旧方法,但偏见分析尚无定论。参与委员会曾在2022年建议停止,市政委员在征得委员会同意后,于2023年11月决定终止。

详细内容请参阅原始来源。

收录日期 2026年10月25日 · 更新日期 2026年10月25日
打开案例页面 ↗