네덜란드공공2019–2023암스테르담시
복지 신청 위험도 모델 '스마트 체크'
암스테르담시가 복지 신청 약 1,600건을 대상으로 한 시범 운영에서 오히려 더 많이 걸러내고 편향이 다시 나타나자 2023년 사업을 중단했다
문제
복지 담당자들이 신청서의 오류와 부정수급을 조사했지만 시 자료로는 조사의 절반 이상에서 위법 사항이 나오지 않았다. 시는 더 공정하고 정확하게 조사 대상을 고를 방법을 찾았다.
접근 방식
2019년에 개발에 착수했다. 과거 조사 3,400건으로 학습했고 15개 특성을 쓰되 성별, 국적, 나이는 뺐다. 학습 데이터에 가중치를 조정하자 시험에서 네덜란드인과 외국인의 오탐 비율이 비슷해졌다. 2023년 시범 운영을 시작했지만 시는 의도하지 않은 차별을 막을 수 있다고 보장할 수 없다며 그해 11월 중단했다.
주요 수치
시사점
MIT 테크놀로지 리뷰는 실제 시범 운영에서 편향이 다시 나타났다고 보도했다. 시는 기존 방식보다 오탐이 줄었다고 밝혔지만 편향 분석은 결론이 나지 않았다고 했으며, 개발은 2023년 11월 종료됐다.
분류
출처
출처 요약
MIT 테크놀로지 리뷰, 라이트하우스 리포트, 트라우는 시 기록과 자체 편향 검증으로 모델을 조사했다. 2022년 시험에서 편향을 확인했으며, 보정 후 약 1,600건을 대상으로 한 시범 운영에서도 더 많은 신청자가 걸러지고 편향이 다시 나타났다고 보도했다. 시는 내부 비용을 약 50만 유로로 추산했고 별도로 딜로이트와 3만 5천 유로 계약을 맺었으며 연간 240만 유로 절감을 예상했다.
시에 따르면 약 3년의 개발 뒤 2023년 4월부터 8월까지 시범 운영했다. 최종 평가에서는 기존 방식보다 오탐이 줄었지만 편향 분석은 결론이 나지 않았다. 참여위원회는 2022년 중단을 권고했고, 담당 시의원은 2023년 11월 중단을 결정해 시의회의 동의를 받았다.
자세한 내용은 원문에 있습니다.
