Países BaixosSetor público2017–2021Prefeitura de Roterdã (City of Rotterdam)
Pontuação de risco de beneficiários da assistência social com aprendizado de máquina
Roterdã suspendeu modelo de fraude em benefícios sociais em 2021 após identificar viés que não conseguiu eliminar
Problema
Roterdã queria selecionar, entre seus cerca de 30.000 beneficiários da assistência social, quais seriam investigados por fraude a cada ano.
Abordagem
Desde 2017, a prefeitura usava um modelo de aprendizado de máquina que atribuía a cada beneficiário uma pontuação de 0 a 1 com base em 315 variáveis. Cerca de 1.000 pessoas por ano eram encaminhadas para investigação. A Lighthouse Reports analisou o modelo em 2023 e identificou viés contra alguns grupos.
Números principais
Lição
Segundo a Lighthouse, as avaliações da própria prefeitura constataram que o modelo era apenas cerca de 50% mais preciso que a seleção aleatória. A prefeitura suspendeu seu uso em meados de 2021, após avaliações identificarem um viés que ela não conseguia eliminar.
Categorias
- Porte
- Grande empresa
- Setor
- Setor público
- Função empresarial
- Finanças, riscos e jurídicoProdução e qualidade
- Tipo de inovação
- Inovação de processos
- Tecnologia de IA
- Análise preditiva e ML
- Forma de adoção
- Desenvolvimento interno
- Evidência
- Declaração da própria empresa
Fontes
Resumos das fontes
A Lighthouse Reports descreve como obteve e testou o modelo de pontuação de risco de Roterdã, incluindo os dados de entrada e os limiares de pontuação. Relata a conclusão da avaliação interna de precisão da prefeitura e a suspensão em 2021.
Os detalhes completos estão disponíveis nas fontes originais.
