Países BaixosSetor público2019–2023

Prefeitura de Amsterdã (City of Amsterdam)

Modelo de risco Smart Check para pedidos de benefícios sociais

Amsterdã encerrou em 2023 seu modelo de risco de fraude em benefícios sociais depois que um piloto com cerca de 1.600 pedidos sinalizou mais pessoas e revelou novo viés

Fracassado ou interrompidoApuração jornalística

Problema

Os funcionários da assistência social verificavam pedidos em busca de erros e fraudes, e mais da metade das investigações não encontrava irregularidades, segundo dados da prefeitura. A cidade queria uma forma mais justa e precisa de selecionar os casos.

Abordagem

O trabalho começou em 2019. O modelo foi treinado com 3.400 investigações anteriores, usou 15 características e deixou de fora gênero, nacionalidade e idade. A reponderação dos dados de treinamento igualou, nos testes, as taxas de erro entre requerentes holandeses e não holandeses. Um piloto começou em 2023, e a cidade o abandonou em novembro de 2023 porque não pôde descartar discriminação indesejada.

Números principais

~1,600pedidos de benefícios sociais processados pelo modelo no piloto em operação, segundo a reportagem da MIT Technology ReviewApuração jornalística[1]

~€500,000estimativa da própria cidade para os custos internos, além de um contrato de € 35.000 com a DeloitteDeclaração da própria empresa[1]

20% better than caseworkers (internal test)ganho de precisão que a equipe da cidade observou em testes internos antes do piloto; no piloto, o modelo não foi melhor que os funcionários responsáveis pelos pedidos, segundo os repórteresDeclaração da própria empresa[1]

€2.4 million per year (expected)economia anual projetada que a cidade citou antes do piloto; não alcançadaDeclaração da própria empresa[1]

Lição

A MIT Technology Review relatou a volta do viés no piloto em operação. A cidade informou menos falsos positivos do que o método antigo, mas considerou inconclusiva sua análise de viés; o desenvolvimento terminou em novembro de 2023.

Categorias

Porte: Grande empresa
Setor: Setor público
Função empresarial: Finanças, riscos e jurídico Produção e qualidade
Tipo de inovação: Inovação de processos
Tecnologia de IA: Análise preditiva e ML
Forma de adoção: Desenvolvimento interno
Objetivo: Qualidade e riscos Redução de custos
Evidência: Apuração jornalística

Fontes

Inside Amsterdam's high-stakes experiment to create fair welfare AI
MIT Technology Review11 de jun. de 2025Notícia
Slimme Check Onderzoeksproject (Smart Check research project)
City of Amsterdam, Open Research24 de jun. de 2024Publicação governamental

Resumos das fontes

[1]MIT Technology Review11 de jun. de 2025

A MIT Technology Review, a Lighthouse Reports e o Trouw investigaram o modelo com registros da prefeitura e testes próprios de viés. Encontraram viés nos testes de 2022 e novo viés, após medidas de mitigação, em um piloto com cerca de 1.600 pedidos, que sinalizou mais requerentes. A cidade estimou custos internos de cerca de € 500.000, além de um contrato de € 35.000 com a Deloitte, e havia previsto economia anual de € 2,4 milhões.

[2]City of Amsterdam, Open Research24 de jun. de 2024

A cidade informou que o piloto durou de abril a agosto de 2023, após cerca de 3 anos de desenvolvimento. A avaliação final encontrou menos falsos positivos do que o método antigo, mas a análise de viés foi inconclusiva. O Conselho de Participação (Participation Council) recomendou o encerramento em 2022, e o membro responsável do executivo municipal decidiu encerrar em novembro de 2023, com a concordância do conselho municipal.

Os detalhes completos estão disponíveis nas fontes originais.

Adicionado em 25 de out. de 2026 · Atualizado em 25 de out. de 2026