Países BaixosSetor público2013–2021Administração Tributária e Aduaneira dos Países Baixos
Modelo de classificação de risco do auxílio-creche
Algoritmo holandês de risco de fraude que usava a nacionalidade ajudou a acusar injustamente dezenas de milhares de pais e derrubou o governo
Problema
A autoridade tributária holandesa paga auxílio-creche a pais que trabalham e queria detectar cedo pedidos incorretos ou fraudulentos. Conferir cada pedido manualmente não era possível.
Abordagem
A partir de 2013, a autoridade passou a usar um modelo algorítmico de classificação de risco para pontuar os pedidos de auxílio-creche e indicar os que deveriam ser verificados. Segundo a Anistia Internacional, não ter a nacionalidade holandesa era um dos fatores de risco, de modo que os solicitantes estrangeiros recebiam pontuações mais altas, e o sistema se adaptava com o tempo, com pouca supervisão humana efetiva. Dezenas de milhares de pais e responsáveis, em sua maioria de baixa renda, foram tratados injustamente como fraudadores e obrigados a devolver os benefícios. O escândalo levou o gabinete holandês a renunciar em janeiro de 2021.
Números principais
Lição
O dano resultou da combinação de uma pontuação de risco que usava a nacionalidade com uma fiscalização que tratava a sinalização como prova. Como o modelo definia os alvos e os funcionários os seguiam, o viés se espalhou por anos de decisões até ser descoberto.
Categorias
- Porte
- Grande empresa
- Setor
- Setor público
- Função empresarial
- Finanças, riscos e jurídico
- Tipo de inovação
- Inovação de processos
- Tecnologia de IA
- Análise preditiva e ML
- Forma de adoção
- Desenvolvimento interno
- Evidência
- Estudo independente
Fontes
Resumos das fontes
Apresenta as conclusões da Anistia de que um sistema algorítmico adotado pela autoridade tributária holandesa em 2013 para sinalizar pedidos de auxílio-creche incorretos e fraudulentos usava a nacionalidade holandesa como fator de risco, atribuindo pontuações mais altas a estrangeiros. Afirma que o sistema tinha um componente de autoaprendizagem, sem supervisão humana efetiva. Diz que dezenas de milhares de pais e responsáveis, em sua maioria de baixa renda, foram acusados falsamente de fraude e que o escândalo derrubou o governo em janeiro. Pede a proibição do uso de nacionalidade e etnia na pontuação de risco.
A Anistia descreveu como a autoridade tributária usou um sistema algorítmico de tomada de decisão para traçar perfis de risco dos solicitantes de auxílio-creche, a fim de detectar cedo pedidos imprecisos e potencialmente fraudulentos. Concluiu que o uso da nacionalidade como fator de risco levou a discriminação e perfilamento racial, e descreveu os Países Baixos como pioneiros na automação da fiscalização da seguridade social.
Os detalhes completos estão disponíveis nas fontes originais.
