Pays-BasSecteur public2013–2021Administration fiscale et douanière néerlandaise (Belastingdienst)
Modèle de classification des risques pour les allocations de garde d’enfants
Un algorithme néerlandais de détection de la fraude, qui utilisait la nationalité, a contribué à faire accuser à tort des dizaines de milliers de parents et a fait tomber le gouvernement
Problématique
L’administration fiscale néerlandaise verse des allocations de garde d’enfants aux parents qui travaillent et voulait repérer tôt les demandes erronées ou frauduleuses. Vérifier chaque dossier à la main était impossible.
Approche
À partir de 2013, l’administration a utilisé un modèle algorithmique de classification des risques pour noter les demandes d’allocations de garde d’enfants et signaler celles à contrôler. Selon Amnesty International, l’absence de nationalité néerlandaise figurait parmi les facteurs de risque, si bien que les demandeurs non néerlandais obtenaient des scores plus élevés, et le système évoluait avec le temps avec peu de contrôle humain effectif. Des dizaines de milliers de parents et de personnes en charge d’enfants, pour la plupart à faibles revenus, ont été traités à tort comme des fraudeurs et sommés de rembourser des allocations. Le scandale a conduit le gouvernement néerlandais à démissionner en janvier 2021.
Chiffres clés
Enseignement
Le préjudice résultait de l’association d’un score de risque utilisant la nationalité et de contrôles qui assimilaient un signalement à une preuve. Le modèle déterminait les personnes à contrôler et les agents suivaient ses indications ; le biais a donc affecté les décisions pendant des années avant d’être découvert.
Catégories
- Taille
- Grande entreprise
- Secteur
- Secteur public
- Fonction de l’entreprise
- Finance, risques et juridique
- Type d’innovation
- Innovation de procédé
- Technologie d’IA
- Analyse prédictive et apprentissage automatique
- Mode d’adoption
- Développement interne
- Type de preuve
- Étude indépendante
Sources
Résumés des sources
Présente les conclusions d’Amnesty : un système algorithmique mis en place en 2013 par l’administration fiscale néerlandaise pour repérer les demandes d’allocations de garde d’enfants erronées ou frauduleuses utilisait la nationalité néerlandaise comme facteur de risque et attribuait des scores plus élevés aux personnes de nationalité étrangère. Précise que le système comportait un élément d’auto-apprentissage sans véritable contrôle humain. Indique que des dizaines de milliers de parents et de personnes en charge d’enfants, pour la plupart à faibles revenus, ont été faussement accusés de fraude et que le scandale a fait tomber le gouvernement en janvier. Demande l’interdiction de recourir à la nationalité et à l’origine ethnique dans la notation des risques.
Amnesty a décrit comment l’administration fiscale utilisait un système algorithmique de prise de décision pour établir des profils de risque des demandeurs d’allocations de garde d’enfants, afin de détecter tôt les demandes inexactes et potentiellement frauduleuses. Elle a conclu que l’utilisation de la nationalité comme facteur de risque avait entraîné de la discrimination et du profilage racial, et a présenté les Pays-Bas comme un pionnier de l’automatisation du contrôle en matière de sécurité sociale.
Les informations complètes figurent dans les sources d’origine.
