Mag de overheid AI gebruiken voor fraudedetectie?

In beginsel wel, maar niet onbeperkt. Verboden is een AI-risicobeoordeling die uitsluitend op profilering of persoonlijkheidskenmerken is gebaseerd om te voorspellen of iemand een strafbaar feit — zoals fraude — gaat plegen. Risicoanalyse op basis van objectieve, verifieerbare feiten, bijvoorbeeld verdachte transacties, valt daar niet onder en blijft toegestaan.

Gebruikt de overheid AI om te beoordelen of iemand recht heeft op een uitkering, of om een uitkering te weigeren, te beperken, in te trekken of terug te vorderen — bijvoorbeeld bij een systeem dat mogelijke fraude signaleert — dan is dat AI-systeem hoog-risico. De overheid mag zo'n systeem dan wel inzetten, maar moet aan de bijbehorende hoog-risicoverplichtingen voldoen: risicobeheersing, menselijk toezicht, documentatie en registratie in de EU-databank.