Wat betekent menselijk toezicht bij een hoog-risico-AI-systeem?

Een hoog-risico-AI-systeem moet zo zijn ontworpen dat mensen er tijdens het gebruik effectief toezicht op kunnen houden, gericht op het voorkomen of beperken van risico's voor gezondheid, veiligheid of grondrechten.

Concreet moeten de mensen die dit toezicht uitvoeren de mogelijkheden en beperkingen van het systeem begrijpen, storingen kunnen opmerken, alert blijven op de neiging om blind op de AI-output te vertrouwen ("automation bias"), de output juist kunnen interpreteren, en kunnen beslissen om het systeem niet te gebruiken, de output te negeren of het systeem stop te zetten.

Voor bepaalde systemen voor biometrische identificatie geldt een extra waarborg: de identificatie moet door minstens twee mensen apart worden geverifieerd voordat daarop een beslissing wordt gebaseerd.

Dit staat in artikel 14 van de AI-verordening.