Hoogrisico AI-systeem: valt uw toepassing onder de AI Act?

Een hoogrisico AI-systeem is een systeem dat een aanzienlijke invloed kan hebben op de gezondheid, de veiligheid of de grondrechten van mensen. Voor die categorie gelden de zwaarste eisen uit de AI Act.

Kort samengevat

• Hoog risico is de uitzondering, niet de regel. De meeste toepassingen vallen in een lichter regime.
• Het draait om beslissingen over mensen. Werving, onderwijs, kredietverlening en toegang tot voorzieningen zijn de gevoelige gebieden.
• Uw eigen gebruik telt mee. Zet u een systeem anders in dan bedoeld, dan kunt u zelf als aanbieder worden aangemerkt.
• De eisen zijn uitgesteld, niet geschrapt. Bijlage III geldt vanaf 2 december 2027, bijlage I vanaf 2 augustus 2028.
• Documenteer de afweging. Niet alleen de uitkomst, ook de onderbouwing.

De vraag of iets hoog risico is, wordt in de praktijk vaak te snel met nee beantwoord. Dat is begrijpelijk, want de gevolgen zijn fors. Maar het is precies de vraag waar een toezichthouder op doorvraagt, en het antwoord moet dan meer zijn dan een aanname.

Wanneer is er sprake van een hoogrisico AI-systeem?

De AI Act kent twee routes naar de kwalificatie hoog risico, en het is nuttig om ze uit elkaar te houden.

De eerste route loopt via bijlage I. Daar gaat het om AI die functioneert als veiligheidscomponent in producten die al onder Europese productwetgeving vallen, zoals machines, liften en medische hulpmiddelen. Zit uw AI in zo’n product, dan volgt de kwalificatie uit die productwetgeving.

De tweede route loopt via bijlage III en is voor de meeste organisaties de relevante. Die lijst noemt gebieden waarin AI mensen direct raakt. Denk aan werving en selectie en aan beslissingen over promotie of ontslag, aan toegang tot onderwijs en de beoordeling van leerresultaten, aan kredietwaardigheid en aan de toegang tot essentiële publieke voorzieningen. Ook biometrische identificatie en delen van rechtshandhaving staan erop.

Wat als u onder een uitzondering denkt te vallen?

De verordening kent een uitzondering voor systemen die weliswaar op een gebied uit bijlage III werken, maar geen wezenlijk risico vormen voor grondrechten. Denk aan een systeem dat puur een voorbereidende taak uitvoert, of dat alleen een smalle procedurele handeling verricht.

Doet u een beroep op die uitzondering, dan moet u die beoordeling wel documenteren. Dat is geen formaliteit. Het verschil tussen een verdedigbare en een onverdedigbare positie zit vrijwel altijd in de vraag of u de afweging op papier heeft gezet voordat het systeem in gebruik ging.

De veelgebruikte redenering “er kijkt altijd nog een mens naar” houdt daarbij niet vanzelf stand. Waar het om gaat is of die mens de uitkomst daadwerkelijk kan en wil overrulen. Als een recruiter in de praktijk de bovenste vijf van een gerangschikte lijst uitnodigt en de rest niet meer bekijkt, dan is de rangschikking de beslissing.

Welke eisen gelden er dan?

Valt uw systeem onder hoog risico, dan komt er een pakket verplichtingen bij dat het beste te omschrijven is als een kwaliteitssysteem rond het model.

• Risicobeheer. Een doorlopend proces, geen eenmalige beoordeling bij de aanschaf.
• Datakwaliteit. Eisen aan de trainings-, validatie- en testdata, met bijzondere aandacht voor vertekening.
• Technische documentatie. Zo opgesteld dat een toezichthouder kan volgen hoe het systeem werkt.
• Logging. Het systeem moet gebeurtenissen registreren, zodat achteraf herleidbaar is wat er is gebeurd.
• Menselijk toezicht. Zo ingericht dat een mens daadwerkelijk kan ingrijpen.
• Nauwkeurigheid en robuustheid. Inclusief weerbaarheid tegen manipulatie.

Het grootste deel van deze eisen rust op de aanbieder. Als gebruiksverantwoordelijke heeft u een kleiner maar zelfstandig pakket: gebruik volgens de instructies, toezicht beleggen bij bekwame mensen, de logs bewaren, en betrokkenen informeren wanneer een systeem wordt gebruikt bij besluiten die hen aangaan.

Wat betekent het uitstel voor uw planning?

De hoogrisicoverplichtingen zouden op 2 augustus 2026 ingaan. Dat is verschoven: bijlage III naar 2 december 2027 en bijlage I naar 2 augustus 2028. Dat lijkt veel tijd, en dat is het niet.

Reken terug vanaf december 2027. U wilt ruim voor die datum weten welke systemen u heeft, welke eronder vallen en welke leverancier wat aanlevert. Juist dat laatste is een onderhandeling: technische documentatie en logging zijn dingen die uw leverancier moet leveren, en die afspraak legt u vast in het contract. Wie daaraan in 2027 begint, is te laat.

Bovendien verandert het uitstel niets aan uw positie onder de AVG. Neemt uw systeem beslissingen over mensen, dan gelden de eisen rond geautomatiseerde besluitvorming, de informatieplicht en de rechten van betrokkenen nu al. Een DPIA is daarbij in veel gevallen verplicht, en in ons artikel over wanneer u een DPIA uitvoert leest u wanneer dat precies het geval is.

Hoe pakt u de beoordeling praktisch aan?

Werk per systeem, niet per afdeling. Beantwoord vier vragen: wat doet het systeem, welke beslissing beïnvloedt het, hoe groot is de invloed van de uitkomst op die beslissing, en welke mensen raakt het. Die vier antwoorden bepalen de classificatie in bijna alle gevallen.

Betrek er iemand bij die het proces kent en niet alleen de techniek. De verkeerde inschattingen ontstaan zelden bij de vraag wat een model doet, maar bijna altijd bij de vraag hoe zwaar de uitkomst in de praktijk weegt. Wilt u die beoordeling gestructureerd doorlopen, dan is een AVG audit en nulmeting een geschikt vertrekpunt, en voor de juridische kwalificatie zelf is juridisch privacy advies sneller dan zelf de bijlagen uitpluizen.