^{_{De ongevraagd advies van deze week gaat over de AI Act. Je vindt alle Ongevraagde Adviezen via deze Spotify playlist, deze editie luister je meteen hier:}}

Felienne, aan wie is jouw advies deze keer gericht? 

Aan alle tech ondernemers!

Nou hij komt hoor… Niet de kerstman maar de AI act

Inderdaad, de EU is eruit! Er ligt een definitief voorstel, dat nu alleen nog maar door het parlement hoeft worden goedgekeurd. Dat is meestal een formaliteit, dus we hebben nu best een goed beeld van wat er in de wet zal komen. Tijd dus om eens goed te gaan bedenken wat dat voor je betekent als je software maakt.

Nou, toch niet voor iedereen; het is toch alleen relevant voor AI?

Nee, dat is niet zo. De wet heet in de volksmond wel de AI act maar als je kijkt wat eronder valt, dan is dat heel breed, breder dan je denkt. AI wordt gedefinieerd als een systeem dat “enige vorm van autonomie heeft” en output genereert “zoals content, voorspellingen, aanbevelingen of besluiten”. Onder die systemen vallen machine learning technieken, maar ook AI modellen gebaseerd op logica. Als je een beetje met je ogen knijpt dan valt een SUMIF in Excel er ook wel onder.

Dus dat kan nog best eens interessante situaties opleveren!

Maar dat zal zo’n vaart toch niet lopen? De wet is alleen van toepassing op hoog risico systemen?

Nou, ook dat valt te bezien. Hoog-risico omvat van alles, systemen die biometrische gegevens verwerken maar ook die over infrastructuur gaan zoals water en elektriciteit, dus daar heb je niet heel snel mee te maken. En, opvallend maar niet heel gek: Wetgevers zelf mogen trouwens ook geen AI meer gebruiken om wetsteksten te interpreteren of toe te passen!

Maar onder hoog risico vallen ook bijv. “AI systems intended to be used to determine access, admission or to assign natural persons to educational and vocational training institutions or programmes at all levels”.

Dus universiteiten die studenten selecteren, en dat zijn er een hoop, en daarbij software gebruiken, zoals een toegangstoets, TU Delft doet dat bijvoorbeeld voor lucht- en ruimtevaart, zouden zomaar eens onder deze wet kunnen vallen. Ik wil niemand op ideetjes brengen, maar een student wiens toelating niet loopt zoals verwacht, zou zich op de AI act kunnen beroepen, denk ik! Dat zou interessante zaken op kunnen leveren.

Een andere hoog risico categorie zijn aan de arbeidsmarkt gerelateerde systemen, zowel voor nieuwe banen in sollicitaties als voor bestaande in beoordelingsgesprekken etc. Dus een door AI gegenereerde advertentietekst, of het automatisch filteren van sollicitatiebrieven of het vinden van kandidaten voor promoties, mogen niet. Ook daar kan je voorzien dat mensen die een baan of opslag niet krijgen zich hier tot de wetgever gaan wenden. Hoe de bewijslast dan zal liggen, is nog niet zo duidelijk. Moet een softwaremaker of gebruiken zijn broncode en data delen? Of uitleggen waarom de software geen AI is. Of uitleggen waarom het geen hoog risico is…? De tijd zal het leren.

Beschermt dit nu burgers?

Ja! Ik vind het wel opvallend dat health care mist, zorgverzekeraars worden wel genoemd, of toeslagen, je mag bijv. geen algoritmes gebruiken om te kijken of mensen wel of geen recht hebben op een verzekering, en het dispatchen van ambulances, maar het medisch gebruik van AI (zoals we laatst zagen in Groningen) is geen hoog risico. Dat vind ik zelf wel een groot gemis, maar veel staat er wel in, dus ik ben toch behoorlijk tevreden.

Vestigingsklimaat?

Dat is een veel gehoorde zorg en ik begrijp het wel maar je moet je ook afvragen of we bedrijven die dit soort dingen doen moeten willen. Heeft Cambridge Analytica nu zoveel goed gedaan voor de wereld? Bovendien zijn er echt gebieden waarop Nederland wereldleider is, denk aan Quantum computers bijvoorbeeld! Als surveillance capitalism bedrijven zich terugtrekken kunnen mensen bij andere topsectoren aan de slag.

En wat is het advies?

Ben je ondernemer en gebruik je software, dan is het echt de moeite om goed na te denken over voor welke toepassing, of het hoogrisico is en onder deze wet kan vallen, ook voor toepassingen die niet “chatGPT-achtig” zijn. Dat is natuurlijk niet erg he, dat is juist waarom we deze wet hebben, dat is heel goed!