6.4 Responsible AI in de mobiele context

Deze pagina is een concept. Reacties via nora@ictu.nl of tekstvoorstellen in de wiki zijn welkom.

Bij responsible AI gaat het er om dat AI systemen geen schade toebrengen aan mensen of de samenleving, dat AI systemen transparant en controleerbaar zijn en dat ze zijn ontworpen met respect voor menselijke waarden en rechten. Hiervoor is het van belang om compliant te zijn met wetten en regelgeving, een juist AI ethiek beleid te hebben en ethische principes te hebben, de security op orde te hebben en transparantie te kunnen leveren op wat er gebeurt.

Ethiek keert vaak terug in discussies over AI en ML. ML ethiek is een onderdeel van ethiek in de techniek. Bij ethische beslissingen aangaande het wel of niet inzetten van AI en op wat voor manier AI in te zetten is het van belang om AI ethisch en moreel juist te gebruiken en kan er vanuit het perspectief van verschillende filosofische stromingen naar een issue gekeken worden. De vraag is daarbij welke ethische stroming past bij het aanpakken van ethische AI issues en in hoeverre een dergelijk perspectief dan het juiste is en werkt. Veel stromingen zijn denkbaar: utilitarisme, plicht-ethiek, deugd-ethiek, beginsel-ethiek, pragmatisme, intentie-ethiek, zorg-ethiek, consequentialisme (gevolgen ethiek), etc.. Een aantal principes kan geformuleerd worden en komt regelmatig terug in de diverse guideline documenten. Speciaal verwezen wordt naar de principes genoemd in het AIIA impact assessment document en de ethische principes van de European group on ethics in science and new technologies. Zie voor het laatste het volgende document.

Om tot responsible AI te komen kunnen we kijken naar een aantal subcategorieën:

Accuraatheid
Fairness
Transparantie
Accountability
Privacy
Security
Compliancy aan regelgeving
Menselijk toezicht

Accuraatheid[bewerken]

Er moet wel een hoge mate van accuraatheid in de antwoorden zitten. (Trainings/validatie/test/real world). Met name validatie-, test- en real-world accuratesse zijn van belang. Opgepast moet worden voor overfitting en underfitting. Monitoring kan nodig zijn om te kijken of er geen model drifting optreedt.

Fairness[bewerken]

Het gaat hierbij om bias mitigatie en bestrijding en vermijden van discriminatie.
Bias mitigatie en bestrijding dient plaatst te vinden op:

Demografische aspecten (leeftijd, gender, etniciteit, religie, seksuele geaardheid)
Socio-economische aspecten (inkomen, opleidingsniveau, werkstatus, sociale klasse, geografische locatie)
Andere aspecten (gezondheidsstatus, fysieke of mentale beperkingen, genetische informatie, politieke overtuiging, strafrechtelijk verleden)

Er bestaat gegevens bias, algoritme bias, en bias in mensen.
Transparantie en verantwoording zijn essentieel in het mitigeren van bovenstaande zaken (zie verderop).

Transparantie[bewerken]

Er moet voldoende transparantie zijn over proces, data en algoritmen. Het systeem moet technisch uitlegbaarheid zijn voor zo ver mogelijk. Omdat technische uitlegbaarheid vaak niet haalbaar is moet er er gestreefd worden naar functionele uitlegbaarheid. Er kan een transparantiedocument worden gemaakt waarin een aantal zaken wordt bijgehouden zoals:

wat de werkwijze was in het project,
wat de de gebruikte datasets waren
een uitleg van de modelkeuze
de werkwijze van het model
de bereikte model performance
een ingevulde checklist van bv. de IAMA en de IAAI
de gebruikte infrastructuur
een uitleg hoe je de security hebt geregeld in het project
een uitleg hoe je compliant bent geweest aan de geldende kaders
Leg uit hoe je de ethische afwegingen hebt gemaakt en wat de uitkomsten van de besluiten op dat vlak zijn.

Accountability[bewerken]

Er moet duidelijkheid zijn over aansprakelijkheid bij AI systemen. Handig is dat een Overheidspartij een document heeft waarin duidelijk gemaakt wordt wie verantwoordelijk is wanneer dingen niet goed gaan.

Privacy[bewerken]

De privacy dient gewaarborgd te zijn in AI systemen. Compliancy met de GDPR/AVG is verplicht. Waar nodig moet een DPIA gedaan worden en afstemming gezocht worden met de FG van de betreffende dienst. Denk hierbij aan zaken als privacy by design etc. etc..

Security[bewerken]

Security in het kader van mobiele AI is van belang. Bij AI kunnen andere soorten aanvallen dan in traditionele software ontstaan. Er kunnen aanvallen plaatsvinden die bijvoorbeeld de uitkomst van een beeldherkenningsysteem veranderen en daarmee de uitkomst van een beslissing veranderen. Wat je zou kunnen doen is bijvoorbeeld veel blijven bijtrainen, zodat de adversarial examples steeds veranderen en potentiële aanvallers ontzettend veel energie moeten stoppen in het voor de gek houden van je applicatie. Bij het implementeren van gezichtsherkenning of fragmenten van beelden waar personen in voorkomen kunnen er weer AVG vraagstukken ontstaan.
Daarnaast speelt ook nog de vraag of een model dat getraind is op persoonsgegevens, zoals beelden waar personen in voorkomen, ook een persoonsgegeven is, aangezien er in heel specifieke gevallen door middel van Generative Adversarial Networks soms bepaalde gegevens weer uit het model te halen zijn.
AVG problemen kunnen ook omzeild worden door synthetische data te gebruiken. Synthetische data is door AI gegeneerde data.
Iets anders om over na te denken is dat het behoorlijk uitmaakt of algoritmen op een device draaien of in de cloud draaien en aangeroepen worden. Op het gebied van beveiliging en privacy heb je dan een andere situatie.
Verder moet er rekening gehouden worden met het gebruik van externe partijen als onderdeel van het volledige AI gebruik. Er kunnen externe componenten gebruikt worden. Er moet dan goed over worden nagedacht hoe daar mee om te gaan. Bij generatieve AI moet gekeken worden hoe datalekken, hallucineren, toxicity en schadelijke adviezen voorkomen kunnen worden. Ook moet het model beschermd worden tegen aanvallen.
Wanneer er sprake is van LLM powered apps kunnen guardrails gemaakt worden met input guard rails en output guardrails om de applicatie meer secure te maken.

Compliancy aan regelgeving[bewerken]

Wetgeving[bewerken]

In het kader van responsible AI moet dus allereerst compliancy met bestaande wetgeving gerealiseerd worden. Er zijn een aantal wetten van belang in de context van AI.

Allereerst is er natuurlijk de AI ACT. Deze is in 2024 van kracht geworden. Volgens het tijdspad zijn in december 2024 een aantal AI toepassingen verboden. Deze verboden toepassingen mogen dus niet meer gemaakt worden. In 2025 zullen de regels voor generatieve AI van kracht worden en in 2026 ook de meeste hoog risico regels van de AI ACT.
Compliancy verplichting is er verder met de GDPR (AVG). Waar nodig moet er een DPIA (data protection impact assessment) gedaan worden.
De hele applicatie moet compliant zijn met de BIO (Baseline Informatiebeveiliging Overheid), ook het AI gedeelte.
Andere wetten die in deze een rol spelen of gaan spelen zijn o.a.: alle staande wetgeving, het discriminatie verbod, het AI verdrag, de data act, de data governance act en de digital services act.

Normenkaders en regelgeving over AI in Nederland[bewerken]

In Nederland is er een bredere scope waarin over AI sturing wordt gegeven en visie wordt ontwikkeld en strategie wordt bepaald.
Dat zijn onder andere:

De staatssecretaris voor Digitale zaken heeft op 11 december 2023 een Kamerbrief over generatieve AI doen uitgaan waarin de grenzen worden aangegeven wat er wel en niet kan en mag met generatieve AI binnen de Rijksoverheid. De brief is behoorlijk restrictief van aard. Compliancy hiermee is verplicht. Binnen EZK is onder bepaalde voorwaarden toegestaan GenAI te gebruiken.
IAMA (Impact Assessment Mensenrechten en Algoritmes). Deze is verplicht gesteld door het parlement om uit te voeren bij AI trajecten. (Zie verder dit document).

Er zijn zeer veel kaders en richtlijnen binnen de Rijksoverheid die geen compliancy verplichting met zich meebrengen. Hieronder enkele daarvan.

Het kabinet heeft een kabinetsvisie over generatieve AI uitgebracht. Hier worden kansen en risico’s op het gebied van generatieve AI (GenAI) besproken.
De overheid heeft een overheidsbrede handreiking over de verantwoorde inzet van generatieve AI gemaakt.
De overheid heeft het standpunt over generatieve AI op 22 april 2025 verruimd.
Het rapport van de WRR “Opgave AI. De nieuwe systeemtechnologie” is een goed perspectief om te gebruiken bij AI vraagstukken.
Er zijn bruikbare richtlijnen documenten van de rekenkamer, Justitie en de ADR.

Menselijk toezicht[bewerken]

AI moet menselijke autonomie respecteren en mag geen inbreuk maken op de menselijke waardigheid.

Volgende pagina: 7 Integratiearchitectuur

Op deze pagina