Dit jaar is de Europese AI Act ingegaan waarin Europa regels heeft vastgelegd voor alle lidstaten omtrent kunstmatige intelligentie. Met deze wet wordt eenduidigheid gecreëerd over de wet- en regelgeving over kunstmatige intelligentie en worden de democratische waarden van de Unie geborgd. “[AI] moet dienen als instrument voor mensen, met als uiteindelijke doel het welzijn van de mens te vergroten.” (EU AI Act, p. 2). In dit artikel wil ik uiteenzetten wat dit betekent voor scholen en wat zij al kunnen, maar uiteindelijk ook moeten, doen.
Voor de duidelijkheid, ik ben geen jurist. Ik heb de EU AI Act gelezen en verschillende bronnen geraadpleegd om te begrijpen wat de implicaties voor scholen zijn. De informatie is niet altijd duidelijk en vaak worden scholen niet benoemd. Toch vallen scholen onder de wet als ‘gebruiksverantwoordelijke’: “een natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeem onder eigen verantwoordelijkheid gebruikt, tenzij het AI-systeem wordt gebruikt in het kader van een persoonlijke niet-beroepsactiviteit” (artikel 3, lid 4; p. 46). Ik probeer zoveel mogelijk te verwijzen naar de Verordening om anderen te helpen de Verordening te lezen en te interpreteren. Mochten er onjuistheden in dit artikel staan, dan hoor ik graag en pas ik het aan.
EU AI Act [ENG and other languages]
Welke AI?
Wanneer we aan AI denken, komt vrij snel ChatGPT of een andere Generatieve AI in beeld. Echter, de Verordening gaat ook over andere AI-systemen zoals voorspellende AI en identificatie AI. Daarnaast zijn er ook verplichtingen voor AI Geletterdheid.
De AI Act verdeelt AI in vier risicogebieden: onaanvaardbaar (zoals het ‘social scoring systeem’ in China), hoog-risico (hier valt ook onderwijs onder), beperkt risico (chatbots), en minimaal (spamfilters).
De EU AI Act gaat niet direct over onderwijskundig gebruik van Generatieve AI modellen zoals ChatGPT of de controle van werk van een leerling waarbij een vermoeden bestaat dat GenAI is gebruikt. Het richt zich vooral op hoog-risico AI-systemen. Die AI-systemen gaan over de toegang, toelating en toewijzing tot onderwijs, het evalueren van leerresultaten, het sturen van het leerproces, beoordelen van het passende onderwijsniveau, en het monitoren en detecteren van ongeoorloofd gedrag tijdens toetsen (overweging 56, p. 16)
AI Geletterdheid (vanaf februari 2025)
De EU AI Act stelt dat aanbieder, gebruiksverantwoordelijken, en betrokken personen AI geletterd moeten zijn om de grondrechten, gezondheid, en veiligheid te beschermen en democratisch controle mogelijk te maken (sectie 20, p. 6). In artikel 4 (p. 51) wordt de uitvoering uiteengezet:
Artikel 4 is niet heel uitgebreid, maar dit is wat we eruit kunnen halen. Scholen vallen onder gebruiksverantwoordelijken. Zij zijn degenen die AI-systemen gebruiken voor hun taak (onderwijs). Een school moet daarom maatregelen nemen om haar personeel AI geletterd te hebben zodat zij AI binnen hun onderwijs (context) kunnen gebruiken
Deze geletterdheid wordt ook elders in de verordening benadrukt. Gebruiksverantwoordelijken moeten ‘relevante capaciteiten en beperkingen van het AI-systeem met hoog risico goed begrijpen en werking ervan naar behoren kunnen monitoren (artikel 14, lid 4a: menselijk toezicht). Ook benadrukt artikel 26, lid 2 dat gebruiksverantwoordelijken het menselijk toezicht op aan “natuurlijke personen die over de nodige bekwaamheid, opleiding, en autoriteit beschikken en de nodige ondersteuning krijgen” (p. 68). Al hoewel artikel 4 niet expliciet aangeeft dat leerlingen AI geletterd moeten zijn alvorens zij met AI aan de slag kunnen, vallen zij waarschijnlijk wel onder ‘andere personen’ en dienen dus eerst instructie te krijgen over de risico’s van AI. Iets wat voor mij niets meer dan logisch is.
Als een school ChatGPT aanbiedt (en dit kan dus ook via een enthousiaste enkele docent zijn), moeten gebruikers daarvoor geletterd zijn. Maar denk ook aan een programma zoals Snappet dat een AI-functionaliteit in zijn systeem heeft dat valt onder ‘hoog risico’ (zie onder).
Het gaat bij AI-geletterdheid niet alleen om een knoppencursus. Het gaat juist om het herkennen, begrijpen, en adequaat kunnen toepassen van AI. Voor leerlingen is het belangrijk te begrijpen wat AI is, hoe resultaten tot stand komen, en wat de risico’s zijn.
Deze cursussen zouden gegeven moeten worden zonder, wat Neil Postman noemt in The End of Education “hyperactieve fantasieën van cheerleaders,” maar cursusleiders die de EU AI Act kennen en kritisch kunnen kijken naar de risico’s van AI-systemen. Een cursusleider moet ook op de hoogte zijn van de context (onderwijs). Het gaat immers niet (alleen) over het begrijpen van AI, maar ook wat de implicaties zijn binnen de onderwijscontext. Een cursus over welke ‘fantastische’ dingen AI allemaal kan, is een ander soort cursus en kan de AI-geletterdheid overschaduwen.
Praktijkcodes (mei 2025; p. 86)
Vanaf 2 mei 2025 moeten de praktijkcodes gereed zijn. Praktijkcodes helpen bij het uitvoeren van de EU AI Act. Ze worden voor specifieke sectoren, waaronder onderwijs, opgesteld zodat zij niet alles zelf hoeven uit te zoeken. Ik vermoed dat Kennisnet dit zal gaan doen, al kan het ook vanuit het Ministerie van Onderwijs gebeuren of een andere overkoepelende organisatie. Deelname aan praktijkcodes is vanuit de AI Act niet verplicht, maar in de praktijk zal een school zich hierbij aansluiten (artikel 56, pp. 86-87).
AI-systemen met hoog risico (augustus 2026; p. 53)
Zoals gezegd zijn er vier subdomeinen voor hoog-risico systemen voor het onderwijs:
- toegang, toelating en toewijzing tot onderwijs
- beoordelen van het passend onderwijsniveau
- monitoren en detecteren van ongeoorloofd gedrag tijdens toetsen
- evalueren van leerresultaten en sturen van het leerproces
Ik richt mij hier op het basisonderwijs en voortgezet onderwijs. “Toegang, toelating en toewijzing tot onderwijs” en “beoordelen van het passende onderwijsniveau” zijn voor nu nog niet relevant voor het basis- en voortgezet onderwijs, maar zijn wel belangrijke kaders voor als er ooit in de toekomst worden besloten om AI te gebruiken om, bijvoorbeeld, het onderwijsniveau van een leerling te bepalen in groep 8. Ook “het monitoren en detecteren van ongeoorloofd gedrag tijdens toetsen” is prettig in een wet te hebben gekaderd. Dergelijke controlesystemen zullen uiteindelijk op de onderwijsmarkt komen.
Wat voor nu het meest belangrijk is het “evalueren van leerresultaten en sturen van het leerproces”. Dit vindt namelijk al plaats. Een van de meest gebruikte systemen voor dit soort doeleinden is Snappet. Snappet heeft een ingebouwde AI-module die voorspelt op welk niveau leerlingen opdrachten aangeboden krijgen. Dit valt, naar mijn mening, onder het sturen van het leerproces en is daarmee een hoog-risico systeem.
Het is nog steeds toegestaan om dit soort AI te gebruiken maar de EU AI Act vraagt wel om een borging bij zowel de aanbieder als de gebruikersverantwoordelijke (de school). Beide partijen dragen de verantwoordelijkheid om AI-systemen aan te bieden conform de EU AI Act. Onderdeel van deze borging is het personeel AI geletterd te hebben voor adequaat gebruik van het systeem. Docenten mogen dus niet zomaar de AI-functie in Snappet aanzetten en met de armen over elkaar naar de resultaten kijken. Hoog-risico systemen dienen daarnaast een CE-markering te hebben (artikel 48; p. 81).
De EU AI Act stelt dat hoog-risico systemen dermate transparant moeten zijn dat het gebruikersverantwoordelijken in staat moet stellen “de output van het systeem te interpreteren en op passende wijze te gebruiken” (artikel 13, p. 59). Het is belangrijk voor hoog-risico systemen dat er menselijk toezicht kan plaatsvinden (artikel 14, p. 60) en dat er bij onregelmatigheden kan worden ingegrepen. Kort gezegd, de school moet weten hoe de motor functioneert en die motor kunnen aanpassen. Docenten moeten de Snappet AI kunnen monitoren en ingrijpen als Snappet verkeerde lessen klaarzet.
AI-functionaris
Voorspellings- en evaluatiesystemen zullen steeds meer de onderwijsmarkt betreden en het is daarom voor iedere school belangrijk een AI-functionaris aan te stellen zoals bij de AVG ook het geval was. Het hebben van een AI-functionaris is niet verplicht vanuit de AI Act (het wordt nergens genoemd), maar wel logisch om te borgen zodat een school zich aan de Verordening houdt. Een ICT&Onderwijs Coördinator kan deze taak ook op zich nemen, maar betekent wel een uitbreiding van zijn of haar taak.
De AI-functionaris is verantwoordelijk voor het controleren van AI hoog-risico systemen die worden gebruikt binnen de organisatie en het opleiden van het personeel. Als er, bijvoorbeeld, een nieuwe methode met AI-ondersteuning wordt aangeschaft, kan de AI-functionaris helpen bij het in kaart brengen van de AI-risico’s. Ook kan de AI-functionaris nieuwe AI-toepassingen registreren zodat voor de school duidelijk is welke AI er wordt gebruikt en op welke manier.
Generatieve AI (augustus 2025; p. 83)
Per 2 augustus 2025 moeten ‘AI-modellen voor algemene doeleinden’ (dat is ChatGPT, Claude, Gemini, etc.) voldoen aan de AI Act. De school blijft echter gebruiksverantwoordelijke. Dit betekent dat de school verantwoordelijk is dat het gebruik van generatieve AI-systemen in overeenstemming met de Verordening is, waaronder de AVG. Daarnaast hebben Generatie AI modellen ook leeftijdsgrenzen die vaak in de EULA’s van AI-modellen te vinden zijn (opvallend genoeg was het niet altijd makkelijk deze informatie te vinden):
| ChatGPT (OpenAI) | van 13 tot 18 jaar met ouderlijke toestemming |
| Claude (Anthropic) | 18 jaar |
| Gemini (Google) | 16 jaar |
| Llama (Meta) | tot 15 jaar met ouderlijke toestemming (AVG) |
| Copilot (Microsoft) | 18 jaar |
| Mistral (Mistral AI) | van 13 tot 18 jaar met ouderlijke toestemming |
| Perplexity (Perplexity AI) | van 13 tot 18 jaar met ouderlijke toestemming |
Het is aan te raden om ouderlijke toestemming voor modellen zoals ChatGPT, Mistral en Perplexity te registreren in een leerlingvolgsysteem, net als op veel scholen de ouderlijke toestemming voor de Coronatest in het leerlingvolgsysteem stond geregistreerd. Zonder deze toestemming mag je, volgens de gebruikersovereenkomsten van deze bedrijven, leerlingen niet met deze AI laten werken.
Zoals eerder genoemd moeten docenten, voordat zij aan de slag kunnen met Generatieve AI, AI geletterd zijn om de veiligheid en democratische rechten van hun leerlingen te waarborgen (zie ook artikel 9, lid 5 op pagina 56 over het wegnemen van hoog-risico en artikel 13, lid 1 op pagina 59 over het interpreteren van systemen). Dit raakt ook de regels over de AVG. Het is daarom belangrijk dat de school haar werknemers instrueert over het adequaat gebruik (laten) maken van Generatieve AI. Dit zou in de praktijkcode onderwijs kunnen worden meegenomen. Het is echter zeker aan te raden dat een school binnen haar eigen identiteit een richtlijn opstelt voor haar personeel.
Tijdpad (p. 44 en p. 123)
Hieronder volgt een schema met de meest belangrijke data voor het basis- en voortgezet onderwijs.
Conclusie
De EU AI Act is een belangrijke verordening die de democratische rechten van haar burgers moet waarborgen. Het dwingt scholen en docenten kritisch naar hun gebruik van AI te kijken en het personeel op te leiden. Er moet gecontroleerd worden of AI-systemen voldoen aan de regelgeving en dat docenten en leerlingen AI geletterd zijn. Scholen die op tijd beginnen en een AI-functionaris aanstellen zullen niet veel tijd hoeven te besteden aan het voldoen aan deze wet. Daarom is het belangrijk dat scholen nu een AI-functionaris aanstellen die een plan gaat schrijven voor de implementatie van deze EU Verordening op school. De tijd van verwondering en wegduiken is nu echt voorbij zijn en scholen moeten hun verantwoordelijkheid nemen om de veiligheid en privacy van hun leerlingen te waarborgen. Pas als dat is gebeurd, kunnen we verder kijken of en hoe AI het onderwijsproces kan verrijken.
UPDATE: Leeftijd om Gemini te gebruiken is 16 jaar (geen 18): Google Gemini