AI Feedback – Here Be Dragons

Feedback is een belangrijk element in het leerproces. Het geeft informatie over wat er goed gaat en wat er verbeterd kan worden. Met de komst van AI lijkt er waardevol feedbackgereedschap bij gekomen. Echter, ondanks de explosieve groei van AI en AI agents zitten er behoorlijk wat haken en ogen aan feedback via AI.

Het was in eerste instantie de bedoeling dat ik, net als bij audiofeedback, een nieuwe vorm van feedback zou uitproberen bij mijn leerlingen. Na het lezen van een aantal boeken en onderzoek over feedback en AI, ben ik hiervan teruggekomen. Dit artikel zal dus geen praktijkvoorbeeld laten zien van AI feedback in het onderwijs.

Dat wil niet zeggen dat AI feedback geen waarde heeft in het feedbackproces. Het kan zeker een rol spelen, maar het is belangrijk te beseffen dat het niet om de kwaliteit van het AI model gaat, maar de rol van AI in het leerproces van de leerling. Ongeacht hoe goed AI gaat worden, het verandert niet de risico’s die het met zich meebrengt. Leraren dienen bewust te zijn van deze risico’s voordat ze kunnen bepalen welke rol AI in het feedbackproces zal innemen. Ik eindig dit artikel dan ook met een aantal vragen die leraren kunnen helpen AI op een verantwoorde manier in te zetten in het feedbackproces.

 

Feedback en zijn waarde

Wanneer we het hebben over feedback op school, denken veel mensen aan het geven van het juiste antwoord of vertellen hoe het eigenlijk had moeten zijn. Dit is slechts maar een deel van het verhaal. Effectieve en efficiënte feedback gaat over het begeleiden van een proces. Het beoogt verandering bij de leerling teweeg te brengen en helpt bij het ontwikkelen van zelfstandig leren. “Het doel van feedback is invloed uitoefenen op toekomstig werk van leerlingen en op hun leerstrategieën. Aan de hand van de verkregen informatie kunnen leerlingen een volgende stap zetten in hun leerproces.” (Feedback in de Klas)

Cognitieve neurowetenschapper Stanislas Dehaene geeft in How We Learn aan dat er vier belangrijke pijlers zijn in het leerproces: gerichte aandacht, actieve betrokkenheid, terugkoppeling van fouten, en een cyclus van dagelijkse repetitie met nachtelijke consolidatie. Over feedback is hij heel helder: “de kwaliteit van de feedback die studenten krijgen, is een van de bepalende factoren voor hun academisch succes” (How We Learn). Volgens Dehaene bouwt een docent ervaring op over welke fouten zijn leerlingen doorgaans maken en verbetert daarmee de kwaliteit van zijn feedback: “deze leraren vinden de juiste woorden om het zelfvertrouwen van hun leerlingen te steunen, hen gerust te stellen en te herstellen, terwijl ze tegelijkertijd hun foutieve mentale representaties corrigeren.” (How We Learn)

Feedback is een parapluterm voor verschillende soorten reacties op handelingen en producten van leerlingen. We kunnen in de eerste plaats de verdeling maken in corrigerende feedback, evaluerende feedback, activerende feedback, en motiverende feedback. Corrigerende feedback richt zich op fouten in de taak en kan correcties aandragen. Evaluerende feedback geeft een waardeoordeel op de taak en is veelal subjectief. Activerende feedback (ook wel bekend als feed forward) geeft feedback voor het vervolg van de taak. Wat kan er beter gedaan worden? Wat zijn punten van aandacht? Motiverende feedback richt zich op de motivatie van de leerling. Feedback in de Klas heeft een andere vierdeling, al toont het ook overeenkomsten: feedback op taakniveau (hoe goed is de taak gedaan?), procesniveau (hoe is de taak op- en aangepakt?), zelfsturing (hoe heeft de leerling zich voorbereid?) en persoon (vergelijkbaar met motiverende feedback).

Het is daarnaast belangrijk om het verschil te duiden tussen feedback in een formatief proces en een evaluatie op een summatieve toets. Feedback heeft als doel de leerling verder te brengen in een leerproces. Een evaluatie op een summatieve toets heeft als doel uit te leggen waarom er tot een bepaald oordeel is gekomen. Dit verschil is belangrijk. Er wordt nog wel eens uitgebreide feedback gegeven op het eindproduct maar de kans dat dit blijft hangen bij een leerling is niet groot. Beter is het om deze tijd te investeren in feedback in het proces naar het eindproduct toe.

In Feedback in de Klas richten Stijn Verhoof en Geert Speltincx zich vooral op het feedbackgesprek. Leraren zijn expert in hun vakgebied en dat vereist kennis over veel verschillende situaties waarin de aan te leren vaardigheid wordt toegepast. In het gesprek tussen feedbackgever en feedbackontvanger is ruimte voor de nuance en ontwikkelt kwaliteitsbesef. Het is niet simpelweg het geven van een goed antwoord. Het is de fout herkennen, de fout aantonen, en de leerling begeleiden in de correctie. Dit is een holistische benadering van feedback: het gaat niet om het product zelf, maar hoe het product tot stand komt.

Feedback is dus een belangrijk onderdeel in het leerproces. Je hebt hiervoor heldere doelen nodig en duidelijkheid over het proces naar die doelen, of zoals Stijn Verhoof en Geert Speltincx zeggen: “Waar sta ik als leerling nu? Heb ik vooruitgang geboekt? Hoe ver ben ik nog verwijderd van het doel? Maar ook: Wat is de volgende stap?” (Feedback in de Klas). Zonder een duidelijk doel zegt feedback niet veel. Ook kan bij onduidelijke doelen de feedbackverwachting van de leerling verschillen van wat de leraar voor ogen had.

Het hebben van heldere doelen is één van de meest belangrijke elementen in het geven van feedback. Echter, het stellen van heldere doelen is niet zo makkelijk als het lijkt. Bij schrijfproducten is het vaak moeilijk om objectieve, eenduidige criteria te geven, vaak tot frustratie van leerlingen. Wanneer is het goed genoeg? Waarom zijn er meerdere antwoorden goed maar niet die van mij? Ook rubrics bieden slechts richting: “Los van het gegeven dat er in het ‘echte leven’ ook geen rubrics voorhanden zijn voor de producten of taken die je moet afronden, is er ook het probleem dat veel aspecten van een taak zich niet goed laten vangen in een rubric of lijst met criteria” (Formatief Handelen). Een rubric werkt niet als afvinklijst maar kan wel helpen in een feedbackgesprek. “Criteria zijn meer een gesprekspartner dan een eindproduct.” (Feedback in de Klas)

Het gaat bij effectieve feedback dus veelal niet om het antwoord (correctieve feedback), maar om de vragen die we als docenten en de leerlingen aan zichzelf stellen (evaluerende feedback): “Soms denk ik dat wij, als leraren, zo graag de antwoorden willen weten dat we niet voldoende tijd besteden aan het ontwikkelen van de vraag. Maar het is de vraag die de interesse van mensen prikkelt. Het vertellen van het antwoord doet niets voor je.” (Willingham in Feedback in de Klas). Een antwoord is vaak een eindpunt terwijl een vraag het begin is van een ontdekkingstocht naar inzicht. Het gaat er uiteindelijk om welk residu er achterblijft bij onze leerlingen na die tocht.

AI als fenomeen

Automatisch evalueren van betogen bestaat al sinds de jaren zestig van de vorige eeuw. In 1968 publiceerde Dr Ellis Page Project Essay Grade (PEG). Het was een behoorlijk betrouwbaar systeem maar was gericht op het becijferen van betogen. Het geven van feedback door middel van Generatieve AI (GenAI) is natuurlijk nog vrij jong. Er is op dit moment dan ook geen hard bewijs dat GenAI feedback betere leerresultaten oplevert. Wat we kunnen doen is naar een aantal onderzoeken kijken en de bevindingen naast bewezen effectieve en efficiënte feedback leggen. Op deze manier weten we welke bijdrage AI feedback zou kunnen leveren aan het leerproces.

Als je nog niet weet wat Generatieve AI is en hoe het werkt adviseer ik mijn artikel te lezen over Generatieve AI in het onderwijs. GenAI, zoals ChatGPT, genereert (de ‘G’ in GPT) nieuwe inhoud naar aanleiding van een prompt, een opdracht vaak in tekst. Het gebruikt hiervoor een voorgeprogrammeerde dataset (de ‘P’ in GPT). Omdat taal complex is en de AI alleen met (reeksen van) getallen kan werken, heb je een transformer nodig (de ‘T’ in GPT). De transformer vertaalt tekst naar getallen en getallen naar tekst. Kort gezegd, GenAI voorspelt tekst naar aanleiding van een vraag op basis van zijn dataset.

Onderzoek naar AI en feedback

In mijn artikel Wat voegt Generatieve AI nu eigenlijk toe aan het onderwijs? haalde ik het onderzoek “Generative AI Can Harm Learning” door Hamsa Bastani et al. aan. In dit onderzoek, gedaan onder 1000 Turkse leerlingen, kwam naar voren dat het gebruik van het type Generatieve AI verschil maakt in de leerprestaties van leerlingen. Het onderzoek maakt onderscheid in GPT Base (min of meer ChatGPT) en GPT Tutor een speciaal ontwikkelde AI ter ondersteuning van leerlingen in het leerproces. GPT Tutor is bijvoorbeeld minder geneigd het antwoord te geven, maar de leerling naar het antwoord te begeleiden. Hier kwam uit dat het gebruik van zowel GPT Base en GPT Tutor de leerprestaties verhoogden. Echter, werd de AI uit het leerproces gehaald, verslechterde de resultaten: “Bovendien stellen we vast dat wanneer de toegang later wordt afgenomen, studenten eigenlijk slechter presteren dan diegenen die nooit toegang hebben gehad.” Een logische vervolgtrekking is dan ook dat GenAI een eeuwige scaffold is: “Onze resultaten suggereren dat studenten proberen GPT-4 te gebruiken als ‘krukje’ tijdens oefenprobleemsessies en, wanneer dat succesvol is, ze slechter presteren als ze zichzelf aangewezen zijn.”

In “Feedback sources in essay writing: peer generated or AI-generated feebdack?” door Seyyed Kazem Banihashem et al. is onderzocht wat het verschil is tussen peerfeedback en GenAI feedback op een betoog (argumentative essay). Hier waren ook de Open Universiteit in Heerlen en de Universiteit Wageningen betrokken. In dit onderzoek werd vooral een verschil gevonden in het soort feedback dat gegeven werd: “Terwijl ChatGPT meer beschrijvende feedback gaf, inclusief informatie over hoe het essay is geschreven, gaven leerlingen feedback inclusief informatie over de identificatie van het probleem in het essay.” De onderzoekers zien vooral complementaire rol voor ChatGPT in het feedback proces.

Echter, het onderzoek keek alleen naar het soort feedback, niet welk effect de feedback had op het leerproces. Anders gezegd, studenten schreven niet een herziene versie naar aanleiding van de feedback. Hierdoor is ook moeilijk vast te stellen of de feedback van medeleerlingen en van ChatGPT invloed had op de kwaliteit van het schrijfproduct. Ook is onduidelijk of en hoe de studenten waren geïnstrueerd over het geven van peerfeedback.

In “Impact of AI assistance on student agency” door Ali Darvishi et al. werd gekeken naar het idee of AI kan helpen in geven van peerfeedback en zelfregulatie. Dit valt een beetje buiten ons onderwerp, maar wat wel interessant is, is dat de student inleverde op zelfwerkzaamheid, een probleem dat we ook al zagen in het onderzoek van Hamsa Bastani: “Studenten neigden ertoe om afhankelijk te zijn van, in plaats van te leren van AI-hulp. Als de AI-hulp werd verwijderd, konden zelfregulatie strategieën helpen om het gat op te vullen, maar ze waren niet zo effectief als de AI-hulp.” AI assistentie helpt bij zelfregulering, maar (ironisch) alleen wanneer het aangeboden wordt. Er vindt geen leerproces plaats. Dit is dan ook de waarschuwing die de onderzoekers geven: verlies niet de negatieve invloed op zelfredzaamheid uit het oog. Uiteindelijk is het doel van onderwijs kritische en zelfstandige burgers op te leiden, geen dienaren voor het AI orakel.

AI als extrinsieke motivator

In “AI feedback: Moving beyond the hype to integrating it into a coherent feedback pedagogy” door Hui Yong Tay werd gekeken naar de invloed van AI feedback op het verwerven van de Engelse taal door kansarme leerlingen. Het ging om 21 leerlingen in de leeftijd van 13-14 jaar. Zij kregen, naast online lessen, feedback op hun schrijfproducten via de app Scribo. De conclusie was dat AI feedback een positieve werking had op de prestaties van de leerlingen, maar dat dit mede kwam door ingebouwde routines in het programma.

Interessant aan dit onderzoek zijn de reacties van de leerlingen, want het lijkt erop dat AI vooral handig was om antwoorden te krijgen. “Je kunt gewoon erop klikken (de fout die door het systeem is gemarkeerd) en het woord veranderen. En je blijft maar op ‘accepteren’ klikken en dan verandert alles en dan krijg je meer punten,” aldus een leerling. De vraag is dan ook, wordt hier een product verbetert of een leerling? Diezelfde leerling zegt later: “Als je de discipline hebt, zou je er eigenlijk doorheen moeten lezen in plaats van op alles ‘accepteren’ te drukken… je weet niet wat je fout hebt gedaan.”

De reden dat leerlingen de AI feedback waardeerden was dat het makkelijk te gebruiken was. Ook was er onmiddellijk feedback via de Scribo scores. Daarnaast was de feedback niet veroordelend en hielp de zichtbare verbetering in het programma leerlingen gemotiveerd te houden. Het viel mij op dat veel genoemde positieve ervaringen gebaseerd waren op extrinsieke motivatie (‘scores’, ‘badge’). De vraag is dan ook welk deel wordt veroorzaakt door AI en welk deel door de gamification. Daarnaast leek het er ook op dat leerlingen een negatief beeld op feedback door docenten hadden ontwikkeld.

De ‘verbetering’ die wordt aangetoond in het artikel is vooral gericht op de perceptie, emotie, en handelingen van leerlingen wanneer ze interactie hadden met AI, niet op de kwaliteit van de producten of het leerproces. Ook is dit onderzoek meer gericht op bewerken (‘edit’) van producten in plaats van het geven van feedback om de leerling zelf aan de slag te laten gaan.

AI feedback kan dus een positieve bijdrage leveren aan de motivatie van leerlingen om te leren. De vraag is of er sprake is van een motivatievoordeel of van een leervoordeel. Meer motivatie leidt niet automatisch tot beter leren: “Natuurlijk zal een gemotiveerde leerling sneller aan iets beginnen, maar dit is geen garantie voor leren. Het is zelfs zo, dat als een leerling gemotiveerd begint en geen succes boekt, die motivatie snel wegebt.” (Op de Schouders van Reuzen)

Cognitive Offloading

In “AI tools in Society: Impacts on Cognitive Offloading and the future of Critical Thinking” van Michael Gerlich wordt aangetoond dat het gebruik van Generatieve AI kan leiden tot verlies in kritisch denkvermogen door het fenomeen “cognitive offloading” (cognitieve uitbesteding): het gebruik van externe hulpmiddelen om de cognitieve inspanning van de gebruiker te verlagen. Cognitive offloading kan helpen in het creëren van ruimte in het denken om de verdieping te vinden. Aan de andere kant zorgt het ervoor dat de gebruiker zelf minder hoeft te doen en minder kennis hoeft te hebben waardoor het kritisch denkvermogen van de gebruiker verandert: “De bevindingen toonden een significante negatieve correlatie aan tussen frequent AI-toolgebruik en kritisch denkvermogen, beïnvloed door toegenomen cognitieve uitbesteding.”

Gerlich geeft aan dat AI gereedschap kan helpen bij het leren, maar dat overmatige afhankelijkheid leidt tot cognitive offloading. Dit kan resulteren in dat werknemers efficiënter werken maar minder in staat zijn zelfstandig problemen op te lossen en kritisch te evalueren. Dit komt overeen met de uitkomsten van eerder genoemde onderzoeken: gebruik van AI gereedschap zorgt voor betere resultaten in het moment maar creëert ook een afhankelijkheid van dat gereedschap (de eeuwige ‘scaffolding’). Wanneer processen worden overgenomen door AI gereedschap kan dit ook leiden tot een gebrek aan transparantie en begrip. Gerlich adviseert dan ook een balans te vinden tussen de voordelen van AI integratie met de ontwikkeling van zelfstandige analytische vaardigheden in met name het onderwijs en organisaties. Hoe dit eruit zou moeten zien, blijft onbeantwoord.

De bevindingen van Gerlich worden ondersteund in het artikel “Beware of metacognitive laziness: Effects of generative artificial intelligence on learning motivation, processes, and performance” van Yizhou Fan et al. Dit onderzoek keek naar de mogelijkheden voor ‘hybride intelligentie’ waarbij er een wisselwerking plaatsvindt tussen mens en AI. Het onderzoek, dat werd gedaan onder 117 universiteitsstudenten, ondersteunt het gevaar van cognitieve uitbesteding: “Technologieën zoals ChatGPT kunnen de afhankelijkheid van studenten van technologie bevorderen en mogelijk metacognitieve ‘luiheid’ veroorzaken, wat hun vermogen voor zelfregulatie en diepgaand leren kan belemmeren.”

Daarnaast geeft het onderzoek aan dat de resultaten bij gebruik van ChatGPT significant verbeterden, maar weer wegvielen wanneer er geen AI beschikbaar was: “ChatGPT kan de prestaties bij kortetermijntaken aanzienlijk verbeteren, maar het zal mogelijk de intrinsieke motivatie, kennisverwerving en kennisoverdracht niet bevorderen.” Deze verbeterde prestaties worden overigens ook, voor een deel, in twijfel getrokken. De onderzoekers ontdekten dat sommige studenten de inhoud van ChatGPT kopieerden en plakten, bijvoorbeeld voorbeeldzinnen gemaakt door ChatGPT: “Metacognitieve luiheid kan kortetermijnprestatieverbeteringen stimuleren, maar op de lange termijn leiden tot stagnatie van vaardigheden.”

Zowel Fan en Gerlich geven aan dat metacognitieve vaardigheden cruciaal zijn in de omgang van Generatieve AI. Deelnemers in Gerlichs onderzoek die een hoger opleidingsniveau hadden gingen kritischer om met AI: “Mijn opleiding heeft mij geleerd hoe belangrijk het is om dingen niet zomaar voor waar aan te nemen, vooral wanneer het gaat om AI, dat soms vooringenomen of incomplete informatie kan bieden,” aldus een deelnemer. Hier wordt dus ook duidelijk dat het belangrijk is dat alvorens leerlingen en studenten AI gebruiken voor feedback, zij opgeleid moeten zijn in kritisch denken en AI geletterdheid.

Het onderzoek geeft daarnaast aan dat hoe hoger het vertrouwen van de deelnemers in AI, hoe hoger de kans dat ze cognitieve taken overdragen aan dit gereedschap. Nu Generatieve AI steeds meer algemeen goed wordt, verhoogt dit ook het risico op een verminderde kritische benadering van de mens, of, zoals Nicholas Carr in The Shallows zegt: “Wanneer we ons geheugen overdragen aan een machine, dragen we ook een zeer belangrijk deel van ons intellect en zelfs onze identiteit over.”

Gevolgen AI op schrijfvaardigheid

Om te zien welk effect AI heeft op de kwaliteit van schrijfproducten hoef je niet ver te kijken. “Feedback sources in essay writing: peer generated or AI-generated feedback?” van Seyyed Kazern Banihashem et al. gebruikt veel AI taal. Banihashem geeft dit ook aan: “De auteurs gebruikten generatieve AI voor taalbewerking en namen de volledige verantwoordelijkheid.” Welbekende AI favorieten zijn goed vertegenwoordigd in dit artikel: delve, foster, enhance, en deep/depth. Daarnaast is er sprake van veel wollig taalgebruik:

This investigation serves as a critical step in determining whether the feedback imparted by peers and AI holds the necessary caliber to enhance the craft of essay writing.

The ramifications of addressing this query are noteworthy. Firstly, it stands to significantly alleviate the workload carried by teachers in the process of essay evaluation. By ascertaining the viability of feedback from peers and AI, teachers can potentially reduce the time and effort expended in reviewing essays.

Dit kan als volgt menselijker worden gemaakt:

This research can help in answering the question whether feedback by peers and AI will improve essay writing.

The impact of answering this question is significant. Firstly, if viable, peer and AI feedback could significantly reduce the workload of teachers when evaluating essays.

Een ander voorbeeld:

[D]irecting attention towards the comparison of peer-generated feedback quality and AI- generated feedback quality within the realm of essay writing bestows substantial value upon both research and practical application.

Kan ook minder wollig:

Comparing peer-generated feedback quality with AI-generated quality in essay writing can provide valuable insights for both research and practical application.

Als je aan ChatGPT vraagt als een editor je teksten door te lezen en aanpassingen te maken daar waar nodig, zal ChatGPT altijd veranderingen aanbrengen, ongeacht of de geschreven tekst ook gewoon al goed was. Dit zorgt ervoor dat je schrijfproduct een persoonlijke stem kwijtraakt en meer generiek wordt. We zullen zelf steeds minder schrijfvaardig worden en daardoor steeds vaker grijpen naar AI gereedschap om dat voor ons te doen. Dit is een neerwaartse spiraal. Als je weet dat ‘leren denken, leren schrijven’ is (Zinsser in Writing to Learn) kan dit grote gevolgen hebben voor onze zelfredzaamheid. Door deze artikelen zelf te schrijven leer ik AI en feedback beter te begrijpen. Dat hierdoor fouten in mijn artikel kunnen sluipen, weet ik maar al te goed. Echter, het schrijfproces heeft een persoonlijk doel (inzicht krijgen in de materie); het artikel heeft als doel de informatie te delen met geïnteresseerden, “warts and all.”

Uit de onderzoeken hierboven kunnen we de volgende conclusies trekken. AI is effectieve scaffolding maar creëert een afhankelijkheid bij de gebruiker. Deze cognitieve uitbesteding heeft een negatief effect op ons kritsch denkvermogen. AI feedback richt zich veelal op een schrijfproduct als tekst, terwijl peerfeedback zich meer richt op de probleemstelling. AI feedback kan daarmee leerlingen extrinsiek motiveren en hen daarmee met de materie aan de slag laten gaan. Het gebruik van AI voor feedback vraagt hierdoor om een weldoordachte integratie: “activiteiten moeten zorgvuldig worden ontworpen zodat studenten niet kunnen vermijden om met deze relevante informatie te interacteren.” (Hidden Lives of Learners)

AI feedback

Anders dan met audiofeedback, waar ik eerder over schreef, dient grote voorzichtigheid te worden geboden met AI feedback. Schrijven is niet altijd een objectief proces. Spelling en grammatica zijn dat veelal wel, maar over stijl en inhoud verschillen nog wel eens de meningen. Daarnaast kan AI feedback een tweede kapitein worden op het feedbackschip waardoor de leraar zichzelf naar leerlingen moet verdedigen als de AI andere feedback geeft dan hijzelf.

Je kunt een rubriks uploaden in een Generatieve AI waarin je omschrijft waar het product aan moet voldoen. Echter, los van het feit dat AI kan hallucineren, maakt AI nog steeds keuzes waar op te reageren, hoe te reageren, en welke voorstellen er worden gedaan. Deze voorstellen zijn niet objectief. Generatieve AI heeft zelf ook voorkeuren in stijl en woordenschat. Het is zeker zo dat Generatieve AI vaak ook goede voorstellen doet. Het blijft immers een taalmodel. Het weet best wel wat over taal.

proces vs. product

Zoals Feedback in de Klas al aangaf, feedback is een proces, geen moment. Generatieve AI wordt nog steeds beter en de correctieve feedback zal daarmee ook steeds beter worden. Maar ongeacht de kwaliteit van de feedback, blijft het een probleem dat AI feedback geeft op het product en (nog) niet bezig is met het leerproces verspreid over een langere periode.

Je kunt ervoor kiezen om AI de leiding te geven in het schrijfproces om zo ook meer feedback te geven op dat proces. Echter, zoals onderzoek heeft uitgewezen, loop je dan het risico dat de leerling afhankelijk blijft van het systeem. Ook is de vraag wat er dan overblijft voor de rol van docent. Onderzoek heeft aangetoond dat onderwijs complex is, waar cognitieve, sociaalpedagogische, en psychologische aspecten samenkomen. Wanneer AI de regie neemt, hoe waarborg je al deze aspecten? Dit is een discussie die buiten dit artikel valt, maar is stof tot nadenken voor een mogelijk toekomstig artikel.

docentgestuurd

Er is natuurlijk een groot verschil tussen een docent die AI gebruikt om feedback te geven op leerlingwerk en een leerling die AI gebruikt om feedback te krijgen op haar schrijfproducten. Een docent kan de AI output redigeren alvorens het aan de leerling te geven. De vraag is dan welke winst het gebruik van AI zou geven.

Een mogelijk gebruik van AI door docenten is, zoals Daisy Christodoulou aangeeft in “Using AI to automate written comments,” dat AI audio feedback kan omzetten naar geschreven tekst. Dat bespaart tijd (al zou ik zeggen, laat leerlingen zelf de feedback opschrijven zoals ik bespreek in “audio feedback”). Maar deze functie bestond al vóór de opkomst van generatieve AI.

Docentgestuurde feedback kan beter ingaan op inzichten verworven uit de cognitieve wetenschap dan wanneer een leerling met AI als feedbackgever aan de slag gaat. Zo kan een docent feedback beter uitstellen: “Sommig bewijs toont aan dat het kort uitstellen van feedback beter langetermijnleren oplevert dan onmiddellijke feedback” (making it stick, p. 39). Ook kan een docent beter inschatten waar een leerling zich eerst op moet richten en daarmee de hoeveelheid feedback beperken (voorkomen van cognitieve overbelasting). Daarnaast kennen de meeste docenten hun leerlingen goed en zullen zij de toon en de vorm van hun feedback aanpassen aan de leerling.

Als een docent zelf gebruik wil maken van AI feedback voor leerlingen moet de docent eerst bij de AI aangeven aan welke criteria de feedback moet voldoen. Dit kan door een rubriks te uploaden. Daarna kan hij of zij werk van leerlingen delen met de AI. Het werk dient wel geanonimiseerd te zijn. Het is dan te adviseren een eigen codesysteem aan te houden om werk te traceren en de feedback bij de juiste leerling te krijgen. Het maakt geen groot verschil of het werk getypt of geschreven is. Een model als ChatGPT heeft een OCR functionaliteit waarmee het foto’s van geschreven werk kan worden omgezet in digitale tekst. De docent kan aan een model zoals ChatGPT vragen de feedback in een Word bestand aan te leveren zodat deze later makkelijker met een leerling gedeeld kan worden.

In een notitie op Substack stelt Arvind Narayanan, professor aan de Universiteit van Princeton en schrijver van het boek AI Snake Oil, het nut van bepaalde AI agents ter discussie. Hij heeft het over het automatiseren van winkelen of het boeken van een reis, maar het is geen grote sprong om ook zo naar feedback agents te kijken: “Het zal onvermijdelijk vele rondes van heen-en-weer communicatie vereisen om te ontdekken wat de gebruiker wil, of anders het risico lopen dat dingen fout gaan.” Wil je een feedback agent gebruiken, maar zelf de regie houden, dan zal je heel veel moeten fine-tunen. Op een gegeven moment moet je je dan als docent afvragen of het gebruik van AI juist niet meer werk oplevert zonder significante verbetering van het leerproces voor de leerling.

Het voordeel is dat GPT veel nakijkwerk bespaart, maar je levert weer veel tijd in met het organiseren van de data. Je kunt het bulkwerk automatiseren door middel van een ‘agent’ maar dit vergt diepere kennis over AI en is uiteindelijk minder flexibel dan zelf nakijken. Uiteindelijk zal je de vraag moeten stellen of de AI past binnen jouw systeem of dat je het systeem passend aan het maken bent voor AI.

leerlinggestuurd

Je kunt ook leerlingen zelf hun schrijfproduct laten aanbieden aan AI. Hiervoor moet in de eerste plaats bekend zijn of de leerling gebruik mag maken van de AI applicatie. Vaak zijn er leeftijdslimieten aan het gebruik van AI modellen of moeten ouders toestemming geven voor het gebruik (ook vanwege de AVG). Vaak ligt die grens bij 13 jaar, met ouderlijke toestemming, maar voor sommige modellen moet je minimaal 18 jaar zijn.

Het moment van feedback is een tactische keuze. Wordt deze keuze bepaald door de docent, de AI, of de leerling in zelfsturend leren? Effectieve feedback heeft immers niet tot doel direct correcties aan te brengen op een product. Ook is de vraag of je leerlingen met een AI Base, zoals ChatGPT, laat werken of een AI Tutor en hoe je ervoor zorgt dat de AI feedback geeft naar aanleiding van de leerdoelen die je hebt gesteld (bijvoorbeeld een rubriks). Er zijn voorzichtige positieve ervaringen met een AI Tutor, zoals het onderzoek op Harvard waarin eerstejaars studenten gebruikmaakten van een AI Tutor om basis natuurkunde eigen te maken. Aan de andere kant kan een AI Tutor ook de neiging hebben een eeuwig ‘krukje’ te worden, zoals aangetoond in “Generative AI Can Harm Learning.”

Wanneer een leerling met Generatieve AI aan de slag gaat, wordt het lastig voor de leerling om prioriteiten te stellen. Een leerling staat immers nog niet boven de stof en zal overspoeld worden met feedback waardoor zij niet meer duidelijk ziet waar aan te werken. Dit zal vaak leiden tot cognitieve overbelasting. De leerling zal de neiging hebben om ‘het goede antwoord’ te vragen en de feedback klakkeloos accepteren. Het is dan geen feedback meer, maar een correctie geworden: “Wanneer leerlingen fouten maken en correctieve feedback krijgen, worden de fouten niet geleerd” (making it stick, p. 90).

Alleen wanneer een leerling goed is opgeleid in het gebruik van AI als gereedschap, kan het effectief worden ingezet. Zo moet een leerling beseffen dat het antwoord van AI een suggestie is en dat Generatieve AI de neiging heeft de gebruiker tevreden te stellen. Ook moet een leerling keuzes durven maken in het schrijfproces dat tegen het advies van AI ingaat. Het is vooral zaak dat de leerling zelf schrijft en niet een voorstel van AI bewerkt. Het moet een schrijfproduct van de leerling zijn, niet van AI.

conclusie

Het doel van feedback is het creëeren en vormen van kritisch denkprocessen in de leerling zodat zij uiteindelijk zelfstandig kan handelen. Het geven van feedback is niet in de eerste plaats om een product te verbeteren, maar om de leerling kennis en vaardigheden eigen te laten maken zodat ze later de handeling zelfstandig kan verrichten.

Goede feedback staat niet op zichzelf maar wordt gegeven in een proces. Het is een complexe werkwijze dat vraagt om inzicht in het doel, de leerling, en de situatie wanneer welke informatie op welke manier te delen De leraar moet wel boven de domeinkennis staan, ervaring hebben opgebouwd, en bewust zijn van de valkuilen in het feedbackproces.

Daarnaast is feedback een sociaal proces, een relatie tussen mensen: “Feedback is een gesprek tussen de schrijver en het publiek. Het kan bemoedigend of controversieel zijn, maar bovenal is het een relatie tussen mensen” aldus Marc Watkins in “What does Automating Feedback Mean for Learning?” Hoe meer technologie tussen de docent en de leerling staat, hoe verder de connectie tussen mensen zal zijn en hoe meer technologie de leiding zal nemen.

De rol van AI in het feedbackproces is daarmee een stuk moeilijker te bepalen dan dat je op het eerste gezicht zou verwachten. We zijn verwonderd over de capaciteiten van AI modellen maar vergeten dat onderwijs niet gaat om het eindproduct. Het gaat uiteindelijk om de menselijke relatie en ‘het residu dat achterblijft bij de leerling’. Programmeurs trainen modellen, leraren trainen mensen.

Het is daarom moeilijk te bepalen welke waardevolle bijdrage AI kan geven aan het feedbackproces. Het is zeker niet zo dat je AI het werk kan laten doen zodat jij als docent bezig kunt zijn met de ‘leuke dingen’ van het vak (een uitspraak die ik altijd vreemd heb gevonden, want leerlingen begeleiden in het leerproces is het ‘leuke’ van mijn vak, en daar is feedback een essentieel element in). Je zult als docent goed moeten nadenken wanneer en op welke manier je AI feedback laat geven op het werk van leerlingen.

  • Wil je AI inzetten in het feedbackproces, stel jezelf dan de volgende vragen:
  • Wat is het doel van het leerproces? Waar werk je naar toe?
  • Zijn leerlingen AI geletterd?
  • Welk deel neem jij als docent op je en welk deel doet de AI?
  • Welke AI wil je inzetten en wie maakt er gebruik van (docentgestuurd of leerlinggestuurd)?
    • Is dit een Base AI of een Tutor AI? Wat zijn de gevolgen voor de keuze van het type AI?
    • Zijn er leeftijdsgrenzen aan het gebruik voor het model?
  • Welke data heeft de AI nodig om aan te sluiten aan jouw doelen en hoe lever je die data?
  • Waar in het leerproces wordt AI ingezet als feedback? Wordt de AI in de les gebruikt of mag het ook buiten de les?
  • Wat voor soort feedback moet er door AI gegeven worden: correctief, evaluerend, of activerend?
  • Hoe voorkom je scaffolding afhankelijkheid? Hoe voorkom je motivatie zonder verandering in het langetermijngeheugen?

Nicholas Carr in The Shallows stelt dat “de hechte band die we met ons gereedschap vormen, in beide richtingen werkt. Terwijl onze technologieën uitbreidingen van onszelf worden, worden wij uitbreidingen van onze technologieën.” Onderzoek heeft aangetoond dat de afhankelijkheid voor AI een inherent risico is. Leren doet pijn en leerlingen zijn geneigd zich te richten op het antwoord in plaats van op de beantwoording. Feedback moet leerlingen zelfstandiger maken, niet afhankelijker. Het is aan leraren, en niet aan modellen, om hier de leiding in te nemen.

Bronnen

Banihashem, Seyyed Kazem, et al., “Feedback sources in essay writing: peer generated or AI-generated feebdack?”, 2024

Bastani, Hamsa et al., Generative AI Can Harm Learning”, 2024

Carr, Nicholas, The Shallows: How the Internet Is Changing the Way We Think, Read and Remember, 2010

Christodoulou, Daisy, “Using AI to automate written comments”, 2024

Darvishi, Ali, et al., “Impact of AI assistance on student agency” , 2024

Dehaene, Stanislas, How We Learn: Why Brains Learn Better Than Any Machine . . . for Nown, 2018

Fan, Yizhou, et al., “Beware of metacognitive laziness: Effects of generative artificial intelligence on learning motivation, processes, and performance”, 2024

Gerlich, Michael, “AI tools in Society: Impacts on Cognitive Offloading and the future of Critical Thinking”, 2025

Kestin, Gregory, et al., “AI Tutoring Outperforms Active Learning”, 2024

Kirschner, Paul A., Claessens, Luce, Raaijmaker, Steven, Op de Schouders van Reuzen, 2019

Kneyber, René, Sluijsmans, Dominique, Wilde, Bianca, Devid, Valentina, Formatief handelen: Van instrument naar ontwerp, 2022

Nuthall, Graham, The Hidden Lives of Learners, 2007

Page, Ellis, “Project Essay Grade (PEG)”, 1968

Tay, Hui Yong, “AI feedback: Moving beyond the hype to integrating it into a coherent feedback pedagogy”, 2024

Vanhoof, Stijn, Speltincx, Geert, Feedback in de klas: Verborgen leerkansen, 2021

Watkins, Marc, “What does Automating Feedback Mean for Learning?”, 2024

audiofeedback: een waardevolle vorm van feedback

Het begon allemaal op een donderdagmiddag in een pauze. Ik had vier dagen de tijd om ongeveer 90 essays van feedback te voorzien. Ik was al fier begonnen met een aantal toen er een idee binnensloop: wat als ik het gewoon inspreek en de leerlingen het laat opschrijven? De deur stond open en een collega maakte een grap over hoe ik in het lege lokaal voor me uit zat te staren. Ik legde mijn idee uit en zijn eerste reactie was: ‘daar zit eigenlijk best wel wat in.’ Een nieuw idee had voedingsbodem gevonden.

hoe ik feedback geef

6VWO moet een (pre-)academisch essay schrijven (met pen en papier) over een onderwerp in een 100-minutentoets in de toetsweek. Gedurende de module doorlopen we elk onderdeel van het essay. Er zijn lessen over de introductie, de hoofdtekst, de conclusie, en andere zaken. Daarbij leer ik ze een eenvoudige basisstructuur. Elke les schrijven ze een onderdeel van een essay dat via peer review van feedback wordt voorzien. Dit gebeurt iedere keer via een single-point rubric. Aan het einde van de lessenserie schrijven leerlingen in twee lesuren (2×50 minuten) een volledig essay. Deze voorzie ik van feedback.

Omdat dit een volledig eindproduct is, besteed ik altijd veel tijd aan het geven van feedback. In de eerste plaats gebruik ik een kleurencodering voor de verschillende elementen van het essay. Als dat onderdeel goed is, zet ik in die kleur een krul. Als ik commentaar heb, schrijf ik het commentaar in die kleur. Ik heb een ‘algemene kleur’ voor feedback die niet gaat over deze elementen, waaronder spelling- en grammaticafouten. Aan het einde schrijf ik vaak een kort lijstje met verbeterpunten.

Ik heb in het verleden codes gebruikt die verwezen naar grammatica- of spellingsfouten. Leerlingen moesten dan zelf via de code achterhalen wat hun fout was. Echter, dit werd niet veel gedaan en kostte mij uiteindelijk meer energie en tijd in het onthouden van toekennen van de codes.

audiofeedback geven: het proces

Het proces van audiofeedback geven is vrij simpel. Ik pak een essay, zet mijn voice recorder aan (de Sony ICD-PX470), en begin met lezen. Terwijl ik lees denk ik hardop na, verbeter fouten, doe suggesties, en vertel ik wat ik van het essay vind. Aan het einde schrijf ik voor Style & Contents en Spelling & Grammar een +, een –,  of een ±. Voor deze twee onderdelen krijgen leerlingen namelijk een deelcijfer op de toets. Echter, ik wil geen fictieve cijfers geven voor proefessays. Ervaring heeft geleerd dat leerlingen te veel gefocust zijn op het cijfer en minder open staan voor feedback als het voldoende is. De plussen en minnen geven een indruk zodat ze wel weten hoe het over het algemeen is gegaan. Ik schrijf verder geen feedback op de blaadjes.

De opnamen duren ongeveer 8-12 minuten. Na vijf essays zet ik de bestanden op mijn laptop, voorzie ik ze van een klasnummer en naam, en neem ik een korte pauze van een paar minuten. Wanneer ik alle bestanden heb, stuur ik ze naar de leerlingen via een persoonlijk bericht op Teams Chat.

Leerlingen moeten de eerstvolgende les hun telefoon met koptelefoon of oordopjes meenemen (bij ons mag alleen klas 5/6 een telefoon bij zich hebben en in de les mogen ze alleen gebruikt worden voor educatieve doeleinden; wij hebben geen laptops of tablets voor onze leerlingen, wel vier computerlokalen).

In de les laat ik de tafels een halve meter uit elkaar zetten (dit doe ik altijd als ik wil dat leerlingen zelfstandig, gefocust moeten werken). Ik leg uit dat leerlingen moeten luisteren naar de feedback en mee moeten schrijven op hun proefessay blad. Ook krijgen ze een feedbackformulier waar ze een samenvatting kunnen maken van alle feedback. Leerlingen mogen de opname pauzeren of terugspoelen.

Ik deel de essays en het feedbackformulier uit en leerlingen zetten hun koptelefoon op. Leerlingen mogen vragen stellen tijdens de feedbacksessie. De ene klas deed dit meer dan de ander, maar ik kon direct extra uitleg geven als leerlingen een vraag hadden over mijn feedback.

Leerlingen die geen koptelefoon hadden, moesten de opdracht thuis maken. Zij werkten in stilte in een opdrachtenboekje over sentence grammar of aan hun Cambridge examen. Wanneer leerlingen klaar waren met het verwerken van de feedback, werkten zij ook, zelfstandig en stil aan sentence grammar of Cambridge. Het verwerken van de feedback duurde gemiddeld per leerling ongeveer 20-25 minuten.

reflectie op het proces

Een goede rekenaar zal hebben uitgerekend dat 90 essays (drie klassen) van elk gemiddeld 8 minuten audiofeedback, werk oplevert van ongeveer 12 uur. Dit heb ik verdeeld over vier dagen. Ik zal zeker niet ontkennen dat dit veel is. Echter, als ervaren docent heb ik minimale lesvoorbereiding voor mijn klassen. De twee lesuren van elk 50 minuten waarin ze hun essay schrijven was tien minuten voorbereiding in het bedenken van drie onderwerpen. Ook heb ik veel bovenbouwklassen met geen schriftelijke overhoringen in de module zelf. We weten dat onderwijs meer is dan alleen lesgeven en als die drie uur feedback per klas waardevol is en past binnen mijn werkuren, vind ik die 12 uur niet gek. Net als de ICT-wereld kent het onderwijs nu eenmaal piek- en dalmomenten.

Het opnemen via een fysieke voice recorder vond ik zeer prettig. Het gaf ruimte op mijn bureau en het ging heel snel. De geluidskwaliteit was prima. Ik had ook gebruik kunnen maken van een simpele voice recorder op mijn laptop of een programma zoals Audacity, maar dit voelde beter en minder gedoe. De bestanden konden, vanwege een uitschuifbare USB-stick, makkelijk op mijn laptop worden overgezet.

Ik had geen vaste methodiek voor het geven van de feedback. Ik begon altijd wel met de klas en naam van de leerling. Daarna keek ik vluchtig naar de brainstorm van leerling (als die er was), ik scande het essay, gaf kort commentaar op een aantal opmaakregels die verplicht zijn bij de toets en begon dan met lezen. Terwijl ik las gaf ik direct commentaar op wat ik las. Ik zei wat ik dacht. Dit zorgde er soms voor dat ik iets verkeerd las en mijzelf moest herstellen, maar dit leverde wel meer authenticiteit op en dat er blijkbaar verwarring ontstaat bij de lezer.

Wat ik vooral heb gemerkt bij geven van audiofeedback, is dat ik minder (lang) stil sta bij grammatica- en spellingsfouten. Ik benoem ze wel, maar neig veel meer naar feedback op structuur en zinsopbouw. Ik geef ook suggesties hoe je iets beter zou kunnen verwoorden. Daarnaast geeft audiofeedback meer ruimte om uitgebreider over het essay als geheel te praten. Het helpt dat we in de lessen ieder onderdeel van het essay stap voor stap al hadden doorgenomen zodat ik daarnaar kon verwijzen.

Alle leerlingen, zonder uitzondering, zijn serieus aan de slag gegaan. Eén keer heb ik aan het begin een groepje jongens gewezen op het feit dat ze niet mogen praten of overleggen (toegegeven het was half vijf). Verder was iedere leerling op zijn of haar manier feedback aan het opschrijven op het essay en het feedbackformulier. Het was interessant om te zien dat de ene leerling al beter wist hoe dit goed te doen en de ander wat meer moeite had.

Ik heb bij alle klassen de les ongeveer 8 minuten voordat de bel ging afgesloten. Dit gaf leerlingen de ruimte om (informeel) met elkaar over de feedback te praten. Ik gaf deze instructie niet, maar je zag dat veel leerlingen graag wilde delen welke feedback ze hadden gehad op hun essay. Ook gaf het mij de ruimte sommige leerlingen persoonlijk te peilen hoe de feedback was geland en of ze nog vragen hadden.

de voor- en nadelen

De voordelen van audiofeedback zijn:

  • Je kunt in kortere tijd meer informatie delen met de leerling.
  • Het is, naar mijn ervaring, minder intensief dan met pen feedback geven (en veel minder omslachtig dan feedback typen).
  • Je laat leerlingen actief met de feedback omgaan in plaats van passief de feedback te laten lezen.
  • Je krijgt de ruimte om de leerling persoonlijk aan te spreken alsof hij of zij naast je zit. Dit levert, naar mijn mening, rijkere en meer persoonlijke feedback op en kan de band met de leerling versterken.

De nadelen van audiofeedback zijn:

  • Het vraagt nog steeds veel tijd bij het geven van feedback.
  • Je moet als docent goed in de stof zitten. Je moet in het moment feedback geven en hebt weinig tot geen tijd om iets op te zoeken.
  • Met audiofeedback stel je jezelf kwetsbaarder op dan met schriftelijke feedback. Ik geef feedback in het Engels en ik maak wel eens een foutje in het Engels. Ook krijgen leerlingen een bestand met jouw stem. Dat kan een docent een minder prettig gevoel geven. Je weet niet wat ze ermee zouden kunnen doen.

de feedback van leerlingen

Ik heb aan het einde van de les aan de leerlingen gevraagd of ze schriftelijk en anoniem hun feedback konden geven op audiofeedback. Ik had drie vragen op het bord geschreven:

  1. Was the feedback you received helpful?
  2. Would you prefer audio feedback over written feedback? Why / why not?
  3. Do you have any tips or advice?

Niet alle leerlingen waren aanwezig, maar in totaal hadden twee leerlingen van de drie klassen voorkeur voor schriftelijke feedback en drie leerlingen gaven aan dat er geen verschil was tussen schriftelijke feedback en audiofeedback. Hier kom ik later op terug. Hier volgt een selectie van de positieve feedback van de rest:

Yes, because you give more context and explain better what the problem is. Also, hearing the feedback makes it more memorable and engaging causing me to better understand my mistakes and how to fix them.

 

I liked this way of feedback because I looked at it more than usual. If it were written, I would have given it a quick scan.

 

It was more clear and it was helpful to hear more feedback than you normally get. It was also good to write it down myself so I can filter what I find helpful and have a clear list.

 

Yes, this way you can provide more nuanced feedback.

 

Because you have to write the feedback yourself, you’re more involved with it and therefore you learn the feedback better.

 

Because I can hear the thought process behind it, which explains a lot more.

 

Because you get more in depth feedback which you cannot get with when written.

 

Elke zin wordt gecontroleerd.

 

Hierdoor is het uitgebreider en begrijp je alle fouten die je hebt gemaakt. Je kunt ook zelf aantekeningen maken op een manier die je zelf goed begrijpt.

 

I found the feedback really helpful, I got better insight into how you felt about my essay compared to normal feedback on paper. It’s also your first impression of the essay, which makes it honest and real.

 

It is less structured, but it explains the process that you would have gone through when grading the essay. This is helpful because it gives complete ideas about what can be improved for a higher mark.

 

I find this form of feedback better because the reasons as to why something is wrong are clearer to me.

 

I’m now writing actively with the feedback.

 

Yes, because there is better interaction with the student. Normally I just skim the feedback and as you can see, my essays don’t really improve a lot.

 

It is less boring than on paper.

 

I could also hear how bad my handwriting is to read. I will try to improve it for the test!

 

When the feedback is spoken, I can actually hear your thought process instead of just seeing a mark.

 

Hearing your thoughts is way more helpful than just seeing some corrections.

 

When reading feedback I tend to glance over it, this required more attention.

 

Yes, it is easier to explain thoroughly when talking, it gives more space to elaborate. And it does make you pay more attention to the feedback.

 

Because like this I think about my mistakes a lot more. I actually analyse it all instead of just reading it.

 

Yes, it was more and you gave more examples how to do it better.

 

It is different and it takes a bit more time to look over it but you do look better at your essay.

 

De negatieve feedback geef ik met reflectie:

Because I did the same as the teacher, writing down the mistakes. While interesting, the inner/outer thoughts weren’t that useful. (Keep innovating!)

 

I personally like it better when it is written out, but I do think this way gives a lot more context and extra info. I guess both are good.

 

I think it is better when you just write it down because you know better how to write down feedback than me.

 

Written down may be better, because you don’t need to search or locate what you’d like.

 

I find it difficult to correct myself sometimes.

Een deel van de negatieve feedback heeft te maken met onzekerheid over hoe je feedback opschrijft. Dit lijkt mij een belangrijke studievaardigheid die zou moeten worden opgenomen in het schoolprogramma. Het zou zeker helpen om leerlingen een voorbeeld te laten zien. In klas 5 experimenteer ik met analytisch en actief lezen van non-fictie; het opschrijven van je gedachten terwijl je leest. Ook hier zie ik grote verschillen tussen leerlingen. De één lukt het al vrij goed, de ander weet totaal niet waar te beginnen en wat op te schrijven. Ook zullen voorbeelden helpen voor meer ‘scaffolding’. Dit materiaal ben ik nu ook aan het verzamelen voor volgend jaar.

Het lokaliseren van de feedback kan misschien bij dat specifieke essay rommelig zijn geweest. In principe volg ik het essay. Soms ga ik terug naar het begin van een alinea en dan probeer ik dat wel te benoemen ( “Let’s go back to the beginning of the paragraph”).

Op vraag 3 werd weinig feedback gegeven. Dit is wat er wel werd gezegd:

Maybe a short list of what the main things are to improve.

 

Give ways to practice.

 

Maybe some short notes while speaking.

 

Maybe try to scan it once before giving feedback.

 

Elaboration on the grade itself.

 

Maybe a short summary with the biggest points of criticism. A tip, also for your time, it could be a lot shorter and maybe more concise if you first read through the essay and after that just sum up some points. For me that would already have been enough and it would save you time.

 

Maybe sending it via a different app so we can speed it up.

Om met de laatste te beginnen, deze leerling heeft het over versneld afspelen (x1.25 / x1.5) van de opname. Dit is steeds meer een fenomeen bij het het luisteren van audioboeken en YouTube video’s. Persoonlijk ben ik hier terughoudender in. Zelf doe ik het soms wanneer iemand behoorlijk langzaam praat, maar als je een opname te snel afspeelt, is er minder ruimte voor reflectie. Echter, in principe hebben ze een mp3-bestand van mij gekregen en kunnen deze downloaden en openen in de app van hun voorkeur.

Ondanks dat ik dus geen voorstander ben van een focus op cijfers, snap ik de feedback van de leerling wel (cijfer is in deze die + / -). Wat de leerling, denk ik, eigenlijk vraagt is hoe verhoudt die score zich tot de feedback? Wat is de relatie tussen beide scores en de punten die worden benoemd. Niet iedere fout telt even zwaar mee.

Ik kan verbaal een kort overzicht geven van de belangrijkste punten die ik heb gevonden, en soms heb ik dit ook gedaan. Schriftelijk zou ik niet doen. Dit is een vaardigheid die leerlingen zich eigen zouden moeten maken. Hier en daar een aantekening zal ik overwegen.

Tips hoe en waar je meer kunt oefenen ga ik zeker meenemen voor een volgende keer. Ik heb veel materiaal. Het is alleen een kwestie van het aanbieden en op een duidelijke manier naar verwijzen.

Louise Taylor, docent en onderzoeker aan de Universiteit van Amsterdam, was hier drie jaar geleden al mee bezig en geeft een heldere uitleg hoe zij het heeft gedaan en hoe het op studenten overkwam. Ik zie veel overeenkomsten.

vervolgles

Het viel mij op dat veel leerlingen moeite hadden met structuur binnen alinea’s (micro structure). Ook zag ik weinig brainstorms (het kan zijn dat een aantal deze op een ander blaadje had gemaakt). De eerstvolgende les heb ik daarom leerlingen geleerd hoe ze een opdracht moeten ontrafelen (deconstruction), hoe en hoe lang ze moeten brainstormen (getting ideas), en hoe ze een outline van de brainstorm moeten maken (making choices and creating structure). Het is ook niet zo vreemd dat ik juist dit wilde oppakken. Zoals ik al eerder had aangeven, zorgt deze manier van feedback geven voor een (deel onbewuste) neiging naar een focus op structuur en opbouw in plaats van spelling- en grammaticafouten.

feedback via ChatGPT

Er werd op LinkedIn ook de suggestie gegeven om ChatGPT te gebruiken om feedback op essay te geven. Hier heb ik zeker al een mening over, maar zal het uitproberen. Ik heb een aantal essays gescand en zal deze maand onderzoek doen. Hierover komt later nog een apart artikel.

hoe nu verder

Het is zeker niet zo dat ik vanaf nu al mijn feedback verbaal wil geven. Het blijft een intensieve methode. Ik zou deze vorm van feedback vooral gebruiken bij het eindproduct (mits het een diagnostische opdracht is en geen summatieve toets). Voor kortere opdrachten zou ik nog steeds inzetten op peer feedback door middel van een single-point rubric. Wel is het zo dat het audiofeedback een waardevolle vorm van feedback geven is en het zeker verdient uitgeprobeerd te worden.

Feedback in je pocket

Ik heb een systeem uitgedacht om grammatica beter te kunnen  herhalen voor leerlingen die het nodig hebben. Het is een vorm van feedback die moet zorgen voor een persoonlijk archief van fouten die een leerling maakt. Ik heb bewust gekozen voor een tastbaar systeem en niet iets digitaals, omdat ik denk dat leerlingen dat in dit geval meer waarderen en gebruiken.

De inspiratie

Magic: the Gathering is een kaartspel waar je pakjes koopt met kaartjes. Met deze kaartjes kan je een speeldeck maken en een spelletje spelen. Op een gegeven moment stopte Wizards of the Coast, maker van Magic: the Gathering, ook een extra kaartje in het pakje waar een regel van het spel kort wordt uitgelegd.  Dat mag ook wel want sinds 1993 zijn er steeds meer mogelijkheden en regels bijgekomen waardoor het voor nieuwe en terugkerende spelers soms verwarrend is wat bepaalde kaarten nu kunnen. Een speler wordt elke keer kort aan een regel herinnerd en je kunt zo een hele verzameling regels opbouwen.

Taal is een serie spelregels

Een taal is eigenlijk ook een serie van spelregels. Het spel wordt ook steeds ingewikkelder naar mate je het op een hoger niveau speelt. Op een gegeven moment kunnen dan bepaalde regels een beetje weggezakt zijn. Het is dan vaak vermoeiend om een dik boek open te slaan en te zoeken naar die ene regel die je op dat moment nodig hebt.  Ook ter  voorbereiding op een toets is het soms vervelend door een heleboel regels te spitten. Sommige leerlingen kunnen een mooi systeem maken, maar niet iedere leerling kan dat. Dus dacht ik, waarom gewoon niet af en toe een regel toestoppen?

Het systeem

In deze module werken leerlingen in klas 5 naar een Letter to the Editor toe. Ze maken een aantal schrijfopdrachten in de module die ik nakijk. Ik zie vaak dezelfde kleine fouten voorbij komen zoals affect vs effect en than vs. then. Iedere keer wanneer ik een opdracht nakijk en een aantal van deze fouten vind, geef ik de fout aan (maar zonder verbetering) en zet een nummer in de kantlijn. Dat nummer verwijst naar een kaartje waar de regel in het kort wordt uitgelegd. Het kaartje wordt met een paperclip aan de opdracht vastgemaakt.

De leerlingen ontvangen een plastic bladzijde waar zij de kaartjes in kunnen doen. Dit zijn mapjes waar je normaal gesproken Magic: the Gathering kaartjes in doet. Wanneer een leerling zich voorbereid op de volgende schrijfopdracht of de toets, kan hij of zij de kaartjes erbij pakken en kort als een herinnering ophalen. Vaak gaat het er ook niet om dat een leerling een regel niet meer wist, maar bijvoorbeeld wat gemakzuchtig was of te snel schreef.

 

Onderaan de kaartjes staat een verwijzing naar de elo. Het wordt de bedoeling dat iedere regel op de elo het volgende krijgt:

  • Een uitgebreide uitleg
  • Een Youtube-filmpje
  • Een oefenopgave (volgens het pool-principe, uit een pool van x vragen wordt er telkens willekeurig een aantal getrokken).

Dit kost natuurlijk veel tijd dus maak ik nieuwe items op basis van de fouten die ik in klas 5 tegenkom.

De nummering is op dit moment voor een deel arbitrair. Ik heb op dit moment de volgende verdeling:

  • 100 – Basis grammatica
  • 200 – Gevorderde grammatica
  • 300 – Overige grammatica, zoals bijvoorbeeld de onregelmatige werkwoorden
  • 400 – Spelling
  • 500 – Confusables, woorden die vaak verwisseld worden zoals than/then, affect/effect, theyr’re/their/there.

Deze onderverdeling is nooit toereikend en ik verwacht dat ik eerder in duizendtallen moet werken dan honderdtallen.

Wat heb je nodig

Ik gebruik de volgende materialen:

  • kleurenkopie op stevig karton (school)
  • paperclips
  • hoesjes voor de kaartjes (ik koop budget sleeves bij www.summoner.nl, 100 voor een €1,00)
  • een blad voor in een snelhechter voor de kaartjes (ik koop deze bij www.summoner.nl, 100 bladen voor €19,95)
  • Een snelhechter (maar die hadden mijn leerlingen al)
  • elo voor extra ondersteuning

De kaartjes maak ik in Word en laat ik op school drukken. Ik snijd ze zelf uit. Ik deel gemiddeld 1 tot 2 kaartjes uit per leerling bij een schrijfopdracht. Aan de ene kant zal dit aantal toenemen omdat ik meer regels erbij betrek, aan de andere kant deel ik de kaartjes maar één uit en schrijf dan alleen nog het nummer (met een uitroepteken!) op het blaadje als de leerling in de fout blijft gaan, dus zal het aantal ook weer afnemen. Ik houd in mijn PDE archief (een soort eigen portfolio in Excel waar ik later meer over zal vertellen) bij welke kaartjes een leerling heeft ontvangen.

Andere vakken

Een systeem als deze kan natuurlijk ook voor andere vakken goed gebruikt worden zoals molecuul structuren of elementen van het periodieke systeem, wiskundige formules, jaartallen uit de geschiedenis, landen met hoofdsteden, naamvallen, eigenlijk alles wat feiten heeft.

De reactie

De reactie van de leerlingen was over het algemeen redelijk positief. Dat komt waarschijnlijk omdat ze nog niet goed kunnen inzien hoe ze dit verder gaat helpen. Ik zal na de komende toets een enquête afnemen om te zien in hoeverre het ze heeft geholpen in hun voorbereiding. Een enkele leerling wilde eigenlijk wel kaartjes hebben, maar had geen fouten gemaakt en grapte dat hij daarom maar extra fouten ging maken in zijn volgende schrijfopdracht.