Feedback en cijfers van een AI onderzocht
Onderzoek hoe betrouwbaar, consistent en leerzaam de feedback en de cijfers zijn die een AI geeft.
Aanbevolen voor: Schrijfintensieve cursussen in elk vakgebied
Werkwijze
- Laat studenten een kort essay van zo'n 500 woorden schrijven over een relevant onderwerp, bijvoorbeeld: analyseer de invloed van sociale media op het welzijn van studenten, en betrek je eigen ervaring erbij.
- Elk essay krijgt feedback en een cijfer van minstens drie medestudenten. Geef geen beoordelingsmodel; studenten moeten hun cijfer zelf verantwoorden.
- Studenten bekijken de ontvangen feedback nog niet.
- Ze leggen hun essay voor aan een generatieve AI met het verzoek om opbouwende feedback.
- Ze herzien het essay op basis daarvan, met of zonder hulp van AI.
- Ze leggen de herziene versie opnieuw voor aan hetzelfde systeem en vragen weer om feedback.
- Ze onderzoeken en beschrijven waarom de AI blijft aanmerken, ook nadat ze de vorige suggesties hebben verwerkt.
- Ze vragen de AI om een cijfer: eerst zonder nadere opgave, daarna uitdrukkelijk op een schaal van 1 tot 10 met schriftelijke onderbouwing.
- Ze controleren of dat cijfer hetzelfde blijft als ze hetzelfde essay meerdere keren voorleggen.
- Pas nu geef jij het officiële beoordelingsmodel.
- Studenten vergelijken de peerfeedback, de AI-feedback en de criteriumgerichte beoordeling.
- Ze wisselen hun peerfeedback uit en leggen alle bronnen van beoordeling naast elkaar.
- Sluit af met een plenaire bespreking waarin je de bevindingen samenbrengt.
Uitbreidingen
- Leg hetzelfde essay voor aan verschillende systemen (ChatGPT, Claude, Gemini) en vergelijk de kwaliteit en de consistentie van de feedback.
- Vergelijk feedback op een summiere prompt met feedback op een uitgewerkte prompt die aangeeft hoe streng er op grammatica, opbouw, stijl en argumentatie gelet moet worden.
- Geef het systeem het officiële beoordelingsmodel en vergelijk zijn oordeel met dat van medestudenten en dat van de docent.
Discussievragen
- Waarom blijft een AI verbeteringen voorstellen, ook nadat de vorige zijn doorgevoerd?
- Hoe verhoudt de consistentie van een AI-cijfer zich tot de overeenstemming tussen menselijke beoordelaars?
- Wat zegt deze oefening over wat een AI onder tekstkwaliteit en verbetering verstaat?
- Hoe zouden studenten een AI-feedbacksysteem strategisch kunnen bespelen?
- Wat betekent het voor het leren als studenten op AI-feedback leunen in plaats van eigen kwaliteitsmaatstaven te ontwikkelen?
Toetsmogelijkheid
Studenten schrijven een vergelijkend verslag over de patronen tussen alle bronnen van feedback, en wegen de sterke en zwakke kanten van elk.
Bron
- Geysendorpher (2025) biedt aanvullend empirisch onderzoek naar de betrouwbaarheid van AI-feedback in het onderwijs.