De AI-readiness toets in je les

Aanbevolen voor: De eerste weken van een vak waarin studenten met generatieve AI gaan werken. Werkt in elk vakgebied: de toets vraagt naar gebruik en oordeel, niet naar vakkennis

Leerdoel: De student kan benoemen waar zijn eigen omgang met generatieve AI sterk en zwak is - prompten, uitkomsten controleren, privacy en academische integriteit - en kan één gewoonte noemen die hij in dit vak wil veranderen.

Tijdsduur: 20 tot 30 minuten voor de toets, 20 minuten nabespreking · Groepsgrootte: vanaf 8 studenten; nabespreken in groepjes van drie of vier

Achtergrond voor de docent

De AI-readiness toets is geen vragenlijst maar een gesprek. Veertien vragen, meerkeuze en open door elkaar, die meebewegen met de antwoorden: wie een onderwerp goed beheerst krijgt een lastiger vervolg, wie vastloopt krijgt eerst uitleg. Onderweg verdient de student sterren; aan het eind volgt een verslag met sterke punten, punten die aandacht verdienen en volgende stappen.

De vragen dekken vier dingen die zelden samen worden getoetst: weten wat een taalmodel is en waar het misgaat, een bruikbare prompt formuleren, een AI-uitkomst controleren voordat je hem in een werkstuk zet, en de ethische kant - welke gegevens je niet in een chatvenster zet, en wanneer je het gebruik van AI verantwoordt. Daarnaast vraagt de toets naar het eigen gebruik: hoe vaak, waarvoor, en met welke afspraken in het achterhoofd.

De didactische winst zit niet in de score. Studenten die dagelijks met AI werken schatten zichzelf vrijwel altijd hoog in, en lopen dan vast op vraag 3 of 12, waar het gaat over het controleren van wat er terugkomt. Dat gat tussen gebruiken en beoordelen is precies waar deze oefening over gaat. Het eindverslag is het lesmateriaal, niet het cijfer.

Twee praktische dingen. De veertien vragen staan in het Engels - het is een gevalideerd instrument en een vertaling maakt er stilletjes een andere vraag van - terwijl het gesprek, de feedback en het eindverslag de taal van de student volgen. Begin je in het Nederlands, dan gaat de rest in het Nederlands. En de toets vraagt niet naar naam of studentnummer; wijs studenten erop dat ze die er ook niet in hoeven te zetten.

Wil je weten waar dit instrument vandaan komt en wat de Onderwijswerkplaats ermee onderzoekt, dan staat dat op de projectpagina bij de GenAI experimentation-collectie.

Werkwijze

Variant A: in de les. Dit is de sterkste vorm, omdat de nabespreking het werk doet.

1. Kondig aan het begin van de les aan dat er niets wordt ingeleverd en niets wordt beoordeeld. Zonder die zin gaan studenten antwoorden wat ze denken dat goed staat, en dan meet je niets.
2. Laptops open, 25 minuten. De toets staat op Vraag het EduBase; studenten klikken de startknop in de taal die ze willen.
3. Vraag iedereen het eindverslag te bewaren - schermafbeelding of kopiëren en plakken. Het gesprek is daarna weg.
4. Groepjes van drie of vier, tien minuten: leg de verslagen naast elkaar. Niet de sterren vergelijken, maar de Areas to work on. Waar komt bij meerdere mensen hetzelfde punt terug? Waar verschillen jullie, en waardoor?
5. Plenair, tien minuten: verzamel de terugkerende punten op het bord. Sluit af met één afspraak voor dit vak - bijvoorbeeld hoe AI-gebruik in opdrachten wordt verantwoord. Nu die uit hun eigen verslagen komt, is het geen regel van bovenaf.

Variant B: formatief, op een eigen gekozen moment. Lichter, en bruikbaar als er geen lestijd is.

1. Zet de link in Canvas of in de studiehandleiding, met een deadline: doen vóór de week waarin de eerste AI-opdracht begint.
2. Vraag één ding terug, niet het hele verslag: de zin uit Areas to work on die het meest raak was, plus wat de student daaraan gaat doen. Drie regels volstaat.
3. Lees die regels door voordat je de AI-opdracht uitlegt. Je weet dan waar de groep staat, en je kunt je uitleg daarop richten.

Variant B is zwakker, en het is goed om te weten waarom: zonder nabespreking blijft het verslag een persoonlijk advies dat de meeste studenten één keer lezen. Het gesprek in de groep is wat het van een test een oefening maakt.

Discussievragen

• Waar dacht je dat je goed in was, en wees het verslag iets anders aan?
• Bij welke vraag merkte je dat je een antwoord gaf waarvan je dacht dat het "goed" was, in plaats van wat je werkelijk doet?
• De toets vraagt bij verschillende vragen naar controleren. Hoe vaak controleer je een AI-antwoord echt, en waaraan zie je dat er iets niet klopt?
• Welke gegevens heb je weleens in een chatvenster gezet waarvan je nu denkt: dat had niet gehoeven?

Toetsmogelijkheid

Geef hier geen cijfer voor. De toets is een zelfrapportage: wie weet hoe het hoort kan hoog scoren zonder er iets van te doen, en zodra er punten aan hangen meet je alleen nog sociaal wenselijk gedrag.

Wat wel kan: laat de student het eindverslag gebruiken als startpunt van een leerafspraak. Twee punten uit Areas to work on, wat hij daaraan gaat doen in dit vak, en aan het eind een halve pagina over wat er van terechtkwam. Die reflectie is beoordeelbaar en is niet door een model in te vullen, omdat ze naar het eigen verslag en het eigen werk verwijst.

Uitbreidingen

Laat studenten de toets aan het eind van het vak nog een keer doen en de twee verslagen naast elkaar leggen. Verandering in de sterren zegt weinig; verandering in wat ze zelf opschrijven bij de open vragen zegt veel.

Voor een kritischer variant: laat een groepje één vraag uit de toets uitkiezen en beargumenteren waarom het "juiste" antwoord in hun vakgebied niet klopt. Het instrument komt uit een andere universiteit en een ander vakgebied; dat mag ter discussie staan.

Deze oefening combineert goed met Vijf kritische vragen vóór je AI gebruikt als vervolg op de vragen over prompten en beoordelen, met Een AI-antwoord nakijken met ACCUSE voor het controleren, en met Dataprivacy en AI-infrastructuur voor de privacyvragen. Wie liever zonder tool begint, kan eerst Vraag studenten naar hun AI-ervaringen doen.

Bron

• Gebaseerd op de AI-Readiness Agent van de University of Sydney. De veertien vragen en de opzet komen daarvandaan; het eindverslag verwijst door naar hun eigen Canvas-cursus.
• De VU-uitvoering draait op de eigen omgeving van de Onderwijswerkplaats, binnen de EU. Zie de projectpagina AI-readiness toets voor wat daar precies mee onderzocht wordt.
• De werkvorm hierboven - de twee varianten, de vragen en de leerafspraak - is van ons.