Een door AI bedachte hypothese en onderzoeksopzet beoordelen
Ontwikkel het vermogen om onderzoeksvoorstellen kritisch te beoordelen: methodologische gebreken opsporen en de wetenschappelijke degelijkheid versterken.
Aanbevolen voor: Cursussen onderzoeksmethoden, practica of afstudeerseminars
Werkwijze
- Laat studenten een AI-systeem vragen om een toetsbare hypothese die aansluit bij de cursusinhoud of bij hun eigen onderzoeksbelangstelling.
- Laat ze de AI vervolgens een volledige onderzoeksopzet voorstellen om die hypothese empirisch te toetsen.
- Laat ze dat voorstel stelselmatig beoordelen op meerdere punten:
- Haalbaarheid: is dit experiment werkelijk uit te voeren met de beschikbare middelen, apparatuur en technieken?
- Controles: zitten er passende positieve en negatieve controles in? Welke essentiële controle ontbreekt?
- Variabelen: zijn de onafhankelijke en afhankelijke variabelen helder gedefinieerd en goed geoperationaliseerd? Zijn verstorende variabelen benoemd en ondervangen?
- Onderscheidend vermogen: is de voorgestelde steekproef groot genoeg om een betekenisvol effect te vinden?
- Logica: toetst de opzet werkelijk de gestelde hypothese, of beantwoordt hij een andere vraag?
- Valkuilen: wat kan er methodologisch misgaan? Welke aanname blijft onbesproken?
- Ethiek: zijn er overwegingen die de AI heeft overgeslagen — proefpersonen, dierenwelzijn, milieugevolgen?
- Alternatieve verklaringen: zou het voorspelde resultaat ook door iets anders dan de hypothese verklaard kunnen worden?
- Laat studenten de opzet herzien zodat alle gevonden zwakke plekken zijn ondervangen.
- Laat groepjes hun bevindingen, herzieningen en alternatieven vergelijken.
Uitbreidingen
- Laat studenten opzetten voor dezelfde onderzoeksvraag vergelijken die door verschillende wetenschappelijke AI-zoekmachines zijn gemaakt (bijvoorbeeld Consensus, Elicit, Scite, SciSpace, Semantic Scholar).
- Beoordeel de stelselmatige verschillen in kwaliteit, volledigheid en degelijkheid tussen die systemen.
- Laat ze de AI-opzet naast een gepubliceerde onderzoeksopzet uit peer-reviewed literatuur leggen.
Discussievragen
- Welke soorten methodologische fouten of omissies kwamen het vaakst voor?
- Hoeveel vakkennis en methodologische scholing was er nodig om ze te zien?
- Wat doet het met de kwaliteit van wetenschappelijk onderzoek als AI-opzetten kritiekloos worden overgenomen?
- Wanneer levert AI bruikbare inbreng in het ontwerpen van onderzoek, en wanneer is menselijke expertise onmisbaar?
Toetsmogelijkheid
Studenten leveren een methodologische kritiek in plus een herziene opzet die alle gevonden beperkingen ondervangt, met een verantwoording per wijziging.