Een data-analyse van een AI beoordelen

Aanbevolen voor: Gevorderde cursussen met een stevig kwantitatief onderdeel

Werkwijze

1. Studenten verzamelen of ontvangen gegevens die bij het vak passen: qPCR-Ct-waarden, celoverlevingsmetingen, spectroscopische gegevens, enquêteantwoorden, economische indicatoren, psychologische testscores.
2. Ze voeren zelf een volledige analyse en interpretatie uit met passende statistische of analytische methoden.
3. Ze leggen dezelfde gegevens voor aan een AI-systeem en vragen om een volledige analyse en interpretatie.
4. Ze beoordelen de uitvoer van de AI stelselmatig op:
   • rekenkundige juistheid: kloppen de berekeningen, de toetsen en de kwantitatieve analyses?
   • methodologische geschiktheid: passen de gekozen methoden bij het gegevenstype, de verdeling en de vraag?
   • volledigheid: is elke relevante analyse uitgevoerd, of ontbreekt er een invalshoek?
   • wetenschappelijke redenering: volgt de interpretatie logisch en zorgvuldig uit de resultaten?
   • erkenning van beperkingen: worden voorbehouden, betrouwbaarheidsintervallen en statistische grenzen genoemd?
   • overeenstemming met het eigen oordeel: waar komen de conclusies van de AI overeen met die van de student, en waar niet?
   • fouten of verzinsels: bedenkt de AI datapunten, patronen of verbanden die er niet zijn?
5. Studenten leggen alle verschillen tussen hun eigen analyse en die van de AI vast.
6. Bij belangrijke verschillen zoeken ze gezaghebbende bronnen op of leggen ze het aan de docent voor om uit te maken wie gelijk heeft.

Uitbreidingen

• Geef bewust gebrekkige, dubbelzinnige of extreme gegevens om te zien hoe een AI met analytische lastigheden omgaat.
• Vergelijk analyses van verschillende systemen op consistentie en betrouwbaarheid.
• Laat studenten opzettelijk fouten of afwijkingen in de gegevens aanbrengen om te toetsen of het systeem die opmerkt.

Discussievragen

• Welke soort analysefout maakten de systemen het vaakst?
• Wanneer voegde de AI-analyse werkelijk iets toe, en wanneer bracht hij verwarring of misleiding?
• Welke controlestappen zou een onderzoeker moeten zetten bij een door AI gemaakte analyse?
• Hoeveel statistische kennis en vakkennis is er nodig om zo'n analyse goed te kunnen beoordelen?
• Wat doet toenemende afhankelijkheid van AI met het analytische vermogen en het statistische begrip van onderzoekers?

Toetsmogelijkheid

Studenten leveren een analytisch verslag in waarin ze hun eigen analyse naast die van de AI leggen, de verschillen wegen en tot één onderbouwde eindinterpretatie komen.