Voorspellingen van een AI kritisch beoordelen
Ontwikkel het vermogen om de wetenschappelijke redenering, de mechanistische logica en de aannemelijkheid achter een voorspelde uitkomst te beoordelen.
Aanbevolen voor: Gevorderde, onderzoeksgerichte cursussen
Werkwijze
- Studenten bedenken een concreet experimenteel scenario of krijgen er een: "Voorspel het fenotypische gevolg van het behandelen van gekweekte cellen met rapamycine terwijl mitofagie geremd wordt", of "Voorspel het gedrag van een slingersysteem met niet-lineaire demping".
- Ze vragen een AI-systeem om de uitkomst te voorspellen en het onderliggende mechanisme uitgebreid toe te lichten.
- Ze beoordelen die voorspelling en die redenering stelselmatig:
- Aannemelijkheid: past de voorspelde uitkomst bij de gevestigde beginselen en patronen in het vakgebied?
- Mechanistische logica: is de causale verklaring deugdelijk en vrij van innerlijke tegenspraak?
- Volledigheid: zijn alle relevante mechanismen, routes en factoren meegenomen?
- Wat is er over het hoofd gezien, vereenvoudigd of niet geïntegreerd?
- Steun in de literatuur: is de voorspelling met gepubliceerd onderzoek te bevestigen of te weerleggen?
- Kwantitatieve redenering: kloppen de getallen, waar die er zijn?
- Studenten stellen alternatieve uitkomsten voor, met mechanistische onderbouwing.
- Ze benoemen welke aanvullende informatie, controles of metingen nodig zouden zijn voor een betrouwbare voorspelling.
Uitbreidingen
- Laat studenten stelselmatig literatuuronderzoek doen om de voorspelling te bevestigen of te weerleggen.
- Vergelijk voorspellingen voor hetzelfde scenario van verschillende AI-systemen.
- Leg ze waar mogelijk naast werkelijke resultaten uit de literatuur of uit het practicum.
Discussievragen
- Wat maakte de ene voorspelling wetenschappelijk aannemelijker dan de andere?
- Hoe ging de AI om met complexiteit, met onzekerheid, en met het samenspel van meerdere mechanismen?
- Hoeveel vakkennis was er nodig om de voorspelling en de redenering goed te beoordelen?
- Hoe zou een onderzoeker AI-voorspellingen op een verantwoorde manier in zijn onderzoeksplanning kunnen betrekken?
Toetsmogelijkheid
Studenten leveren een wetenschappelijke beoordeling van de voorspelling in, met een mechanistische kritiek, alternatieve hypothesen en een voorstel voor een experiment dat tussen de concurrerende voorspellingen kan beslissen.