Een door AI geschreven protocol beoordelen

Aanbevolen voor: Practica waarin experimentele techniek centraal staat

Werkwijze

1. Studenten laten een AI een protocol schrijven voor een standaardprocedure uit de cursus, of krijgen er een: PCR, western blot, chromatografie, spectroscopische analyse, het afnemen van een vragenlijst.
2. Ze lopen het protocol stelselmatig na op:
   • ontbrekende controles: staan alle noodzakelijke controles er uitdrukkelijk in?
   • onwerkbare stappen: zijn er handelingen die onpraktisch, onuitvoerbaar of fysiek onmogelijk zijn?
   • onjuiste reagentia: kloppen concentraties, volumes, zuiverheidsgraden en bereidingswijzen?
   • fouten in de tijd: kloppen incubatietijden, reactieduren en de volgorde van handelingen?
   • weggelaten veiligheid: ontbreken er voorzorgsmaatregelen, beschermingsmiddelen of afvalvoorschriften?
   • apparatuur: zijn instrumenten en materialen voldoende nauwkeurig aangeduid?
   • gegevensverzameling: deugen de meetmethode, de vastlegging en de kwaliteitscontrole?
   • herhaalbaarheid: staat er genoeg detail in om het onafhankelijk over te doen?
3. Studenten voorzien het protocol van correcties, aanvullingen en een toelichting per punt.
4. Waar tijd en faciliteiten het toelaten, voeren ze het oorspronkelijke of het gecorrigeerde protocol uit en leggen ze vast wat er verder nog misging.

Uitbreidingen

• Vergelijk protocollen voor dezelfde procedure van verschillende AI-systemen of wetenschappelijke zoekmachines.
• Beoordeel welk systeem betrouwbaarder, vollediger en technisch juister werk levert.
• Toets AI-protocollen in het practicum om problemen empirisch aan het licht te brengen.

Discussievragen

• Welke soort fout kwam het vaakst voor, welke was het ernstigst, en welke zou het resultaat het snelst onbruikbaar maken?
• Wat doet een gebrekkig protocol met de uitkomst, de gegevenskwaliteit en de veiligheid?
• Welke controlestappen zou een onderzoeker moeten zetten voordat hij een AI-protocol gebruikt?
• Hoe verhoudt de kwaliteit zich tot protocollen van ervaren onderzoekers of uit peer-reviewed methodenpublicaties?

Toetsmogelijkheid

Studenten leveren een geannoteerd, gecorrigeerd protocol in met een foutenanalyse waarin ze per probleem de mogelijke gevolgen beschrijven.