Professor Steketee laat me met de opgaven voor een schriftelijk tentamen Aero II achter. Het is het laatste tentamen van mijn studie, in 1987, en bestaat grotendeels uit het neerpennen van wiskundige afleidingen. Ze staan in het dictaat, en dat zit in de tas naast mijn stoel. Heel lekker gaat het niet, en dan valt het niet mee om alleen in een kamertje te zitten. In een grote zaal kan je nog wat rondkijken om te zien hoe medestudenten het doen. De grote wijzer van de klok achter me verspringt iedere minuut met een ratelend geluid, waardoor ik voortdurend bij het voortschrijden van de tijd word bepaald. Om half één komt professor Steketee niet opdagen. Ik weet nu dat ik er minimaal een uur erbij krijg: de professor neemt altijd ruimschoots de tijd om met zijn vakgroepsgenoten te lunchen en een pijp op te steken. En inderdaad, pas ruim een uur later stuift hij de kamer binnen, verontschuldigt zich en neemt het gemaakte werk in ontvangst. Ik krijg een magere voldoende.
'Ik hoop dat Proctorio ons nucleaire wapentuig wordt: verschrikkelijk, en daarom nooit ingezet'
Professor Steketee had zijn proctoring duidelijk niet op orde. Tot voor kort kende ik het woord niet eens. Binnen onze universiteit is het bijna zover dat we van Proctorio gebruik kunnen maken, elders is die stap allang gezet. De snelheid en vanzelfsprekendheid waarmee sommige universiteiten vorig jaar op online proctoring overgingen is verbazingwekkend. Alsof de opleidingsaccreditaties acuut op het spel stonden. De stemming binnen onze universiteit is dat online proctoring alleen in uiterste noodzaak gebruikt wordt. Ik hoop dat dat inderdaad het geval zal zijn, en dat Proctorio ons nucleaire wapentuig wordt: verschrikkelijk, en daarom nooit ingezet.
Peanuts
Fraudebestrijding bij online toetsing: ongetwijfeld kán het. De hardware en de software zijn er, of ze zijn voorstelbaar. En de bezwaren zijn er ook. Bij zeker acht Nederlandse universiteiten zijn petities gehouden tegen online proctoring. Het valt op dat de bezwaren vooral over de privacy gaan. De enige afgeronde rechtszaak in Nederland over deze kwestie ging ook voornamelijk daarover. Die rechtszaak hebben de studenten verloren: blijkbaar stonden alle privacy-stoplichten op groen.
'Proctorio heeft zelfs het verwijt gekregen, racistisch, transfoob en validistisch te zijn'
Die privacyaspecten, hoe ingewikkeld ook, zijn stuk voor stuk te ondervangen volgens de normen van de AVG, en daarmee uiteindelijk peanuts. Zelf zou ik de juridische pijlen, meer dan op de privacy, op de algoritmen en de daaromheen gebouwde praktijk hebben gericht. Het zijn die algoritmen die op basis van wat de computer ziet, hoort en voelt, bepaald gedrag van de student afvlaggen. Het soort gedrag dat verdacht wordt gevonden, en de drempelwaarden, mogen volgens de FAQs van Proctorio door de toetsafnemer zelf worden bepaald. Als er gevlagd wordt, gebeurt dat in stilte, en moet de toetsafnemer achteraf bepalen of de student inderdaad buiten zijn of haar boekje is gegaan.
Arme student, die het gevoel heeft dat iedere beweging er één teveel of te weinig is. En arme toetsafnemer, die niet alleen het gemaakte werk moet nakijken, maar ook vooraf Proctorio moet afstellen, en achteraf al dat afgevlagde gedrag moet beoordelen. De algoritmen zijn bedrijfsgeheim, en werken wellicht met een sowieso niet te doorgronden logica. Daar ligt wat mij betreft een probleem. Er zijn ook zorgen geuit over mogelijke extra negatieve effecten voor bepaalde groepen. Proctorio heeft zelfs het verwijt gekregen, racistisch, transfoob en validistisch te zijn.
'Laten we niet wachten tot over een paar jaar een (nog op te richten) commissie gaat onderzoeken wat hier mis is gegaan'
Zoals de waard is…
Aan de recente voorbeelden dat mensen op basis van algoritmen onder verdenking worden gesteld kunnen we nu ook proctoring toevoegen. Maar terwijl bij de verdenking van fraude met toeslagen en uitkeringen achteraf nog kan worden geverifieerd wat er daadwerkelijk is gebeurd, is dat bij tentamenfraude veel moeilijker. De software zadelt de student en de docent op met vlaggen die om niet precies te traceren redenen zijn opgestoken, maar de fraude zelf is nauwelijks aan te tonen tenzij de student het heel dom aanpakt. Een surveillant in een zaal kan met een priemende blik een student nog ter plekke corrigeren om erger te voorkomen, maar Proctorio beschuldigt pas achteraf. Dit, in combinatie met een vertrouwelijk en deels ondoorgrondelijk algoritme, en het achteraf niet hard kunnen bewijzen van fraude, vraagt om een juridische en ethische toetsing. Laten we niet wachten tot over een paar jaar een (nog op te richten) commissie gaat onderzoeken wat hier mis is gegaan.
Vind ik tentamenfraude dan geen probleem? Natuurlijk wel. Vertrouw ik alle studenten? Nee, uiteraard niet, want zoals de waard is… Wil ik dit probleem dan helemaal niet oplossen? Nee, althans niet door de student digitaal klem te zetten en met onbekende algoritmes potentiële boosdoeners aan te wijzen, die zich vervolgens moeilijk kunnen verdedigen. Laten we, hoe lastig ook, streven naar een vorm van toetsing waarbij de student geen profijt heeft van wat ingefluisterde informatie, of daar niet eens tijd voor heeft.
Rijp voor het museum voor academische historie, vindt Steenbergen.
Waar we ons geld wel op moeten inzetten
Ik pleit voor een heel andere investering. Een belangrijk probleem voor de kwaliteit van de toetsing, en voor het welzijn van de student én de docent, is het gebruiken van andere expressievormen dan platte tekst, zoals tekeningen, schema’s, wiskundige formules en chemische structuurformules. Voor meerkeuzevragen en vragen waarbij alleen tekst wordt verwacht kunnen Canvas en Remindo worden gebruikt.
'Laat alle studenten een tekentablet van een paar tientjes aanschaffen, of geef ze er één cadeau'
Maar voor al die andere expressievormen vallen we terug op pen en papier. De student moet deze onder tijdsdruk fotograferen en uploaden, en de docent aan de andere kant van de lijn mag ze vervolgens downloaden. Ik verzeker u: het nakijken van dit soort werk is op zijn minst een uitdaging, maar vaak een regelrechte kwelling. Bij de vele goede instructies die onze universiteit ons geeft voor online toetsing zit er niet één die dit probleem het hoofd biedt, terwijl het voor mij de ultieme complicatie vormt voor de toetsing van exacte vakken.
Museum voor academische historie
Laat alle studenten een tekentablet van een paar tientjes aanschaffen, of geef ze er één cadeau, zoals bij een enkele opleiding aan onze universiteit al is gebeurd. Na wat oefening kunnen ze daar bij de toets op los gaan. Zo vervalt de tussenstap van het fotograferen en uploaden van handgeschreven vellen. En de volgende stap naar vervolmaking, namelijk het rechtstreeks in Canvas, Remindo, of welke toetsapplicatie dan ook schrijven via een tablet of touchscreen: als het er al niet is, moet het toch in korte tijd ontwikkeld kunnen worden? Ja, daar is een investering voor nodig. Maar die investering is duurzaam, want het resultaat kan in het vervolg ook bij fysieke toetsen worden gebruikt. Het verlost ons van de stapels papier die schriftelijke toetsing en de bijbehorende logistiek toch al tot een archaïsch gebeuren maakten, rijp voor het museum voor academische historie.
Het zou zonde zijn als de opbrengst van deze periode voor de praktijk van toetsing vooral zou zijn dat we online proctoring hebben geïntroduceerd, maar dat we op het gebied van toetstechnologie stil zijn blijven staan. Dan hebben we, om dit cliché maar eens te gebruiken, een crisis verspeeld.
