Het was nogal een schok voor de sociale psychologie toen in 2011 de fraude van de Tilburgse hoogleraar Diederik Stapel aan het licht kwam: jarenlang zoog hij allerlei experimenten uit zijn duim. Hoe kon hij zo lang ongestoord zijn gang gaan?
Maar ook in andere vakgebieden staan de uitkomsten van wetenschappelijk onderzoek geregeld ter discussie, alleen al omdat sommige wetenschappers hun conclusies een beetje aandikken: anders springen hun artikelen niet genoeg in het oog.
Heel gewoon
Wat valt er tegen dit soort ‘wetenschap’ te doen? Er zit maar één ding op, meent hoogleraar maatschappelijke gezondheidszorg John Mackenbach, voorzitter van een commissie die de Koninklijke Nederlandse Akademie van Wetenschappen hiervoor in het leven heeft geroepen. ‘Wetenschappers moeten vaker elkaars experimenten herhalen. Dat zou heel gewoon moeten zijn.’
Vandaag presenteert zijn commissie haar advies. Niet-reproduceerbaar onderzoek belemmert de wetenschappelijke vooruitgang, meent de commissie. Als wetenschappelijke missers over het hoofd worden gezien, kan dat bovendien schade aanrichten. Denk maar aan de verkeerde behandeling van patiënten.
Mackenbachs advies is duidelijk: repliceer onderzoek vaker en maak daar meer geld voor vrij. Om replicatie eenvoudiger te maken zouden wetenschappers bovendien veel meer details over hun onderzoeksmethode moeten prijsgeven. ‘Nu tijdschriften allemaal online verschijnen, is daar ook genoeg ruimte voor.’
Herhalingsonderzoek is per definitie niet vernieuwend. Heb je er dan ook een ander type wetenschapper voor nodig?
‘Nee, we zouden het allemaal moeten doen. Het is gewoon hoogwaardig onderzoek. Je hebt dezelfde competenties en apparatuur nodig als bij het oorspronkelijke onderzoek. Het moet dus door de beste onderzoekers worden uitgevoerd. Het enige verschil is inderdaad dat het weinig innovatief is.’
Promovendi
Zou het een soort wetenschappelijke dienstplicht moeten zijn?
‘Zo staat het niet in ons advies. Maar misschien kunnen alle beginnende promovendi, in het kader van hun opleiding, eerder onderzoek overdoen: dan leren ze niet alleen het vak, maar dragen ze ook bij aan de betrouwbaarheid van hun discipline.’
Van herhaling gesproken, dit pleidooi klonk wel eerder. Zelfs Nobelprijswinnaars braken er een lans voor. Waarom is het zo’n moeilijke boodschap?
‘Wetenschappers zijn geïnteresseerd in nieuwe dingen, en wat je herhaalt is natuurlijk niet nieuw. De beleving is anders. Maar er zijn ook objectieve barrières. Tijdschriften zijn er minder in geïnteresseerd, dus heeft het minder status. Onderzoekers krijgen meer waardering voor innovatief onderzoek, waarna ze makkelijker nieuwe subsidies krijgen enzovoorts. Die barrières moeten we proberen weg te nemen.’
Hoe dan?
‘Er zijn internationaal allerlei grote initiatieven: hele vakgebieden kijken hoe het met de reproduceerbaarheid van hun uitkomsten staat. Ook tijdschriften gaan door de bocht. Sommige tijdschriften beloven nu dat ze de replicatiestudies van hun eerdere artikelen zullen plaatsen – ongeacht de uitkomst. Binnen Nederland moeten we het ook oppikken. Onderzoeksfinancier NWO heeft al een programma voor replicatieonderzoek, maar het budget is klein. Het is lang niet genoeg om het probleem te tackelen.’
Risico
Welke vakgebieden hebben hier het meest mee te kampen?
‘Natuurlijk begrijpen we dat vakgebieden als de psychologie een groter risico lopen, omdat er meer mensenwerk bij komt kijken. In vakgebieden als de natuurkunde gebeuren waarnemingen veelal met apparaten, en daarom hoor je natuurkundigen soms zeggen: ‘Bij ons speelt dit probleem niet.’ Maar hoe weet je dat eigenlijk als je het niet uitzoekt? Een van de belangrijkste aanbevelingen in ons rapport is dat wetenschappers systematisch de reproduceerbaarheid binnen hele onderzoeksvelden of subdisciplines moeten bestuderen.’
Zien wetenschappers replicatieonderzoek misschien als een motie van wantrouwen?
‘Ik sluit niet uit dat dat bij sommigen meespeelt, maar ik hoor het niet van de wetenschappers die ik spreek. Zij zijn er gewoon in geïnteresseerd.’
Hoeveel geld mag het kosten? Een procent van het onderzoeksbudget, of liever tien procent?
‘Daar ergens tussenin, denk ik. Maar allereerst moeten we meer kennis krijgen over de omvang van het probleem.’
