Onderzoeksfinancier NWO ziet het verschil tussen goede en slechte wetenschappers, maar maakt geen onderscheid tussen goede en geweldige wetenschappers. Dat stelt het Rathenau Instituut.
Prestaties uit het verleden bieden geen garantie voor de toekomst. Dat blijkt uit een onderzoek
van het Rathenau Instituut naar de verdeling van onderzoeksgeld door de Nederlandse Organisatie voor Wetenschappelijk Onderzoek. De beste afgewezen onderzoekers hadden meestal invloedrijkere publicaties op hun naam staan dan de winnaars van de subsidierondes.
Menige verliezer kreeg tijdens de NWO-procedure bovendien betere beoordelingen van de externe deskundigen (referenten) dan de winnaars. De correlaties zijn zwak, maar wel opmerkelijk: de afgewezen aanvragers leken statistisch ietsje geschikter dan hun uitverkoren collega’s.
Loet Leydesdorff (Rathenau Instituut) en Peter van den Besselaar (Universiteit van Amsterdam) bekeken subsidieaanvragen van het NWO-gebied Maatschappij- en Gedragswetenschappen. Ze kozen voor de ‘open competitie’, waar alle gepromoveerde wetenschappers aan mee kunnen doen, en de ‘veni-subsidie’ voor jonge, veelbelovende onderzoekers. In de open competitie zou de kwaliteit van het voorstel de doorslag moeten geven. In de veni-ronde zou de kwaliteit van de onderzoeker zwaarder moeten wegen. “Onze analyses ondersteunen dit niet”, schrijven de onderzoekers.
NWO zegt altijd al dat er te weinig geld is om alle geschikte voorstellen te honoreren. Het is dus geen verrassing dat de beste afgewezen onderzoekers weinig verschillen van de wetenschappers die gewonnen hebben. Opvallend is wel de willekeur die uit de gegevens blijkt. Het Rathenau Instituut kan geen factor vinden die de doorslag geeft in de groep van goede onderzoekers.
Er zijn nog meer raadsels. De resultaten van de peer review (beoordelingen van aanvragen door externe deskundigen) blijken wel invloedrijk, maar lang niet doorslaggevend te zijn in de verdeling van het geld: de correlatie is lager dan 0,5. De commissies nemen dus veel ruimte om hun eigen afwegingen te maken. Welke dat zijn, blijft volgens het rapport duister. “Er is meer onderzoek nodig naar wat er gebeurt tijdens het keuzeproces.”
De wetenschappers opperen enkele veranderingen in de NWO-procedure. “Misschien is er alleen een eerste ronde nodig waarin slechte voorstellen worden afgewezen, en dan een lichte selectie van de winnaars. Het kan nuttig zijn om een willekeurige selectie te maken uit de groep van goede aanvragen.”
De Rathenau-medewerkers keken ook naar de rol van sekse in de aanvragen. Vrouwen krijgen gemiddeld een lagere waardering van de referenten. Daar staat tegenover dat ze relatief succesvoller zijn dan mannen. In 2005 sleepte 24 procent van de vrouwelijke aanvragers een subsidie in de wacht, tegenover twintig procent van de mannen.
HOP, Bas Belleman
