Misplaatste angst voor bètaficering sociale wetenschappen
door Casper Albers en Tom van der Meer
Casper Albers is universitair hoofddocent Psychometrie & Statistiek aan de Rijksuniversiteit Groningen. Tom van der Meer is universitair hoofddocent Politicologie aan de Universiteit van Amsterdam.
Een paar dagen geleden schreef Tweede Kamerlid voor de ChristenUnie Eppo Bruins een betoog in Vakwerk, het ledenblad van de vereniging Beter Onderwijs Nederland. In deze column pleit Bruins voor een stop op wat hij de bètaficering van de sociale wetenschappen noemt. Een harde definitie van ‘bètaficering’ geeft hij niet, maar we moeten denken aan ‘modelleren, categoriseren, kwantificeren en reduceren’. Volgens Bruins maakt deze ‘doorgeslagen kwantificering […] ons leven niet mooier en niet beter’.
Bruins’ column getuig van een bizar academisch wij-zij-denken. Hij schrijft over kwantitatief-toetsend onderzoek als ‘onwetenschappelijke claims’, ‘een wetenschap die niet of nauwelijks relevant is’ en ‘het voor de gek houden van wetenschappelijke collega’s, journalisten en de geïnteresseerde leek’. Zijn schijntegenstellingen tussen kwantitatief en kwalitatief onderzoek, en tussen toetsend en relevant onderzoek is iets waar sociaal wetenschappers zelf al decennia geleden van zijn afgestapt. Bruins gaat bovendien stellig uit van onbewezen en onterechte aannames en komt met voorbeelden die met zijn betoog weinig te maken hebben.
Bruins’ betoog is een stap terug. Alleen al uit de titel ‘stop de bètaficering’ klinkt de suggestie dat het hier om een recente trend gaat. Niets is minder waar. Ongeveer een eeuw geleden al zette de Groninger hoogleraar Gerard Heymans in Nederland de beginselen van de functieleer uiteen. Hiermee zette hij een nieuwe trend in binnen de psychologie: niet langer werden theorieën over menselijk gedrag slechts beredeneerd, ze werden nu ook middels kwantitatief onderzoek gevalideerd. Deze experimentele, kwantitatieve aanpak van Heymans zorgde er niet voor dat hij zich niet meer bezig hield met theorievorming. Integendeel, uit de kwantitatieve studies verkreeg Heymans nieuwe inzichten waarmee hij bestaande theorieën beter kon duiden, kon aanscherpen en kon weerleggen. Heymans realiseerde zich dat wetenschap bedrijven een cyclus is waarbij je steeds van het vormen/aanpassen van de theorie overgaat in het valideren van de (aangepaste) theorie, en terug.
Het belang van die cyclus ontbreekt in het artikel van Bruins.
Schijntegenstelling 1. Kwantitatief toetsend versus gebrek aan inzicht in diversiteit
Bruins’ voornaamste punt van kritiek is dat de kwantitatief toetsende aanpak leidt tot aan een gebrek aan inzicht in diversiteit en condities: “De doorgeslagen kwantificering leidt tot resultaten die alleen geldig zijn in een afgesloten modelwereld voor gemiddelde mensen. En gemiddelde mensen bestaan niet.” Bruins negeert dat statistische methoden juist de diversiteit bekijken. Variatie in uitkomsten en effecten zijn zo’n beetje de kern van statistiek. Het is niet voor niks dat (een van de) meest gebruikte methoden analysis of variance (ANOVA) heet: door de diversiteit (kwantitatief) te bestuderen, krijg je inzicht in de processen die menselijk gedrag veroorzaken.
Niemand weerhoudt de onderzoeker ervan om zich in zijn onderzoek te richten op specifieke condities en onderzoeksgroepen. Sterker nog, er is juist grote aandacht voor conditionele effecten. Er zijn allerlei tools die onderzoekers in staat stellen om deelpopulaties te onderzoeken, of conditionele effecten in kaart te brengen. Sociale wetenschappen waarin frequent kwantitatieve modellen gebruikt worden – denk onder andere aan sociologie, politicologie, psychologie, communicatiewetenschappen – kenmerken zich juist door aandacht voor en toetsing van vermeend conditionele effecten.
Schijntegenstelling 2. Kwantitatief toetsen versus gebrek aan relevantie
Bruins stelt bovendien dat kwantitatief toetsende modellen hebben geleid tot een gebrek aan relevantie. Daartoe haalt hij een reeks voorbeelden aan van onderwijskunde tot economie. Helaas hebben de problemen in die voorbeelden weinig te maken met kwantitatief-toetsende modellen. Gebruik van slechte definities is een probleem, ongeacht of dat in kwalitatief of kwantitatief onderzoek gebeurt. Schoolvorming in de wetenschap is een gebruikelijk fenomeen dat bepaald niet voorbehouden is tot de kwantitatieve wetenschappen maar voorkomt in alfa-, bèta- en gamma-wetenschappen ongeacht de onderzoeksmethode.
Een zekere mate van schoolvorming is overigens niet eens problematisch. Wetenschap is immers een proces; uitkomsten van wetenschappelijk onderzoek zijn uiteindelijk nooit een vaststaande waarheid. Een theoretische school is als een statistisch model: het is een collectie theoretische en methodologische vooraannames en keuzes. Gegeven die aannames en keuzes, kan je uitspraken doen. Die zijn natuurlijk alleen geldig als de keuzes en aannames geldig zijn. Dit is zo ongeacht of het kwantitatieve keuzes of kwalitatieve keuzes zijn. Doordat wetenschappers een bepaald vraagstuk vanuit meerdere invalshoeken bekijken en elkaar toetsen, ontstaan diepere inzichten. Problemen ontstaan pas als wetenschappers weigeren voorbij de eigen aannames te kijken, theoretisch en methodologisch.
Bruins’ betoog brengt ons terug naar een methodenstrijd die we al decennia achter ons hadden gelaten. Het vraagt erom de relevantie van de Nederlandse kwantitatieve sociale wetenschappen te verdedigen. Nu zijn er legio voorbeelden te geven hoe kwantitatief-toetsend onderzoek inzicht genereerde heeft dat ons leven verbeterd heeft. Alleen al dit weblog bevat veel recente voorbeelden. Denk aan onderzoek naar criminaliteit onder migranten/vluchtelingen, naar de invloed van de etnische compositie van de buurt op sociale cohesie, of naar de effecten van het kiesstelsel op burgervertrouwen en stemgedrag. Maar ook de kwalitatieve onderzoeken op dit blog getuigen van een grote relevantie. Denk aan de verschillende onderzoeken naar gender in de politiek, of naar het cruciale onderscheid tussen extreem- en radicaal-rechts.
Bruins’ speelt kwantitatief en kwalitatief onderzoek ten onrechte tegenover elkaar uit. Het verleidt tot een loopgravenoorlogje. En daar willen we niet in mee. Beide benaderingen hebben – op een verschillende wijze – evident hun relevantie, afhankelijk van de staat van de theorie en het onderzoeksprobleem. Toetsend onderzoek vindt zijn relevantie juist omdat het stevige theorieën of sterke maatschappelijke (en vaak ook: politieke) aannames toetst. Denk aan de dit jaar gehoorde aannames dat vluchtelingen door hun achtergrond crimineler zouden zijn, etnisch gemengde wijken de sociale cohesie zouden schaden, een kiesdrempel de problemen in de politiek zouden oplossen. Die aannames (‘een afgesloten modelwereld voor gemiddelde mensen’) waren niet afkomstig van de academici, maar van opiniemakers en politici.
Waarom sociaalwetenschappers zo inzetten op onderzoeksmethoden
Het is niet zonder reden dat de methodologie en statistiek zo sterk vertegenwoordigd zijn in de sociale wetenschappen. Als voorbeeld: bij de bacheloropleiding psychologie in Groningen krijgt de student 35 ECTS aan statistiek- en methodologievakken aangeboden; bij de bèta-opleidingen is dit meestal niet meer dan 10 ECTS. Data van sociaalwetenschappelijk onderzoek zijn dikwijls veel ingewikkelder om te analyseren dan data van bèta-onderzoek. Voor bèta-onderzoek heb je enorm ingewikkelde machines – laserapparaten, deeltjesversnellers, telescopen, et cetera – nodig om te meten wat je wilt meten, maar uiteindelijk is het vaak (vanzelfsprekend niet altijd) een kwestie van ‘meting = echte waarde ± meetfout’: als je maar vaak genoeg meet, wordt de gemiddelde meetfout arbitrair klein.
Bij onderzoek waarbij je niet natuurverschijnselen maar de mens meet, ligt het ingewikkelder. Waar elke appel met 9,81 m/s2 uit de boom valt, is de ene mens is de andere niet. Individuen reageren verschillend in verschillende situaties –gemiddelde mensen bestaan niet.
Daarbovenop komen nog vertekeningen in de uitkomsten doordat mensen om tientallen mogelijke redenen niet mee willen doen aan het onderzoek (waardoor steekproeven vaak niet meer zomaar representatief zijn). Deze complicerende factoren zorgen ervoor dat een eenvoudige “echte waarde ± meetfout” noch in kwalitatief noch in kwantitatief informatief genoeg is. En daar draait het uiteindelijk om in de wetenschap: informatie vergaren uit onderzoek. Alleen deugdelijk opgezette en uitgevoerde onderzoeken leiden tot daadwerkelijke informatie.
Achterhaald
We maken zo’n bezwaar tegen het stuk van Eppo Bruins doordat zijn schijntegenstellingen schadelijk zijn: schijntegenstellingen tussen kwantitatief en kwalitatief onderzoek, tussen toetsend en relevant onderzoek, tussen alfa en bèta, en bèta en gamma. De huidige en toekomstige staat van de sociale wetenschappen is methodenpluriformiteit. De keuze voor een perspectief is meer of minder gepast gegeven de staat van de literatuur. Bij sterke aannames of een sterke theorie is kwantitatief-toetsend onderzoek daarvan vaak zeer geschikt. Bij een zwakke theorie is beschrijvend en verkennend onderzoek om vanuit heterogeniteit theorie te vormen van groot belang. Bruins’ schijntegenstellingen leiden ons daarom alleen maar weg van methodenpluriformiteit.
Bovendien poneert Bruins zijn schijntegenstellingen zonder reflectie. De problemen in zijn voorbeelden hebben weinig met het principe van kwantitatief-toetsend onderzoek van doen. De onjuiste en onbewezen generalisaties in zijn stuk – over het vermeende gebrek aan methodologische pluriformiteit in Nederland en over de vermeende achterstelling van kwalitatief-onderzoekers in het vergaren van beurzen bij NWO en ERC – getuigen van een achterhaald Calimero-perspectief.
Op Twitter reageerde Bruins op onze bezwaren, niet door op de argumenten in te gaan maar door te stellen dat zijn betoog vooral bedoeld was om de discussie op gang te brengen. We moeten echter concluderen dat zijn schijntegenstellingen daar niet bij helpen. Bruins’ wij-zij-denken is een echo van de methodenstrijd van dertig jaar geleden die elke discussie doodslaat.
Poëzie
Tot slot, de beste weerlegging van Bruins’ stelling dat kwantitatief-toetsend onderzoek ‘ons leven niet mooier en niet beter’ maakt, is de poëtische beschrijving door Richard Feynman.
Dit artikel verscheen ook op het blog ‘StukRoodVlees‘.
Een mooie verdediging van kwantitatieve (en kwalitatieve) methoden de in sociale wetenschappen.
Maar laten we vooral ook niet vergeten dat in de sociale wetenschappen een hoop onzin beweerd is (en nog steeds beweerd wordt) op grond van kwantitatieve methoden. Neem bijvoorbeeld ‘ego depletion’, een begrip uit de psychologie dat erop neerkomt dat onze wilskracht op kan raken:
Verder heeft de Amerikaanse hoogleraar psychologie Richard Nisbett fundamentele bezwaren tegen meervoudige regressie-analyse, die het verdienen serieus genomen te worden:
Het is echter ook juist weer dankzij die kwantitatieve methoden dat we sinds kort weten dat die ego depletion theory (in ieder geval deels) niet op gaat. Net als met elke andere methodiek, kan je deze goed, slecht, of iets er tussen in toepassen. De originele verklaring voor ego depletie was, op z’n minst, kwantitatief vrij mager. Het was een interessante theorie, met interessant resultaat, maar men had al veel eerder moeten kijken of die studie wel te reproduceren was.
Nisbetts kritiek op multipele regressie is ook een kritiek op het verkeerd gebruiken van multipele regressie. (En dat moet inderdaad niet.) Zijn suggestie is vergelijkbaar met de suggestie om voetbal te verbieden, zodat je geen last meer hebt van voetbalhooligans. Ten eerste gooi je het kind met het badwater weg, ten tweede heb je geen enkele garantie dat die hooligans zich niet op een andere manier gaan misdragen.
@F. Huygen U citeert met instemming: “If something this well-established could fall apart, then what’s next? That’s not just worrying. It’s terrifying.”
Het probleem dat u hier ziet is juist de kracht van wetenschap. Zelfs zaken die well-established zijn kunnen op basis van nieuwe bevindingen (kwantitatief/kwalitatief/of iets er tussen in) op de kop gezet worden. Met andere woorden, de wetenschappelijke procedure is zelfcorrigerend en tot leren in staat.
Als u de troost van zekerheid zoekt, moet u niet bij de wetenschappen zijn. Wat u moet doen om dat soort zekerheid te vinden is simpel. U moet zich afsluiten voor de wereld en ophouden met kritisch nadenken.
Een relevant artikel van Andrew Gelman en John Carlin: ‘Some natural solutions to the p-value communication problem— and why they won’t work‘