Na Stapel en Smeesters is er weer een vooraanstaande in Nederland werkende psycholoog die fraude blijkt te hebben gepleegd. Het rapport op de website van de VSNU is geanonimiseerd (zie ook dit rapport van het LOWI voor meer informatie), maar de NRC zegt dat het gaat om Jens Förster van de Universiteit van Amsterdam. Net als bij Smeesters is het bewijs statistisch: de genoemde onderzoeksresultaten zijn statistisch zo onwaarschijnlijk dat er wel manipulatie in het spel moet zijn. Opvallend is dat pas in hoger beroep deze conclusie getrokken werd.
Jens Förster lijkt een hele grote naam in de sociale psychologie. Hij was van 2008 tot recent directeur van het Kurt Lewin Instituut, de onderzoeksschool voor sociale psychologie van 5 Nederlandse universiteiten. Verder heeft Jens Förster meerdere prijzen ontvangen, waaronder de Kurt Lewin Award, wat blijkbaar de belangrijkste Europese prijs is voor “midcareer” sociale psychologen. Nog prestigieuzer is dat hij een Alexander von Humboldt hoogleraarschap heeft (zie hier en hier voor de lijst van Alexander von Humboldt hoogleraren en hier voor informatie over Alexander von Humboldt hoogleraarschappen). Ook is/was Förster redacteur van een aantal wetenschappelijke tijdschriften waaronder het vooraanstaande tijdschrift Journal of Personality and Social Psychology van de American Psychological Association.
In Folia staat een reactie van de Universiteit van Amsterdam:
Waarnemend woordvoerder Paul Helbing van de UvA laat in een reactie aan Folia weten dat het LOWI-advies ‘nog niet openbaar’ is en dat het daarom lastig is definitieve conclusies te trekken. ‘Het advies zal waarschijnlijk over enige weken openbaar worden gemaakt.’ Helbing laat wel alvast weten dat de beschuldigde wetenschappers eindverantwoordelijk waren voor de artikelen, maar dat er meer onderzoekers met de data hebben gewerkt. ‘Daardoor is de manipulatie van data niet zo makkelijk terug te leiden naar één bepaalde persoon.’ Helbing laat verder weten dat het CvB het advies van het LOWI zal overnemen.
Het genoemde artikel heeft 2 auteurs: Förster en zijn oud-student Denzler.
UPDATE. Jens Förster heeft een reactie gegeven. Die is onder andere te lezen op Retraction Watch. Förster ontkent datamanipulatie:
In short: The conclusion that I manipulated data has never been proved. It remains a conclusion based on likelihoods.
Op Retraction Watch staat nu inmiddels ook de oorspronkelijke aanklacht tegen Förster. Hierin staan de statistische details. Op Retraction Watch heeft statisticus Richard Gill (bekend van de Lucia de Berk zaak) een aantal reacties gegeven. Een bloemlezing:
Förster’s reactions prove that he doesn’t understand a thing at all about statistics. (link)
The anomalies are unusual. I never saw anything like this before. (link)
UPDATE 2. In een artikel in Ad Valvas wordt meer duidelijkheid gegeven. Ook hier komt Gill aan het woord. Uit het artikel blijkt ook dat het bewijs niet alleen statistisch van aard is:
Volgens hem [Gill] kan Förster zich niet eens de namen herinneren van de onderzoeksassistenten die hem geholpen zouden hebben bij zijn experimenten en is ook onduidelijk wanneer die zijn uitgevoerd.
UPDATE 3. Het tijdschrift Science heeft een artikel over de zaak Förster.
UPDATE 4. De Humboldt Stichting heeft het Humboldt hoogleraarschap van Förster dat binnenkort in zou gaan uitgesteld. Opvallend is dat ze in hun reactie de media oproepen “to respect and preserve Professor Dr Förster’s personal and professional integrity”.
UPDATE 5. Leif Nelson en Uri Simonsohn bespreken de zaak Förster op hun blog (met vooral aandacht voor de statistiek).
UPDATE 6. Förster heeft op zijn website een uitgebreide reactie gegeven (er is een kopie op RetractionWatch). Förster ontkent fraude en het gebruik van “questionable research practices” (QRP):
Note however, that I never used QRP- if they were used I have unfortunately to assume that co workers in the experiments did them.
Let me repeat that I never manipulated data. However, I can also not exclude the possibility that the data has been manipulated by someone involved in the data collection or data processing.
In zijn reactie geeft Förster (zonder dat zelf door te hebben) echter voorbeelden van “questionable research practices” in zijn onderzoek.
Coworkers analyzed the data, and reported whether the individual studies seemed overall good enough for publication or not. If the data did not confirm the hypothesis, I talked to people in the lab about what needs to be done next, which would typically involve brainstorming about what needs to be changed, implementing the changes, preparing the new study and re-running it.
Dit mag dus niet: als je maar genoeg onderzoeken doet dan zal je er uiteindelijk eentje doen die puur door toeval de hypothese bevestigd. Dit is een schoolboekvoorbeeld van een “questionable research practice”.
Similarly, the complainant wonders how comes the studies did not have any dropouts. Indeed, I did not drop any outliers in any of the studies reported in the paper. What does happen in my lab, as in any lab, is that some participants fail to complete the experiment (e.g., because of computer failure, personal problems, etc.). The partial data of these people is, of course, useless. Typically, I instruct RAs to fill up the conditions to compensate for such data loss. For example, if I aimed at 20 participants per condition, I will make sure that these will be 20 full-record participants. I do not report the number of participants who failed to complete the study, not only because of journals’ space limitations, but also because I do not find this information informative: when you exclude extreme cases, for example, it could be informative to write what would the results look like had they been not excluded. But you simply have nothing to say about incomplete data.
Ook dit mag niet (en ook dit is een schoolboekvoorbeeld van een “questionable research practice”). Zeggen dat er geen dropouts zijn terwijl die er wel zijn is natuurlijk gewoon liegen. In contrast met wat Förster zegt is “partial data”/”incomplete data” natuurlijk wel degelijk informatief. Er zijn statistische methoden om met “partial data” om te gaan. Als je die statistische methoden niet wilt toepassen omdat ze te ingewikkeld voor je zijn, OK, maar dan moet je wel expliciet vermelden dat er dropouts zijn en hoeveel dan wel.
Hiermee is duidelijk geworden dat Förster wel degelijk “questionable research practices” heeft toegepast (en erger nog: dat hij zelfs nu niet eens doorheeft dat dit “questionable research practices” zijn). Het is echter zeer onwaarschijnlijk dat deze tot de statistisch gezien abnormale mate van lineariteit hebben geleid (het overdoen van studies zou hier in principe mogelijk aanleiding toe kunnen geven, maar dan zou je de studies een totaal onrealistisch aantal keer moeten herhalen). Over de voornaamste klacht (de statistisch gezien abnormale mate van lineariteit) zegt Förster vrijwel niets. Uit wat hij hier wel over schrijft blijkt duidelijk dat hij niets van statistiek begrijpt.
Een herhaling van een citaat uit de reactie van Förster:
Note however, that I never used QRP- if they were used I have unfortunately to assume that co workers in the experiments did them.
Let me repeat that I never manipulated data. However, I can also not exclude the possibility that the data has been manipulated by someone involved in the data collection or data processing.
Förster probeert hier dus de eventuele fraude op anderen af te schuiven. Het LOWI rapport gaat hier echter al op in:
Opgemerkt dient te worden dat er zoveel assistenten mee hebben geholpen aan de gegevensverzameling dat het uiterst onwaarschijnlijk is dat uit al deze onderzoeksverrichtingen door manipulaties van al deze separate betrokkenen zo’n rechtlijnig verband valt te verwachten.
UPDATE 7: Drie leden van de vakgroep psychologische methoden van de UvA hebben in een blogpost een heldere samenvatting gegeven van de zaak Förster.
UPDATE 8 (4 Oktober 2014): De UvA heeft aangegeven nu toch een onderzoek te laten doen naar de artikelen van Jens Förster uit de periode 2007-2014. Zie de NRC.
UPDATE 9 (25 April 2015): Förster bericht op zijn website dat hij afziet van het Alexander von Humboldt hoogleraarschap (zie ook Retractionwatch, Science en de Alexander von Humboldt stichting. Dit vlak voordat de Alexander von Humboldt stichting het besluit zou nemen over het al dan niet alsnog toekennen van dit hoogleraarschap. Volgens het bericht in Science is het onderzoek van de UvA (zie update 8) inmiddels klaar, maar nog niet openbaar. De volgende update van dit blog zal dus wel gaan over dat onderzoek…
UPDATE 10 (2 Juni 2015): Het onderzoek van de UvA is klaar. Het persbericht is hier te vinden en het volledige rapport van de 3 statistici die het onderzoek hebben gedaan is hier te downloaden. De commissie heeft 24 artikelen van Förster onderzocht (de artikelen die experimenteel van aard zijn en zijn affiliatie als de UvA geven). Van 8 stellen ze vast dat er sterke statistische aanwijzingen zijn dat de data niet kloppen. Er zijn dus zeer sterke aanwijzingen van grootschalige wetenschapsfraude gevonden (omdat de argumenten statistisch van aard zijn is “bewijs” niet mogelijk). Förster heeft op zijn website een reactie gegeven. Hij schrijft onder andere:
My co authors and I saw a previous version of the statistical report, which we all found biased, misleading and lacking any evidence of data manipulation.