De hoogleraren Heertje en Schoendorff maakten bezwaar tegen de promotie van Lenie Kneppers. De UvA was bereid hen, onder voorwaarden, te laten opponeren tijdens de promotieplechtigheid. Zij accepteerden de voorwaarden die de UvA stelde aan hun deelname aan de oppositie tijdens de promotieplechtigheid niet. Volgens Heertje omdat er een grote kans was dat zij niet aan het woord zouden komen omdat het promotieteam volgens de voorwaarden van de UvA eerst mocht opponeren.
Het proefschrift van Kneppers is inmiddels beschikbaar (zie de bijlage). Hebben de twee emeritus-hoogleraren gelijk met hun kritiek dat het onderzoek ondeugdelijk is?
Ondeugdelijk is een groot woord, dat ik dan ook niet zal gebruiken. Maar de hoogleraren hebben wel gelijk dat dit onderzoek geen doctorstitel waard is.
Het onderzoek
Laten we eens naar het onderzoek kijken.
De onderzoeksvraag
De onderzoeksvraag van Kneppers was:
Welke instructie is effectiever om transfer te bereiken: een instructie gericht op het versterken van begripskennis (uitbreiden concepten en versterken verbindingen binnen de concepten), of een instructie gericht op het leggen van relaties tussen begripskennis en de dagelijkse werkelijkheid (verbindingen tussen concept en context)?
Op zich is dit een goede vraag, die ook experimenteel te beantwoorden is.
De onderzoeksopzet
Het onderzoek had een totale lengte van 5 lessen.
- In les 1 was een voortoets.
- In lessen 2 en 3 werd er gewerkt aan conceptmaps.
- In lessen 4 en 5 waren er natoetsen.
De leerlingen in acht 5 VWO klassen economie werden willekeurig in 2 groepen verdeeld. Deze twee groepen kregen verschillende opgaven in de lessen 2 en 3. De structuur van de opgaven voor beide groepen was hetzelfde:
- In les 3 eerst 15 minuten individueel (met behulp van post-its) een conceptmap maken.
- In les 3 vervolgens 30 minuten om in een (door de onderzoeker bepaald) tweetal op de computer een gezamelijke conceptmap te maken en vragen te formuleren.
- In les 4 (in het tweetal) eerst 20 minuten om in door de onderzoeker verzamelde informatie de antwoorden op de in les 3 zelf geformuleerde vragen te vinden.
- In les 4 (in het tweetal) vervolgens 25 minuten om aan de hand van de antwoorden op de zelf geformuleerde vragen de conceptmap op de computer te wijzigen.
Het verschil tussen de twee groepen zat in het onderwerp van de conceptmap. Voor de conceptgroep was dit: Laat zien hoe economische geld-kringloop en conjunctuur samenhangen en voor de contextgroep was dit: Leidt het teruggeven van ‘het kwartje van Kok’ nu, in een tijd van laagconjunctuur, tot betere tijden?
Voordat we naar de resulaten kijken een paar opmerkingen.
- 2 lessen met ‘instructie’ is extreem kort.
- Er is eigenlijk geen sprake van instructie: er wordt namelijk geen gestructureerde kennis aangeboden.
De resulaten
Dan de resultaten (zie pagina 87 van het proefschrift). Op geen van de 4 natoetsen bleek er een significant verschil te zijn tussen de 2 groepen. Gezien de opzet van het onderzoek (slechts 2 lessen tussen voor en natoets en, in mindere mate, de grote overeenkomst in de opdrachten) mag dit nauwelijks verbazing wekken.
Van de natoetsen was er 1 identiek aan de voortoets. Er is een statistisch significant verschil in score tussen deze twee toetsen (het verschil is wel klein: het gemiddelde ging omhoog van 40.41 naar 42.23, het totale aantal te behalen punten was 70). Kneppers haalt dit enige statistisch significante verschil dat ze gevonden heeft een aantal maal aan, bijvoorbeeld op pagina 139: In ons onderzoek is gebleken dat leerlingen in de contextconditie, net als in de conceptconditie, belangrijke vorderingen maakten in conceptbegrip. Via de context komen leerlingen dus tot begrip van de concepten. Deze uitleg is zeer discutabel. Elders in het proefschrift (pagina 34) schrijft Kneppers: De in het onderzoek gekozen economische concepten zijn op school in de lessen economie aan de orde geweest. In schooltermen: ‘Het onderwerp is behandeld, de leerlingen hebben de bijbehorende opgaven gemaakt en er is een toets gemaakt’. Het verschil tussen voortoets en (identieke) natoets is waarschijnlijk een gevolg van de reactivering van die (gedeeltelijk weggezakte) kennis die voorafgaand aan het onderzoek al opgedaan was.
De rest van het proefschrift
Naast het bovenvermelde kwantitatieve onderzoek (hoofdstukken 4,5 en 6) bevat het proefschrift:
- Een overzicht van de ontwikkelingen in het economieonderwijs sinds 1968 (hoofdstuk 2).
- Het theoretisch kader van het onderzoek (hoofdstuk 3).
- Een analyse van de geluidsopnamen die van sommige tweetallen gemaakt waren tijdens het werken aan de conceptmaps (hoofdstuk 7).
De aanbevelingen voor de onderwijspraktijk
De aankondiging van de promotie door de UvA bevat:
Kneppers adviseert om leerlingen in het economieonderwijs meer aandacht te laten besteden aan praktijksituaties.
Deze aanbeveling wordt totaal niet ondersteund door het onderzoek. Dat meer aandacht besteden aan praktijksituaties tot betere resultaten leidt lijkt te zijn wat Kneppers uit haar onderzoek had willen concluderen, niet wat er uit te concluderen valt. In het proefschrift komen soortgelijke, maar minder expliciete passages voor.
Doctorstitel waard of niet?
Dat het onderzoek geen statistisch significant verschil vindt tussen de twee groepen doet er voor deze vraag natuurlijk niet toe. Dat Kneppers vrij duidelijk laat blijken dat zij het betreurt dat de contextgroep niet beter scoort (onder andere door haar bovengenoemde zeer discutabele interpretatie van het statistisch significante verschil in beide groepen tussen de voortoets en de identieke natoets) is iets relevanter, maar zeker niet genoeg om de vraag te beantwoorden.
De vraag of dit onderzoek een doctorstitel waard is of niet draait met name om de onderzoeksopzet. Een interventie van 5 lessen waarvan ook nog eens 3 gebruikt worden voor toetsen is gewoon te kort om de onderzoeksvraag te beantwoorden. Dit onderzoek had nooit zo uitgevoerd moeten worden. Kneppers had tenminste een gehele lessenserie moeten ontwerpen over het gekozen onderwerp (Kringloop en Conjunctuur). Zelfs dan is het discutabel of zo een onderzoek een doctorstitel waard is. Dit onderzoek is dat zeker niet.
doctorstitel
Bedankt Mark 79 voor je korte recensie. Ik ben hier wel erg van geschrokken. De resultaten van een onderzoek zeggen nooit iets over de inhoudelijke wetenschappelijke kwaliteit daarvan, omgekeerd wel. Als jouw relaas een werkelijke weergave is van de inhoud, dan moet ik helaas vaststellen dat ik op het HBO zeker een student had kunnen vinden die zo’n onderzoek absoluut beter had gedaan (ik overdrijf niet).
Dat Heertje cs. bezwaar tekent tegen deze promotie is dan ook zeer begrijpelijk en aanvaardbaar. Maar zo langzamerhand begint het erop te lijken dat we in Nederland Amerikaanse toestanden krijgen, d.w.z dat er gigantische verschillen ontstaan tussen de verschillende instellingen en dus tussen de verstrekte phd’s. Maar misschien loop ik te hard van stapel.
Niveau
Het is niveau afstudeerscriptie van een HBO lerarenopleiding economie: eens kijken of je iets met zo een conceptmap kunt doen in het economieonderwijs. Op dat niveau zou ik het een voldoende geven.
Fileren
Uitstekend, zoals je hier het fileermes hanteert. Zoals we al konden vermoeden: een beschamende vertoning. Uit je analyse concludeer ik bovendien dat de geopperde bezwaren van belangenverstrengeling bij Heertje c.s. niet relevant zijn.
Toch onverstandig
Toch blijf ik het van Heertje onverstandig vinden, maar goed, ik ben Heertje niet.
Dat lijkt mij niet
Ik ga er maar van uit dat de afstudeerscripties van een HBO lerarenopleiding economie niet zoveel (mogen) afwijken van de afstudeerscripties van een HBO opleiding techniek, waar mijn ervaring ligt. En dan ben ik het niet met mark79 eens. Zie ook mijn reactie op 21_3_1945 hieronder.
gp61
zonder onaardig te willen zijn: is deze kritiek niet ingegeven door je eigen band met Fontys??
Dutch treat
Dutch thesis.
De onderzoeksopzet maakt elke conclusie onmogelijk
Ik ben geen statisticus, maar met een zo kortdurend onderzoek kun je toch geen enkele algemene conclusie trekken? Als je de toetsen weglaat dan gaat het als ik het goed begrepen heb slechts over twee lessen die inhoudelijk verschillen. In twee lessen kun je iemand helemaal niets leren (afgezien van bepaalde geisoleerde vaardigheden als de abc formule bij 2e graads functies of zo). Verder lijkt het me dat er van leerlingen een anpassing geëist wordt in de manier waarop ze met de stof omgaan in die twee lessen. Even wennen aan de manier waarop de stof wordt behandeld. Ik heb daar bij een groep studenten vaak meer dan twee lessen voor nodig. Ik vind het verbijsterend dat iemand die van de lerarenopleiding afkomstig is kan denken dat veen dergelijke opzet ook maar iets kan betekenen.
Daarbij kan ik me eigenlijk niet voorstellen dat je met een dergelijk onderzoek langer dan, laat ik het ruim nemen, een half jaar bezig bent. Die vijf lessen duren twee weken of zo, dan heeft ze de rest van dat half jaar voor het bedenken van de opzet en het verwerken van de gegevens. Duurt een beetje promotieonderzoek niet tenminste een jaar of drie (van meer dan 40 uur per week)?
Nu mag iemand van mij promoveren als hij in een seconde van opperste wijsheid in bad de wet van Archimedes formuleert, maar ik heb niet het idee dat dit van vergelijkbare intellectuele kwaliteit is.
Eigenlijk ben ik net zo verbijsterd als Heertje. Ook de onderzoeksvraag is in zn algemeenheid gesteld, maar enkel onderzocht voor één specifiek voorbeeld in één specifieke situatie. Eigenlijk ka ze enkel concluderen dat Keesje een 6,4 voor de toets had en Marieke een 6,7. Elke verdere veralgemenisering van de uitspraken lijkt me onzin.
Ik heb op de pabo een dergelijk onderzoek afgekeurd. Misschien ben ik toch te hard geweest voor die studenten en had ik direct moeten laten promoveren.
Lastig reageren
Het is wat lastig reageren op je bijdrage 21_3_1945. Hoofdstuk 7 lijkt mij de kern van het proefschrift en daar zeg je niets over. Er zijn twee onderzoeken gedaan. Als ik een viertal proefschriften op didactisch gebied over het natuurkunde-onderwijs in het VO er bij pak: uit 1983, 1989, 1998 en 2005, dan zie ik wel verschillen, maar de onderzoekskant in al deze proefschriften is ook daar beperkt. En dat is ook logisch, omdat je in een schoolsysteem direkt een jaar verder bent als je een onderzoek wilt herhalen in hetzelfde leerjaar. Wil je dan nog een keer ondrzoeken, dan ben je weer een jaar verder. En zoals elke gepromoveerde weet: als je niet zelf de limiet bepaalt dan kan een onderzoek zich jaren voortslepen.
Wat mij opviel was de bedankscene, hieruit zou je bijna concluderen dat promoveren heden ten dage plaatsvindt in een gespreid bedje, heel anders dan “bij ons vroeger”. Maar misschien is dat wel een keer ten goede, hoewel ik tijdens mijn promotieonderzoek meer geleerd heb dan tijdens mijn studie, vooral als het gaat om mensenkennis (wat zijn een hoop wetenschappers, waar je eerst tegen op zag eigenlijk zielige mensen en wat zijn er fijne mensen waar je eerst geen weet van had).
Conclusie: na het “diagonaal” doorlezen van dit proefschrift: een mager zesje.
Re: lastig reageren
Ter verduidelijking: 1945 baseerde zich op mijn eerdere (kortere) samenvatting van het onderzoek. Ik noemde hoofdstuk 7 toen niet en op het moment dat hij zijn stukje indiende moest ik de bijlage met het proefschrift van Kneppers ook nog toevoegen.
Dan nu een inhoudelijke reactie op gp61. Hoofdstuk 7 is mijn inziens niet de kern van het proefschrift (ik had het dan ook niet genoemd in mijn eerste kortere samenvatting). De bottom-line bij dit proefschrift is dat 2 instructielessen gewoon te kort is. Zoals ik in mijn review al vermelde had Kneppers minimaal de hele lessenserie over het onderwerp (Kringloop en Conjunctuur) moeten varieren tussen de conceptgroep en de contextgroep.
die Kneppers-Frage
Ik heb het proefschrift doorgebladerd. Inderdaad is het op veel onderdelen niet sterk. De kritiek van Mark79 op de omvang van de interventies is zeer terecht en je kunt hier nog aan toevoegen dat de concept- en de contextconditie enige overlap vertonen. Mark’s overige kritiek deel ik ook, met name waar het de voorkennis van de ppn. betreft. Het hoofdstuk over transfer is ook al niet sterk zonder dat het fouten bevat. Ook is het juist dat Kneppers met haar aanbeveling haar hand overspeelt. Maar …. of dit voldoende is om haar de doctorstitel te onthouden is een vraag die ik niet met ja beantwoord. Ik zou het met een vijfenhalf beoordelen, andere proefschriften op dit gebied in de vergelijking betrekkend. Strikt genomen komt er niets uit.
Deze actie van Heertje keur ik af. Die kan niet. Moet de UvA Heertjes verzoek honoreren op grond van de mineure klacht dat het economische deel van een onderwijskundig proefschrift veel te wensen overlaat?
Kijk, ik kan het billijken dat H. een dikke rode nek krijgt van een proefschrift dat begint met: “Ik had een negen voor economie op mijn eindexamen, maar ik kan de economische pagina van de krant niet lezen. Ik begrijp er niets van.” Het is niet anders, Kneppers is een (gematigde) voorstandster van HNL. Als je weet dat H.’s leerboeken 2 decennia markleider waren in het havo en vwo-onderwijs en zijn naam in het proefschrift niet 1x wordt genoemd dan is die nek terecht. Maar, en daar gaat het om, de nek van Heertje is geen argument een promotie uit te stellen of te verhinderen. Evengoed blijf ik zijn fan.
Willem Smit