Door een samenloop van omstandigheden heeft in de jaren rond de milleniumwisseling in California een 'natuurlijk experiment' plaatsgevonden waarin twee typen wiskundeonderwijs met elkaar vergeleken werden. Het eerste type wiskundeonderwijs lijkt op het realistische wiskundeonderwijs zoals dat inmiddels in Nederland overheersend is. Het tweede type is meer in de BON-richting. Het zal u niet verbazen dat het tweede type als beste uit de bus kwam. Hieronder de details.
De voorgeschiedenis
Net als in Nederland zijn onderwijsvernieuwingen in Amerika nooit echt nieuw. In de jaren tachtig werd oude wiskundeonderwijs wijn weer in een nieuwe zak gedaan. Deze zak staat bekend onder de naam 'NCTM standards'. De NCTM is de National Council of Teachers of Mathematics en deze club bracht in 1989 een invloedrijk boekje uit dat kortweg de NCTM standards wordt genoemd. De aanbevelingen zijn onder andere: zelfontdekkend leren, veelvuldig gebruik van de rekenmachine en afschaffen van de standaardalgoritmen voor optellen, aftrekken, vermenigvuldigen en delen. Ik zal het door de NCTM aanbevolen type wiskundeonderwijs NCTM-wiskunde noemen.
In Amerika zijn kerndoelen en eindexamens een zaak van de staten, niet van de federale overheid. De staat California voerde in 1991 kerndoelen in die gebaseerd zijn op de NCTM standards. Hiertegen stak na enige jaren een storm van protest op, met name een organisatie van ouders en wetenschappers mathematicallycorrect moet hier genoemd worden.
In een tumultueus verlopen proces werden de kerndoelen van California in 1997 aangepast. De uiteindelijke versie werd geschreven door wiskundigen van Stanford University. Ik zal de wiskunde vastgelegd in deze kerndoelen dan ook als Stanford wiskunde betitelen.
Door het tumultueuze proces van het vaststellen van de kerndoelen kwam California er niet aan toe een eigen eindexamen te maken dat bij de kerndoelen past. In plaats daarvan werd een nationale toets (de SAT-9) gebruikt. Dit blijkt voor het beoordelen van de verandering in kerndoelen een voordeel te zijn, hier komen we later op terug.
California liet een Content Review Panel (bestaande uit wiskundigen) schoolboeken beoordelen op hun samenhang met de kerndoelen (Stanford versie). Voor de basisschool bleken slechts 3 schoolboekenseries aan de eisen te voldoen.
De staat bepaald echter niet welke boeken gebruikt worden, dat gebeurt een niveau lager: het districtsniveau (dus niet op schoolniveau zoals in Nederland). De districten Los Angeles en San Diego verzetten zich hevig tegen de Stanford kerndoelen en bleven tekstboekseries gebruiken die goedgekeurd waren in 1991 (op correspondentie met de NCTM versie van de kerndoelen), maar afgekeurd werden in 1997 (op correspondentie met de Stanford versie van de kerndoelen).
Dit is dus het 'natuurlijke experiment': bepaalde disctricten gebruiken NCTM-wiskunde boeken en andere districten gebruiken Stanford-wiskunde boeken. Het examen is hetzelfde, en is als nationale toets niet bevooroordeeld ten opzichte van 1 van beiden.
De onderzoeksopzet
In het hier besproken onderzoek hebben de auteurs de basisschoolresulaten in wiskunde van Los Angeles en San Diego vergeleken met die in de districten die 1 van de goedgekeurde schoolboekenseries gebruikten (Saxon) en qua etnische en sociaal-economische samenstelling overeenkwamen met Los Angeles en San Diego.
Zoals gezegd was het basisschool 'eindexamen' de SAT-9 toets. Dit is een veelgebruikte landelijke toets.
De onderzoekers hadden de resultaten van 1998 tot 2002 tot hun beschikking (in 2003 voerde California een eigen eindexamen in). Dit betekent dat ze voor twee cohorten leerlingen gegevens hadden die een goed beeld geven van de verschillende curricula. De leerlingen die in 2002 de klas 6 (groep 8 in NL) toets deden zaten in 1998 in klas 2 en de leerlingen die in 2001 de klas 6 toets deden zaten in 1998 in klas 3. Voor eerdere cohorten is het effect van het 'oude' curriculum dat zij voordien volgden waarschijnlijk te groot om zinvolle uitspraken te doen.
De resultaten
Amerikanen zijn gewend om resultaten van leerlingen, scholen, districten of staten weer te geven in een National Percentile Ranking. Hoe hoger het percentage hoe beter en het gemiddelde van het land is per definitie 50. (Voor scholen, districten en staten wordt naar de 'gemiddelde leerling' gekeken).
Omdat resultaten bekend zijn van zowel klas 2 (of klas 3) als van klas 6 van grofweg dezelfde populatie leerlingen is het mogelijk om de toegevoegde waarde van het onderwijs vast te stellen. De resultaten (voor klas 2 to klas 6) zijn als volgt. Eerst de NCTM-wiskunde: Los Angeles ging omhoog van 32 naar 42 (+10), San Diego van 50 naar 58 (+8). Dan de Stanford-wiskunde: Azusa ging van 32 naar 57 (+25), Sacramento van 30 naar 64 (+34), Baldwin Park van 19 naar 59 (+40) en Basset van 24 naar 57 (+33). Het lijkt duidelijk dat de Stanford-wiskunde districten beter scoren dan de NCTM-wiskunde districten. Een statistische analyse bevestigd dit. De resultaten van klas 3 tot klas 6 in de eerdere jaargroep zijn vergelijkbaar.
Merk op dat alle districten een positieve toegevoegde waarde hebben (vergeleken met de gemiddelde toegevoegde waarde in heel Amerika). De auteurs schrijven dit toe aan de klassenverkleining die in dezelfde periode in heel California doorgevoerd is. De toegevoegde waarde van de Stanford-wiskunde districten is echter werkelijk verbluffend en veel hoger dan die in de NCTM-wiskunde districten.
Opvallend
Het besproken artikel is gepubliceerd in Educational Studies in Mathematics, een tijdschrift van Springer Verlag. Op een tijdschrift van de NCTM na is dit het meest toonaangevende tijdschrift in het wiskundeonderwijsonderzoek (dat is geen aanbeveling overigens). De auteurs zijn echter wel verrassend en dat wil ik u niet onthouden. De derde auteur, John Hook, werkt op een basisschool. De eerste auteur is William Hook (familie?), een bioloog (ja, echt) aan een Canadese universiteit. De tweede auteur, Wayne Bishop, is een bekende in wiskundeonderwijsland. Zijn naam werkt als een rode lap op een stier bij veel NCTM-aanhangers. Ze houden er niet van dat hij hun luchtballonetjes consequent doorprikt. Dit doet hij overigens altijd in internet publicaties, dit is de eerste keer dit ik zijn naam in een tijdschrift tegenkwam. Zijn argumenten lijken niet gewenst in de onderwijsonderzoek tijdschriften.
De auteurs zijn dus verassend. Maar eigenlijk verassender is dat anderen dit artikel niet geschreven hebben. Met al die onderwijswetenschappers op universiteiten, waarom moesten een onderwijzer, een bioloog en een wiskundige dit onderzoek doen?
De gebruikte data is overigens online beschikbaar, voor onderzoek naar dit 'natuurlijke experiment' was het dus niet nodig om data te verzamelen.
De Author's Version van het artikel is als attachment toegevoegd.
| Bijlage | Grootte |
|---|---|
| hook-bishop-hook.pdf | 801.52 KB |
Reacties
Ben Wilbrink heeft op zijn website een stukje geschreven over Hook-Bishop-Hook. Op het moment dat ik dit stukje schrijf staat er echter nog niet veel.
Ben heeft kritiek op Bas Braams. Braams geeft alleen maar aan waar een onderzoek methodologisch minimaal aan moet voldoen. Een goede methodologie is een noodzakelijk voorwaarde voor goed onderzoek (maar niet voldoende). De kritiek van Ben richt zich erop dat Braams alleen maar naar de methodologie kijkt. Maar als geen enkel onderzoek een goede methodologie heeft dan is er dus geen enkel goed onderzoek (onafhankelijk van de andere factoren waar goed onderzoek aan moet voldoen). Elementaire logica.
Ben heeft het ook over andere publicaties over mogelijk dezelfde dataset. Zoals ik hierboven al aangegeven heb lijken die er niet te zijn (maar als Ben ze kan vinden zou dat heel mooi zijn). Dit ondanks het feit dat het een belangrijke dataset is (jaarlijkse toetsen over meerdere jaren van alle leerlingen in California) en hij publiek beschikbaar is.
Ben heeft ook wat kritiek op de SAT-9 (het is inderdaad de SAT-9 die gebruikt is). Het zou 'slechts' een intelligentie test zijn en daarom niet geschikt om onderwijsvernieuwing te evalueren. Dan moet Ben wel even verklaren hoe het kan dat leerlingen in California dan gemiddeld (dan opzichte van de USA) slimmer zijn geworden en hoe dat in sommige disctricten veel sterker het geval is dan in andere....