Juist voor de rekenconferentie van BON in Driebergen verscheen een overzichtsartikel over de prestaties van verschillende rekenmethoden in de VS, zie de blog van destijds: blog 5119.
Nu is er ook een overzichtsstudie gepubliceerd over het wiskundeonderwijs in middle en high schools in de VS:
Robert E. Slavin, Cynthia Lake & Cynthia Groff (2009). Effective programs in middle and high school mathematics: A best-evidence synthesis. Review of Educational Research, 79, 839-911. gratis op te halen pdf
- abstract This article reviews research on the achievement outcomes of mathematics programs for middle and high schools. Study inclusion requirements included use of a randomized or matched control group, a study duration of at least twelve weeks, and equality at pretest. There were 100 qualifying studies, 26 of which used random assignment to treatments. Effect sizes were very small (weighted mean ES=+0.03 in 40 studies) for mathematics curricula, and for computer- assisted instruction (ES=+0.10 in 38 studies). They were larger (weighted mean ES=+0.18 in 22 studies) for instructional process programs, especially cooperative learning (weighted mean ES=+0.42 in 9 studies). Consistent with an earlier review of elementary programs, this article concludes that programs that affect daily teaching practices and student interactions have larger impacts on achievement measures than those emphasizing textbooks or technology alone.
Wie benieuwd is naar eventuele trends in de wiskundeprestaties van Amerikaanse leerlingen:
Peter Kloosterman (2010). Mathematics skills of 17-year-olds in the United States: 1978 to 2004. Journal for Research in Mathematics Education., 41, 20-51. research summary
- from the abstract Overall scale scores from the National Assessment of Educational Progress (NAEP) indicate that there was only minimal improvement in the mathematics performance of high school students between 1978 and 2004. Using recently released data from the Long-Term Trend (LTT) NAEP [see also NAEP, b.w.], this study describes the content covered on the LTT NAEP and the performance of 17-year-old students on that content.
Een verrassend artikel dat het Amerikaanse rekenonderwijs begin 20e eeuw vergelijkt met het huidige:
Patricia Baggett & Andrzej Ehrenfeucht (not dated). Content and teaching methods in elementary school mathematics. gratis op te halen pdf
- abstract We look at the historical roots of the content of the mathematics taught in elementary grades, and at the prevailing spiral method of teaching it. We conclude that the content is badly outdated and that the method is not in agreement with modern educational goals as outlined by the National Council of Teachers of Mathematics (1989). We suggest some changes, both in the content and in the method of teaching it.
- It is not useful to cite from this short and enlightening paper, take a look for yourself in de the ways that our math education definitely is archaic and inconsistent.
Baggett & Ehrenfeucht
Eerst maar eens commentaar op het laatst genoemde artikel.
De auteurs hebben door dat de huidige manier van onderwijzen inadequaat is (de voorbeelden op bladzijden 11 en 12 zijn bekend), maar hebben niet door dat de NCTM standards hier niets aan doen; integendeel die gaan door op deze inadequate weg.
De auteurs schrijven op pagina 7 dat de spiralmethod zijn psychologische onderbouwing verloren heeft. Maar als ‘bewijs’ citeren ze wat modieuze psychologische leertheorieen.
Als suggestie geven de auteurs dat rekenen moet gebeuren met reeele getallen (pagina 13). Ze lijken niet te beseffen dat rekenen met reeele getallen onmogelijk is. De ‘som’ wortel(2)+wortel(5) valt niet uit te rekenen. Een computer of rekenmachine werkt met decimale approximaties om een decimale approximatie van de som te vinden. Rekenen is iets dat je met breuken doet. Bijvoorbeeld Hung-Hsi Wu hamert daar terecht op.
De auteurs stellen voor (pagina 8) om meteen met meer algemene getallen te beginnen (dus niet eerst met positieve gehele getallen). Dit geeft de vraag waarom daar te stoppen en niet gelijk met niet-commutatieve structuren te beginnen? Alweer heeft Hung-Hsi Wu een veel beter idee: iedere keer dat je de getallenverzameling groter maakt moet je heel duidelijk maken hoe de eerdere getallenverzameling in de grotere past en hoe de bewerkingen een uitbreiding zijn van eerdere bewerkingen.
Slotsom: de auteurs zien het probleem, maar hun oplossingen zijn ondoordacht en zullen het probleem alleen maar verergeren.
Rekenen door de eeuwen heen
Mark,
Het artikel van Baggett & Ehrenfeucht laat zich op verschillende manieren lezen.
Ik ben zelf bijvoorbeeld benieuwd of zo’n kijkje in het rekenonderwijs van een eeuw geleden wel aanleiding geeft tot gevoelens van nostalgie naar dat ‘degelijke onderwijs van vroeger’ met staartdelingen en wat niet al, in ieder geval zonder grafische rekenmachientjes. Vergeet de nostalgie maar. Het Amerikaanse rekenonderwijs rond 1900 was een ramp; het veld is toen opgeschrikt en opgepord door Thorndike, een psycholoog.
Een andere reden om eens naar een wat verder verleden te kijken is gelegen in het volgende.
Onderwijsvernieuwers, zoals Realistisch Rekenaars in Utrecht, zijn geneigd om op basis van een enkel vernieuwingsidee het bestaande onderwijs te veranderen: als leerlingen op school wel kunnen rekenen maar eenmaal uit school hun kennis niet toepassen, dan moet je dus contextsommen in je onderwijs stoppen. Ik chargeer. Maar dit is toch waar veel onderwijs-‘verbeteringen’ op neerkomen: de leerstof is vanzelfsprekend, er moet alleen een bepaalde truc aan worden toegevoegd. Denk aan: context, toetsen, ict, illustraties, doelstellingen, standaarden, meer onderwerpen ‘om de stof beter te dekken’, enzovoort.
Ik heb al heel veel van deze goedbedoelde onzin langs zien komen, en ben mede daarom geneigd terug te vallen op heel basale vragen. Waar is dat rekenonderwijs eigenlijk voor? Wat is rekenen? Hoe valt dat te onderwijzen? Waarom doen we dat onderwijs eigenlijk op de manier waarop we dat doen: is dat ooit rationeel zo ontworpen, of is het misschien een woekerend atavisme?
Baggett & Ehrenfeucht laten op een aardige manier zien hoe het verleden ons met dysfunctioneel onderwijs kan opschepen.
Jij zet een boom op over de suggesties voor verbetering, dat is ook de bedoeling van de auteurs: als er maar iets gebeurt.
Kloosterman
Het artikel van Kloosterman heb ik maar niet gelezen. David Klein heeft namelijk onlangs een artikel geschreven waarin hij duidelijk maakt dat NAEP een hele slechte toets is.
NAEP
NAEP mag mogelijke ‘een heel slechte toets’ zijn, maar ook dan hoeft de toets niet onbruikbaar te zijn voor bepaalde onderzoekdoeleinden.
Stel je hebt een beroerde weegschaal waarvan je de afwijkingen niet kent. Niet gebruiken? Maar wat dan wanneer je enige doel is om vast te stellen of voorwerp A zwaarder is dan voorwerp B?
dm/du>= 0
Dan moet je er natuurlijk wel zeker van kunnen zijn dat dm/du (m = massa en u = uitslag) altijd >= 0 is. Seger Weehuizen
David Klein’s kritiek
Mark,
David Klein, in het artikel waarnaar je verwijst, heeft grotendeels gelijk. Het artikel is een “preprint (to appear in the Notices of the American Mathematical Society, Dec. 2010).”
Waar hij niet vanzelfsprekend gelijk heeft, is waar hij vanuit de gegeven voorbeelden conclusies trekt over de eigenschappen van de NAEP (klas 4 en klas 8) als toets op mathematische kennis. Eerlijk gezegd vind ik dat niet geweldig interessant, als het alleen om de NAEP gaat. De problemen die Klein signaleert, doen zich ook voor bij de Cito Eindtoets Basisonderwijs, om maar eens een dwarsstraat te noemen. Ik heb een half jaar gelden in het forum een analyse gegeven van 20 voorbeeldvragen die het Cito had vrijgegeven. Daar kwam ongeveer hetzelfde uit wat Klein hier over de Naep beweert. Zie ook de commentaar bij vraag 14, in antwoord op een zekere mark79 HIER over opgaven met aan te vullen reeksen, alsof dat om wiskunde zou gaan.
Dat de NAEP hoog correleert met intelligentietets hoort niet te verbazen. Er zou reden tot paniek zijn wanneer dat niet zo zou zijn. Klein bedoelt dat het verband verdacht hoog is, en ik vermoed dat empirische gegevens zijn vermoeden wel ondersteunen. Reden tot zorg? Zeker. Ook dit speelt op ongeveer dezelfde wijze bij de Cito Eindtoets Basisonderwijs. Het Cito heeft ook een intelligentietest voor achtstegroepers. Ik zou graag eens de correlates tussen scores op die toets, resp. test zien: het kan zomaar blijken dat die hoger zijn dan redelijkerwijs mag worden verwacht. Er moeten scholen zijn die zowel de toets als de test afnemen.
Overigens gaat het artikel van Kloosterman over de NAEP voor K12: 17-jarigen. En roeien me de riemen die er zijn, is handiger dan met de handen, niet?
Slavin, Lake & Groff
Ik heb in het artikel gezocht op ‘publication bias’. Het staat niet in het artikel. Op pagina 21 is te vinden dat alle 3 onderzochte groepen tekstboeken een positief of neutraal effect hebben. Dat kan natuurlijk niet: waar een winnaar is, is ook een verliezer. Maar ‘verliezende’ onderzoeken worden niet gepubliceerd (tenzij het een proefschrift is; dan moet het wel een de promovendus aan een titel te helpen, maar zo een resultaat zal verder niet in de literatuur te vinden zijn).
De auteurs lijken slechts gevonden te hebben dat er bij onderzoek naar ‘daily teaching practices’ een grotere publication bias is dan bij andere typen onderzoeken.
Publication bias?
Mark,
Waarom hier ineens publication bias bijgehaald? Achterdocht? [publication bias redacties vinden negatieve resultaten minder interessant, weigeren dus meer artikelen in die categorie]
Onderzoek is geen zero-sum game: waar er een winnaar is, kunnen er nog meer winnaars zijn, ook wanneer er helemaal geen verliezers zijn. Een nieuwe onderwijsmethode introduceren is in zekere zin een game against nature. Maar ik geef toe: in de sociale wetenschappen moet je daar erg mee oppassen.
Ik begrijp je commentaar dus niet.
Onderzoek naar effecten van onderwijsingrepen (psychotherapie, economisch beleid) is overigens wel berucht lastig. In de zeventiger jaren was het credo, op basis van een literatuuroverzicht van Dubin & Taveggia, dat effecten eigenlijk zelden of nooit zijn aan te tonen. Aan die moedeloosheid is eind zeventiger jaren een einde gekomen met de ontwikkeling van de techniek van meta-analyse (Glaser, o.a.), waarbij het mogelijk is onder zekere voorwaarden de resuaten van verschillende onderzoeken bij elkaar op te tellen. Dat heeft vooral in de psychologie tot doorbraken geleid: er viel op basis van tests weer wat te voorspellen.
Het probleem is wel een beetje inherent aan positivistische onderzoekmethoden: als je je uitlevert aan ‘harde data’ moet je niet vreemd opkijken wanneer er zoveel rotzooi in die data blijkt te zitten dat er geen ‘significante’ verschillen uit blijken, laat staan verschillen die beleidsmatig interessant zijn. Zie de recente kritiek van Howe in draad 6992 vermeld.
Zero sum game
Als je kijkt naar de onderzoeksopzet kijkt dan zijn die steeds van het type ‘x is beter dan y’, ‘x is even goed als y’ of ‘x is slechter dan y’ (‘y’ fungeert dan als een benchmark). Vaak is ‘y’ in het onderliggende artikel vaag omschreven. In vrijwel alle gevallen is het resultaat ‘x is beter dan y’ en niet 1 van de andere twee mogelijkheden (dat is publication bias).
Mijn opmerking ‘dat kan natuurlijk niet’ slaat op het feit dat het niet zo kan zijn dat alle methoden een positief effect hebben (positief ten opzichte van wat dan).
Publication bias is heel erg schadelijk. Het maakt ook meta-analyses vrijwel nutteloos. In de medische wereld moet je tegenwoordig van tevoren je onderzoeksopzet publiceren, anders telt je resultaat later niet mee. Zouden ze in het onderwijsonderzoek ook moeten doen. En ook zouden ze moeten verplichten dat ‘y’ duidelijk omschreven is (waarmee wordt vergeleken?) Dan heb je dus ook altijd een verliezer.
To zero or not to zero
Ik weet niet waar je precies op doelt, dan moet ik de tekst van Slavin e.a. erbij nemen en doorvlooien. Ik vermoed dat jouw ‘y’ de controlegroep of controleconditie is (‘Effect sizes’ paragraaf). Als het gaat om de introductie van CAI, dan is de controleconditie die zonder CAI. Etcetera. Alleen als je de controleconditie ook een ‘methode’ noemt, kun je de zero-sum situatie creëren. Dan introduceer je wel een heel afwijkend jargon. Doe dat liever niet, het levert enorme communicatieproblemen op. Ik vermoed dat jouw argument dat er naast iedere winnaar ook een verliezer moet zijn berust op het idee dat een controleconditie ook een ‘methode’ is. Je mag dat natuurlijk zo opvatten, maar dan ben je heel ongebruikelijk bezig en wordt een gedachtenwisseling met onderzoekers wel heel lastig.
Ik vind het wel verrassend dat je een artikel zoals dit van Slavin e.a. op deze manier interpreteert. Het maakt mij maar weer eens duidelijk dat het onderzoekjargon van sociale wetenschappers een stevige hindernis voor buitenstaanders is om van hun onderzoekactiviteiten kennis te nemen. Wat dit betreft kunnen wetenschappelijke clubs zich gedragen als geheime genootschappen. Economie is een sterk voorbeeld, maar er is eigenlijk geen enkele discipline die hieraan ontkomt. Knap vervelend, je mag daar terecht heel kritisch op zijn.
Blijft dus nog staan: de publication bias. Jazeker, dat kan een ernstig probleem zijn. Maar je kunt niet uit het ontbreken van experimenten met uitkomsten die slechter zijn dan die in de controleconditie, concluderen dat er sprake moet zijn van publication bias. Ik ben het helemaal met je eens dat je op allerlei vormen van bias altijd attent moet zijn, maar of je ook achterdochtig moet zijn? Alleen als daar goede aanwizjingen voor zijn, zoals Trudy Dehue heeft laten zien voor onderzoek van de farmaceutische industrie naar de werkzaamheid van prozac. Ervaringen met CGO zou ik ook heel achterdochtig lezen.
Re: to zero or not to zero
Het gaat mij vooral om het onderzoek naar schoolboeken (waar de meeste controverse over is). Daar is het wel degelijk zo dat er met een ander schoolboek vergeleken wordt.
Ik heb ooit eens gekeken naar een meta-analyse van onderzoek naar rekenmachinegebruik. De (weinige) tijdschriftartikelen vonden allen een positief effect, de (vele) proefschriften gemiddeld geen effect. Het enige proefschrift waarvan de auteur een tijdschriftartikel schreef had wel een positieve uitkomst. Duidelijk gevalletje publication bias. Sindsdien ben ik hier achterdochtig over.
Zero in
Mark,
Ik zie waar het idee zijn oorsprong vindt. Een competitie van schoolboeken.
Trouw doet een competitie van scholen. – De wetgever heeft ooit bedacht dat accreditatie van opleidingen een briljant idee zou moeten zijn. – Veel leraren zien in de loop van de tijd verminderende prestaties wiskunde. En in de loop van de tijd toegenomen gebruik van calculators. 1 + 1 = 2?
Natuurlijk zijn er schoolboeken die rampzalig zijn, scholen en opleidingen die falen, en is er misbruik van gadgets. Die signaleer je, en dan neem je maatregelen. ‘Je’: een MR, directie, inspectie.
Op de overblijvende verschillen moet niemand vergelijkend effectonderzoek willen doen: dat levert geen interessante resultaten op. En mocht dat toch een keer gebeuren, dan is meestal onduidelijk wat het probleem is en wat eraan is te doen.
Er wordt een hoop onderzoek geboren uit misvattingen, toevallig aanwezige bestanden, of de noodzaak om toch maar iets te doen. En de politieke wens om te controleren: high stakes testing. Allemaal rampspoed, zeker. Maar geen publication bias.
Je ziet, ik ben niet altijd even enthousiast over onderzoek en onderzoekers. En daar dan een meta-analyse over, dat moet inderdaad treurnis ten top zijn.
Over het al dan niet gebruiken van zakjapanner, computer, Maple, of abacus heb ik nog geen belangwekkend onderzoek langs zien komen. Stanislas Dehaene doet waarschijnlijk interessant onderzoek, maar dat staat ver van de onderwijspraktijk af. Kees van Putten had opmerkelijke dingen te melden over uit het hoofd en dus vaak fout rekenende scholieren (BON rekenconferentie, publicatie door het Cito, en in Psychometrika).
Citaat
Veel leraren zien in
Citaat
Veel leraren zien in de loop van de tijd verminderende prestaties wiskunde. En in de loop van de tijd toegenomen gebruik van calculators. 1 + 1 = 2?
….
Over het…in Psychometrika).
Einde citaat
Bij gebrek aan empirische resultaten kan je wel via logische afleidingen tot interessante inzichten komen.
1-1-2010 en Mark zullen dat vast beter kunnen dan ik maar laat ik alvast een bescheiden poging wagen.
…
Ik ben benieuwd wat Mark en 1-1-2010 hieraan kunnen toevoegen.
gratis op te halen PDF
Helaas heeft de verantwoordelijke voor die PDF er voor gekozen om elke bladzijde als plaatje in te scannen: citeren is hierdoor niet mogelijk op dit forum.
Ik schrik van de suggestie op bladzijde 13, net boven het kopje “suggestions”.
Zo’n zakjapannertje kan inderdaad perfect de berekening uitvoeren die jij invoert.
Helaas kan dat apparaat jou niet vertellen welke berekening je moet invoeren.
Ontwikkel je niet juist door zelf veelvuldig te rekenen een goed inzicht in getallen en in rekenkundige bewerkingen waardoor je gemakkelijker inziet welke berekening je moet invoeren en waardoor je de basis legt om algebra te leren (ook zo’n stiefkindje in het onderwijs)?
Helaas is de trend van meer het rekenmachientje te gebruiken in veel landen hand in hand gegaan met het overschakelen naar het realistische rekenen met als gevolg dat het moeilijker is om de invloed van het rekenmachientje te duiden. Het rekenmachientje was als ik het goed heb begrepen ook een van de motieven voor het realistische rekenen.
Persoonlijk zou ik, als ik een exact vak zou onderwijzen, het zekere voor het onzekere nemen en voor schoolexamens op de middelbare school geen rekenmachientje toestaan. Ook voor de goniometrische functies en de logaritmen heb je geen rekenmachientje nodig (in Vlaanderen gebruik je die vaak ook niet voor wiskunde-examens in het hoger onderwijs): gebruik die pak hem beet 16 hoeken waarvan de leerling de waarde kent (je hoeft maar voor 3 hoeken de waarde te kennen om die van 9 andere hoeken af te leiden en die overige 4 hoeken ken je als je weet wat de goniometrische functies zijn) en laat de leerling logaritmen herschrijven (log(15) – log(6) = log(15/6)) waardoor de leerling nog wat techniek oefent en een nauwkeuriger antwoord geeft. Wedden dat die leerlingen je dankbaar zullen zijn wanneer ze een paar jaar later een exacte studie volgen? Op die doelgroep zou je tenslotte je lessen moeten aanpassen wanneer je wiskunde B/D onderwijst.