In de VS is een strijd gaande tussen twee partijen die beide het beste voor hebben met het wiskundeonderwijs. De eeste partij is georganiseerd in de NCTM, de nationale organisatie van leraren wiskunde. De tweede partij is gevormd in reactie op de door de NTM opgestelde nieuwe Standaarden voor het wiskunde-onderwijs, en de eerste inplementaties daarvan: ‘Mathematically Correct.’ In reactie op de actiegroep is dan ook weer een actiegroep voor Standards based wiskundeonderwijs gevormd. Iedereen druk. Dit lijkt op de onenigheden in Nederland tussen de realistisch rekenaars en de tegenstanders van dat realistisch rekenen, maar de issues liggen toch anders. Een gemeenschappelijk element is wel dat de NCTM Standards en het IOWO/Freudenthal-Instituut naast de huns inziens eenzijdige nadruk in traditioneel wiskundeonderwijs op de procedurele aspecten van het rekenen en de wiskunde ruimer aandacht willen voor het begrijpen van de wiskunde (NCTM), resp. voor de contexten waarin er gerekend wordt (‘realistisch rekenen’, gericht op transfer van de procedurele vaardigheden).
Een ieder betrekt dan zijn stellingen, maakt elkaar uit voor rotte vis, en creëert zo een geheide verlies-verlies situatie. Het zou handig zijn om voor een aantal van de vechtissues goede empirische data te verzamelen. Voor de effectiviteit van de realistische rekenmethoden is dat, volgens Harskamp (1988), met zijn promotieonderzoek pas voor het eerst gebeurd. Op zich al opmerkelijk, gezien de lange voorgeschiedenis van Wiskobas en ‘realistisch rekenen’. Misschien kunnen we iets leren van de Amerikaanse aanpak. Een recent onderzoek is gerapporteerd in het volgende artikel, gratis op te halen en dus voor een ieder die dat wil mee te lezen of na te lezen:
Thomas R. Post en anderen (2008). Standards-based mathematics curricla and middle-grade students’ performance on standardized acievement tests. Journal for Research in Mathematics Education, 39, 184-212. pdf
Het onderzoekverslag illustreert hoe lastig het is om goede empirische data te verzamelen, statistisch te analyseren, en te interpeteren. Toch is er wel een duidelijk patroon in te zien: leerlingen die zo’n Standards-based programma een aantal jaren hebebn gevolgd, doen het gemiddeld wat minder goed op procedurele opgaven, en beter op meer inzichtvolle opgaven. Let op dit patroon, want in de gedetailleerde resultatenanalyse in dit artikel is het makkelijk om de grote lijn uit het oog te verliezen. Op zich is het natuurlijk bijzonder dat leerlingen in de hier onderzochte districten het vergeleken met de landelijke cijfers slechter doen op het rekenwerk op zich, en beter op het begrijpen van wiskunde (hoe gebrekkig ook gemeten met de Sat 9). Ik begrijp uit het artikel dat dit patroon overeind blijft voor de diverse groepen en klassen die afzonderlijk zijn geanayseerd (de tekst is niet glashelder op dit punt). Het is bijvoorbeeld niet duidelijk of de duizend hier geanalyseerde leerlingen misschien vergelen met het landelijk gemiddelde een wat betere groep zijn, of niet (het artikel is hier niet glashelder over),bedenk dat dat het gaat om het patroon: op procedures minder, op inzicht beter dan landelijk.
In hun nabeschouwing (Future directions, p. 208) gaan de auteurs in op onenigheden tussen de beide partijen die wat de inhoud van het onderwijs tegenover elkaar staan.
Naar aanleiding daarvan heb ik een commissie-stuk ‘Mathematics and the Mathematical Sciences in 2010: What Should Students Know? pdf hier opgehaald: boeiend stuk.
Er zijn legio vragen en onderwerpen, waar ik evenzovele zo niet veel meer links op zou kunnen zetten, maar laten we eens zien of hier een inhoudelijk relevante uitwisseling van vragen en ideeën kan ontstaan.
Deze blog gaat verder met een discussie die ontstond in blog 7049 van Bart over wiskundeonderwijs.
De methode Singapore
Voor de wiskundeliefhebbers onder u stond er vandaag in de Volkskrant een artikel over de Singaporese methode, die (ja,ja) ook nog zo leuk is.
Let op uw zaak, want voordat we het weten wordt dit de nieuwste alles-moet-anders show. Reken maar $$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$
Link
Het staat hier
Voorbeeld
Nog een voorbeeld. Een kind van 9 rekent moeiteloos 351:3 uit. Yeap: ‘Ze zien het getal als 300 en 30 en 21. Ze denken in blokjes en plaatjes. Dat is een veel natuurlijkere manier van rekenen dan puur abstract.’
“Veel natuurlijker”, lees: beter? En wat gaat dat kind nou doen met 350:3?
Singapore
Uit de Amerikaanse discussie heb ik begrepen dat de Singapore methode heel behoorlijk is. Singapore besteed echter heel veel tijd (binnen schooltijd en na schooltijd) aan rekenonderwijs. Het gevaar is dat de Nederlandse aanpassing door (onder andere) tijdgebrek blijft steken in de voorbereidende fase (zoals het spelen met die blokjes).
De Singapore-hype
Hoe dit aangepakt moet worden vertelt deze math-by-model-methode niet…
Het lijkt oude wijn in nieuwe zakken? Druk Sigapore-Math links.
Maar laten we wel wezen…
Singapore (100 x kleiner in oppervlakte; 4x minder inwoners) heeft wel de opleiding voor prim/sec-onderwijs in één hand (NIE).
Singaporees’ uitleggen
Leuk stukje. De journalist heeft het over de didactische trucjes. Ik vermoed dat het geheim van de Singaporese methode is dat er wordt gewerkt op inzicht, de leerlingen telkens laten uitleggen (ipv de uitleggende leraar): een methode die in dit opzicht waarschijnlijk past bij de Standards van de NCTM.
De ijver van de Singaporese (Aziatische) leerlingen is wat moeilijker na te volgen voor onze leerlingen.
Een en ander geeft ook het probleem aan met de omslag die de NCTM maakt: wat gebeurt er vervolgens in het veld met de uitwerking van de goedbedoelde Standards? Je ziet in dit krantenartikeltje de hype al opborrelen. Vandaar ook het verzet uit de hoek van ‘Mathematically Correct’. Googel op singapore & mathematics & education = tien mythen (o.a. door David Klein, R. James Milgram).
Reality #9 “A recent study commissioned by the U.S.Department of Education, comparing Singapore’s math program and texts with U.S. math texts, found that Singapore’s approach is distinctly different from NCTM math “reforms.”
Reference #9: What the United States Can Learn From Singapore’s World-Class Mathematics System (and what Singapore can learn from the United States); American Institutes for Research; for U.S. Department of Education; January 28, 2005; Washington, D.C. pdf
www.air.org/expertise/index/index.cfm?fa=viewContent&content_id=470
www.air.org/files/Singapore_Report_Bookmark_Version1.pdf
www.air.org/files/Release200502_Singapore_Test_Items1.doc
www.air.org/files/Release200502Singapore_States1.doc
Begrijpen
Voordat ik die artikelen ga lezen eerst iets over dat ‘begrijpen’ van wiskunde. Het voorbeeld dat Marten noemt is hier van dienst. Onder begrijpen verstaat NCTM dat leerlingen 531:3 ziet in termen van blokjes en plaatjes in plaats van in abstract termen. De tegenstanders van NCTM zien dit niet als begrijpen, maar juist als nog-niet-begrijpen. Dat het NCTM zou gaan om ‘begrijpen’ is gewoon een handige marketingtruc.
een kwestie van volgorde en doseren
Dat een uitleg met blokjes of ander concreet materiaal wenselijk of nodig is, daar zullen weinigen bezwaar tegen maken. Het gaat dan om een introductiefase van het leren van een nieuw begrip of een nieuwe bewerking.
Voor mij is belangrijk hoe lang die fase duurt (liefst kort) en of die fase al dan niet uitmondt in een primair eenduidige aanpak.
Ook is begrijpen niet zo eenduidig als wel wordt gedacht. Ik meende vroeger de staartdeling uitstekend te begrijpen omdat ik m foutloos kon maken. Later bleek de achtergrond toch wat complexer en weer later bleek dat de objecten waar ik mee werkten, getallen, eigenlijk akelig ingewikkeld: reële getallen als equivalentieklassen van rijtjes. Tsja … is dat pas echt begrip? Eerlijk gezegd, ik weet het niet. Ik meen alleen dat “kunnen” vaak belangrijker is dan begrijpen en dat begrijpen niet automatisch tot kunnen leidt.
Begrijpen
Mark, 2010
Wiskunde begrijpen is inderdaad het kernbegrip.
Ik stel voor om een uiteenzetting van James Milgram (die zich heeft aangesloten bij ‘Mathematically Correct’) als starter te nemen. Hij behandelt ‘proficiency’ in wiskunde: kundigheid, bekwaamheid.
R. James Milgram (2007). What Is Mathematical Proficiency?. In Alan H. Schoenfeld (Ed.) (2007). Assessing mathematical proficiency.. Cambridge University Press.
pdf Milgram
[toegang op het hele boek]
Milgram citeert zijn vader, die hem niet kon weerhouden wiskunde te gaan studeren:
Lees eerst de summary van dit hoofdstuk.
Ik zal in de onderzoekliteratuur enkele sleutelpublicaties op dat begrijpen uit de cognitief-psychologische hoek zoeken. Dat is minder vreemd dan het lijkt: een van de grondleggers van die cognitieve psychologie, Newell Simon, was een student van ‘How to solve it’ George Polya (uitvoerig besproken in het hoofdstuk van Milgram).
Re: begrijpen
Milgram verstaat iets anders onder ‘begrijpen’ dan de NCTM doet. Dat is inderdaad de kern: NCTM verdraait wat het is om wiskunde te begrijpen.
Wat is het probleem met NCTM?
Een belangrijk probleem in het onderwijs is: hoe kan ik weten of jij iets begrijpt of niet? Ik kan niet in jouw hoofd kijken, dus ‘directe’ verificatie is onmogelijk. Het enige dat ik kan doen is jou problemen voorschotelen over de stof en kijken of jouw response overeenkomt met het begrijpen van de stof.
Maar dan doet zich een tweede probleem voor. Het is mogelijk om de voorgeschotelde problemen correct op te lossen zonder begrip te hebben van de stof. Als je onderwijs hebt gehad in de betreffende stof, dan heeft de leraar je uitgelegd hoe je standaard problemen op moet lossen. Als je gewoon de leraar na-aapt, dan kun je die standaard problemen oplossen zonder begrip te hebben van de stof.
Hoe lossen wat dat dan op? Simpel: op de test vragen we niet-standaard problemen. Dus: problemen die niet in die vorm in de boekjes voorkomen, maar toch over de stof gaan waar we het begrip van willen testen.
In deze situatie testen die niet-standaard problemen dus begrip. Leerlingen die alleen de leraar na kunnen apen zal het niet lukken om deze niet-standaard problemen op te lossen; leerlingen die begrip hebben van de stof zullen veelal deze niet-standaard problemen wel op kunnen lossen.
So far, so good.
Maar dan komt het probleem. Sommige mensen (laten we ze dwalers noemen) gaan denken dat het kunnen oplossen van standaardproblemen neerkomt op na-apen en dat het kunnen oplossen van de genoemde niet-standaardproblemen gelijk staat aan begrip hebben. Onafhankelijk van wat het voorafgaande onderwijs was!
De dwalers gaan lesboeken maken waarin de aandacht vooral uitgaat naar niet-standaardproblemen. Ze zeggen dat hun lesboeken gericht zijn op begrip en niet op na-apen (zie boven: dit is hun opvatting over niet-standaard problemen versus standaard problemen). Aangezien deze niet-standaardproblemen ook van een bepaald type zijn is training in het oplossen van dit soort problemen is mogelijk. En dat is wat de dwalers doen in hun lesboeken.
Maar dan komt het: omdat de leerlingen van de dwalers intensieve training hebben gehad in het oplossen van niet-standaardproblemen testen deze nu niet meer begrip! Het zijn nu juist de standaardproblemen (die minder of geen aandacht krijgen in de dwaler lesboeken) die begrip bij deze leerlingen testen.
NCTM en het Freudenthal Instituut zijn dwalers.
So it goes
Mark,
Jawel, zo kan het gaan. Zo gaat het ook vaak. Het risico met school is dat alles wat je binnen school doet, binnen de kortste keren ‘schools’ wordt. Ik vermoed dat een analyse aan de hand van enkele concrete opgaven uit afsluitende toetsen, zoals in de Sat 9, in veel gevallen een bevestiging van jouw analyse op zal leveren. Maar gebruik dat niet als excuus om verdere discussie maar af te sluiten, met wegzetten van de andere partij als ‘dwalers’. Demonstreer op welke punten op welke manieren de dwaling duidelijk is.
Doorheen mijn loopbaan ben ik regelmatig docenten tegengekomen die hun toetsen en tentamens versierden met ‘begripsvragen’ waar bonuspunten mee vielen te verdienen door de studenten die ‘de stof werkelijk begrepen hadden’. Het is onder andere dit soort armoede in het denken over didactiek die mij ertoe heeft gebracht om veel aandacht te besteden aan het ontwerpen van tentamenvragen (en dus aan didactiek, vakdidactiek, wat het is om wiskunde te begrijpen, te leren, te beoefenen).
Er ligt dus een probleem: wat onderscheidt begrippen van procedures, hoe zijn deze aan elkaar gerelateerd, en is begrijpen van wiskunde misschien een kwestie van een goede balans tussen begripsmatige en procedurele kennis? Een poging om dit kluwentje te ontrollen geef ik maar vast (ik ben nog bezig met verder onderzoek):
Jon R. Star (2000). On the relationship between knowing and doing in procedural learning. In B. Fishman & S. O’Connor-Divelbiss: ‘Fourth International Conference of the Learning Sciences (pp. 80-86)’. Erlbaum. pdf
Zie zijn Table 1. voor een eerste overzicht van voorbeelden, en hun toetsing. Star doet mooi werk, ook door die kennis van algoritmen meer smoel te geven (zal 2010 goed doen) dan in de onderzoekliteratuur gebruikelijk. Maar hij lijkt impliciet ervan uit te gaan dat het leren van nieuwe begrippen probleemloos is. Quod non, want oude begrippen zitten in de weg.
denigrerend
Ben,
Ook ik ken docenten die begripsvragen stelden met extra beloning. Wat je vanuit een theoretisch concept daarvan dan ook moge denken, ik zou erg voorzichtig zijn met ze weg te zetten als sukkels (“Het is onder andere dit soort armoede in het denken over didactiek”. De docenten die ik in gedachte heb hebben mij veel gebracht. Stuk voor stuk integere hoog gewaardeerde mensen met vakkennis, liefde voor vak en leerling en een onberispelijke staat van dienst. Ongetwijfeld heel wat minder didactisch armoedig dan de Luc Stevensen van deze wereld.
Zolang de theorie nog verre van consistent is (let wel., ik eis niet eens juistheid) mag een toontje lager best. Zeker ten opzichte van de kanjers met de poten in de klei.
Persoonlijk?
2010,
Heb ik een docent bij naam genoemd en de jas uitgeveegd? Nee toch? De didactische armoede slaat op het onderwijspeil, je mag het ook gebrek aan didactische ondersteuning of onderbouwing noemen. Ik wil er ook best zelf verantwoordelijkheid voor nemen: ik heb de afgelopen veertig jaar te weinig mijn best gedaan om steviger didactische noties over bijvoorbeeld beoordelen en examineren in het veld te zetten. Iets minder masochistisch: ik heb te weinig resultaat geboekt. Ik zou ook alle anderen inclusief de politiek een stukje van de schuld kunnen geven, maar dat helpt meestal maar weinig: er is te weinig belangstelling voor verbetering van didactiek.
Het is spannend om jouw persoonlijke benadering van onderwijsproblematiek naast mijn meer afstandelijke te hebben, en dat moeten we ook vooral blijven doen. Maar begrijp wel dat ik er niet op uit ben om de individuele docent te kleineren, zoals ik begrijp dat jij er niet op uit bent om de meer afstandelijke benadring vanuit theorie en empirisch onderzoek weg te werpen.
inderdaad niet persoonlijk
Natuurlijk gaat het je niet om het de mantel uitvegen van specifieke docenten. Maar eigenlijk is dat precies mijn punt. En zoals je merkt ook een gevoelig punt omdat het een historie heeft.
Toen ik zelf 30 jaar geleden als net afgestudeerd wiskundige bij het Freudenthal Instituut mocht werken werd mijn ego knap gestreeld. Ik heb er een geweldige tijd gehad en meegedaan aan allerlei activiteiten. Daarbij merkte ik dat ik regelmatig in de rol kwam van jonge slimme buitenstaander die de wat vastgeroeste lesboer de ogen kwam openen, met ICT of met nieuwe ideeën. En eerlijk gezegd heb ik er te weinig bij stil gestaan dat dat eigenlijk een nogal hooghartige benadering was.
Later werd ik me daar meer van bewust en begon ik ook nog eens meer en meer te twijfelen aan al die moderne inzichten: de vele dingen die ik zelf uitprobeerde waren eigenlijk bijna zonder uitzondering van zeer beperkte waarde of juist slechter dan de bestaande conservatieve praktijk.
De laatste 10 jaar zijn de rollen nogal veranderd. Waar ik 30 jaar geleden, net droog achter de oren, wellicht pedant was, maar feitelijk geen enkele invloed had op de docenten die ik toesprak, zijn de vernieuwers van de laatste jaren zeker zo pedant en met nog minder praktijkervaring behept dan ik destijds had, nu voorzien van de nodige macht: de docenten zijn vaak verplicht zich overeenkomstig die inzichten en oekazes te gedragen.
De docenten worden door de onderwijsvernieuwers als groep aangesproken en weggezet als didactische minkukels. Ik vond en vind dat ook in jou post waarop ik reageerde.
Ik wil niet terug naar 30 jaar geleden, ik wil nog een stukkie verder “terug”. Ik denk dat onderwijsonderzoekers hun bevindingen niet mogen opleggen aan de docenten,(zeg de huidige gezagsverhoudingen), maar ik vind dat mijn pedante gedrag 30 jaar geleden, alhoewel machteloos toch ook een verkeerde insteek had: ik keek denigrerend naar de (destijds goed opgeleide) docenten; onbedoeld en vanuit een hoed maar jong hart, maar hartstikke fout. Ik vind dat onderwijsonderzoekers dienstbaar moeten zijn aan het onderwijs en dus ook aan de docenten.
Natuurlijk staat het iedereen vrij te onderzoeken wat men wil: dat is de essentie van onderzoek, maar in de relatie met docente, als persoon of als groep, past bescheidenheid. Niet omdat een docent op een of andere manier hoogwaardiger zou zijn, maar simpel omdat het beroep van docent zo ingewikkeld is, dat theoretisch onderzoek nog aar zeer beperkt bruikbaar kan zijn.
Tenslotte: ik maak me hier ook “schuldig” aan generalisaties. Maar het gaat mij niet om de individuele personen, maar om het aangeven van de grote lijn. Dus niemand hoeft zich persoonlijk aangesproken te voelen. Ik denk slechts dat de machtsverhoudingen anders moeten en heb aangegeven waarom ik tot die conclusie kom.
Leraren als groep, dan?
2010,
Heb ik leraren als groep genoemd en de jas uitgeveegd? Nee toch? Ik schreef:
De didactische armoede slaat op het onderwijspeil, je mag het ook gebrek aan didactische ondersteuning of onderbouwing noemen.
Ik heb het meer over het systeem, het stelsel, de cultuur, de traditie. Daarbinnen doet een ieder zijn ding, en dat zijn heel wat belangengroepen: studenten, leraren, enzovoorts.
Het is lastig inhoudelijk informatie uitwisselen wanneer zaken als persoonlijk of op een groep gericht worden opgevat, waar dat expliciet niet zo geformuleerd is.
Hier zit zeker ook een deel van de reden waarom forumdeelnemers teleurgesteld zijn over de informatie die vanuit empirisch en theoretisch onderzoek wordt ingebracht: dat gaat niet altijd, laat ik het voorzichtig zeggen, over het dagelijks gebeuren op de onderwijsvloer.
Ik begrijp uit je persoonlijke verhaal dat je in feite nogal onvoorbereid terechtkwam in een adviseursrol naar leraren toe. Je bent bepaald niet de enige daarin. Misschien ben ik zelf een uitzondering: ik koos al vroeg in mijn studie voor de specialisatie onderwijsresearch, en had voor mijn afstuderen al uitgebreid kennis gemaakt met de verworvenheden en mislukkingen van onderwijsonderzoekers en -vernieuwers sinds vooral het einde van WO II (voor mijn bijvak: o.a. het hele handboek van McKeachie). Dit is een andere manier om te zeggen dat dat onderwijsonderzoek ertoe doet: het had je kunnen behoeden voor de spijt die je nu oprecht betuigt (je collega’s van het FI hadden dat ook kunnen doen, waar waren ze?). Mijn respect voor je betoog.
Opvallend
Opvallend dat je het onvoorbereid zijn op een adviseursrol niet op jezelf betrekt door te verwijzen naar je kennis van onderwijsresearch. Ik denk dat veel docenten (terecht) moeite hebben met een adviseur die geen ervaring heeft met het doceren van hun vak. Onafhankelijk van hoeveel die adviseur van onderwijsresearch af weet.
Opvallend
Mark,
Dat hangt maar net van het gevraagde advies af, denk je ook niet?
Je doelt bovendien kennelijk op situaties waarin docenten ongevraagd advies krijgen. Als ‘adviseur’ zou ik me wel tweemaal bedenken om in zo’n situatie te stappen. (Maar met een leidinggevende die in de nek van de adviseur blaast, zal deze weinig in deze melk te brokkelen hebben. Ik heb ook wel evident onzinnig onderzoek moeten doen, waar je dan zelf maar een paar zinvolle draaien aan probeert te geven (vanwege dat laatste is het onderzoek dat ik bedoel, en waarvan publicaties op mijn website staan, niet als evident onzinnig te herkennen).
Maar neem nu eens een concreet voorbeeld: het ontwerpen van meerkeuzevragen. Wil je graag avies van een leraar die twintig jaar de eigen meerkeuzetoetsen heeft ontworpen en de filosofie aanhangt dat alleen ervaringsdeskundigheid echte deskundigheid is, of wil je advies van iemand die de specialistische expertise heeft om je te kunnen begeleiden om de problemen, de valkuilen, en de mogelijkheden te vinden?
Doe mij maar
die leraar die twintig jaar zijn eigen meerkeuzetoetsen heeft gemaakt. Die andere weet alles van meerkeuzevragen en niets van de leerling die bevraagd wordt.
Kennis en multiple choice
Bij het bedenken van meerkeuzevragen is kennis inderdaad een eerste vereiste. Kennis van de leerstof dus.
Goede meerkeuzevragen houden namelijk ook rekening met wat onbegrepen leek te zijn.
Voorbeeld:
Vraag: hoeveel is 6 maal 7 ?
A. 42 (het juiste antwoord)
B. 24 (leerling heeft last van ‘omkering’; een voorkomend verschijnsel in het basisonderwijs)
C. 13 (leerling kent de betekenis van de vraag niet en verwart ‘maal’ met optellen)
D. 43 (leerling heeft een vaag vermoeden, en gokt waarschijnlijk)
De alternatieve antwoorden kunnen zo ook informatie geven.
De ervaren toetsenmaker of leerkracht heeft in de loop der jaren geleerd waar precies de problemen kunnen zitten, en zal deze in de meerkeuzevragen betrekken als mogelijke valkuilen.
Leerlingen die de valkuilen met grote regelmaat weten te omzeilen (we stellen immers vele vragen over de stof, en niet maar een), beheersen zeer waarschijnlijk de bevraagde leerstof.
Vakkennis telt inderdaad.
Kennis
Moby,
Dat klopt, de ervaren leerkracht weet heel goed hoe het gebrek aan kennis of inzicht neerslaat, en kan dat inzicht gebruiken om ‘foute alternatieven’ voor meerkeuzevragen te bedenken.
Maar er is een diepere laag: de handige leerling die geleerd heeft (want die meerkeuzevragen kent hij/zij al sinds groep 1) dat slim bestuderen van de alternatieven loont.
De meerkeuzevraag is niet een onschuldige vraagvorm. De spelregel is: je moet het beste antwoord geven (misschien zijn alle alternatieven verdedigbaar, maar sommige alternatieven zijn beter te verdedigen dan andere, kies het best verdedigbare antwoord). Dus moet je alle aangeboden alternatieven serieus bekijken. Dan gaat die meerkeuzevraag misschien heel anders werken dan bedoeld.
De meerkeuzevraag ontaardt makkelijk tot een naieve vraagvorm: het is niet zo dat de leerling ofwel het antwoord op de vraag weet, ofwel niet, en in het eerste geval dan dat antwoord aankruist, en in het tweede geval een gokje doet.
Ik constateer dat je in je voorbeeld niet de term ‘afleiders’ gebruikt voor de ‘foute’ alternatieven. Mijn compliment daarvoor. Leerlingen moeten er inderdaad op kunnen rekenen dat ze niet worden ‘afgeleid’ (verneukt) door hun leraar/lerares.
Dus plaats geen valkuilen voor ze. Alsjeblieft. Wat is dat voor samenleving waarin we voortdurend beducht moeten zijn voor valkuilen geplaatst door psychopaten, ambtenaren, leraren? Of is de filosofie hier dat de samenleving een grote valkuil is, en het onderwijs er isom te leren daar omheen te zeilen?
Vakkennis en valkuilen, wat heeft dat met elkaar te maken?
Re:opvallend
Het lastigste met meerkeuzevragen is vooral het bepalen van de foute alternatieven. Kennis van het te toetsen onderwerp is daarvoor essentieel. Ik zou jou daar niet om advies over vragen. Wel over 2 alternatieven versus 4 alternatieven en dat soort toetstechnische/vakonafhankelijke dingen.
Prima, toch?
Mark,
Wynand Wijnen zou het hier met je eens zijn: hij zegt in zijn proefschrift over cesuurbepaling dat hij zich nadrukkelijk niets van inhoudelijke aspecten van toetsvragen wil weten, hij gaat alleen over d estatistische eigenschappen.
Ik vind de opvatting van Wijnen in strijd met Richtlijnen voor het ontwerpen van toetsen en tests. Daarin speelt validiteit de hoofdrol, met in de slipstream daarvan de betrouwbaarheid van een en ander. Validiteit gaat juist over de inhoudelijke kenmerken van de toets of de toetsvraag.
Je ziet, we zijn het weer oneens, maar ik gun je natuurlijk je eigen overtuiging.
Fijn
voor Mark
Recht
2010,
Inhoudelijk over dit type van bonusvragen, Job Cohen p. 146:
Marius Job Cohen (1981). Studierechten in het wetenschappelijk onderwijs.. Proefschrift Rijksuniversiteit Leiden. Tjeenk Willink.
Het gaat hier om bij de leerlingen/studenten gewekte verwachtingen, waaraan redelijkerwijs de toets of het examen moet voldoen, uiteindelijk te toetsen door de rechter (College van Beroep).
Het algemene punt is dat de leraar tot veel bevoegd is, maar dat wet en recht die bevoegdheden begrenzen.
De leraar die bonusvragen stelt om daarmee bepaalde studenten extra te belonen, mag er andere studenten niet mee benadelen. Denk aan het idee dat je alleen een ’10’ kunt halen door alle vragen inclusief de bonusvragen goed te maken. ‘Bonusvragen’ hier in de betekenis van Cohen: vragen die een slag moeilijker zijn dan in het onderwijs behandeld.
Het is dus niet zo dat, als de examenvragen maar over de stof gaan, alles is geoorloofd: dat kan strijd met het kenbaarheidsbeginsel opleveren.
Regelmatige bespreking van jurisprudentie rond examens, door Henk van Berkel, is te vinden in Examens. Tijdschrift voor de toetspraktijk.. Oudere jaargangen zijn op de website ter inzage/op te halen.
Ter informatie
Aan de Vlaamse universiteiten, waar ze met een schaal werken van 0 t/m 20 met enkel gehele getallen (per vak, het totaalpercenetage bevat wel 1 of 2 decimalen), kan je meestal onmogelijk hoger dan een 18 of een 19 halen, zelfs wanneer je elke vraag perfect beantwoord en daarnaast nog extra relevante informatie geeft. De profs geven uit principe zelden een 19 of een 20 (afhankelijk van de prof) omdat je daarvoor meer moet weten dan hetgeen in de les behandeld is en hetgeen in je handboek en/of cursus staat. De prof, die beheerst het vak perfect, de studenten moeten dus altijd een score van benden de 20 krijgen, zo is ongeveer de redenatie. Wanneer je er in slaagt om een 18 of hoger gemiddeld te halen dan krijg je felicitaties van de jury, daaronder respectievelijk een zeer grote onderscheiding (17), een grote onderscheiding (15-16), een onderscheiding (zo’n 68%) en voldoende.
Blijkbaar zijn er dus ook forse culturele verschillen in de onderwijsdeontologie. In Nederland krijg je gewoon het maximale cijfer wanneer je elke vraag correct beantwoord. Overigens werken ze in België nog relatief veel met mondelinge examinering. Bij geneeskunde bijvoorbeeld wordt >80% mondeling geëxamineerd, bij burgelijk ingenieur, waarvoor je immers veel oefeningen moet maken, gebeurt de examinering vaker maar ook lang niet altijd schriftelijk. Bij massarichtingen is er een trend dat vaker (een deel van) het examen via multiple choice wordt afgenomen. Het komt nog niet veel voor maar wel steeds meer.
Gelezen
Ik heb het artikel van Post el al. nu gelezen. Het is onderdeel van een project met een budget van $2,249,596. Dat geld lijkt vooral besteed te zijn aan cursussen voor leraren (‘indoctratie’ if you wish).
De onderzoekopzet heeft 2 belangrijke negatieve punten.
1. Er is geen control groep. Dus niet de ‘golden-standard’. Op zich is dat OK, want er wordt vergeleken met het landelijk gemiddelde op een bepaalde test, maar hier komt negatief punt 2 te voorschijn.
2. Er is geen goede pre-test. Op pagina 191 zeggen de onderzoekers iets over de pre-tests die afgenomen zijn. Maar we krijgen helemaal geen informatie over hoe de onderzochte leerlingen daarop scoren ten opzichte van het gemiddelde van die tests (dat is op die test wellicht ook niet mogelijk of redelijk). Omdat dit blijkbaar geen goede pre-tests zijn is het is niet mogelijk om prestaties ten opzichte van het landelijk gemiddelde toe te schrijven aan ofwel de samenstelling van de onderzoekspopulatie ofwel de interventie (dat ze ‘standards-based’ schoolboeken gebruiken). De onderzoekers hadden aan het begin van de interventie gewoon een uniforme landelijk genormeerde pre-test af moeten nemen (bijvoorbeeld weer de Stanford 9 die als post-test dient; er zijn versies beschikbaar voor alle basisschool en middelbare school groepen).
Door deze foutieve onderzoeksopzet is het onmogelijk om op basis van dit onderzoek iets te zeggen over hoe standards-based onderwijs presteert ten opzichte van traditioneel onderwijs. Het enige dat gezegd kan worden is (wat Ben ook al aangeeft): er is een relatieve achteruitgang op procedures en een relatieve vooruitgang op niet-procedure onderdelen. Een verschuiving van wat er geleerd wordt dus.
Overigens nog iets opvallends. Op pagina 206 staat: Stanford 9 [was] designed to measure traditional content. Maar op de wesbite van de uitgever van deze test staat als een belangrijke karakteristiek van de test: Emphasis on the NCTM Standards. En iets verder: The Stanford 9 Mathematics subtests were developed in alignment with the National Council of Teachers of Mathematics’ (NCTM) Curriculum and Evaluation Standards for School Mathematics.
Ik heb hier een tweetal voorbeeldopgaven uit de Stanford 9 test gevonden: volkomen in lijn met de NCTM standards.
Klopt
Mark,
Deze twee methodische zwakheden zitten inderdaad in het artikel; of ze ook in het onderzoek zelf zitten, is een vraag die niet valt te beantwoorden aan de hand van het artikel (zoiets is altijd een soort samenvatting). Deze problemen raken niet direct aan wat de belangrijkste conclusie lijkt: minder procedurele vaardigheid dan landelijk, meer begrip dan landelijk. Een gevolgtrekking daaruit: iets minder procedurele vaardigheid staat meer begrip niet in de weg. Een gevolgtrekking die een psycholoog maakt: dit is een mooi resultaat, het kan zomaar zijn dat de begripsmatige voorsprong over de nog volgende jaren kan worden uitgebouwd. (Daar ben ik dus echt benieuwd naar)
Dat de onderzoekers bij herhaling nadrukkelijk spreken over ’traditionele content’ van de Sat 9 kan ik niet plaatsen. Het kan te maken hebben met de vergelijkbaarheid met de normgroep van de Sat 9, die kennelijk geen onderwijs heeft gevolgd dat vernieuwd is volgens de NCTM-standards (hier wringt dus iets, als de Sat 9 op dat moment bestond uit vragen op basis van diezelfde Standards). Maar dat is een impliciete conclusie van mij: de onderzoekers geven aan dat hun onderzoek ongeveer de eerste gelegenheid is geweest om de effecten van een ‘gewoon’ Standards based curriculum, over drie jaar, vast te stellen. ‘Gewoon’ is hier: de betreffende scholen en leraren hebben zich niet vrijwillig voor een dergelijk curriculum aangemeld of beschikbaar gesteld, en hebben commerciële wiskundemethoden gebruikt.
Bedankt voor de link naar voorbeeldvragen wiskunde in de Sat 9. Misschien kunnen we daar nog eens en detail naar kijken.
Jij zegt het…..
Ik wou niet schrijven dat de methodische zwakheden wellicht niet in het onderzoek zelf zitten, maar dat het de onderzoekers wellicht beter uitkwam om ze in het artikel te negeren (vooral de normering van de scores op de pre-test).
Ik ben het niet met je eens wat betreft de belangrijkste conclusie. In de samenvatting staat de volgende conclusie:
When Standards-based students’ achievement patterns are analyzed, traditional topics were learned. Students’ achievement levels on the Open Ended and Problem Solving subtests were greater than those on the Procedures subtest.
Let hier op de volgorde van de 2 conclusies: de eerste lijkt voor hen de belangrijkste. De 2e conclusie kan getrokken worden op basis van dit onderzoek. De 1e echter niet: je kunt op basis van dit onderzoek niet zeggen dat traditionele onderwerpen beheerst worden door deze leerlingen.
Als je kijkt naar de voorbeeld SAT9 vragen, dan kan ik me voorstellen dat ‘iets minder procedurele vaardigheid meer begrip niet in de weg [staat]’ wanneer je ‘begrip’ ziet als het goed scoren op de andere 2 onderdelen van de SAT9. Voor de 2 voorbeeldopgaven is namelijk geen enkele procedurele vaardigheid nodig.
Raadsel
Mark,
When Standards-based students’ achievement patterns are analyzed, traditional topics were learned.
Het is mij een raadsel wat deze zin precies betekent. Het is een zin uit het abstract, en lijkt me geen conclusie maar een beschrijving van het materiaal.
Procedurele kennis: misschien is het hier handig om kennis of begrip van procedures te onderscheiden van de vaardigheid in het toepassen (hoe snel, met hoe weinig fouten).
Afijn, je weet dat ik wat kwaliteit van toetsvragen betreft niet gauw tevreden ben, dus ik geef je hier op voorhand gelijk.
Re: raadsel
Het Engels is inderdaad onduidelijk. Maar later p208 staat bijvoorbeeld:
Students in this study were not mathematically disadvantaged in the topics
contained in the Open Ended and Problem Solving Stanford 9 subtests nor on the
topical areas represented in the NSRE. Student performance on computational
items has always been a problem area for students, teachers, parents, and educa-
tors. It seems that no one is ever fully satisfied with student performance in the proce-
dural area. The evidence presented here does not suggest a resolution to this
concern.
Ik lees die zin in de abstract dus als ’traditionele onderwerpen worden beheerst door deze leerlingen’ (in het citaat op p208 voegen ze dan de kwalificatie toe ‘voor bepaalde onderdelen minstens even goed als andere leerlingen en het overige onderdeel -procedures- niet zo goed als andere leerlingen, maar het beheersingsniveau van die andere leerlingen daarop is ook onder de maat’).
Vervolgonderzoek
De (grotendeels) dezelfde groep onderzoekers heeft een vervolgonderzoek gedaan (alleen de abstract lijkt openbaar, ik heb via mijn universiteit wel het hele artikel kunnen lezen). Daar doen ze onderzoek naar het succes van leerlingen op universiteiten (2 groepen: standards-based en niet-standards-based vooronderwijs). De conclusie:
The results provide evidence that National Science Foundation–funded curricula do not prepare students to initially enroll in more difficult university mathematics courses as well as commercially developed curricula, but once enrolled students earn similar grades.
In andere woorden: de standards-based onderwezen leerlingen moeten op de universiteit eerst een inhaalprogramma volgen. In een ander onderzoek van weer grotendeels dezelfde auteurs schrijven ze overigens dat er geen verschil in deelname aan inhaalprogramma’s is tussen de verschillende groepen.
De onderzoekers schrijven in dat vervolgonderzoek ook over het onderzoek dat Ben aanhaalt in zijn blog. Namelijk p207:
Research has also indicated that NSFF curricula appear to satisfactorily
prepare students to succeed on standardized tests, including the Stanford
Achievement Test.
Maar aangezien er geen goede pre-test scores waren valt dit zoals hierboven gezegd helemaal niet op te maken uit dat onderzoek.
Verder vervolgonderzoek
In een verder onderzoek van weer grotendeels dezelfde auteurs schrijven ze overigens dat er geen verschil in deelname aan inhaalprogramma’s is tussen de verschillende groepen. Om tot deze conclusie te komen doen ze echter iets raars: in het eerste onderzoek (de link in de vorige post) nemen ze als pre-test de BST die afgenomen wordt in groep 8 (voor de interventie), het latere onderzoek (de link in deze post) nemen ze als pre-test de ACT die afgenomen wordt aan het eind van high school (dus na de interventie). Dat lijkt heel erg op valsspelen.
Verder onderzoek
Mark,
Ik loop ernstig achter met het bijhouden van mijn literatuur. Ik ga dit artikel nog lezen. Bedankt voor de link.
Uit de titel en het abstract begrijp ik dat ze een heel lastig probleem hebben uitgezocht om te onderzoeken. Het verbaast me niet dat er weinig uitkomt. Ik zal het relateren aan wat in algemene zin bekend is over de relatie tussen schoolprestaties (GPA) en succes in de vervolgstudie. (artikel van Richard Atkinson, former president UCLA)
Verder onderzoek vv
Mark,
Ik heb het onderzoek doorgenomen. Het artikel: Post en anderen (2010) in Journal for Research in Mathematics Education, 41, 274-308. pdf
De onderzoekers verdelen hun groep van ca. 4000 studenten in drie niveaugroepen, gedefinieerd op de wiskundescores op de Scholastic Aptitude Test (de SAT, dat is een andere test dan de Stanford Aptitude Test 9th edition, de Sat 9). Aan de hand van een correlatieonderzoekje menen ze dat dit kan, maar ze maken geen melding van de restriction of range binnen deze niveaugroepen waardoor correlaties geflatteerd laag uitkomen). Afijn, dit geheel is nogal ondoorzichtig, het kost me veel te veel tijd om er en detail in te duiken. Een poging om de zaak te flessen? Dat zou bijzonder sensationeel zijn, als je dat vermoedt dan raad ik je aan om het helemaal uit te pluizen. Ik denk er niet over. Ik geef toe: ik kan hun methodische verhaal niet volgen, zou er dan veel meer tijd in moeten steken.
Het resultaat van veel inspanning: geen opmerkelijke verschillen tussen studenten die traditioneel, resp. Standards-based onderwijs hebben gehad.
De belangrijkste relatie dit dit onderzoek blootlegt is de bekende sterke relatie tussen high school GPA en college GPA. Uit ander onderzoek blijkt dat high school GPA een veel betere voorspeller is van succes in college dan de SAT of ACT, zie bijv. Atkinson & Geiser, 2009, die ook laten zien hoeveel voetangels en klemmen er zijn bij zulk ‘eenvoudig onderzoek’ als de voorspelling van college GPA op basis van high school GPA. Wat Post e.a. doen is veel complexer, geen wonder dat er weinig resultaat uitkomt.
Richard C. Atkinson & Saul Geiser (2010). Reflections on a century of college admissions tests. Educational Researcher, 38, 665-676. pdf
dat valt
me tegen van jou Ben. Dat je dat niet uitzoekt, eentje die de zaak wil flessen vind je dus niet belangrijk?
Re: verder onderzoek vv
Om te zien waar het probleem zit met dit onderzoek eerst iets over experimenteel onderwijsonderzoek (het zal jou bekend zijn Ben, ik schrijf dit eerste stukje voor de meelezers).
De kwestie is dat je wilt testen of schoolboek A beter is dan schoolboek B. Idealiter verdeel je de leerlingen random in 2 groepen; de eerste groep krijgt onderwijs met schoolboek A en de tweede groep met schoolboek B. Na het onderwijs laat je de leerlingen een test doen (de post-test) en kijk je welke groep beter scoort. Je doet de relevante statistische test om te beoordelen over er een significant verschil is. Wanneer dit zo is dan concludeer je (voorzichtig; het onderzoek zou gerepliceerd moeten worden om meer zekerheid te krijgen) dat schoolboek A beter is dan schoolboek B.
Nu is het meestal onmogelijk om leerlingen random te verdelen, je hebt het meestal maar te doen met welke keuzes onafhankelijk van het onderzoek gemaakt worden. Het probleem is dan dat de groep die schoolboek A gebruikt beter kan zijn dan die schoolboek B gebruikt (slimmere leerlingen, beter voorbereide leerlingen et cetera). Hier hoor je rekening mee te houden. De standaardmanier om dat te doen is om alle leerlingen van tevoren een test af te nemen (de pre-test). Dan kun je met statistische technieken corrigeren voor het feit dat er wellicht al voor aanvang van het onderzoek verschil was tussen de 2 groepen.
In hun eerste vervolgonderzoek (2009-AERJ) volgen Post en consorten dit standaard protocol met 1 variatie: ze gebruiken geen post-test, maar als succes criterium nemen ze prestaties van de onderzochte leerlingen op de universiteit in wiskunde. Dat is een indirecter criterium (er is een duidelijke invloed van andere dingen dan of leerlingen in groep A of groep B zaten op de middelbare school en je mag verwachten dat over tijd het feit of een leerling in groep A of B zat steeds minder belangrijk wordt), maar het is zeker interessant en valide. Ze gebruiken wel een klassieke pre-test.
In hun tweede vervolgonderzoek (2010-JRME) doen Post en consorten iets heel raars. Ze gebruiken nu geen pre-test. Als substituut voor de pre-test nemen ze ACT wiskunde scores. Maar de ACT wordt afgenomen aan het eind van de middelbare school. Dus ACT is een post-test voor de interventie en geen pre-test!
Is dit te rechtvaardigen? Zoals ik schreef: een verschil tussen groep A en groep B op de post-test kan komen door verschil in intelligentie tussen de groepen. Als de ACT een pure intelligentie test was, dan zou de ACT als pre-test nemen hiervoor corrigeren. Maar de ACT is zeker geen pure intelligentie test (Colorado, Illinois, Michigan, Kentucky en Wyoming gebruiken het bijvoorbeeld om de kwaliteit van scholen te meten). Ik schreef ook dat een verschil tussen groep A en groep B op de post-test kan komen door verschil in voorbereiding tussen de groepen. Dit is wat de ACT test (of poogt te testen): in welke mate leerlingen voorbereid zijn om te slagen op de universiteit. Maar nu komt het: een belangrijk deel van die voorbereiding was nu juist de experimentele conditie. Als schoolboek A beter is dan schoolboek B (en al het andere gelijk is), dan zullen groep A leerlingen beter scoren op de ACT dan groep B leerlingen. En daarmee valt de rechtvaardiging om de ACT als pre-test te gebruiken compleet weg. Sterker: wanneer je indeelt op ACT scores en schoolboek A is beter, dan zou je verwachten dat leerlingen uit groep B het beter doen op de universiteit dan leerlingen uit groep A met dezelfde ACT score (immers die leerling uit groep B is slimmer, de reden dat hij een even hoge ACT score haalde als die dommere leerling uit groep A is omdat die dommere leerling een beter schoolboek had; op de universiteit zal die slimmere leerling uit groep B die dommere leerling uit groep A weer achter zich laten).
Ik kan dus geen rechtvaardiging vinden voor wat Post en consorten doen in dit 2010-JRME onderzoek. De enige reden die ik kan bedenken waarom ze dit doen is dat ze niet tevreden waren met de uitkomt van hun onderzoek 2009-AERJ en daarom maar met de gegeven zijn gaan stoeien om er een voor hen meer acceptabele uitkomt uit te krijgen. Ik weet het: dit is nogal een beschuldiging, maar ik kan er niets anders van maken.
vv Post e.a. 2010
Er zijn meer serieuze beperkingen in dit onderzoek. Zo vindt het plaats binnen een enkele selectieve universiteit (undergraduate) waar om te beginnen alleen studenten die tot de beste 25% van hun klas horen voor in aanmerking komen. Dat is nogal een stevige beperking. Het levert ook een zekere restriction of range op voor de verschillen tussen studenten in de tot deze universiteit toegelaten groep.
Dat doet me dan meteen denken aan een vorm van zelf-selectie die de auteurs meen ik niet hebben genoemd: welke leerlingen gaan voor een programma met daarin wiskunde, welke voor een programma zonder wiskunde? Deze zelf-selectie kan in theorie anders uitpakken al naar gelang de aard van het op de highschool gevolgde wiskundeprogramma.
Er is maar een kleine groep studenten die een Standards-based wiskundeprogramma op hun highschool hebben gevolgd. Toch hanteren de onderzoekers complexe statistische methoden en veel variabelen, zodat er in deze analyses veel subdata moeten zijn met daarbinnen te weinig studenten die een Standards-based programma hebben gevolgd. Misschien gaan de auteurs op dit probleem in, maar ik kan me dat na eerste doorlezing niet herinneren.
Wie het artikel van Atkinson & Geiser (2009) heeft gelezen, zal zich afvagen in hoeverre Post e.a. adequaat zijn omgegaan met SES-verschillen (sociale achtergrond), omdat uit standaardonderzoek naar de relatie tussen SAT/ACT-scores en GPA bljkt dat de positieve correlaties aanzienlijk teruglopen wanneer voor SES wordt gecontroleerd.
Er zijn dus nogal wat vragen waarop ik graag helder antwoord uit het artikel zou willen krijgen. Lezen maar weer.
Post e.a. stoeien met data
Mark,
Je legt goed uit dat Post e.a. een wonderlijke procedure volgen door drie niveaugroepen te vormen op basis van de ACT (daaruit alleen de wiskunde subtests), een landelijke test die evenals de SAT tussen high school en college wordt afgenomen. Ik ken er uit mijn onderzoekliteratuur geen voorbeelden van, want het gaat hier om een niveau-indeling op basis van gegevens die NA de ‘experimentele fase’ (het volgens van een Standards-based danwel een traditioneel programma wiskunde) zijn verkregen. Ik zal het artikel nog eens doornemen, om te zien of ik er op het tweede gezicht iets zinnigs over kan zeggen.
De SAT en ACT zijn in feite intelligentietests, maar inderdaad niet als zodanig ontworpen. Zie voor de probleem waarmee de Amerikanen zichzelf hier hebben opgescheept het genoemde artikel van Atkinson & Geiser (2009). Hetzelfde geldt overigens ook voor de Eindtoets Basisonderwijs van het Cito, al is hier wel een betere passing op de inhoud van het basisonderwijs dan voor SAT/ACT op de inhoud van het high school curriculum (daar zit immers weinig eenheid in).
Het onderzoek van Post e.a. (2010) is een onderzoek ACHTERAF op welke data dan ook maar beschikbaar zijn. Het is dus geen experimenteel, maar een verkennend onderzoek. Als er dan geen goede pretest data zijn, dan moet je het als onderzoeker zonder die data doen.
Ernstiger is dat er allerlei selectie- en zelfselectie-effecten zijn, waarvan het meest problematisch is dat ouders de Standards-based curricula mijden voor hun kinderen die een wiskundeknobbeltje zouden kunnen hebben. De auteurs gaan daar op in. Typisch voor sociaal-wetenschappelijk onderzoek: de onderzochten ‘praten terug’ en maken er zo deels een self-fulfilling prophecy van.
Eigenlijk geldt dat voor heel het onderzoek: er is van alles en nog wat gebeurd met deze studenten waar de onderzoekers weinig of geen greep op hebben. Maar ze hebben er wel ca 4000, en veel variabelen. Heel veel info maakt het artikel ook knap onleesbaar.
Slotsom
Mark,
Ik heb me verdiept in de methode van drie op ACT-niveau gedefinieerde groepen. De eerste strohalm brak meteen af: zij verwijzen voor de methode naar Pedhazur e.a., p. 213-215 (voor een kopie van 213-215, mail mij). Dat blijkt een inleidende beschouwing te zijn, over hoe bijvoorbeeld sexe van de studenten in de analyse te betrekken. Sexe is een categorische variabele. Score op de ACT is dat niet: het is een knap willekeurige greep om daar drie nievaus in aan te brengen. Het is dus niet duidelijk op welke literatuur zij de niveau-ingreep baseren.
Ergens in de verte is het methodische punt dit (maar dat gaat voor het onderzoek van Post e.a. niet op): een stevig negatief verband over alle alle studenten in een universiteit kan opgebouwd zijn uit sterk positieve verbanden wanneer deze op het niveau van afzonderlijke opleidingen worden berekend. (ook wel bekend als a reversal paradox, zie Messick & Van de Geer (1981) in een gelijknamig artikel in Psychological Bulletin.) [Simpson’s paradox. Aggregation fallacy]
Ik kan niet anders dan concluderen dat Post e.a. (2010) broddelwerk leveren als het gaat om het gekozen design. Wat betekent dit voor de conclusies die zij trekken? Het komt er mijns inziens, zonder close reading van hun resultatensectie, op neer dat er niets valt te concluderen, anders dan dat leerlingen die het Core Plus (Standards-based) hebben doorlopen, als groep lager scoren op de ACT. Wat dat betekent: wie het weet mag het zeggen. Binnen de ACT-niveaugroep, d.w.z. eenmaal binnen zo’n niveaugroep, doen deze leerlingen het niet anders dan de traditioneel opgeleide. Maar zij zouden het eigenlijk beter moeten doen, volgens de Standards-filosofie.
Het valt me enorm tegen van Post e.a. Dit artikel zou voor een sociaal-wetenschappelijk tijdschrift waarschijnlijk zijn geweigerd op basis van de onvoldoende methode.
Citatie
Het volgende boek geeft een referentie naar het artikel van Post op p43 met de tekst:
The authors found that students learned conventional topics including computational procedures at acceptable levels, and their achievement levels were greater on open-ended and problem-solving tasks than on procedural tasks.
Maar weer: die eerste conclusie kan op basis van het onderzoek niet getrokken worden (vanwege het ontbreken van een goede pre-test).
begrijpen of memoriseren
Het moge waar zijn, dat sommige leerlingen, na een breede studie en ten gevolge van veel aan- en terechtwijzingen van den betrokken leeraar, behoorlijke vorderingen maken, het valt niet te ontkennen, dat de pogingen van het gros der beginners schipbreuk lijden. ’t Zoo noodzakelijke begrijpen gaat teloor en ontaardt in het memoriseeren van bepaalde constructies en ‘loopjes’. Uit:
Rothuizen, E. J. Rothuizen, G. E. Kiers (1927). Kern der beschrijvende meetkunde. Deel I (Tevens bestemd voor de H. B. S.) Herzien en omgewerkt door G. E. Kiers. Goes: Oosterbaan & Le Cointre.
Wiskunde begrijpen in M.I.T.’s A.I.-lab, en in een klaslokaal
Een vroeg artikel over wat het is om wiskunde te begrijpen, komt uit M.I.T.’s laboratorium voor Kunstmatige Intelligentie. Het is hoog gegrepen, maar sluit ook aan op het werk van George Polya. Dat is opmerkelijk: Alan Newell, student van Polya, heeft in 1983 onderzocht waarom het A.I.-specialisten nog niet was gelukt om de heuristische benadering van wiskundig probleemoplossen van Polya te vangen in Artificial Intelligence-programma’s. Kennelijk is wat er in goed wiskundeonderwijs gebeurt, te complex voor wat A.I. aankan (althans, in 1983).
Er is op internet een volledige tekst te vinden:
Edwina Rissland Michener (1978). Understanding understanding mathematics. M.I.T. Artificial Intelligence Laboratory. Also published under the same titel in: Cognitive Science, 2, 361-383. pdf of report
In sterk contrast tot dit highbrow artikel is het volgende, met de aansporing om laag presterende leerlingen uit te dagen:
Anne Watson (2002). Instances of mathematical thinking among low attaining students in an ordinary secondary classroom. The Journal of Mathematical Behavior, 20, 461-475. pdf of concept?