PISA kritieken. Mythes en Waarheden 5: maar internationaal doen we het toch goed?

Mythes en waarheden 5: maar internationaal doen we het toch goed?

 

Mythe: Ons onderwijs zit internationaal mooi bij de top

Waarheid: PISA en TIMSS meten niet de kwaliteit van onderwijsstelsels. Een hoge positie op de ranglijsten betekent weinig tot niets

 

0. De officiële PISA (2000, 2003, 2006) en TIMSS (1995, 1999, 2003) rapporten zijn gratis te downloaden; zie hiervoor de Referenties.

 

De kritiek op PISA en TIMSS heeft net zo’n onoverzichtelijke omvang als de hoofdverslagen van de afnames, de nationale rapporten (die vaak meer informatie bevatten), de brochures, handleidingen, technische rapporten, data-bestanden enz. De geïnteresseerde lezer kan daarom het best beginnen met de publikaties waarin de kritiek wordt gerubriceerd en samengevat: Smithers (2004); Prais (2003, 2004), de PISA-repliek van Adams (2003); Jahnke (2007) en Wuttke (2007); Haahr (2005), Hagemeister (2006); Hopmann e.a. (2007);Topping (2003); Bender (2003).

 

1. De meest gehoorde en in alle landen geuite kritiek op PISA en TIMSS richt zich op de validiteit van de testopgaven voor de nationale leerplannen. Daar bij komt uiteraard de bij schooltoetsen en gestandaardiseerde tests gebruikelijke kritiek op onzorgvuldig geconstrueerde of slecht vertaalde opgaven (zie hiervoor Hagemeister, 1999; de repliek van Baumert e.a. 1999; Bender, 2003, par.3.2). TIMSS gebruikte aanvankelijk, anders dan PISA, opgaven die proberen aan te sluiten bij de verschillende nationale leerplannen. Het waren leerplan-inhoudelijk valide opgaven die een antwoord moesten geven op de vraag: wat heb je op school geleerd?

 

Testopgaven van internationale surveys staan traditioneel aan hevige kritieken bloot. Vertaalde opgaven zijn van oudsher beruchte foutenbronnen (zie bv. Freudenthal, 1975; Van der Linden, 1998, par. 2; Puchhammer's uiteenzetting over Zipf's Law in Hopmann e.a. 2007, p.133 e.v.).

Nationale leerplanvaliditeit is altijd moeilijk te realiseren vanwege de onvermijdelijke onenigheid over wat de leerlingen eigenlijk moeten leren. In de VS bijvoorbeeld, waar de Math War tussen realistische (conceptuele) en traditionele (algorithmische) wiskunde geleid heeft tot dito leerplannen per staat of district, is nationale leerplanvaliditeit niet haalbaar. Ook zonder Math War en andere omstreden onderwijsvernieuwingen verschillen leerplannen binnen en tussen landen aanzienlijk van elkaar (Bracey, 2000; Clarke, 2001, par. 3).

Een ander probleem is dat het moment waarop de test plaats vindt (PISA: het schooljaar waarin de leerling 15 wordt) in verschillende landen niet hetzelfde gewicht heeft. In de VS valt dat moment halverwege de high school, de leerling heeft nog minstens drie jaar te gaan. De relatief lage scores van de VS baren ondermeer daarom in dat land weinig opzien. In Turkije wordt PISA afgenomen vlak voordat de meeste leerlingen de opleidingen verlaten.

Transnationale leerplanvaliditeit is eigenlijk niet haalbaar en wenselijk. Maar in de praktijk zullen testopgaven van internationale surveys hoe dan ook altijd beter aansluiten bij het curriculum van land X, een voordeel, dan van land Y, een nadeel, en blootstaan aan kritiek.

Soms kan een PISA-score voor een afzonderlijk land nuttige informatie opleveren (een goed voorbeeld geeft Prais, 2003, p.144; zie ook Schmidt et al. 2002).

 

2. PISA omzeilt het geharrewar met cross- of transnationale leerplanvaliditeit (Smithers, par. 20). Men meet niet langer wat leerlingen op school leren maar literacies (reading, RL; mathematics, ML; science, SL). Ook TIMSS is inmiddels overgestapt.

De literacies: skills for life en een leven lang leren, van de OECD (PISA) en de International Association for the Evaluation of Educational Achievement (IEA: TIMSS, PIRLS) sluiten naadloos aan bij de de indicatoren waarmee de EU, de Unesco, het IMF, de WTO en een meute andere vrijgestelde IGO's (intergovermental organizations) doorlopend de kwaliteit van alles diagnosticeren. Voor meer over het economiserende en mythologiserende karakter van deze indicatoren zie: www.beteronderwijsnederland.nl/content/stelselvergelijking-met-onderwijsindicatoren Voor meer over de vermarkting van het onderwijs zie Lorenz, C. (red. 2008).

 

De overstap op literacies legde de organisaties geen windeieren. Inhoudelijk kwam men met de literacies helaas van de regen in de drup. Ook na veel pagina’s slaagt bijvoorbeeld De Lange, nota bene voorzitter van de PISA Expert Group for Mathematics en lange tijd nauw betrokken bij de opgavenproductie, er anno 2006 nog steeds niet in duidelijk te maken wat literacy op het gebied van wiskunde betekent voor het dagelijkse leven van vijftienjarigen, en voor wiskunde trouwens ook niet. Ook de herhaalde en wijdlopige pogingen in de eindverslagen slagen daar niet in en wekken intussen bij de lezer bijna deernis op. Dat kan maar één ding betekenen: de literacies zijn competenties (Bender, 2003, par. 3.3 t/m 3.7; Bender, 2005): niet goed te definiëren, moeilijk te instruëren, niet te toetsen leerdoelen die, als de docent ze serieus neemt, in korte tijd elk onderwijs in een toestand van gewichtloosheid brengen. Voor meer hierover zie het Naschrift hieronder.

 

Afgezien hiervan geldt: de PISA-test staat los van het nationale leerplan, meet niet rechtstreeks de resultaten ervan en kan dus de kwaliteit van de onderwijsstelsels in de verschillende landen niet met elkaar vergelijken.

Zonder leerplanvaliditeit is terugkoppeling van uitkomsten naar leerplan niet mogelijk en hebben  landenranglijsten een onbekende betekenis. Omdat de testvragen competenties bestrijken staat ook de onderwijspraktijk met lege handen.

 

De posities van landen op de ranglijsten van TIMSS (en van PISA) laten regelmatig niet verklaarde en grote wisselingen zien (Bender, in Jahnke, 2007, p.286; Smithers, par. 71 t/m 74). Soms eindigen landen met zeer uiteenlopende leerplannen ex aequo in de landenranglijst (Belgie en Nederland bij TIMSS 2003, De Lange, fig. 5, p.19) en komt het voor dat bijvoorbeeld Wallonië en Vlaanderen met hetzelfde onderwijs dramatische verschillen opleveren. Noch TIMSS, noch PISA zijn in staat hiervoor goede verklaringen te bieden (Smithers, par. 113; zie ook punt 5.5 hierna). Daarin schieten de testboekjes en de achtergrondvragenlijsten te kort (Smithers, par. 106). De ranglijsten deugen dus niet. “One number tells all” gaat niet op. In oude PISA en TIMSS-rapporten worden de ranglijsten nog onder veel voorbehoud gepresenteerd (Baumert, J. e.a. 1997; PISA, 2000, Knowledge and Skills for life, p. 26 en p.212), in de latere is van deze terughoudendheid geen spoor meer te bekennen.

De posities van de landen op de ranglijsten van PISA en TIMSS hebben een onbekende betekenis (zie ook Haahr, p.33 e.v.).

 

3. Wat meet PISA dan wel?

De opgaven lijken op die van de CITO-toetsen en die zijn realistisch en conceptueel. Het eerste is geen verrassing want het CITO en het Freudenthal Instituut zijn belangrijke producenten van de PISA-opgaven, een geducht voordeel voor Nederland en een nadeel voor andere landen die het bovendien met vertalingen moeten doen. Wuttke meldt zelfs dat enige PISA-opgaven uit Nederlandse schoolboekjes stammen (Jahnke, 2007, p.166 e.v.), maar dit terzijde. Dekker, T. e.a. (2006) melden cryptisch: "Dat Nederland goed scoort bij Wiskunde kan deels verklaard worden uit het feit dat het curriculum in Nederland meer past bij de wiskundige geletterdheid uit PISA dan dat van veel andere landen."

PISA meet naar de mening van veel kritici een onscherpe mix van intelligentie, kennis en ervaring: gezond verstand dus (Prais, 2003, p. 141 – 145). Smithers wijst op de per land vrijwel even hoge scores op de drie literacies en noemt PISA daarom een algemene leesvaardigheidstest (Smithers, par. 50; 92 – 95). Wanneer PISA inderdaad eerder intelligentie en geschiktheid meet dan de kwaliteit van onderwijsstelsels komen uiteraard alle uitkomsten in een nieuw licht te staan, tenzij men van oordeel is dat intelligentie een competentie is die op school wordt geleerd. Helaas zoekt men in de officiële PISA-verslagen tevergeefs naar de woorden intelligentie, aptitude, geschiktheid, capaciteiten of IQ.

In de bijlage meer argumenten voor de stelling dat deze internationale surveys, net als de CITO-toets, voornamelijk intelligentie meten

 

4. Uiteraard verschillen de onderwijsstelsels van landen op nog veel meer factoren dan alleen de inhoud en uitoering van de leerplannen en zijn allerlei condities en culturele verschillen van invloed op de resultaten (Le Tendre, et al. 2001). Kritici hebben terecht niet verzuimd hierop te wijzen ter verklaring van tegenvallende resultaten, anders dan door vermeende onvoldoende nationale onderwijskwaliteit.

Landen verschillen bijvoorbeeld van elkaar in de beschikbaarheid van middelen, discipline in de klas, in het belang dat aan vakken wordt toegekend, werkomstandigheden van leraren, status van het lerarenberoep, klassengrootte, opleiding van leraren, de sociaal economische status van de opleiding en het beroep van de ouders, de ‘leer’steun van ouders aan hun kinderen (parental involvement), ervaring met meerkeuze-vragen (in nogal wat landen niet in gebruik, in ongeveer eenderde van de testopgaven wél), de aanwezigheid en omvang van achterstandsgroepen met een taalachterstand, kortom een niet afzienbare reeks van soms op hun beurt samengestelde factoren die van invloed zijn op onderwijsresultaten en verondersteld dus ook op de uitkomsten van de surveys. Als voor deze en hier niet genoemde factoren niet of onvoldoende wordt gecontroleerd dan zijn de interpretaties en de conclusies van PISA en TIMSS, met name de landenranglijsten, waar kleine verschillen grote gevolgen hebben, direct aanvechtbaar (Bracey, 2000; Wang, 2001).

 

5. Hier volgt een kleine selectie van factoren en kwesties waarbij het volgens de critici erg mis ging.

 

5.1 De samenstelling van de steekproeven van respondenten en scholen laten tussen landen grote verschillen zien, zie ondermeer Smithers, 2004, par. 31 t/m 42; Prais, 2003, p. 145 – 152. Zo zijn de Zweedse leerlingen ouder, voor TIMSS tot gemiddeld een half jaar, dan de Duitse waarmee het hele verschil tussen deze twee landen kan worden verklaard (Bender, in Jahnke e.a. 2007, p.286). Zie voor meer van deze foutenbronnen Wuttke, par.2, in Jahnke e.a. p.108 e.v. Wie representativ ist PISA?  www.ssoar.info/ssoar/handle/document/35905

Ook de percentages uitvallende respondenten (testweigeraars, schoolverlaters –zwakke lln. staken de opleiding eerder, enz.) verschillen per land aanzienlijk. Over al deze groepen zijn te weinig kwalitatieve gegevens verzameld zodat het maar de vraag is of de ingezette reserves wel representatief waren (Prais, 2004, p.571).

Veel meer kritiek op de samenstelling van de steekproeven levert von Collani (2000, par. 3 en 4) die stelt dat, behalve Nederland, vijftien andere landen uit PISA 2000 hadden moeten worden verwijderd wanneer men zich aan de eigen regels had gehouden (par. 5). Die afspraken zijn vaker met voeten getreden, ondermeer waar het de regels voor het uitsluiten van deelname van bijzondere groepen leerlingen betreft en de regels voor de gang van zaken rond niet volledig ingevulde testboekjes (opnieuw Wuttke, in Jahnke e.a. par. 2).

 

5.2 Verschillen tussen landenscores zijn soms op zeer voor de hand liggende factoren te herleiden. Zo meldt De Lange (2006, pag. 20, TIMSS-tabel 6) dat de tijd besteed aan het vak wiskunde van land tot land verschilt en dat in Singapore, de “winnaar” van de ML-competitie, gewoon de meeste tijd aan dit vak wordt besteed. Dat deze tijdfactor hier bijna rechtlijnig van invloed is op de resultaten heeft men niet gezien of niet willen zien. Men beschikte, zo meldt De Lange, wel over de gegevens.

 

5.3 Met het gegeven dat leerlingen met een taalachterstand als gevolg van een migratie-achtergrond aanzienlijk lager scoren wordt in de surveys onvoldoende rekening gehouden, zie hiervoor Hagemeister, 2006, par.7; ook te vinden in Jahnke e.a. 2007; Bender, 2005, par. 1.5. Voor deze lagere scores zie verder Smithers, par.68 t/m 70, tabel 13; in die tabel ook de percentages respondenten met migrantenachtergrond per land. Die lopen zeer uiteen. Finland 1,2%; Japan 0,1%; Duitsland 15,2%; Zwitserland 20,7%. Sommige landen, Ierland bijv. en Canada (20,6%), selecteren naar opleiding bij de toelating van migranten, andere landen doen dat niet. Emigranten uit Aziatische en Oost-Europese landen zijn gemiddeld beter geschoold dan emigranten uit islamitische landen. Verder houdt PISA geen rekening met het gegeven dat emigranten naar angelsaksische landen in het algemeen een veel kleinere taalachterstand hebben dan emigranten naar landen als Nederland en Duitsland.

 

5.4 Het belang van de klassengrootte wordt door PISA foutief ingeschat. Die zou niet belangrijk zijn omdat landen als Japan en Korea zeer hoog scoren en met grote klassen werken. (Even terzijde: deze betoogtrant is een voorbeeld van de door PISA en TIMSS vaak toegepaste veel te simpele bivariate analyse, bestaande uit een correlatie tussen een score en één potentiële determinant. Bovendien verwijgt men in dit geval dat er ook laagscorende landen zijn met grote klassen). Nu is uit de literatuur genoegzaam bekend dat het verband tussen klassengrootte en resultaat wel degelijk bestaat, niet rechtlijnig is, en dat met name zwakke groepen lln. van kleinere klassen en meer aandacht profiteren. Voor literatuur hierover en de foutieve behandeling van dit thema in PISA raadplege men Hagemeister, 2006, par.2.

 

5.5 Voor zwaarwegende kritiek op het ondoorzichtige en vermoedelijk incorrecte gebruik van statistiek  raadplege men Van der Linden (1998, par. 1 over met name de item-response theorie); Prais, (2003, Annex, p.159), Goldstein (2004) en von Collani (2001). Ook het volgende punt verdient de aandacht omdat ermee vergelijkbare onzorgvuldigheden schering en inslag zijn. In het landenrapport van de VS (Outcomes of Learning, 2002, p. 11) staat in de landenlijst voor Reading Literacy een grote middengroep van 20 landen, waaronder Duitsland en Nederland, die niet significant van het VS-gemiddelde verschillen. Er is een kopgroep van drie (Finland, Canada, Nieuw-Zeeland) en een staartgroep van vier. In andere landenrapporten, het Duitse bijvoorbeeld, (PISA 2000, Zusammenfassung zentraler Befunde, p. 13) telt diezelfde middengroep slechts zes landen en komt Duitsland in de staartgroep terecht. Dit uitsluitend als gevolg van het feit dat hier het OECD-gemiddelde als vergelijkingspunt werd genomen (4 punt lager dan dat van de VS).

Het is duidelijk dat de verschillen tussen de landen niet groot zijn, niet meer dan 10% van de totale variantie in de scores is toe te schrijven aan verschillen tussen landen. Vandaar waarschijnlijk die soms vreemde uitkomsten en onverklaarbaar grote verschuivingen van posities binnen de ranglijsten (hierover vooral Wuttke, in Jahnke e.a. Die Insignifikanz signifikanter Unterschiede).

 

5.6 PISA speelt met de ranglijsten in de hand een eigen politieke agenda uit. Deze bestaat heel in het kort gezegd in het bevorderen van de middenschoolgedachte, het nastreven van zowel equality als equity. Meer hierover bij Naylor, 2004. Smithers, par. 61 t/m 67; 107 t/m 110) laat zien welke fouten zijn gemaakt bij het bepalen van de PISA-maat voor equality. De politieke voorkeuren van PISA laat ik verder maar rusten.

 

Conclusie

De scores van PISA en TIMSS zeggen niets over de relatieve kwaliteit van nationale onderwijsstelsels (Smithers, 111 t/m 114). Wie denkt Finland, Duitsland, Turkije, Singapore en de VS met elkaar te kunnen vergelijken moet met iets anders komen dan de opgaven en de vragenlijsten van deze surveys. Iedereen die roept dat ons onderwijs internationaal bij de top zit zegt maar wat. Iedereen die Finland bezoekt om daar een kijkje te nemen in de onderwijskeuken is de weg kwijt. De landenranglijsten van PISA en TIMSS zijn een mythe.

 

REFERENTIES

Alle PISA-rapporten en de landenrapporten zijn te downloaden van PISA oecd org

De TIMSS-rapporten vindt u op de NCES-site.

Adams, R. J. (2003). Response to 'Cautions on OECD's recent educational survey (PISA)'.

Oxford Review of Education, vol. 29, no. 3, 2003.

Baumert, J. e.a. 1997: TIMSS II – Mathematisch-naturwissenschaftlicher Unterricht im internationalen Vergleich. p. 18 e.v.

Baumert, J. e.a. (1999). Konzeption und Aussagekraft der TIMSS-Leistungstests. Antwoord op Hagemeister (1999).

Bender, P. (2003) Die etwas andere Sicht auf die internationalen Vergleichsuntersuchungen TIMSS, PISA und IGLU. DMV-Mitteilungen 12-2/2004. lama.uni-paderborn.de/fileadmin/Mathematik/MathematikDidaktik/Personen/Bender/Veroeffentlichungen/2004DieetwasandereSicht.pdf

Bender, P. (2005). Neue Anmerkungen zu alten und neuen PISA-Ergebnissen und Interpretationen. www.mathematik.tu-dortmund.de/ieem/cms/de/forschung/bzmu/bzmu_gesamt.html

Bracey, G. W. (2000). The TIMSS "Final year" study and report: A critique. Educational Reseacher, Vol. 29, May 2000, p. 4 – 10.

Clarke, D. (2001). Developments in international comparative research in mathematics education: Problematising cultural explanations.

Collani, E. von (2001). OECD PISA – An example of stochastic illiteracy? Economic Quality Control, vol. 16, no. 2, 227 – 253.

T. Dekker, K. Lagerwaard, J. de Lange e.a.; Wiskundige geletterdheid volgens PISA – Hoe staat de vlag erbij? 1. Analyse. Freudenthal Instituut-PISA/Citogroep, 2006, p. 105

Downes, S. (2005). Understanding PISA. Turkish Online Journal of Distance Education. 2005, vol. 6, no. 2, art. l. www.doaj.org/doaj?func=issueTOC&isId=76960&uiLanguage=en

Freudenthal, H.; Pupils' achievements internationally compared – The IAE (International Association for the Evaluation of Educational Achievement). Educational Studies in Mathematics 6 (1975) 127 – 186.

Goldstein, H. (2004). International comparisons of student attainment: some issues arising from the PISA study.

Haahr, J. H. e.a. (2005). Explaining student performance. Evidence from the international PISA, TIMSS and PIRLS surveys.

Hagemeister, V. (1999). Was wurde bei TIMSS erhoben? Eine Analyse der empirischen Basis von TIMSS.

Hagemeister, V.; Kritische Anmerkungen zum Umgang mit den Ergebnissen von PISA (2006), in Jahnke e.a. (2007).

Hopmann, S.T. , Brinek G., Retzl, M. (red.), PISA zufolge PISA – PISA according to PISA. Berlin, 2007. www.univie.ac.at/pisaaccordingtopisa/

Jahnke, T. & Meyerhöfer, W., Hrsg. (2007). Pisa & CO; 2^e erweiterte Auflage, Franzbecker Verlag, Berlin.

Lange, J. de. Mathematical literacy for living from OECD-PISA perspective. ebookily.com/pdf/mathematical-literacy-for-living-from-oecd-pisa-perspective

Le Tendre, G. K. et al. (2001). Teacher's work: Institutional isomorphism and cultural variation in the U.S., Germany, and Japan. Educational Researcher, vol. 30, no. 6, p.3 – 15.

Linden, W.J. van der; A discussion of some methodological issues in international assessments. International Journal of Educational Research, 29 (1998) p. 569 – 577. Dit nummer van IJER is geheel gewijd aan internationale surveys.

Lorenz, C. (red.); (2008). If you're so smart, why aren't you rich? Hieruit vooral de twee hoofdstukken van Lorenz.

Naylor, F. (2004). The Trojan horse within. Current Concerns, no.l, 2004.

Prais, S. J. (2003). Cautions on OECD's recent educational survey (PISA). 0xford Review of Education, vol. 29, no. 2, 2003.

Prais, S. J. (2004). Cautions on OECD's recent educational survey (PISA): Rejoinder to OECD's response. 0xford Review of Education, vol. 30, no. 4, 2004.

Schmidt, W., Houang, R., Cogan, L. (2002). A coherent curriculum. American Educator, summer 2002.

Smithers, A. (2004); England's education. What can be learned by comparing countries? University of Liverpool.

Topping, K. e.a. (2003). Policy and practice implications of PISA 2000. Report of the International Reading Association, PISA Task Force.

Wang, J. (2001). TIMSS primary and middle school data: some technical concerns. Educational Researcher, vol. 30, no. 6, p. 17 – 21.

Wuttke, J. (2007) Die Insignifikanz signifikanter Unterschiede: Der Genauigkeitsanspruch von PISA ist illusorisch. In: Jahnke, T. e.a. PISA & CO, 2^e Auflage, p. 99 – 246.

Wuttke (2013). De mijns inziens beste PISA-kriticus Joachim Wuttke heeft op zijn website een kritische bibliografie van PISA gezet die ik warm aanbeveel. joachimwuttke.de/testing.html

Vanaf deze site is ook Wuttke, J. (2007) te downloaden.

 

Willem Smit (2006/2013

 

Naschrift

Pisa 2009 is uit

Zes deelrapporten met resultaten, plus enkele aangehangen technische rapporten en samenvattingen werden deze maand (december 2010) gepresenteerd.

Na alles wat ik over PISA heb gezegd in Mythes en Waarheden 5 heb ik geen behoefte er opnieuw op in te gaan. Het is als schrijven in water. De door kritici, sinds de eerste rapporten in 2001, geleverde hete hangijzers en kritieken worden nog steeds hoofdzakelijk genegeerd. Niet alleen door PISA maar door vrijwel iedereen. De mediagenieke ranglijsten overleven elke kritiek met glans. Sterker nog, er verschijnen steeds meer ranglijsten. De geletterde onnozelheid ervan garandeert kennelijk het succes: "Finland daalt voor wiskunde, maar blijkt vooral ook in resultaat achteruitgegaan te zijn, idem voor Nederland en België. Nederland staat dan wel boven de Finnen, maar gewoon omdat de resultaten minder gedaald zouden zijn", enzovoorts enzoverder.

 

Het valt op dat er iets beweegt rond het concept literacies. PISA meet literacies op het gebied van lezen, math en science. Over de betekenis van deze uit 1992 stammende term bestaat vanaf het begin onzekerheid en deze neemt toe! Dat dit de opstellers van de rapporten kwelt wordt duidelijk uit de niet aflatende pogingen de literacies voor de lezer en voor zichzelf(?) te verduidelijken.

Men slaagt daar niet in. Integendeel, door het concept afwisselend ruimer te nemen of te verfijnen is elke literacy intussen een onoverzichtelijke en niet vast te pinnen bundel van technieken, strategieën, (meta)cognities, competenties, communicatiemodellen, you name it, enz. enz. Hier volgt een citaat uit Pisa 2009. Assessment Framework, p.23.

 

"The term “reading literacy” is preferred to “reading” because it is likely to convey to a non-expert audience more precisely what the survey is measuring. “Reading” is often understood as simply decoding, or even reading aloud, whereas the intention of this survey is to measure something broader and deeper. Reading literacy includes a wide range of cognitive competencies, from basic decoding, to knowledge of words, grammar and larger linguistic and textual structures and features, to knowledge about the world. It also includes metacognitive competencies: the awareness of and ability to use a variety of appropriate strategies when processing texts. Metacognitive competencies are activated when readers think about, monitor and adjust their reading activity for a particular goal.´

 

In het Nederlandse rapport Cito Pisa 2009 staat het volgende (p. 27/28).

 

"PISA toetst dan ook niet zo zeer die specifieke curriculumgebonden kennis, maar het vermogen taken te vervullen die geënt zijn op de werkelijkheid en waarvoor de leerling een overzicht nodig heeft van sleutelbegrippen. Aan de basis van het PISA-onderzoek liggen conceptuele raamwerken voor elk van de te meten vaardigheden. Deze raamwerken worden voor elke cyclus geactualiseerd. Een raamwerk begint met een bespreking van het begrip geletterdheid dat bij PISA onder andere inhoudt het vermogen van leerlingen om wat zij hebben geleerd in de werkelijkheid toe te passen.

Daarnaast heeft geletterdheid betrekking op het vermogen van leerlingen om te analyseren, te redeneren en effectief te communiceren bij het stellen, interpreteren en oplossen van problemen in allerlei situaties. Aangezien de term geletterdheid in combinatie met de hoofddomeinen lezen, wiskunde en natuurwetenschappen enigszins omslachtige termen oplevert, wordt in de rest van dit rapport meestal over leesvaardigheid, wiskunde en natuurwetenschappen gesproken. "

 

In de Pisa-rapporten stuit men voortdurend op zulke passages. Ze overlappen of bestrijden elkaar, maar vooral is het verbiose prietpraat die te glad is voor kritiek en zich onttrekt aan onderzoek.

 

Een en ander doet denken aan de opkomst en neergang van onderwijsvernieuwingen in de VS. Daar volgde op een uitblijvende duidelijkheid  omtrent de sleuteltermen van een vernieuwing steevast de neergang ervan. In dat licht bezien geeft het geworstel van PISA met de literacies nieuwe hoop.

In de VS kon onderzoek naar even welluidende als onduidelijke vernieuwingen er enigszins paal en perk aan stellen. De weerbarstige praktijk deed de rest. In Nederland ontbreekt goed onderzoek en van buitenlandse ervaringen neemt men geen kennis. Het brede publiek en zijn leiders zien competenties helemaal zitten en denken dat significant hetzelfde is als "goedgekeurd". Hier zal dus alleen de wal het schip moeten keren. Gunstig voor het traditionele onderwijs is dan dat de Nederlandse leraar een stuk minder idealistisch is dan z'n Amerikaanse collega en eerder de pijp aan Maarten zal geven. Gunstig voor het nieuwe leren is de constatering dat de beroepsgroep van leraren en docenten op geen enkele manier tot actie is te brengen. Al met al geven we het nieuwe leren hier nog twintig jaar.

 

Referenties

Pisa 2009. Assessment Framework: www.oecd.org/pisa/pisaproducts/44455820.pdf

Het Cito-rapport vindt men door te googlen op: cito pisa 2009

 

Willem Smit (2010/2013)