Kanttekeningen bij PISA door Vlaamse Onderwijskrant

1 Evaluatiestudies universiteit Helsinki: zwakke prestaties 15-jarigen

De voorbije maanden en vooral na de bekendmaking van alarmerende studies van de universiteit van Helsinki en van de tegenvallende PISA-2012-uitslag, kwam steeds meer kritiek op het Fins onderwijs aan de oppervlakte. De PISA-achteruitgang in vergelijking met 2003 was aanzienlijk. De Finse onderwijsminister Krista Kiura trok meteen aan de alarmbel.
Wiskunde-professor Matti Lehtinen stelde dat de wiskunde-achteruitgang een gevolg was van de invoering van een gemeenschappelijk programma voor alle 12-à 15-jarigen: ‘all formal algebra and geometry has disappeared from the curriculum as to difficult for a major part of the student population.” Dit betekent volgens hem dat “upper high school math has to start almost from scratch, and there is really a log way to go if one hopes to reach a level sufficient to university studies in any subject involving mathematics.” Dit verklaart volgens hem ook waarom de Finse leerlingen zo slecht scoren voor de internationale Wiskunde-Olympiade. Dat de Finse leerlingen voor de echte – meer abstracte – vakwiskunde zwak scoren, was ook de alarmerende waarschuwing in een manifest van 200 docenten wiskunde in 2005. Volgens hen was de hoge PISA-2003-score totaal misleidend, omdat deze proef al te weinig de echte wiskundekennis meet (zie punt 3).

Drie jaar geleden – in Onderwijskrant nr. 161 (mei 2011) – rapporteerden we ook al een evaluatie-onderzoek van de universiteit van Helsinki uit 2010 waaruit bleek dat de Finse 15-jarigen voor de basisvakken opvallend zwak presteerden. In haar conclusies bij de studie stelde prof. Sirkku Kupiainen dat men zich grote zorgen moest maken over het onderwijsniveau van het Fins onderwijs en van de lagere cyclus s.o. in het bijzonder. Ze voegde eraan toe dat men zich bij de beoordeling van de kwaliteit van het Fins onderwijs meestal enkel en ten onrechte baseerde op de PISA-scores. PISA meet echter niet de toegevoegde waarde van b.v. het wiskunde-onderwijs, maar enkel het redeneren van leerlingen binnen alledaagse contexten met een wiskundige inslag. Kupiainen stelde voor om dit onderzoek grootschaliger over te doen met een grotere steekproef en over het hele land. In dit grootschalig onderzoek van 2012 werd bevestigd dat de Finse 15-jarigen zwak presteren voor de wiskunde, begrijpend lezen, logisch denken … en heel wat zwakker ook dan in 2001 toen een gelijkaardige test werd afgenomen (zie punt 3).

We ergeren ons allang aan Finland-propagandist Pasi Sahlberg die al 2 jaar zijn ‘Finnish lessons’ over het Fins onderwijsmirakel overal ter wereld ging propageren, maar steeds de vrij zwakke leerprestaties op de evaluatiestudies van de universiteit-Helsinki verzweeg. Pasi verwees steeds naar PISA en verzweeg de mindere prestaties voor TIMSS – zoals de weinige toppers in TIMSS-2011. In deze bijdrage bekijken we vooral Finse analyses en studies uit de periode 2005-2012 die wezen op de zwakke leerprestaties. We wijzen er ook op dat verantwoordelijken voor PISA-Finland ook zelf de PISA-score relativeerden – ook al viel dit niet in goede aarde bij tal van topambtenaren. Topambtenaar en Finland-propagandist Sahlberg zweeg er dan ook over in zijn ‘Finnish Lessons’.

2 Onderzoek 2010: zwakke prestaties & sterke achteruitgang
De recente grootschalige studie van de universiteit van Helsinki bevestigde de zwakke leerresultaten die al vastgesteld werden in een meer beperkte studie van 2010. De evaluatiestudie-2010 wees al uit dat de meeste schoolse leerresultaten tijdens de voorbije zes jaar met niet minder dan 25% waren gedaald: “The weakened academic skill of students in six years” (Bron: Education Evaluation Centre, University of Helsinki, prof. Jukka Himane, zie Internet). We doen even een greep uit de scores van de 15-jarigen uit 2010. De studie beschrijft de evolutie van 2004 naar 2010: *de scores voor mathematics daalde van gemiddeld 62% in 2004 naar 49% in 2010; *verbal deduction van 59% naar 51%; reading comprehension van 60% naar 50%; history van 58% naar 48%. Ook al in een studie van 2004 werd gewezen op de zwakke leerprestaties.

Op het internet lazen we over die studie van 2010 destijds de bijdrage: Finns ain’t what they used to be for teen pupils- News|Published in TES Newspaper, 27 May, 2011. De bijdrage startte zo: “Finland – Shock news for nation's admired education system, as research shows huge decline in learning ability of 15-year-olds”. Volgens prof. Sirkku Kupiainen (Universiteit Helsinki) waren de dalende resultaten significant en zorgwekkend. In dit interview wees ze er ook op hoe misleidend het is “to regard the Finnish education system as successful solely on the basis of PISA assessments”.

Irma Iho, voorzitster van de vakvereniging voor wiskunde, stelde dat leerkrachten en professoren wiskunde er allang gewezen hadden op de gebrekkige wiskundekennis van de Finse leerlingen (zie punt 3). Naar aanleiding van het alarmerend onderzoek van 2010 bevestigde de Finse Schoolraad de niveaudaling. De Schoolraad betreurde dat er de voorbije jaren ook minder aandacht was voor het moedertaalonderwijs.

3 2005-alarmkreet: first place in the PISA-study is a Pyrrhic victory

In Onderwijskrant berichtten we destijds al over een Fins manifest uit 2005 met als sprekende titel :The first place in the PISA study is a Pyrrhic victory. Volgens die 200 docenten was de wiskunde-kennis van de Finse leerlingen s.o. zorgwekkend en werd Finland misleid door PISA. De docenten waren vooral niet te spreken over het laag niveau in de gemeenschappelijke lagere cyclus: “One reason for the increase of poor standards in the matriculation exam and in the beginning of university studies is, undoubtedly, the weakness of the foundation received in the comprehensive school.” We voegden er ook aan toe dat we uit onze goede PISA-2003-score niet mochten afleiden dat onze 15-jarigen veel wiskunde kenden en dat de hervorming van het wiskunde-programma van 1997 geslaagd was. De Vlaamse score opTIMSS-2003 lag overigens een stuk lager dan in TIMSS 1999 en zelf vonden we de nivellerende eindtermen en leerplannen een stap achteruit.

Ook de Franse onderzoekster Nathalie Bulle schreef met een verwijzing naar het manifest van 2005 dat er in Finland al lange tijd veel kritiek was op het te lage niveau van de leerlingen vanwege de docenten van het hoger en universitair onderwijs. Bulle: “Les professeurs de l’enseignement supérieur en Finlande, dans les universités et écoles d’ingénieur, s’alarment en réalité de la chute du niveau des étudiants et dénoncent le cercle vicieux qui consiste à devoir retravailler des concepts qui auraient dû être maîtrisés au lycée et qui ne l’ont pas été parce qu’au lycé le temps a dû être employé à revoir des concepts qui auraient dû être acquis au collège. Ils dénoncent la faiblesse ou l’absence des bases communes de connaissances sur lesquelles il est possible de construire au niveau supérieur” (N. Bulle, L’école et son double, 2009). Er zijn dus al bijna 10 jaar veel klachten over de beperkte wiskundekennis van de Finse jongeren. Finland propagandist Pasi Sahlberg verzweeg deze kritiek in zijn boek Finnish Lessons (2011) en in zijn vele spreekbeurten.

In Onderwijskrant nr 161 van mei 2011 publiceerden we uitvoerig over de Finse studie van 2010 en ook nog eens opnieuw over de alarmkreten uit 2005. Merkwaardig genoeg bleven de pleitbezorgers van de structuurhervormingen, KLASSE, de VRT… Finland als een onderwijsparadijs op alle vlakken beschrijven.

4 Onderzoek 2012: zwakke leerprestaties en vragen bij middenschool

Onderzoekers van de universiteit van Helsinki besloten om het onderzoek van 2010 over te doen, maar nu op een grote schaal, over heel het land. University of Helsinki – Faculty of Behavioral Sciences, Department of Teacher of Education Research Report No 347Authors: Jarkko Hautamäki e.a. Learning to learn at the end of basic education: Results in 2012 and changes from 2001 (Zie Internet).

In de conclusies van de studie van 2012 lezen we dat de 15-jarigen voor wiskunde, begrijpend lezen en logisch denken volgens de nationale normen heel zwak presteren en er de voorbije 11 jaar sterk op achteruit gingen. De belangrijkste conclusie van de grootschalige studie van 2012 luidt: “The change between the year 2001 and year 2012 is significant. The level of students’ attainment has declined considerably. The difference can be compared to a decline of Finnish students’ attainment in PISA reading literacy from the 539 points of PISA 2009 to 490 points, to below the OECD average.” Dat betekent dus dat de 15-jarigen al bij al heel zwak presteren – onder het gemiddelde. Een achteruitgang met 50 punten op PISA is enorm en betekent meer dan een jaar achterop. En vermoedelijk was de score in 2001 ook al langs de lage kant – zoals al bleek uit het manifest van 2005. De achteruitgang werd zowel vastgesteld bij de betere als bij de zwakkere leerlingen.

Het was volgens de onderzoekers niet enkel slecht gesteld met de ‘quality’ van het onderwijs maar ook met de zo geprezen ‘gelijkheid’ (equity) van het Fins onderwijsDe equity bleek niet tot uiting te komen in hun eigen studie. We lezen: “The impact of students’ home-background was, instead, obvious: the higher the education of the parents, the better the student performed in the assessment tasks.”

En waar men in PISA-2009 nog stelde dat de verschillen tussen de klassen relatief klein waren, bleek dit volgens de Helsinki-onderzoekers niet het geval te zijn: “The between-class differences were relatively large (9 % – 20 %).“ Dat laatste betekent dus dat men in de scholen met meer dan 1 klas per leerjaar in de lagere cyclus s.o. ook een onderscheid maakt tussen zwakkere en sterkere klassen – waar steeds gesteld wordt dat de klassen heterogeen zijn samen gesteld. We veronderstellen dat de 12-jarigen die voor het optievak Latijn kiezen, net zoals in Vlaanderen in sterkere klassen terecht komen.
De zwakke scores op de evaluatiestudies van de universiteit van Helsinki (2010 en 2012) kwamen ook voor ons niet onverwacht. Er was al heel lang veel kritiek vanwege de docenten hoger /universitair onderwijs om de zwakke competenties van de instromende studenten, maar door het ontbreken van ‘officiële’ niveaubewaking kon dit moeilijk hard gemaakt worden. De hoge PISA-scores sinds 2000 wekten bij de burgers ook de (misleidende) indruk dat het goed gesteld was met het Fins onderwijs.

We vermelden ook uitdrukkelijk dat de onderzoekers van de universiteit van Helsinki vrezen dat precies de comprehensieve structuur van het Fins onderwijs een belangrijke oorzaak is van de zwakke leerprestaties: "It is time to concede that the signals of change have been discernible already for a while and to open up a national discussion regarding the state and future of the Finnish ‘comprehensive’ school that rose to international acclaim due to our students’ success in the PISA studies.” Volgens de onderzoekers is de achteruitgang al een tijd merkbaar en wordt het tijd dat men toegeeft dat er een debat moet komen over de comprehensieve lagere cyclus.
De ‘comprehensieve’ lobby maakten destijds dankbaar gebruik van PISA om de kritiek op de niveaudaling te ontkennen. De Finse PISA-verantwoordelijken hadden nochtans zelf gewaarschuwd dat Finland zich niet mocht blindstaren op PISA (zie pun( 6). PISA meet immers niet de toegevoegde waarde van het onderwijs, maar eerder het wiskundig beredeneren van alledaagse problemen.

5 Alarmerende reacties van Finse onderwijsminister & leraars

Onmiddellijk na het verschijnen van dit onderzoek publiceerde de Finse onderwijsminister Krista Kiura op 14 november 2013 een alarmerende brief omtrent de toestand van het Fins onderwijs. We lezen: “Nationale onderzoeken – vooral van de universiteit van Helsinki – maar ook internationale studies (o.a. PISA & TIMSS) hebben aangetoond dat in de jaren 2000 het niveau van de kennis en van de vaardigheden voor wiskunde, lezen en logisch denken sterk gedaald is. Ook de verschillen tussen de leerlingen zijn veel groter geworden. De zwakkere educatieve achtergrond van een aantal leerlingen speelt hier ongetwijfeld in mee – en dat is ook een maatschappelijk probleem.” In Finland is het aantal jongeren dat het minimale niveau niet behaalt ook sterk toegenomen. (Noot: Finland kende in 2000 bijna geen allochtone leerlingen, de voorbije 10 jaar is dit aantal toegenomen, maar veel minder groot dan b.v. in Vlaanderen.)

De minister stelt verder: “We zullen de didactische aanpak in klas moeten bijwerken. Alle leerlingen zouden een basisvorming moeten bereiken – afgezien van hun familiale achtergrond. De scholen moeten worden toegerust om dit te bereiken.” Minister Kiura stelde eveneens dat er debat nodig was over de comprehensieve lagere cyclus – een debat dat volgens haar ook in Zweden e.d. volop gevoerd wordt. Zij voegde hier aan toe dat de zwakkere leerlingen blijkbaar geen voordeel haalden uit het zitten in een heterogene klas samen met sterkere leerlingen. In een andere reactie steltdeze dat er ze een nationale conferentie zou samen roepen en dat Finland ook een beroep moest doen op buitenlandse onderwijsexperts.

Ook in tal van leraarsreacties van leraars op PISA-2012 lezen we geregeld dat de zwakke prestaties een gevolg zijn van het gebrek aan differentiatie in de gemeenschappelijke lagere cyclus. Het is wel zo dat er in de gemeenschappelijke lagere cyclus opties als Latijn voorkomen. In die zin is de Finse school minder comprehensief dan de vrij zwak scorende Zweedse comprehensieve school. Een probleem in Finland is uiteraard wel dat er een 3000 scholen zijn die de lagere cyclus aanbieden (samen met 6 jaar lager onderwijs) en die gefinancierd worden door de gemeenten. Dit leidt tot een beperkt aantal leerlingen per leerjaar waardoor differentiatie – en vormen van beroepsgericht onderwijs – moeilijk realiseerbaar zijn.

6 Finse PISA-verantwoordelijken relativeerden PISA-score

De lage leerprestaties van de 15-jarige Finse leerlingen op de Finse evaluatie-studies van 2010 en 2012 relativeren heel sterk het succes van Finland op onderwijsgebied. Ze maken tegelijk duidelijk dat we PISA als waardemeter in sterke mate moeten relativeren. PISA meet immers veel minder de vakdisciplinaire wiskunde en de invloed van de school op de wiskundige competenties, maar eerder de invloeden van buiten de school.
Ook de Finse PISA-verantwoordelijken stelden in 2011 steeds dat de Finse hoge PISA-score vertekend was door het feit dat Finland weinig migrantenleerlingen en armoede kent. Zij poneerden dat we bij vergelijking van landen abstractie moeten maakten van de groep migrantenleerlingen – die in Finland heel beperk is. Ze schreven: Excluding first and second generation immigrant students from the national averages considerably alters the country league tables: On top of the list in the 2003 major domain, mathematics, Finland is replaced by Belgium (Flemish) and the Netherlands and it is closely followed by Switzerland“ (Finland and PISA – Explanations and reasons, 2011 – zie Internet). Bij die correctie overtreft Vlaanderen dan dus Finland.

De Finse PISA-verantwoordelijken wezen er in hun PISA-analyse van 2011 ook op dat de gemiddelde SES-status van de Finse leerlingen veel hoger ligt dan in andere landen; we lazen b.v.: “It is also true that less than five percent of Finnish students have a socio-economic background below that of the least advantaged 15 percent of students in the OECD countries.” Minder dan 5% van de Finse leerlingen leeft beneden de armoedegrens en veel minder kinderen leven in verpauperde steden.” Als we ook met die verschillen rekening houden, dan zou Vlaanderen nog duidelijker hoger scoren dan Finland. Bij correctie voor SES voor PISA-2012 blijkt Finland te verschuiven van de 12de naar de 16de plaats (zie PISA-2012-rapport) en dan komt Vlaanderen op de eerste Europese plaats – we steken dan ook het kleine en rijke Lichtenstein voorbij.

Uit eerder onderzoek van Woessmann op basis van TIMSS was al gebleken dat bij correctie voor de allochtone leerlingen Vlaanderen dan ook de topscore inzake sociale gelijkheid (= minder invloed van sociale achtergrond) behaalde. Vorig jaar concludeerde de Nederlandse socioloog Jaap Dronkers uit zijn onderzoek op basis van PISA-2009: “Voor de autochtone leerlingen scoren Vlaanderen, Finland en Nederland volgens PISA-2009 tot de hoogst scorende EU landen en ze hebben alle drie een gemiddeld SES-effect.”

In een al vermeld PISA-rapport van 2011 lazen we verder dat de Finse PISA-verantwoordelijken ook andere conclusies van PISA-baas Andreas Schleicher relativeren. Ze stelden b.v. dat er in de iets grotere Finse scholen ook grote verschillen zijn tussen de klassen. Zij schreven verder ook dat we vooral ook de situatie nà het verlaten van de middenschool moeten bekijken. Dan merkt men dat de impact van het sociaal milieu op het al dan niet volgen van het Gymnasium (aso) eveneens heel hoog is. Zij stelden ook dat volgens een studie van 2004 de verschillen tussen de scholen in grotere steden steeds groter worden. We citeren: “The Finnish studies on learning to learn competencies (Hautamäki et al., 2004) show that there are considerable between-class differences in attainment and attitudes within schools, especially in bigger schools in which classes are often formed on the basis of foreign language or other subject choices of students. Additionally, there are differences in grade repeating policies (= overzitten) as a part of managing the variation between students. In Finland each year 2% of pupils are repeating a grade.”

In het rapport over PISA-2006 stelde PISA-verantwoordelijke Jarkko Hautamäki eveneens dat in de hogere cyclus de verschillen tussen de klassen vrij hoog zijn: “Also in Finland, the between-school variation is substantially higher after the division, at the age of 16 plus.” In de vele kleine gemeenten met maar 1 of 2 klassen per leerjaar moet men wel noodgedwongen in de middenscholen met heterogene klassen werken en is het laten kiezen van opties als Latijn zelfs niet mogelijk. Finse PISA-verantwoordelijken schrijven dat de Finse verschillen tussen de 15-à 16-jarige leerlingen bij de PISA-afname ook kleiner zijn omdat ze dan in Finland nog in de gemeenschappelijke lagere cyclus zitten, waar leerlingen in andere landen normaal al in de gedifferentieerde hogere cyclus zitten en met andere zaken bezig zijn. De Finse leerlingen zouden net voor de selectie voor de hogere cyclus ook meer gemotiveerd zijn om goed te scoren voor PISA.

Hautamäki schreef dat er in de Finse eerste graad 2% zittenblijvers zijn per leerjaar. Dat is niet minder dan in Vlaamse regio’s die te vergelijken zijn met Finland. Een 4% Finse leerlingen volgt een extra middenschool-inhaaljaar (10de jaar) en loopt dan dus ook een jaar leervertraging op. 5% van de leerlingen (de zwakkere) stoppen zelfs hun studies na het lager voortgezet onderwijs. In Finland is er zelfs geen formele leerplicht tot 16 jaar. Het is zelfs mogelijk dat op het moment van de afname van de PISA toets er al een aantal uit het onderwijs verdwenen zijn. In Shangaï waren er op het moment van de afname van PISA-2012 al 20% (zwakke leerlingen) verdwenen.
In de bijdrage ‘Bildung, Gerechtigkeit und Aufstieg: Stimmt die Gleichung noch?’ schreef prof. Jürgen Oelkers dat een OESO-visitatierapport uit 2005 vermeldt dat het gunstige beeld van de Finse middenschool sterk verschilt van het meer ongunstige beeld in de hogere cyclus s.o., in het hoger onderwijs – en van de grote jeugdwerkloosheid: “Die Wahl am Ende der Gesamtschule besteht zwischen einer’ ‘high-status’ und einer ‘low-status option’. Der eine Zweig ist das Gymnasium, der andere die Berufsschule, beide sind alles andere als gleichwertige Alternativen.” De relatie met de familiale achtergrond is er dus ook vrij hoog. Het even uitstellen van de structurele differentiatie heeft dus weinig invloed op de wat langere termijn. Oelkers voegt er nog aan toe: “Entsprechend sind auch die Zahlen: Neben der hohen Drop-Out-Rate wird erwähnt, dass nur 15% der Schülerinnen und Schüler im Berufsbildungszweig nach Abschlusse in Polytechnikum (Fachhochschule) besuchen und nur ein bis zwei Prozent es schaffen, an einer Universität zu studieren” (ebd., S. 24/25). In Vlaanderen stromen veel meer tso/bso-leerlingen door naar het hoger onderwijs.

7 Zwakke Scandinavische landen & kritiek op middenschool

Rond 2000 en ook nog de voorbije jaren werden de Scandinavische landen nog in één adem als superieur beschreven. Ook in het rapport van het Leuvens Metaforum van 2012 beweerden Ides Nicaise, Bieke De Fraine e.a.nog dat dé Scandinavische landen op alle niveaus superieur waren. De voorbije jaren waren de PISA- en TIMSS-prestaties van Zweden, Noorwegen, en Ijsland echter beneden alle peil en dat was in PISA-2012 opnieuw het geval. De kritiek die we geregeld lezen luidt: “An increasing number of students do not possess basic reading skills, the Swedish school system had also lost its good spot in equality (gelijkheid). One in five students now does not have a basic level in reading, a level needed to benefit from other knowledge," said Anita Wester, project manager at the agency for Sweden's participation in PISA.” Zweedse PISA-verantwoordelijken geven zelf toe dat Zweden – een land met een sterke gelijkheidstraditie – nu ook zwak presteert inzake sociale gelijkheid.