Cito bepaalt niet wat goed onderwijs is

Herman Wieberdink en Heleen Kuster schrijven in De Volkskrant (6 juni) een pittig stuk tegen de invloed die het Cito zich heeft verworven op de inhoud van het basisonderwijs, met de kennelijke steun van de Inspectie. Er is geen woord Spaans bij, twintig vingers op hele zere plekken. Zie hier het artikel. De koppensneller van de Volkskrant heeft er een merkwaardige kop boven gezet, maar de bedoeling is wel duidelijk: het Cito bepaalt tegenwoordig wat goed onderwijs is, en dat is bepaald niet de bedoeling van de rest van Nederland.
    Voorbeeld, en link naar het alarmerende rapport van het CPB over rekenen en wiskunde (blog 7723): het Cito toetst geen basale rekenvaardigheden in de Eindtoets Basisonderwijs, evenmin in het leerlingvolgsysteem (de nieuwe editie van dat systeem repareert dit manco, maar het gaat nog jaren duren voordat dat is uitgerold t/m groep 8).

Het handelen van de Inspectie, zoals Wieberdink en Kuster beschrijven, overzie ik niet, maar uit tal van snippers van berichten heb ik wel de stellige indruk dat daar een ernstig probleem zit.

Het Cito splitsen, lijkt me: het marktmonopolie afbreken (of anders maar nationaliseren). Beatrix vindt vast wel een andere bestemming voor dat nieuwe gebouw.

Op het forum van BON is al veel aandacht besteed aan de Cito Eindtoets Basisonderwijs, de kwaliteit van de toetsvragen, en de invloed van deze toetsing op het onderwijs. Het is zeker van belang om er eens stevig tegenaan te gaan. Als de Onderwijsraad dat niet doet (en dat ziet er niet naar uit, gezien de mogelijkheden die raadslid Lex Borghans voor toetsen ziet, in Economisch Statistische Berichten, en in deze blog op onderwijseconomie.org), dan moeten we het zelf aanpakken. Ik heb al een begin gemaakt (maar eerste even het rekenonderwijs op orde brengen 🙂 zie hier

Aleid Truijens ziet het anders: Cito-toets is voor veel kinderen hun redding. in haar column ‘ijs & weder’ in de Volkskrant. Tegenspraak brengt leven in de brouwerij. Ik zie wel dat Aleid boos is, maar ik zie ook stromannetjes in haar verhaal (daar kun je goed naar uithalen). Aleid schetst een gruwelbeeld tegenover het gruwelbeeld dat zij Wieberdink en Kuster aanwrijft. Ik heb Wieberdink en Kuster nog eens teruggelezen, en ja hoor: het is een prima stuk, met terechte analyses. Hoe gaat dat: ik ben toetsgek, en weet ondertussen wel hoe overtrokken verwachtingen van het heil dat toetsen brengen, het onderwijs in de soep kunnen laten draaien. Wieberdink en Kusters besluiten hun stuk met een pleidooi voor toetsing aan het eind van het bo op fatsoenlijke absolute niveaus van beheersing van rekenen en taal. Gezien het broddelwerk dat de werkgroep-Van Streun heeft opgeleverd — de referentieniveaus rekenen, inmiddels tot wet verheven — en de sectarische rekentoetsen zoals die dreigen te worden opgelegd aan het vo, gaat van die wens voorlopig niets terecht komen. Maar dat is dan ook precies om de redenen die Wieberdink en Kusters in hun stuk hebben aangegeven (vervang Cito door commissie-Meijerink en Toetswijzercommissie-Schmidt, enzovoort).

  • Lex Borghans (2011). Meer en betere toetsen en het delen van de uitkomsten verbeteren het onderwijs… ESB 96(4604) 18 februari 2011 p. 116. pdf

Lex Borghans schrijft hier over de mooie dingen die met toetsen mogelijk zouden zijn, landelijke toetsen, en dan vooral toetsen die de enorme mogelijkheden van de huidige ICT gebruiken. Aan dergelijke ingrepen zijn toch ook nadelen verbonden, maar die blijven buiten beschouwing. Zijn betoog heeft op deze punten een weerwoord nodig. Maar Borghans geeft ook aandacht aan economische zaken, en is dan op eigen terrein:

  • Momenteel wordt de Cito-toets uitgevoerd door een privaat bedrijf dat ook als enige voor innovatie kan zorgen. Beter zou zijn om de toets onder te brengen bij een publieke organisatie en de gegevens toegankelijk te maken voor onderzoeksorganisaties en onderwijsontwikkelaars.

Dat lijkt me een prima idee, maar ja, ik ben geen econoom.

Het artikel vermeldt dat Borghans hoogleraar is. Daar is meer over te melden: hij is lid van de Onderwijsraad (zijn opinie is dus niet vrijblijvend of persoonlijk, hij staat ongetwijfeld open voor discussie, en die discussie is van groot belang gezien bv. de plannen van Van Bijsterveldt zoals onlangs ontvouwd: meer toetsen en volgen), hoogleraar arbeidseconomie en sociaal beleid aan de Universiteit Maastricht (gaat niet over beoordelen en toetsen in zin waarover hij er in ESB over spreekt, maar ik ben benieuwd naar de raakvlakken), verbonden aan het Research Centrum voor Onderwijs en Arbeidsmarkt (gaat niet over onderwijs, toetsen en examens als zodanig, maar wel over de aansluiting onderwijs-arbeidsmarkt, dus de aansluiting reken- en wiskundeonderwijs op wat de samenleving vraagt: het gat van zes miljard, zie blog 7723).

Voor de door Borghans niet genoemde nadelen van al dat getoets: zie nu juist het stuk van Wieberdink en Kuster. In ESB reageert Jack Biskop op het artikel (zelfde pdf). Hij is onderwijswoordvoerder van de CDA-fractie van de Tweede Kamer.

Het stuk van Wieberdink en Kuster lokt mij niet tot tegenspraak uit; ik zou het hier en daar iets kunnen aanscherpen, maar dat is weinig opportuun. Laat ik volstaan met een verwijzing naar de studie van Ellen Condliffe Lagemann (2000). An Elusive Science: The Troubling History of Education Research. University of Chicago Press. Zij laat zien hoe begin 20e eeuw in de VS het makkelijk en goed geld verdienen door studietoetsen op de markt te brengen, de ontwikkeling van een volwassen onderwijswetenschap in de kiem heeft gesmoord.

Het stuk van Borghans is een uitdaging. Het vraagt om tegenspraak omdat aan alle mooie dingen die denkbaar zijn met toetsen en volgsystemen ook schaduwzijden en kosten zitten. Hij zal dat onmiddellijk toegeven, en misschien is het dan interessanter om de volgende positie te betrekken: De mooie dingen die met toetsen en volgsystemen kunnen, bestaan al langer, en de vraag is dus: waarom is al dat moois niet al veel eerder binnengehaald? Of is dat een onterecht pessimistische visie? Mijn vermoeden is, en dat zal ik proberen uit te werken, dat de geschiedenis van het beoordelen in het onderwijs voldoende lessen in zich bergt, om daar ook de situatie van nieuwe ontwikkelingen in ICT mee te kunnen analyseren en aanvatten.

Ik wil aan de hand van een enkele uitspraak in de eerste sectie van het artikel van Borghans mijn probleem met deze uiteenzetting exemplarisch duidelijk maken. Het gaat over de Cito Eindtoets Basisonderwijs, op dit moment onderwerp van ingrijpen (belangrijker maken, verplichtend) door de minister van onderwijs.

  • Deze objectieve informatie is ook van belang bij de vroege
    selectie van leerlingen in vwo, havo en vmbo.

De informatie uit de Citotoets is niet objectief. Ik heb dat in 1977 ten overstaan van ongeveer de hele staf van het Cito aangetoond in deze ORD-voordracht, toegespitst op de vermeende objectiviteit van de meerkeuzevraag (maar eenzelfde betoog is ook voor de toets in zijn geheel te houden, precies het thema dat Wieberdink en Kuster aansnijden): iedere keuzevraag is in zijn verwoording enzovoort een subjectieve keuze van de ontwerper, inclusief de aanwijzing welke van de vier alternatieven — het moesten in die tijd altijd vier alternatieven zijn — als het meest juiste een punt oplevert; in de VS heet deze pseudo-objectiviteit van de keuzevraag frozen subjectivity — machinaal te scoren, dat wel, maar of dat zo geweldig is wil ik bestrijden. (Het Cito heeft er zijn voordeel mee gedaan: het viel van zijn geloof in de meerkeuzevraag af, en kon zo de eindexamens vo gaan verzorgen zonder dat dwangbuis van keuzevragen).
    Belangrijker is het volgende: waarom is het een zegen voor Nederland dat de Citotoets van belang is bij de vroege selectie van 12-jarigen? Is die vroege selectie een goede zaak, dan? Het ontwerpprincipe is niet wat toetsen voor het onderwijs kunnen doen, maar wat het onderwijs nodig heeft aan vormen van evaluatie; of er dan een noodzaak is voor zoiets als een Citotoets is een afgeleide kwestie. De preoccupatie van A. D. de Groot, en velen met hem, in de zestiger jaren was dat oordelen van hoogleraren en onderwijzers subjectief waren, en die handige keuzetoetsen uit de VS zouden dat probleem helpen oplossen. Of ze dat de facto ook hebben gedaan, waag ik te betwijfelen: die schoolhoofden waren helemaal niet zo subjectief in hun adviezen; sociale mobiliteit was groot, ook zonder Amsterdamse schooltoets. Of de Citotoets nuttig, nodig en belangrijk is, is een empirische vraag, en staat niet los van kwesties rond de inrichting van ons onderwijsstelsel.

In de volgende sectie gaat Borghans in op wat hij als nadeel van de Citotoets ziet: dat vroege versus late leerlingen kennelijk ongelijk worden behandeld. Dat is overigens geen probleem dat kleeft aan de Citotoets, maar dat terzijde. Het is een ernstig probleem, niet alleen in jeugdsporten met hun talentscouting, maar eerst en vooral in het onderwijs, en het is al heel lang bekend: K. Doornbos (1971). Geboortemaand en schoolsucces. Wolters-Noordhoff. Dit is een proefschrift dat destijds een uitgebreide pers heeft gehad. OCW heeft alle gelegenheid gehad om met dit onderzoek het nodige te doen: Doornbos heeft op het departement een adviesfunctie gehad. Het is goed dat Limburg het fenomeen opnieuw onderzoekt. Hopelijk heeft Paul Jungbluth naast de Citotoets ook de intelligentietest van het Cito af kunnen nemen bij de 11-12 jarigen: ik ben razend benieuwd of er wel verschillen zijn tussen Cito intelligentietest en Cito Eindtoets Basisonderwijs.
    Het punt is eenvoudig dit: de beschikbaarheid van onderzoeks-, toets- en volgsysteemresultaten betekent niet dat er dan ook iets met die resultaten wordt gedaan. Dat is in het verleden zo geweest, dat is vandaag zo, en dat zal morgen zo zijn. Een belangrijke verklaring daarvoor is dat dergelijke resultaten zelden concrete aanwijzingen bevatten over hoe het onderwijs dan valt te verbeteren. Vergelijk het resultaat van decennia lang afnemen van docentenvragenlijsten aan de VU: de resultaten daarvan zijn niet benut voor onderwijsverbetering (proefschrift Wim van Os).

[Ik heb Lex Borghans op de hoogte gesteld van deze blog.]

De Voorzitter Raad van Bestuur Cito spreekt zich uit

Marten Roorda (Member of the Board, ROC Rijn IJssel) bekleedt die functie, en hij reageert in De Volkskrant (11 juni, p. 31) op Wieberdink en Kusters: hij biedt de auteurs een bijscholingscursus Toetsen op School aan. Tijd om eens op te stappen, Roorda. Overigens staat dit stukje gelikt proza los van de werkelijkheid, inclusief de bekende riedel dat de Cito Eindtoets Basisonderwijs natuurlijk niet is bedoeld voor oneigenlijk gebruik. Waar ging dat stuk van Wieberdink en Kuster ook alweer over? Roorda had deze auteurs juist als bondgenoten in de strijd tegen oneigenlijk gebruik kunnen omarmen. Toch?
    Roorda werpt ver zich dat er symbiotische samenwerking met de Inspectie zou zijn. Ik weet dat nog niet zo net: het gaat bij de Citotoets om complexe psychometrische en data-technische zaken, waar het Cito het monopolie op de betreffende informatie heeft. Een voorbeeld daarvan , in het geval van de eindexamens vo, is de symbiotische samenwerking met het College van Examens (CvE, v/h CEVO), zie daarvoor deze audit over de normering. Is dat al eens op het forum ter sprake gekomen? Ook: Cito/CvE Toetsspecial Normering bij de centrale eindexamens in het voortgezet onderwijs. website.
    De functie van Roorda is natuurlijk om het Cito onmisbaar te maken. Natuurlijk, er kan van alles met toetsen, maar moeten we ook willen wat kan, en hebben we daar het Cito voor nodig? Hoe deden we het in Nederland ook alweer voordat het Cito werd opgericht door A.D. de Groot? Ik kan me natuurlijk vergissen, maar de volgende uitspraak van Roorda lijkt me toch onmogelijk mis te verstaan: het Cito wil zich vergaand bemoeien met het onderwijs.

  • Marten Roorda (2011). Introductie. In Piet Sanders (Red.) Toetsen op school. Cito \ Corporate. pdf
    • “Wat ook allemaal de gevoelens mogen zijn, objectief beschouwd vormen schooltoetsen een essentieel en onmisbaar onderdeel van het onderwijssysteem. Het leerproces kan alleen dan goed en succesvol worden ingericht als er een degelijk evaluatieproces aan is gekoppeld. Dat is noodzakelijk om de vorderingen van individuele leerlingen te volgen – maar minstens even belangrijk om de docent, de school en de methode te evalueren. Toetsen zijn bovendien nodig om het onderwijssysteem van een land te peilen en te vergelijken met andere landen.”

Op zijn minst heeft promotieonderzoek van Cor Sluijter (1998) laten zien dat meer toetsen niet vanzelfsprekend ergens goed voor is (zie hierbeneden).

Een probleem van vergelijkbare orde is de computerisering van de examens zelf. Zie de aanbesteding van examensoftware door het CvE daarvoor. Voor wie de gevaren hiervan niet onmiddellijk ziet: een mega-investering is examensoftware legt ipso facto een reeks van randvoorwaarden vast waarbinnen de examinering plaatsvindt, randvoorwaarden die uit hun aard wezensvreemd zijn aan het examineren. Een voorproefje heeft Nederland al meegemaakt bij de start van het Cito: in de eerste jaren werd Nederland wijsgemaakt dat de enige goede toetsen keuzetoetsen zouden zijn, en de enige goede keuzevragen zouden vierkeuzvragen zijn (persoonlijke mededeling van A. D. de Groot; hij heeft mij toestemming gegeven deze te gebruiken). Destijds heeft De Groot, pleitbezorger van de forum-gedachte, dit leugentje-om-bestwil gebruikt om het werk van het Cito niet nog eens extra ingewikkeld te maken door allerlei andere vraagvormen ook toe te staan. En verdomd, de Cito Eindtoets Basisonderwijs bestaan nog steeds louter uit meerkeuzevragen. Door dat feit alleen al, worden zeer veel leerlingen benadeeld: tijd om daar eens parlementaire vragen over te stellen.

Literatuur

  • Cor Sluijter (1998). Toetsen en beslissen: Toetsing bij doorstroombeslissingen in het voortgezet onderwijs. Proefschrift Universiteit van Amsterdam. pdf
    • Dit gaat exact over het idee dat toetsen helpen bij het nemen van beslissingen, in dit geval doorstroombeslissingen na het derde leerjaar. Daar zijn voor dit project speciale toetsen voor ontwikkeld. Uit de samenvatting:
       
      “De resultaten van een onderzoek naar de rol van toetsen bij determinatiebeslissingen maken duidelijk dat niet verwacht mag worden dat het ter beschikking stellen van de instrumentaria grote invloed uit zal oefenen op doorstroombeslissingen aan het einde van het derde leerjaar havo en vwo. Bovendien geeft het onderzoek aan dat scholen bij het gebruik van de instrumentaria naar alle waarschijnlijkheid hun leerlingen niet massaal het voordeel van de twijfel zullen geven, of juist zullen laten doubleren of afstromen.”

    • ps: Cor Sluijter is nu directeur Beroepsonderwijs en bedrijven van het Cito, en voorzitter van de Nederlandse Vereniging voor Examens. In het meinummer van Examens, Tijdschrift voor de Toetspraktijk waarschuwt hij voor de overtrokken verwachtingen over meer selectie aan de poort: “Wijs geworden door allerlei onderzoeksresultaten durf ik er het nodige om te verwedden dat het werken met extra voorspellers als intaketoetsen, uitkomsten van intakegesprekken, motivatiebrieven, of intelligentie- of persoonlijkheidstests niet of nauwelijks zal leiden tot betere voorspellingen.”

Het Cito is ook verantwoordelijk voor de rekentoetsen voor de Pabo. Zie bv het kritische stuk van Dap Hartmann (2006) (TU Delft) over de kwaliteit van de opgaven in die toets hier

Anna Bosman (2011). Interview door Ciska de Graaff. Schooljournaal, 14-15. PDF

  • “Hoogleraar Bosman: ‘Handelingsplannen? Zonde van de tijd!’”

Al die informatie uit leerlingvolgsystemen en wat niet al? Hoe geavanceerder je die systemen maakt, toetstechnisch en qua ICT, des te gecompliceerder de resultaten die ze ophoesten. Dan wordt het vanzelf zonde van de tijd, omdat de leerkracht al die informatie onmogelijk kan omzetten in didactisch handelen. En hoe zou dat moeten, ook al zou er een zee van tijd zijn? En zou het resultaat beter zijn dan onder het door Anna Bosman voorgestane nuchtere vakmatige leraarschap?

6 Reacties

    • Eerst concreet worden
      Joost,

      Ik heb nu alleen een paar algemeenheden opgeschreven, dat reageert niet lekker. Als het komt tot een discussie, zal het gaan om de wenselijkheid van meer toetsen, of juist minder, aan de hand van concreet uitgewerkte deelonderwerpen. Wacht even op die uitwerkingen, en reageer daar dan eerst zelf op.

      Overigens lijkt het me nu het moment dat BON de eigen knopen gaat tellen, waar het om het reken- en wiskundeonderwijs gaat. De kosten van ten hemelschreiend beroerd reken- en wiskundeonderwijs zijn nu becijferd, en bedragen bijna de helft van het totale bezuinigingstarget van het huidige kabinet. Hebben we dan de aandacht?

      Misschien kunnen we beide onderwerpen in elkaar schuiven: de overheid verwacht immers van rekentoetsen alle heil. Ik zie niet hoe een beetje ‘handig rekenen’ in een rekentoets bij de eindexamens havo/vwo gaat voorkomen dat we binnenkort per Nederlander (inclusief de allerkleinsten en alleroudsten) jaarlijks vijfhonderd euro inkomsten derven omdat de staartdeling in vergetelheid is geraakt.

      Ben Wilbrink

  1. advies vs Cito

    • H. Luyten en R. Bosker (2004). Hoe meritocratisch zijn schooladviezen? Pedagogische Studiën, 81, 89-103.
      • Samenvatting
        “Een secundaire analyse van de PRIMA-IV-data laat zien dat bij de bepaling van het schooladvies de leerprestaties veel meer gewicht in de schaal leggen dan de sociaal-etnische achtergrond van een leerling. Met goede prestaties kan een leerling een minder voordelige achtergrond ruimschoots compenseren, maar een voordelige achtergrond biedt weinig soelaas bij ondermaatse prestaties. Bij een nadelige achtergrond is het verschil in advisering tussen sterke en zwakke presteerders wat groter dan bij een voordelige achtergrond. Het verschil tussen leerlingen met een gunstige en een minder gunstige achtergrond is bij slechte prestaties het sterkst. Op scholen die geen Cito-eindtoets afnemen, zijn de effecten van achtergrondkenmerken aanzienlijk sterker en de effecten van leerprestaties wat zwakker. Vergelijking met eerdere onderzoeken laat zien dat in de loop der jaren de relatie tussen capaciteiten en advies steeds sterker lijkt te worden.”

    Gezien de samenvatting gaat deze studie dus op geen enkele manier over de waarde van het advies als voorspelling. Zo’n vreemde kronkel komt vaker voor, zie bijvoorbeeld Driessen (2005), hierbeneden.

    • Geert Driessen (2005). De totstandkoming van de adviezen voortgezet onderwijs: invloeden van thuis en school. Pedagogiek, 25, 279-298. pdf
  2. advisering bo-vo

    • Geert Driessen (2006). Het advies voortgezet onderwijs: is de overadvisering over? Mens en Maatschappij, 81, 5-23. summary

    In zichzelf gekeerd sociologisch onderzoek: wat hangt zoal samen met het advies. Niet: voorspelt dat advies iets? Ik begrijp niet hoe de eerstgenoemde analyse zinvol kan zijn, zonder te weten of dat advies doet wat het zou moeten doen: goed voorspellen. Dan is het vervolgens mogelijk om na te gaan of zaken die van invloed lijken op de adviesgeving, die voorspelling verstoren of misschien juist verbeteren. Niets van dat alles in dit artikel.
        Ondanks deze kritische noot is de gedetailleerde beschrijving van wat er zoal in Nederland wordt geadviseerd, heel nuttig.

    Meer onderzoek naar de overgang van basis- naar voortgezet onderwijs, zie hier

  3. Voorspellen van posities in 4e leerjaar vo

    • G. Driessen, J. Doesborgh, G. Ledoux, M. Overmaat, J. Roeleveld en I. van der Veen (2006). Van basis- naar voortgezet onderwijs. Voorbereiding, advisering en effecten. ITS/SCO-Kohnstamm Instituut. pdf
      • Hoofdstuk 7 Effecten van advies en bezochte basisschool op de positie in het vierde jaar voortgezet onderwijs. p. 174: “De eerste onderzoeksvraag was die naar de voorspellende kracht over een wat langere termijn van het advies voor voortgezet onderwijs. Uit de analyses komt naar voren dat dit advies een krachtige voorspeller is van de onderwijspositie, die leerlingen in het vierde jaar voortgezet onderwijs hebben weten te bereiken. Ruim 60% van de verschillen tussen leerlingen in het vierde jaar kunnen voorspeld worden uit het advies dat ze aan het eind van de basisschool hebben gekregen.
        Het advies is ook een duidelijk betere voorspeller dan de prestatie-scores in de vorm van taal- en rekentoetsen en dan de achtergrondkenmerken van de leerlingen. Deze beide groepen variabelen weten de verklaringskracht van het advies slecht iets te verhogen.”
      • p. 176: “…. de algemene conclusie uit het onderzoek is dat het grosso modo niet veel uitmaakt op welke basisschool een leerling heeft gezeten. Achtergrondkenmerken, individuele prestaties in groep 8 en vooral het advies zijn bepalend voor de positie in het vierde jaar voortgezet onderwijs.”

    Dit onderzoek maakt geen gebruik van de scores op de Cito Eindtoets Basisonderwijs. De auteurs geven aan dat in het advies van de school wel rekening gehouden kan zijn met de uitslag van de Cito-toets; preciese gegevens daarover geeft het rapport niet. Het is opmerkelijk, omdat immers de adviezen uitgebracht worden voordat de uitslagen van de Citotoets bekend zijn. Of is dat de laatste jaren veranderd? Zo blijven er altijd weer raadsels over.

  4. Oncontroleerbaar
    Een groot probleem dat ik heb met het CITO is hun oncontroleerbaarheid. De CITO eindtoets wordt (na afname) angstvallig geheim gehouden. Voor de nieuwe computerexamens in het VO krijgen leerlingen (als ik het goed begrijp) willekeurige items uit een toetsbank op hun scherm. De items van die toetsbank worden geheim gehouden.

    Op die manier is het CITO volledig oncontroleerbaar geworden. Het CITO neemt iedere leerling in Nederland met haar toetsen de maat, maar maakt het onmogelijk dat anderen hun toetsen de maat nemen.

Reacties zijn gesloten.