De afgelopen jaren is de N-factor voor het CE biologie vwo telkens >1. Het lukt de examenmakers dus keer op keer niet een passend examen te maken. Ik verwacht dit jaar weer een ophoging.
De vragen starten met een stam die een hele pagina kan beslaan, de vragen zijn soms vaag en het antwoordmodel sluit regelmatig niet aan bij de vragen. Daarnaast gaat het examen (opgaven en nakijkmodel) meermaals inhoudelijk de mist in. Dit jaar is voor vraag 29 bij iedereen 2p gegeven omdat het in de vraag gestelde volkomen onjuist was (5 minuten Googelen en je hebt artikelen die dat duidelijk maken). Het antwoordmodel bij vraag 15 geeft het verkeerde mc-antwoord (E ipv D; de eerste stelling is onjuist), er wordt bij vraag 14 alweer gesproken van evolutie op soortniveau en bij vraag 7 geldt bijna ‘anything goes’ (voor maar liefst 4p). Dit zijn slechts enkele van de vele voorbeelden uit één examen!
Mijn sectie heeft in het verleden meermaals geschreven aan de CEVO, met bijlagen in de vorm van verhelderende artikelen aan toe, maar er is geen enkele verbetering zichtbaar. Sterker nog, dit jaar was in mijn ogen een nieuw dieptepunt.
Een bericht via de kring leverde uiteindelijk dan wel die 2p op voor vraag 29, maar voor vraag 15 moet ik de ruim 50% van mijn leerlingen die D invulden (tegen 7% die E als antwoord gaf) toch 2p onthouden.
Wie weet hoe dit aangepakt zou kunnen worden?
Regel is geen regel
@pacman
Dit lijkt toch een kwestie van professionele integriteit, veronderstellend dat is te onderbouwen dat de opgegeven sleutel voor vraag 15 verkeerd is: als een instructie evident onjuist is, dan kun je onmogelijk een leerling willens en wetens verkeerd beoordelen alleen omdat die instructie dat voorschrijft. Bovendien is het algemeen bekend dat instructies fouten kunnen bevatten, de onfeilbaarheid van een instructie is dus geen gegeven.
Het zwakke punt in deze stelling is de onderbouwing van het van de instructie afwijkende juiste antwoord. Iedereen heeft wel eens een blinde vlek, het moet geen rommeltje worden. Verzamel onafhankelijke oordelen van een aantal collega’s. Die collega’s hoeven het niet allemaal eens te zijn over de juistheid van alternatief D en de onjuistheid van E, als er maar meerdere collega’s zijn die dat, beargumenteerd, wèl vinden (en zonder dat ze in die opvatting kunnen zijn gestuurd door een suggestieve vraagstelling) (niet suggestief is: ‘wil eens nagaan welk alternatief of welke alternatieven verdedigbaar juist zijn’) (suggestief is: een rondetafelgesprek met die groep collega’s)
.
In geval van ontbrekende consensus gaat het niet aan een antwoord van een leerling fout te rekenen, omdat het weliswaar door sommige bevoegde beoordelaars juist wordt bevonden, maar niet door álle bevoegde beoordelaars. Het onderwijs is niet bedoeld om van leerlingen zieners te maken die kunnen bevroeden hoe deskundige beoordelaars met elkaar van professioneel inzicht kunnen verschillen.
Mijns inziens mag een beoordelaar in een geval als dit niet redeneren dat de leerling dan maar bezwaar moet aantekenen tegen de foutieve beoordeling. Mevrouw, u reed door rood. Er is inderdaad in de verste verte geen andere verkeersdeelnemer te zien, maar legt u de rechter maar uit dat uw bekeuring onterecht is. Dit is een verdergaand voorbeeld (een juiste regel die is overschreden), maar de rechter zal de bekeuring vernietigen.
Regel
@Ben
Uit het verhaal van pacman begrijp ik dat hij contact heeft opgenomen met CEVO over deze vraag 15 en dat CEVO gezegd heeft dat alternatief E bij die vraag fout gerekend MOET worden.
vraag 15
Mark, via de de kring is doorgegeven dat E fout is en D juist. Ná de kringbespreking is wel een erratum op vraag 29 verschenen, maar niet op vraag 15. Bij die vraag moet dus nog steeds E goed gerekend worden en mogen voor D geen punten worden toegekend. Bij het invoeren van de gegevens in Wolf was dat ook duidelijk trouwens. Bij vraag 29 stonden daar reeds 2p ingevuld en bij vraag 15 leverde E 2p op.
CEVO/CvE/CITO heeft niet naar ons toe gereageerd.
Goed is fout
Bij natuurkunde is het ook eens voorgekomen dat een antwoord dat goed was, fout gerekend moest worden (ook door CEVO erkend). Na overleg met collega’s heb ik toen besloten dat een antwoord dat goed is, niet door mij fout gerekend wordt. Sindsdien houdt ik me daar aan. Het betekent dat je dan eventueel het gevecht met de tweede corrector aan moet. Dat laatste gebeurde niet, omdat de tweede corrector zich snel liet overtuigen of al overtuigd was.
Een dergelijke fout is een CEVO probleem. Dat wentel ik niet af op de leerling die het goed gedaan heeft. Dat het CEVO het woordje “bindend” er aan verbindt, doet daar niets aan af.
Klaas Wilms
Goed is fout
De ellende is dat het hier een meerkeuzevraag betreft, waarbij je niet kunt nagaan op basis waarvan een leerling kiest voor D of E. Alle docenten waar ik mee te maken heb gehad in deze cyclus (collega’s en examinatoren waarvoor ik 2de correctie doe) hebben hier gehandeld volgens het nakijkmodel. Dit is een zaak die in de N-factor moet worden meegenomen.
Het voornaamste punt is dat het zo’n blunder is. Hoe kan het dat een fout als deze na testsessies is blijven zitten? De scoringspercentages – ik zie telkens weer veel D en heel weinig E – zouden de makers van deze vraag toch in ieder geval hebben moeten aanzetten tot nadenken?
Op basis van biologische juistheid kun je bij enkele open vragen wel zaken goed rekenen die niet in het antwoordmodel zijn opgenomen (vraag 23 bijvoorbeeld: chemo-autotrofe bacteriën levert 1p op en een koppeling naar de diepzeevissen een 2de p).
Meerkeuze, en rechtvaardiging van het gegeven antwoord
Pacman schrijft
De ellende is dat het hier een meerkeuzevraag betreft, waarbij je niet kunt nagaan op basis waarvan een leerling kiest voor D of E.
Vraag leerlingen naar uitleg over het gegeven antwoord. Dat het achetraf is, mag in dit geval geen probleem zijn. Ik leg dat uit.
Het is niet onvermijdelijk dat antwoorden op meerkeuzevragen zonder uitleg blijven. Bij rekentoetsen is het niet ongebruikelijk om het kladpapier te laten inleveren. Maar ook bij andere te toetsen stof, is het mogelijk om leerlingen de gelegenheid te geven om hun antwoord toe te lichten. Dat kan een goede oplossing zijn wanneer leerlingen bang zijn dat de eigen interpretatie van de vraag een andere is dan de ontwerper mogelijk heeft bedoeld. Het is een goed idee om bij keuzevragen altijd een uitleg bij het gegeven antwoord te vragen (als uitleg een rol speelt, wat bij reproductievragen en triviant niet altijd het geval is).
Dan terug naar het biologie-casus. Ik vermoed dat de kandidaten bij het examen geen gelegenheid is gegund om toelichting op hun antwoorden geven. Als de kandidaat dan achteraf een overtuigende rechtvaardiging kan geven voor een fout gerekend antwoord, rest de examinator niets anders dan dat te honoreren. Eigen schuld, dikke bult. Het gaat hier om een tekort in het ontwerp van de vraag: als uitleg belangrijk is, dan had daarnaar gevraagd moeten worden.
Bij een domme ontwerpfout zoals een fout in de scoringssleutel, is de kandidaat natuurlijk weerloos. Hoe kan een kandidaat vermoeden dat een scoringssleutel verkeerd zou zijn? De kandidaat die het feitelijk juiste antwoord heeft gegeven, krijgt altijd het voordeel van de twijfel. De kandidaat die een ten onrechte goed gerekend antwoord heeft gegeven, hoort daar natuurlijk geen beloning voor te krijgen (maar aan een eenmaal vastgestelde examenuitslag kan in de regel niet meer in negatieve zin worden getornd).
Blunders die onopgemerkt blijven
Voorbeeld 6 nask 1 KB 2003
Man rijdt met 130 km door bebouwde kom
NOORDWIJK. De politie van Holland-Midden is er gisteren met moeite in geslaagd een 29-jarige man uit Lisse van de weg te halen en aan te houden. De man reed niet alleen veel te hard, hij had ook een te hoog alcoholpromillage in het bloed. Hij moest zijn rijbewijs inleveren.
1p 16 Er staat een natuurkundige fout in de kop van het artikel. Welke fout is dat?
De bovenstaande vraag is in een examen afgenomen. Hoe is dat mogelijk? De arme kandidaat moet hier gaan bedenken wat de vragensteller waarschijnlijk heeft bedoeld. Dat bedenken van wat is bedoeld kan nauwelijks natuurkunde zijn. Het probleem met het ontwerp van deze vraag is dat er verwarring bestaat over het Nederlands en de natuurkunde. De kandidaat moet maar gokken dat de vragensteller heeft bedoeld dat je de tekst in de kop letterlijk moet opvatten. Maar een letterlijke opvatting is taalkundige onzin (‘met 130 km’), geen natuurkundige. De uitweg is dan: het gaat om de bedoeling van de tekstschrijver van de kop. Die bedoelt 130 km per uur, maar daar is geen natuurkundige fout in te bekennen. Dan wordt het een strikvraag: is het mogelijk om in de bebouwde kom 130 km/uur te rijden? Of: is het mogelijk dat de politie van Holland-Midden een verkeerd getal heeft opgegeven?
Iedereen die in het voortraject van dit examen is betrokken, kan makkelijk menen dat het toch duidelijk is dat de leerling moet aangeven dat in de kop een afstand wordt genoemd, en een snelheid wordt bedoeld. Als de leerlingen bij een proefafname dan ook nog allemaal zo snugger zijn om te begrijpen wat de vragensteller bedoelt, dan krijgt de vraag ten onrechte het groene licht.
Examenvragen mogen geen onbedoelde dubbelzinnigheden bevatten. Zo simpel. Toch met voeten getreden.
2 + 2 = 4. — U MOET dit fout rekenen.
2 + 2 = 4
Een bureaucratische oekaze: U MOET dit antwoord fout rekenen.
Het is toch glashelder dat zo’n opdracht niet uitvoerbaar is?
U moet… inderdaad
Zolang er geen richtlijn is die anders voorschrift, zul je wel moeten. Als een deel van de docenten tegen het antwoordmodel in gaat (met het gevoel van rechtvaardigheid voor zijn leerlingen mee) en een deel doet dat niet, dan ontstaat er in elk geval ongelijkheid. Grote kans dat een deel van de docenten niet heeft gezien – om welke reden dan ook – dat hier E onjuist is. Het was goed geweest als ook over het antwoord op deze vraag een erratum was verschenen met gewoon het juiste antwoord. Waarom dit niet is gebeurd is voor mij een raadsel.
De vraag blijft dus: hoe kan dit nou worden aangepakt??! Hoe krijgen we (een deel van) de examenmakers nou echt scherper? Hoe kan direct na het examen dit soort problemen worden opgelost (zoals bij vraag 15 dus; vraag 29-achtige problemen moeten vooraf worden aangepakt). Is een vakinhoudelijke screening door een deskundige een optie? Hoe vindt precies de evaluatie van vragen plaats? Is dat eenvoudigweg percentages scoren of wordt er ook gekeken naar de antwoorden van testleerlingen zelf?
Angst voor ongelijkheid?
Beste pacman,
Ongelijkheid is overal. De ene leerling krijgt een bevoegde en bekwame docent, de andere een beunhaas. Is dat een reden voor iedereen een beunhaas aan te stellen?
Het gaat om kwaliteit en juistheid, niet om rigide gelijkheid, lijkt me.
ongelijkheid
Natuurlijk is er ongelijkheid. Iedereen die één keer 2de correctie heeft moeten doen weet daarvan. Het lijkt me alleen geen goed idee om in dit soort gevallen – meerkeuzevraagstukken – verschillend te beoordelen. Hier is ongelijkheid (tussen docenten dus) zonder meer te voorkomen.
Nu de vraag niet geschrapt is, degenen met het juiste antwoord niet 2p hebben gekregen, er geen erratum is verschenen met “iedereen 2p voor vraag 15” is de enig overgebleven optie een N-factor van 1,2 alleen al op basis van deze vraag. Het zou volgens mij terecht zijn als voor dit examen de N-factor boven de 1,5 zou liggen.
Ongelijkheid
@Pacman
Examens zijn niet bedoeld om gelijk te beoordelen, maar om kennis te toetsen.
Bij ondeugdelijke examenvragen en/of correctievoorschriften zijn er onmiddellijk ook problemen met de rechtvaardigheid van de beoordeling of correcties op die beoordeling. Die zien eruit als dilemma’s, maar zijn dat niet werkelijk. Ongelijke behandeling van kandidaten is in deze achteraf-situaties vaak onvermijdelijk. De problemen zijn ontstaan door de ondeugdelijkheid van het examen, niet door de wijze van beoordelen. Ga er dus kalm mee om.
In het geval van deze meerkeuzevraag geeft 7% van de kandidaten een verkeerd antwoord dat volgens de scoringssleutel het goede antwoord is. De zo toegekende 2p moeten weer worden afgetrokken. Het goede antwoord, maar volgens de scoringssleutel een verkeerd antwoord, is gegeven door 50% van de kandidaten. Zij horen 2p te krijgen. Dan blijven er 43% over die gewoon een verkeerd antwoord hebben gegeven: zij horen op geen enkele manier 2p te krijgen.
In zijn proefschrift Studierechten gaat Job Cohen (1981) uitvoeriger in op dit soort zaken, ook ingewikkelder gevallen waar bij correctie-achteraf sommige studenten een voordeel krijgen, dat niet tevens aan andere studenten kan worden gegeven. Heel ongelijk dus, maar dit is overmacht.
De ongelijkheden die achteraf ontstaan bij ondeugdelijke examens zijn natuurlijk razend vervelend. Daarom moet er ook al het mogelijke aan worden gedaan, bij deze landelijke examens, om dergelijke problemen te vermijden door uitvoerige kwaliteitscontroles vooraf. Die controles zijn er ook. Dan nog: er kan altijd een blanco bladzijde in het examenboekje zitten, de computerschermen kunnen op zwart gaan, er is een drukfout ingeslopen, etcetera. Een slecht ontworpen vraag kan makkelijk onopgemerkt blijven.
Kun je kort aangeven wat die N-factor is?
N-factor
N-factor = cesuur
Bij N-factor 1 geldt: aantal p : te behalen aantal p x 9 +1 = eindcijfer
Bij hogere cesuur wordt er aangepast, waarbij er een kromming in de grafiek zit zodat je niet met veel minder p dan maximaal te behalen aantal p al een 10 hebt.
Met een hogere N-factor dan 1 wordt dus een deel van de ellende voor leerlingen (!) gecompenseerd.
Examens zijn niet bedoeld om
Examens zijn niet bedoeld om gelijk te beoordelen, maar om kennis te toetsen.
Normaal gesproken zou ik het met deze stelling eens zijn, ware het niet dat we in Nederland de uitslagen van deze examens eveneens gebruiken als selectiemiddel voor een studie.
Zolang we in Nederland (mede) op basis van de behaalde cijfers bepalen wie wel en niet een bepaalde studie mag volgen zullen we de leerlingen zo gelijk mogelijk moeten beoordelen.
Aangezien het evident is dat het gelijk beoordelen een utopie is (tenzij we meerkeuzevragen gebruiken) en het eveneens utopisch is dat alle leerlingen even goed les hebben gekregen kunnen we dan ook maar beter deze cijfers niet (mede) als selectiecriterium gebruiken.
Vraagje aan iedereen: wie stellen die examenvragen op? Ik meen gelezen te hebben dat deze deze vragen worden opgesteld door leraren die minstens een X aantal jaren ervaring hebben in het lesgeven op het betreffende niveau maar wat zijn de bevoedgheidsvereisten? Mag bijvoorbeeld een tweedegraadsleraar die al jarenlang lesgeeft aan een havo-klas examenvragen opstellen voor een havo-examen? Mag iemand die geen universitair diploma heeft vragen opstellen voor een VWO-examen?
aangezien het niet perfect is kunnen we het beter niet gebruiken
Je schrijft:
“Aangezien het evident is dat het gelijk beoordelen een utopie is (tenzij we meerkeuzevragen gebruiken) en het eveneens utopisch is dat alle leerlingen even goed les hebben gekregen kunnen we dan ook maar beter deze cijfers niet (mede) als selectiecriterium gebruiken”
Kun je dan ook aangeven welke methode wel perfect is enaarmee (mede) bruikbaar voor selectie?
Toelatingsexamens
Dat heeft Bart al eerder geschreven: toelatingsexamens.
Inderdaad.
Organiseer op een
Inderdaad.
Organiseer op een transparante wijze een toelatingsexamen en garandeer dat iedereen zich daar optimaal op kan voorbereiden.
Publiceer een lijst met alle onderwerpen die geëxamineerd worden, geef een goed aantal voorbeeldvragen zodat alle kandidaten het niveau goed kunnen inschatten en test op kennis, inzicht en potentie.
Eerlijker en betrouwbaarder kan niet.
Natuurlijk is er ook een goede correlatie tussen de hoogte van de behaalde cijfers op het VWO en het latere succes met de studie maar deze correlatie zal minder groot zijn, de kandidaten hebben minder de kans op succes in eigen hand (afhankelijkheid van leraren, strengheid van de schoolexamens, strengheid met het nakijken van de centrale examens…) en kandidaten krijgen dan niet meer de kans om iets aan hun situatie te veranderen zogauw het VWO-examen er op zit. Iemand die op het VWO ´slechts` zevens haalde, wat bij een selectie op cijfers voldoende zou zijn maar onvoldoende is om bij een gewogen loting zeker geplaatst te zijn, kan in het geval van een toelatingsexamen zijn kennis, inzicht en vaardigheden ook na het behalen van het VWO-diploma alsnog vergroten en zodoende het volgende jaar zich wel qualificeren. Ook dit vergroot de rechtvaardigheid en de betrouwbaarheid van deze selectiemethode. Indirect meet je hiermee ook nog de motivatie.
Het was uiteraard niet mijn bedoeling om dit topic te kapen voor dit pleidooi, ik wilde slechts de kritische kanttekening maken dat het in Nederland met de huidige wetgeving wel degelijk van essentiëel belang is dat alle scholen zoveel mogelijk op dezelfde wijze de examens beoordelen. Het gelijk beoordelen moet in Nederland t.g.v. de gewogen loting wel degelijk een doel zijn indien je zo rechtvaardig mogelijk deze gewogen loting wil uitvoeren (voor zo ver dat mogelijk is met een gewogen LOTING maar dat is een discussie voor in een andere draad).
Gelijk beoordelen
Bart,
Over ‘gelijk beoordelen’ bestaan tal van misvattingen die voortkomen uit een denkkramp over dat ‘gelijk.’ Zo vinden velen dat een groep, klas, of jaargroep die een bepaalde toets moet afleggen, dan ook dezelfde vragen moeten krijgen. Ik geef toe dat zoiets schijnbaar het idee van gelijkheid bevordert, maar het is natuurlijk enorme flauwekul. De herkansing die sommigen later moeten afleggen, zal andere vragen bevatten. Een jaarlijks terugkerende toets zal iedere keer vooral uit nieuwe, dus andere vragen bestaan.
Vertrek vanuit de bedoeling van het examen om kennis te toetsen (in brede zin natuurlijk, niet louter feitjes). Als dan blijkt dat kandidaten met Nederlands als tweede taal hun wiskundige kennis niet behoorlijk kunnen tonen, dan stelt dat het examen in gebreke. Daar hoeven we geen betogen over gelijkheid voor van stal te halen.
een fuik van regelgevingmaakt de middelen erger dan de k.
Ik vraag me af of les krijgen van een andere leraar niet meer ongelijkheid brengt. Dan zou eerst daaraan gewerkt moeten worden. Of is daarvoor juist het zelfstandig werken ingevoerd?
Seger Weehuizen
Ongelijkheid
Seger,
Ik stel geen regelgeving voor om eerlijke beoordeling te bevorderen. Sterker nog, ik ben pleitbezorger van minder eerlijke beoordeling. Dat zit namelijk zo. Om beoordeling eerlijker te maken, kun je examenwerk of proefwerken door meerdere beoordelaars laten nakijken zodat de invloed van subjectiviteit bij afzonderlijke beoordelaars min of meer uitmiddelt. Dat is een buitengewoon kostbare zaak, en levert verdraaid weinig op: examenkandidaten zijn absoluut niet meer geïnteresseerd in terugkoppeling over het gemaakte werk. Over de balk gesmeten moeite. Maar het is erger dan verspilling, want al die extra middelen die worden gestoken in het eerlijker nakijken van examenwerk gaan ten koste van de middelen die overblijven om gewoon goed onderwijs te geven (die euro’s kunnen maar één keer worden uitgegeven).
Geen twee leraren zijn gelijk. Geen twee leerlingen zijn gelijk. Er zijn inderdaad stevige ongelijkheden in het onderwijs. In schooleffectiviteitsonderzoek is de aanbodkant stevig onderzocht, en daar komt eigenlijk niet veel bijzonders uit. Scholen, en zeker leraren, die het het ene jaar goed doen, doen het een volgend jaar weer gemiddeld, en zo voort en zo verder. Zolang ongelijkheden maar niet stelselmatig één en dezelfde kant op werken (ten voordele van deze groep, ten nadele van een andere), is er weinig aan de hand, en moeten we er niet moeilijk over doen. Als het verschil tussen de ene en de andere leraar een verschil in bevoegdheid is, dan is het ook aan de ouders om in opstand te komen, of met de voeten van hun kroost te stemmen. Etcetera.
Natuurlijk krijgt een
Natuurlijk krijgt een jaargroep dezelfde toets voorgelegd. De jaargroep volgt immers hetzelfde programma. Vervolgens moet worden getoetst of de verlangde kennis voldoende aanwezig is, dat is het doel van het onderwijs. Hoe kom je er achter of die leerlingen de stof voldoende beheersen? Door te toetsen.
Is de leerstof te moeilijk gebleken: zijn er voldoende andere mogelijkheden: ander type onderwijs kiezen, harder werken, jaartje overdoen, herkansing.
Dit systeem is bij grote klassen goed werkbaar gebleken, voor zowel de leerkracht als de leerling. Nu kan men inderdaad eindeloos spijkers op laag water gaan zoeken, want nooit is ‘de leerstof’ een maatpak voor elk kind; dat kan alleen worden gerealiseerd door een particulier onderwijzer die 1 op 1 onderwijst. Van groepsonderwijs hetzelfde verlangen als wat slechts bij prive-onderwijs kan worden gerealiseerd, beschouw ik als het stellen van onmogelijke eisen en het geven van valse hoop. En zelfs neig ik ertoe dit als valse lucht te beschouwen.
Maar intussen zie ik hier steeds een voetbalsupporter die zelf geen bal kan trappen. De professional in de basisschool heeft weing aan zijn commentaar, en beseft terdege dat de commentator hoogst waarschijnlijk zelf nog nooit voor een klas heeft gestaan. Maar verder wel uitstekend kan babbelen.
Het ausprobieren van examenvragen
“Hoe krijgen we examenmakers scherper?”
De CEVO- (tegenwoordig: CvE-) commissie die het CE Biologie maakt, bestaat uit ervaren vakleraren Biologie, aangestuurd door een vaksectie-voorzitter, ondersteund door een CITO-medewerker Biologie. In theorie een werkbare samenstelling.
Toch slagen zulke commissies (niet alleen voor biologie) er niet in foutloze examens van een gegarandeerd niveau te maken. De moeilijkheidsgraad van Centrale Examens varieert sterk. Leerlingen halen het ene jaar een 6,9 (met sd 1) en het andere jaar een 6,1 (met sd 1). Dat betekent het ene jaar een percentage onvoldoendes van ongeveer 10%, het andere jaar van ongeveer 50%. Dat wordt ‘rechtgetrokken’ met de n-term, maar de aanvankelijke inschatting van de moeilijkheidsgraad door de vakcommissie geeft kennelijk geen garantie.
Problematische vragen die de moeilijkheidsgraad c.q. de betrouwbaarheid mee-bepalen worden niet tijdig onderkend. Geen wonder: in het proces van toetsconstructie ontbreken cruciale fasen. En dat geldt voor elk vak.
Ik zag graag de volgende twee fasen toegevoegd aan de toetsconstructie voor de CE’s:
1. Validatie door een externe groep ervaren vakdocenten. Prima dat ervaren vakdocenten Biologie het examen bedenken en formuleren, maar laat een vergelijkbaar groepje ervaren docenten de voorstellen van de eerste groep *alsjeblieft* becommentariëren. Zo’n stap ligt nogal voor de hand. Ik begrijp niet waarom dit geen deel uitmaakt van het reguliere constructieproces.
2. Validatie van de norm door het uittesten van toetsvragen bij een referentiegroep. Hoe leerlingen vragen opvatten, en hoe moeilijk ze die vinden, is ongewis – tot je die vragen bij echte mensen uittest. Als geheimhouding vooropstaat, kun je vragen het best uittesten als onderdeel van een groter geheel aan toetsvragen, zodat voor een leerling de raadkans dat een vraag tot het examen behoort kleiner is dan de kans dat hij/zij door braaf voor het examen te leren die vraag goed kan beantwoorden.
Een slooppploeg inhuren. Te creatieve ontwerpen weren.
Michel,
Een uitbreiding van je suggesties 1) en 2)
1) Beperk zo’n second opinion niet tot vakdocenten. Zet er ook lieden in die het vak niet beheersen, maar die een beroerde vraagstelling mogelijk veel eerder op de radar hebben. Geef zo’n team de opdracht om alles te slopen wat los zit of los kan raken. Natuurlijk mogen ze ook suggesties voor verbetering doen, maar de belangrijkste taak is om ieder. mogelijk probleem te signaleren, hoe klein ook.
2) Het kan zijn dat er wettelijke beletselen zijn voor proefafnamen van examenvragen, ik kan dit soort dingen maar moeilijk onthouden. Ik weet niet goed of het echt zinvol is om vooraf tot een betere normering te komen, dat is een normering op voorhand die minder vaak achteraf moet worden bijgesteld. Daar valt iets aan te rekenen, maar mogelijk is het sop de kool niet waard. Ik denk bij proefafname van afzonderlijke examenvragen eerder aan laboratorium-situaties: laat leerlingen hardop denkend de opgaven maken. Dat is de informatie die nodig is om te kunnen nagaan of vragen functioneren zoals bedoeld.
Nog beter zou het zijn om ontwerpers van examenvragen een verbod op uitbundige creativiteit op te leggen (zie de 130 km/uur vraag hierboven als voorbeeld van een ‘leuk idee voor een examenvraag’). Dan blijft een beperkte verzameling van mogelijke soorten vraagstellingen over, en over zoiets is het zinvol om doorheen de jaren empirische informatie over moeilijkheid en over mogelijke problemen te verzamelen.
schijnprobleem
Dat ‘probleem’ over dat ‘rijdt met 130 km door de bebouwde kom’, vind ik een voorbeeld van het zoeken naar een probleem omwille van het zoeken naar een probleem.
Iedereen weet dat hier de snelheid wordt bedoeld en niet de afstand. Als het om de afstand zou gaan, zou er staan ‘reed 130 km door de bebouwde kom’.
Het woordje ‘met’ maakt het onderscheid.
Inderdaad kon de vraag nauwkeuriger worden geformuleerd: ‘reed met een snelheid van 130km/u door de bebouwde kom. De andere formulering, die bij de spreektaal aansluit (oud ideaal om vooral de arbeiderskinderen tegemoet te komen; zou een socialist moeten kunnen waarderen) roept niet die grote problemen op die hier overdreven onder het vergrootglas worden gelegd.
Schijnprobleem? Ja, mogelijk
@moby
Best mogelijk dat ik zeur en zuig op dit 130 km-probleem.
Maar dat is ook mijn bedoeling. Eindexamenopgaven die dit soort gezeur uitlokken, deugen gewoon niet – die zijn niet helder, kwalitatief niet aan de maat.
Omdat ik geen natuurkundige ben, kan ik niet goed beoordelen of deze 130 km-vraag wel een natuurkundevraag is. Dat moeten anderen maar aangeven. Ik heb er een groot vraagteken bij.
Je hoeft daarvoor geen
Je hoeft daarvoor geen natuurkundige te zijn hoor Ben. Het allereerste wat je met natuurkunde leert op het voortgezet onderwijs is, als het goed is, hoe je met eenheden en grootheden moet werken. Dit is dus een geschikte vraag voor het eerste of 2de leerjaar van het voortgezet onderwijs (en dan nog veel te gemakkelijk), niet voor een eindexamen van de havo.
proefexamens
Er worden wel degelijk proefexamens door groepen leerlingen gemaakt (met alle mogelijke voorzichtigheid omgeven). Soms zijn dat leerlingen van de school van leraren die (in deeltijd, naast hun leraarsbaan) voor het CITO werken, soms ook worden leraren benaderd met de vraag of zij een klas aan zo’n proef willen laten meedoen.
proefexamens
En dan is DE vraag dus: hoe worden de toetsvragen/resultaten achteraf geanalyseerd? Gaat het alleen om scoringspercentages of wordt er ook inhoudelijk en op helderheid van vraagstelling geëvalueerd? Bij die laatste twee zaken zit volgens mij het voornaamste probleem.
Laten we het Cito daar eens naar vragen
Ik vermoed dat er statistische analyses op worden gedaan, geen inhoudelijke (behalve n.a.v. de uitkomsten van die analyses).
Onderdeel van die analyses is ook of de vragen eerlijk zijn voor specifieke groepen leerlingen.
Ik heb geen contacten binnen het Cito met de afdeling die de ontwikkeling van examenvragen coordineert. Op de website is niet eenvoudig informatie hierover te vinden. Laten we proberen om het Cito in dit forum informatie te laten geven.