Hoewel ik een enkele keer ook wel eens domme fouten maak in de mooie Nederlandse taal, denk ik bij het formuleren van toetsvragen nog een extra keer na of de vraag geen misverstanden kan oproepen.
Vandaag weer een mooi voorbeeldje bij Standpunt NL op de radio.
De stelling was: Het is begrijpelijk dat de FIFA geen arbitrage wil toestaan op grond van videobeelden.
De bedoeling was dat de mening gegeven werd over de juistheid van het standpunt van de FIFA. Dat werd helaas niet gevraagd. Bijna zonder uitzondering waren de mensen die reageerden van mening dat scheidsrechters (misschien met beperkingen) gebruik zouden moeten maken van beelden. Ze vonden het echter vaak wél begrijpelijk dat het niet gedaan werd.
‘Dan kunnen ze niet meer sjoemelen’
‘Dan wordt omkoping op wedstrijdresultaten wel érg moeilijk’
‘De FIFA is gewoon heel ouderwets, wil nooit wat veranderen’.
Men vond het dus onjuist, maar wel te begrijpen. Toch constateerde de presentator vrolijk dat 80% het niet eens was met de stelling en 20% wel.
Terug naar het onderwijs: toelichting is niet nodig eigenlijk. Regelmatig betrap ik mijzelf toch weer op vragen die voor meerdere uitleg vatbaar zijn.
De aarde en de zon
Ik zou bijna willen stellen dat iedere meerkeuzevraag op enig niveau wel dubbelzinnig is. Werkelijk briljante leerlingen kunnen altijd wel iets bedenken waardoor een fout bedoeld alternatief het beste alternatief kan zijn. Dat is verdraaid vervelend, want niet helemaal te verhelpen door uiterste zorg aan het ontwerp van de vragen te besteden. Een koninklijke oplossing kan zijn om altijd een toelichting op of rechtvaardiging van het gegeven antwoord te eisen. Of daar tenminste de gelegenheid toe te bieden, in al die gevallen waarin de leerling een dubbelzinnigheid in de vraag signaleert en daardoor in verlegenheid komt.
Is dit een gekke gedachte? Helemaal niet. Het is immers vanzelfsprekend om bij wiskundeopgaven (in meerkeuzevorm) de leerling te vragen ook het kladpapier in te leveren. Dan kan Kees van Putten daar weer onthullend onderzoek over doen (dat gebeurt tegenwoordig in samenwerking met het Cito, er gaat iemand op promoveren, als ik dat goed heb begrepen).
Bij iedere keuzevraag waar de leerling goed bij na moet denken, is het de moeite waard om iets van dat nadenken op een kladblaadje te laten zetten. Je wilt als leraar die informatie immers dolgraag hebben (‘waarom maakt iedereen deze makkelijk vraag fout?), en raden op keuzevragen ontmoedigen (geef een bonus voor onbeantwoord laten).
In het voorbeeld van Hinke: dan blijkt dat mensen het om een onverwachte reden hartgrondig eens zijn met een stelling: niet omdat men het terecht vindt om videobeelden te negeren, maar omdat men de FIFA niet vertrouwt past in dat beeld dat de FIFA het gebruik van videobeelden afwijst.
cricket, voetbal, biljart en hockey
Wat hoort niet thuis in het rijtje: cricket, voetbal, biljart en hockey?
Dit is een vraag – uit een toelatingstest – waarover in 1959 een vrolijke discussie ontstond in The Times. De discussie werd geopend met een ingezonden brief van een vader, in het dagelijks leven ook filosoof, die zich afvroeg wat voor gekkigheid hier aan de hand is. Want het is evident dat deze testvraag één en niet meer dan één ‘juist’ antwoord heeft, althans in de gedachten van de ontwerper van de test.
[Ik zal later de bron geven, en hoe dit is afgelopen]
Aardbei, citroen, framboos, of hockeystick?
Cricket, want die sport is in Nederland niet populair.
Voetbal, want dat is geen leenwoord uit een buitenlandse taal.
Biljart, want dat is het enige spel dat op een tafel wordt gespeeld.
Hockey, want dat is de enige sport die ook populair is bij vrouwen.
Het is dus maar net wat je invalshoek is.
Wat hoort in dit rijtje niet thuis: aardbei, citroen, framboos, hockeystick.
Antwoord: aardbei, want dat is het enige woord dat met een klinker begint.
Re. Couzijn
Bij Nederlandse Taal kon zoiets zeker gevraagd worden. Het was dan bijzonder nuttig als je wist dat de vraag onder het hoofdstuk ‘spelling’ stond, b.v.
Alles in zijn verband.
Toch fout…
@couzijn:
Het antwoord “aardbei” is hier toch fout. Of de vraag is fout.
Het is immers geen goed antwoord op de vraag
“Wat hoort in dit rijtje niet thuis: aardbei, citroen, framboos, hockeystick.”
maar wel op de vraag:
“Welk woord hoort in dit rijtje niet thuis: aardbei, citroen, framboos, hockeystick.”
Tit for tat
Leuk bedacht, maar je gaat ten onrechte uit van de premisse dat het vraagwoord ‘wat’ altijd naar een zaak vraagt en nooit naar een woord. Die premisse kan worden weerlegd door de aanvaardbaarheid van vraagformuleringen als:
– Wat vind je een leuker woord, broccoli of antipasti?
– Wat klinkt minder irritant: vernieuwing of innovatie?
– Wat hoort in dit rijtje niet thuis: de, het, een, hockeystick.
De bal is rond
@ben Voetbal natuurlijk!
Want daarbij mag je juist geen slag- of stoothout bij gebruiken.
Het viel me vorige week opnieuw op hoe origineel denkende leerlingen spitsvondig redenerende leerlingen altijd weer naar niet voor de hand liggende antwoorden zochten in de mening dat de vragenmakers even origineel waren als zij zelf.
Het enige tentamen waar ik voor gezakt ben tijdens mijn studie was een multiple choice tentamen. Ik probeer dit soort testen daarom waar dat ook kan te vermijden.
biljart
Of biljart: de enige sport die niet op een grondveld wordt beoefend. Of de enige sport die meerdere ballen gebruikt. Of de enige sport die geen teamsport is.
Of cricket: de enige sport waarbij de beoefenaars van elke partij gelijktijdig een andere taak hebben.
Meer antwoorden dus mogelijk, lijkt me.
En dat moet niet.
En zo zijn de andere ballen
Philippens,
Het origineel is Engels. Ik heb inderdaad even een check gedaan of ‘football’ voetbal is, en niet rugby. En zo is het. Anders zou de vorm van de bal ook een onderscheidend kenmerk zijn.
Je antwoord lijkt me perfect in orde, in combinatie met de rechtvaardiging die je geeft. Maar is ‘voetbal’ ook het als juist gesleutelde alternatief? Zijn de andere alternatieven verdedigbaar?
Met je ‘origineel denkende leerlingen’ kaart je een belangrijk probleem aan voor de gebruiker en ontwerper van meerkeuzevragen. Bespeur ik in je antwoord de opvatting dat deze leerlingen niet zouden moeten zoeken naar spitsvondigheden, maar ‘gewoon’ moeten antwoorden? Dat is een opvatting mijns inziens die niet verdedigbaar is (niet in lijn met wat het is om valide te toetsen). We kunnen er later verder op ingaan.
non-probleem
Er is hier wel sprake van een non-probleem als het om de CITO-testen gaat. CITO staat altijd open voor terechte bezwaren tegen vragen.
Indien CITO een bezwaar terecht acht, telt de vraag vervolgens niet mee bij de eindbeoordeling.
Bezwaren dienen uiteraard goed onderbouwd te zijn. In het geval van dit voorbeeld weet ik bijna zeker dat CITO zich ontvankelijk voor de bezwaren had getoond.
deel 1
Hoeveel vragen zijn er het afgelopen jaar afgekeurd en welke vragen?
Hoe kunnen wij niet alle vragen van de afgelopen CITO-test inzien zodat we zelf kunnen nagaan in welke mate het CITO professioneel (of amateuristisch) handelt, iets wat m.i. een slechte zaak is aangezien dit toetsje (mede?) bepaalt op welke school je wel en niet mag instromen.
Ik heb hier maanden geleden eens gelinkt naar de zogenaamde oudertoets van het CITO die bestaat uit 10 voorbeeldvragen voor taal en rekenen.
Zelf had ik vooral moeite met twee van die vragen en meerderen hier waren het er mee eens dat je bij die twee meerkeuzevragen onmogelijk één en slechts één antwoord juist kon rekenen.
Anderen stipten vervolgens nog enkele andere vragen aan die volgens hen eveneens verre van perfect waren.
beteronderwijsnederland.net/node/6446#comment-51601
Rol voor autisten?
Ik zou me heel goed kunnen voorstellen dat autisten een prima rol kunnen spelen bij het goedkeuren van examenvragen. Zij zijn bij het interpreteren van taal wat ééndimensionaler, zien geen dubbele bodems en nemen de vragen heel letterlijk. (sorry voor de generalisatie)
Rol voor autisten?
Hinke,
Dat is een leuk idee.
Is het ook uitvoerbaar? Want als het een goed idee is om autististische leerlingen als proefkonijnen te gebruiken, dan kan ik nog wel meer bijzondere groepen bedenken die zinvol werk zouden kunnen doen.
Een in de literatuur wel circulerend idee – zelden uitgevoerd – is om een controlegroep in te zetten die met de specifieke les- of examenstof geen kennis heeft gemaakt (maar globaal even oud, slim, enzovoort is). Zo’n opzet kan dienst doen om de toets of het examen te onderzoeken op specificiteit: is het voldoende om intelligent te zijn, of moet je de stof echt bestudeerd hebben om de vragen behoorlijk te kunnen maken? Een interessante variant is om aankomende studenten al de afsluitende toets voor te leggen.
Het algemene idee is: als ontwerper van examenvragen doe je er goed aan de ontworpen vragen aan zo gevarieerd en scherp mogelijke kritiek bloot te stellen: die van collega-ontwerpers, toetsspecialisten, proefafnamen, statistische analyses, leraren van heel andere vakken. Dat vereist dus een masochistische instelling, of een diep Popperiaans besef dat de beste toets op de kwaliteit van de vragen bestaat uit blootstellen aan de meest destructieve krachten die je bij elkaar kunt organiseren. Dus geen bevestiging zoeken van hoe goed je de klus weer hebt gedaan.
Gelukkig is het vaak mogelijk om dit soort destructief onderzoek te doen op specifieke typen toetsvragen, zodat voor allerlei voor de hand liggende varianten binnen bruikbaar gebleken typen toetsvragen minder stringente controles nodig zijn. Maar dan moet er wel een kennisbasis worden opgebouwd, en enige theorie over wat het is voor examenvragen om tot een specifiek type te behoren (niet qua vorm, maar wat het inhoudelijk gevraagde betreft).
Mensen die autistisch en
Mensen die autistisch en zeer intelligent of hoogbegaafd zijn blijken bij bepaalde IQ-testen beter te presteren dan anderen.
en.wikipedia.org/wiki/Raven%27s_Progressive_Matrices
Voor mij geldt dit eveneens, dit soort testjes zijn voor mij een fluitje van een cent. Ik vermoed dat mensen die autistisch en zeer intelligent tot hoogbegaafd zijn eveneens beter zijn in het ontdekken van patronen in getallenrijen en analogieën aangezien ik vaststel dat ik op een identieke manier denk bij deze verschillende testen, het draait steeds weer om het vinden van patronen.
Ik zou echter niet durven te stellen dat deze mensen taal ééndimensionaler interpreteren. Voor mij geldt dit zeker niet, integendeel: ik heb bijv. een hekel aan vertaalde teksten (of bijv. uitdrukkingen) omdat ik merk dat er slechts een slap aftreksel overblijft van de oorspronkelijke tekst, ik mis dan de nuance en het gevoel.
Wel hebben deze mensen, in ieder geval op jongere leeftijd, wat meer moeite met bepaalde stijlvormen (sarcasme, humor, hyperbolen, eufemismes, personificaties…), dat is echter niet te wijten aan een gebrekkig taalinzicht. Naar mijn indruk is dat te wijten aan een gebrekkiger sociaal inzicht of zijn beiden te wijten aan een gemeenschappelijke oorzaak (gebrekkige samenwerking van bepaalde delen van de hersenen?).
Ik denk dat mensen die autistisch en zeer intelligent zijn er inderdaad goed in zijn om te analyseren ofdat een vraag niet voor meerdere interpretaties vatbaar is.
Deel 2
Helaas kiest CITO er voor om weinig transparant te zijn, dit bedrijf publiceert niet oude CITO-toetsen op een voor iedereen toegankelijke bron (i.t.t. de oude examens voor het voortgezet onderwijs die wel online worden geplaatst). Enkel zeer oude toetsen kan je inkijken wanneer je ze voor een exorbitant hoog bedrag koopt en dan moet je nog bereid zijn om via het internet iets te kopen. We moeten dus afgaan op die paar vragen die CITO wel publiceert en het lijkt mij een billijke veronderstelling dat ze hiervoor zeker niet de slechtere vragen zullen selecteren.
Ik heb dus bepaald geen goede indruk van CITO, om nog maar over de methode te zwijgen; ik zou graag zien dat er een veel grotere spreiding in moeilijkheidsgraad is tussen die vragen zodat de modale leerling hooguit 50% van de vragen correct beantwoord i.p.v. de modale leerling 75% van de vragen correct beantwoord. Daarnaast vind ik die schaal van 500-550 bedriegelijk: deze schaal wordt gebruikt (of misbruikt?) om het signaal te geven dat er je niet zou kunnen slagen of zakken (zelfs bij 0 correcte antwoorden krijg je nog 500 punten) maar in de praktijk worden de leerling en de ouders wel keihard afgerekend op de uitslag van die 160 meerkeuzevraagjes.
cricket, voetbal, biljart en hockey, in Banesh Hoffman (1962)
Wat hoort niet thuis in het rijtje: cricket, voetbal, biljart en hockey?
Dit is een vraag – uit een toelatingstest – waarover in 1959 een vrolijke discussie ontstond in The Times. Met de bespreking van deze absurde vraag begint Banesh Hoffman zijn (1962) boek The Tyranny of Testing. Greenwood Press, Publishers.
Een leraar legde de vraag voor aan leerlingen die juist een toelatingstoets hadden afgelegd (voor voortgezet onderwijs), met de vraag om het antwoord toe te lichten. De antwoorden: 17 keer biljart, 18 voetbal, 3 hockey, 1 cricket. De gegeven toelichtingen komen overeen met de mogelijkheden die de filosoof/vader in zijn ingezonden brief al opperde: zie hier [of zoek ‘The Tyranny of Testing’ in books.google.nl]
vv
Nog een filosoof liet weten:
Wat betekent dat het er bij de vier balsporten misschien duimendik bovenop ligt dat de vraag niet deugt (maar toch had een uitgever van psychologische tests er zijn reputatie aan verbonden), maar dat in beginsel bij dit type vraag ieder alternatief als de oddball is te rechtvaardigen.
Denk nu niet dat vragen van dit type alleen in intelligentietests voorkomen. Er is bijvoorbeeld een variant op ‘wat hoort in dit rijtje niet thuis’ in de bekende vorm ‘wat is de volgende term in dit rijtje?’ Een getallenvoorbeeld: 2, 5, 10, …. . In een wiskundetoets zou dit een blunder van jewelste zijn, maar hij wordt met regelmaat gemaakt. Het probleem is, jawel, dat ieder getal als vierde term is te rechtvaardigen; met andere woorden: deze opgave is geen wiskundeopgave.
Dit geval is m.i. vooral interessant omdat het indringend laat zien dat meerkeuzevragen leerlingen in onmogelijke posities kunnen brengen wanneer er niet de mogelijkheid is om het gegeven antwoord toe te lichten. Beter gezegd: ook goed ontworpen meerkeuzevragen kunnen leerlingen in het nauw drijven, zonder die mogelijkheid om het gegeven antwoord toe te lichten. Bedenk bovendien dat de eerder al genoemde creatieve leerlingen, of leerlingen die dieper in de stof zijn gedoken, niet eens hoeven te beseffen dat ze de keuze hebben tussen een ‘waarschijnlijk als goed bedoeld antwoord’ en een ander antwoord dat zij aantoonbaar beter vinden.