Cito bepaalt niet wat goed onderwijs is

Herman Wieberdink en Heleen Kuster schrijven in De Volkskrant (6 juni) een pittig stuk tegen de invloed die het Cito zich heeft verworven op de inhoud van het basisonderwijs, met de kennelijke steun van de Inspectie. Er is geen woord Spaans bij, twintig vingers op hele zere plekken. Zie hier het artikel. De koppensneller van de Volkskrant heeft er een merkwaardige kop boven gezet, maar de bedoeling is wel duidelijk: het Cito bepaalt tegenwoordig wat goed onderwijs is, en dat is bepaald niet de bedoeling van de rest van Nederland.
    Voorbeeld, en link naar het alarmerende rapport van het CPB over rekenen en wiskunde (blog 7723): het Cito toetst geen basale rekenvaardigheden in de Eindtoets Basisonderwijs, evenmin in het leerlingvolgsysteem (de nieuwe editie van dat systeem repareert dit manco, maar het gaat nog jaren duren voordat dat is uitgerold t/m groep 8).

Het handelen van de Inspectie, zoals Wieberdink en Kuster beschrijven, overzie ik niet, maar uit tal van snippers van berichten heb ik wel de stellige indruk dat daar een ernstig probleem zit.

Het Cito splitsen, lijkt me: het marktmonopolie afbreken (of anders maar nationaliseren). Beatrix vindt vast wel een andere bestemming voor dat nieuwe gebouw.

Op het forum van BON is al veel aandacht besteed aan de Cito Eindtoets Basisonderwijs, de kwaliteit van de toetsvragen, en de invloed van deze toetsing op het onderwijs. Het is zeker van belang om er eens stevig tegenaan te gaan. Als de Onderwijsraad dat niet doet (en dat ziet er niet naar uit, gezien de mogelijkheden die raadslid Lex Borghans voor toetsen ziet, in Economisch Statistische Berichten, en in deze blog op onderwijseconomie.org), dan moeten we het zelf aanpakken. Ik heb al een begin gemaakt (maar eerste even het rekenonderwijs op orde brengen 🙂 zie hier

Aleid Truijens ziet het anders: Cito-toets is voor veel kinderen hun redding. in haar column ‘ijs & weder’ in de Volkskrant. Tegenspraak brengt leven in de brouwerij. Ik zie wel dat Aleid boos is, maar ik zie ook stromannetjes in haar verhaal (daar kun je goed naar uithalen). Aleid schetst een gruwelbeeld tegenover het gruwelbeeld dat zij Wieberdink en Kuster aanwrijft. Ik heb Wieberdink en Kuster nog eens teruggelezen, en ja hoor: het is een prima stuk, met terechte analyses. Hoe gaat dat: ik ben toetsgek, en weet ondertussen wel hoe overtrokken verwachtingen van het heil dat toetsen brengen, het onderwijs in de soep kunnen laten draaien. Wieberdink en Kusters besluiten hun stuk met een pleidooi voor toetsing aan het eind van het bo op fatsoenlijke absolute niveaus van beheersing van rekenen en taal. Gezien het broddelwerk dat de werkgroep-Van Streun heeft opgeleverd — de referentieniveaus rekenen, inmiddels tot wet verheven — en de sectarische rekentoetsen zoals die dreigen te worden opgelegd aan het vo, gaat van die wens voorlopig niets terecht komen. Maar dat is dan ook precies om de redenen die Wieberdink en Kusters in hun stuk hebben aangegeven (vervang Cito door commissie-Meijerink en Toetswijzercommissie-Schmidt, enzovoort).

• Lex Borghans (2011). Meer en betere toetsen en het delen van de uitkomsten verbeteren het onderwijs… ESB 96(4604) 18 februari 2011 p. 116. pdf

Lex Borghans schrijft hier over de mooie dingen die met toetsen mogelijk zouden zijn, landelijke toetsen, en dan vooral toetsen die de enorme mogelijkheden van de huidige ICT gebruiken. Aan dergelijke ingrepen zijn toch ook nadelen verbonden, maar die blijven buiten beschouwing. Zijn betoog heeft op deze punten een weerwoord nodig. Maar Borghans geeft ook aandacht aan economische zaken, en is dan op eigen terrein:

• Momenteel wordt de Cito-toets uitgevoerd door een privaat bedrijf dat ook als enige voor innovatie kan zorgen. Beter zou zijn om de toets onder te brengen bij een publieke organisatie en de gegevens toegankelijk te maken voor onderzoeksorganisaties en onderwijsontwikkelaars.

Dat lijkt me een prima idee, maar ja, ik ben geen econoom.

Het artikel vermeldt dat Borghans hoogleraar is. Daar is meer over te melden: hij is lid van de Onderwijsraad (zijn opinie is dus niet vrijblijvend of persoonlijk, hij staat ongetwijfeld open voor discussie, en die discussie is van groot belang gezien bv. de plannen van Van Bijsterveldt zoals onlangs ontvouwd: meer toetsen en volgen), hoogleraar arbeidseconomie en sociaal beleid aan de Universiteit Maastricht (gaat niet over beoordelen en toetsen in zin waarover hij er in ESB over spreekt, maar ik ben benieuwd naar de raakvlakken), verbonden aan het Research Centrum voor Onderwijs en Arbeidsmarkt (gaat niet over onderwijs, toetsen en examens als zodanig, maar wel over de aansluiting onderwijs-arbeidsmarkt, dus de aansluiting reken- en wiskundeonderwijs op wat de samenleving vraagt: het gat van zes miljard, zie blog 7723).

Voor de door Borghans niet genoemde nadelen van al dat getoets: zie nu juist het stuk van Wieberdink en Kuster. In ESB reageert Jack Biskop op het artikel (zelfde pdf). Hij is onderwijswoordvoerder van de CDA-fractie van de Tweede Kamer.

Het stuk van Wieberdink en Kuster lokt mij niet tot tegenspraak uit; ik zou het hier en daar iets kunnen aanscherpen, maar dat is weinig opportuun. Laat ik volstaan met een verwijzing naar de studie van Ellen Condliffe Lagemann (2000). An Elusive Science: The Troubling History of Education Research. University of Chicago Press. Zij laat zien hoe begin 20e eeuw in de VS het makkelijk en goed geld verdienen door studietoetsen op de markt te brengen, de ontwikkeling van een volwassen onderwijswetenschap in de kiem heeft gesmoord.

Het stuk van Borghans is een uitdaging. Het vraagt om tegenspraak omdat aan alle mooie dingen die denkbaar zijn met toetsen en volgsystemen ook schaduwzijden en kosten zitten. Hij zal dat onmiddellijk toegeven, en misschien is het dan interessanter om de volgende positie te betrekken: De mooie dingen die met toetsen en volgsystemen kunnen, bestaan al langer, en de vraag is dus: waarom is al dat moois niet al veel eerder binnengehaald? Of is dat een onterecht pessimistische visie? Mijn vermoeden is, en dat zal ik proberen uit te werken, dat de geschiedenis van het beoordelen in het onderwijs voldoende lessen in zich bergt, om daar ook de situatie van nieuwe ontwikkelingen in ICT mee te kunnen analyseren en aanvatten.

Ik wil aan de hand van een enkele uitspraak in de eerste sectie van het artikel van Borghans mijn probleem met deze uiteenzetting exemplarisch duidelijk maken. Het gaat over de Cito Eindtoets Basisonderwijs, op dit moment onderwerp van ingrijpen (belangrijker maken, verplichtend) door de minister van onderwijs.

• Deze objectieve informatie is ook van belang bij de vroege
  selectie van leerlingen in vwo, havo en vmbo.

De informatie uit de Citotoets is niet objectief. Ik heb dat in 1977 ten overstaan van ongeveer de hele staf van het Cito aangetoond in deze ORD-voordracht, toegespitst op de vermeende objectiviteit van de meerkeuzevraag (maar eenzelfde betoog is ook voor de toets in zijn geheel te houden, precies het thema dat Wieberdink en Kuster aansnijden): iedere keuzevraag is in zijn verwoording enzovoort een subjectieve keuze van de ontwerper, inclusief de aanwijzing welke van de vier alternatieven — het moesten in die tijd altijd vier alternatieven zijn — als het meest juiste een punt oplevert; in de VS heet deze pseudo-objectiviteit van de keuzevraag frozen subjectivity — machinaal te scoren, dat wel, maar of dat zo geweldig is wil ik bestrijden. (Het Cito heeft er zijn voordeel mee gedaan: het viel van zijn geloof in de meerkeuzevraag af, en kon zo de eindexamens vo gaan verzorgen zonder dat dwangbuis van keuzevragen).
    Belangrijker is het volgende: waarom is het een zegen voor Nederland dat de Citotoets van belang is bij de vroege selectie van 12-jarigen? Is die vroege selectie een goede zaak, dan? Het ontwerpprincipe is niet wat toetsen voor het onderwijs kunnen doen, maar wat het onderwijs nodig heeft aan vormen van evaluatie; of er dan een noodzaak is voor zoiets als een Citotoets is een afgeleide kwestie. De preoccupatie van A. D. de Groot, en velen met hem, in de zestiger jaren was dat oordelen van hoogleraren en onderwijzers subjectief waren, en die handige keuzetoetsen uit de VS zouden dat probleem helpen oplossen. Of ze dat de facto ook hebben gedaan, waag ik te betwijfelen: die schoolhoofden waren helemaal niet zo subjectief in hun adviezen; sociale mobiliteit was groot, ook zonder Amsterdamse schooltoets. Of de Citotoets nuttig, nodig en belangrijk is, is een empirische vraag, en staat niet los van kwesties rond de inrichting van ons onderwijsstelsel.

In de volgende sectie gaat Borghans in op wat hij als nadeel van de Citotoets ziet: dat vroege versus late leerlingen kennelijk ongelijk worden behandeld. Dat is overigens geen probleem dat kleeft aan de Citotoets, maar dat terzijde. Het is een ernstig probleem, niet alleen in jeugdsporten met hun talentscouting, maar eerst en vooral in het onderwijs, en het is al heel lang bekend: K. Doornbos (1971). Geboortemaand en schoolsucces. Wolters-Noordhoff. Dit is een proefschrift dat destijds een uitgebreide pers heeft gehad. OCW heeft alle gelegenheid gehad om met dit onderzoek het nodige te doen: Doornbos heeft op het departement een adviesfunctie gehad. Het is goed dat Limburg het fenomeen opnieuw onderzoekt. Hopelijk heeft Paul Jungbluth naast de Citotoets ook de intelligentietest van het Cito af kunnen nemen bij de 11-12 jarigen: ik ben razend benieuwd of er wel verschillen zijn tussen Cito intelligentietest en Cito Eindtoets Basisonderwijs.
    Het punt is eenvoudig dit: de beschikbaarheid van onderzoeks-, toets- en volgsysteemresultaten betekent niet dat er dan ook iets met die resultaten wordt gedaan. Dat is in het verleden zo geweest, dat is vandaag zo, en dat zal morgen zo zijn. Een belangrijke verklaring daarvoor is dat dergelijke resultaten zelden concrete aanwijzingen bevatten over hoe het onderwijs dan valt te verbeteren. Vergelijk het resultaat van decennia lang afnemen van docentenvragenlijsten aan de VU: de resultaten daarvan zijn niet benut voor onderwijsverbetering (proefschrift Wim van Os).

[Ik heb Lex Borghans op de hoogte gesteld van deze blog.]

De Voorzitter Raad van Bestuur Cito spreekt zich uit

Marten Roorda (Member of the Board, ROC Rijn IJssel) bekleedt die functie, en hij reageert in De Volkskrant (11 juni, p. 31) op Wieberdink en Kusters: hij biedt de auteurs een bijscholingscursus Toetsen op School aan. Tijd om eens op te stappen, Roorda. Overigens staat dit stukje gelikt proza los van de werkelijkheid, inclusief de bekende riedel dat de Cito Eindtoets Basisonderwijs natuurlijk niet is bedoeld voor oneigenlijk gebruik. Waar ging dat stuk van Wieberdink en Kuster ook alweer over? Roorda had deze auteurs juist als bondgenoten in de strijd tegen oneigenlijk gebruik kunnen omarmen. Toch?
    Roorda werpt ver zich dat er symbiotische samenwerking met de Inspectie zou zijn. Ik weet dat nog niet zo net: het gaat bij de Citotoets om complexe psychometrische en data-technische zaken, waar het Cito het monopolie op de betreffende informatie heeft. Een voorbeeld daarvan , in het geval van de eindexamens vo, is de symbiotische samenwerking met het College van Examens (CvE, v/h CEVO), zie daarvoor deze audit over de normering. Is dat al eens op het forum ter sprake gekomen? Ook: Cito/CvE Toetsspecial Normering bij de centrale eindexamens in het voortgezet onderwijs. website.
    De functie van Roorda is natuurlijk om het Cito onmisbaar te maken. Natuurlijk, er kan van alles met toetsen, maar moeten we ook willen wat kan, en hebben we daar het Cito voor nodig? Hoe deden we het in Nederland ook alweer voordat het Cito werd opgericht door A.D. de Groot? Ik kan me natuurlijk vergissen, maar de volgende uitspraak van Roorda lijkt me toch onmogelijk mis te verstaan: het Cito wil zich vergaand bemoeien met het onderwijs.

• Marten Roorda (2011). Introductie. In Piet Sanders (Red.) Toetsen op school. Cito \ Corporate. pdf
  • “Wat ook allemaal de gevoelens mogen zijn, objectief beschouwd vormen schooltoetsen een essentieel en onmisbaar onderdeel van het onderwijssysteem. Het leerproces kan alleen dan goed en succesvol worden ingericht als er een degelijk evaluatieproces aan is gekoppeld. Dat is noodzakelijk om de vorderingen van individuele leerlingen te volgen – maar minstens even belangrijk om de docent, de school en de methode te evalueren. Toetsen zijn bovendien nodig om het onderwijssysteem van een land te peilen en te vergelijken met andere landen.”

Op zijn minst heeft promotieonderzoek van Cor Sluijter (1998) laten zien dat meer toetsen niet vanzelfsprekend ergens goed voor is (zie hierbeneden).

Een probleem van vergelijkbare orde is de computerisering van de examens zelf. Zie de aanbesteding van examensoftware door het CvE daarvoor. Voor wie de gevaren hiervan niet onmiddellijk ziet: een mega-investering is examensoftware legt ipso facto een reeks van randvoorwaarden vast waarbinnen de examinering plaatsvindt, randvoorwaarden die uit hun aard wezensvreemd zijn aan het examineren. Een voorproefje heeft Nederland al meegemaakt bij de start van het Cito: in de eerste jaren werd Nederland wijsgemaakt dat de enige goede toetsen keuzetoetsen zouden zijn, en de enige goede keuzevragen zouden vierkeuzvragen zijn (persoonlijke mededeling van A. D. de Groot; hij heeft mij toestemming gegeven deze te gebruiken). Destijds heeft De Groot, pleitbezorger van de forum-gedachte, dit leugentje-om-bestwil gebruikt om het werk van het Cito niet nog eens extra ingewikkeld te maken door allerlei andere vraagvormen ook toe te staan. En verdomd, de Cito Eindtoets Basisonderwijs bestaan nog steeds louter uit meerkeuzevragen. Door dat feit alleen al, worden zeer veel leerlingen benadeeld: tijd om daar eens parlementaire vragen over te stellen.

Literatuur

• Cor Sluijter (1998). Toetsen en beslissen: Toetsing bij doorstroombeslissingen in het voortgezet onderwijs. Proefschrift Universiteit van Amsterdam. pdf
  • Dit gaat exact over het idee dat toetsen helpen bij het nemen van beslissingen, in dit geval doorstroombeslissingen na het derde leerjaar. Daar zijn voor dit project speciale toetsen voor ontwikkeld. Uit de samenvatting:
     
    “De resultaten van een onderzoek naar de rol van toetsen bij determinatiebeslissingen maken duidelijk dat niet verwacht mag worden dat het ter beschikking stellen van de instrumentaria grote invloed uit zal oefenen op doorstroombeslissingen aan het einde van het derde leerjaar havo en vwo. Bovendien geeft het onderzoek aan dat scholen bij het gebruik van de instrumentaria naar alle waarschijnlijkheid hun leerlingen niet massaal het voordeel van de twijfel zullen geven, of juist zullen laten doubleren of afstromen.”

  • ps: Cor Sluijter is nu directeur Beroepsonderwijs en bedrijven van het Cito, en voorzitter van de Nederlandse Vereniging voor Examens. In het meinummer van Examens, Tijdschrift voor de Toetspraktijk waarschuwt hij voor de overtrokken verwachtingen over meer selectie aan de poort: “Wijs geworden door allerlei onderzoeksresultaten durf ik er het nodige om te verwedden dat het werken met extra voorspellers als intaketoetsen, uitkomsten van intakegesprekken, motivatiebrieven, of intelligentie- of persoonlijkheidstests niet of nauwelijks zal leiden tot betere voorspellingen.”

Het Cito is ook verantwoordelijk voor de rekentoetsen voor de Pabo. Zie bv het kritische stuk van Dap Hartmann (2006) (TU Delft) over de kwaliteit van de opgaven in die toets hier

Anna Bosman (2011). Interview door Ciska de Graaff. Schooljournaal, 14-15. PDF

• “Hoogleraar Bosman: ‘Handelingsplannen? Zonde van de tijd!’”

Al die informatie uit leerlingvolgsystemen en wat niet al? Hoe geavanceerder je die systemen maakt, toetstechnisch en qua ICT, des te gecompliceerder de resultaten die ze ophoesten. Dan wordt het vanzelf zonde van de tijd, omdat de leerkracht al die informatie onmogelijk kan omzetten in didactisch handelen. En hoe zou dat moeten, ook al zou er een zee van tijd zijn? En zou het resultaat beter zijn dan onder het door Anna Bosman voorgestane nuchtere vakmatige leraarschap?