Kees Buijs van het Freudenthal Instituut verdedigde op 19 mei 2008 zijn proefschrift leren vermenigvuldigen met meercijferige getallen (download het proefschrift hier). De aankondiging van de promotie was al eerder hier op de BONsite te lezen. Ik heb het proefschrift inmiddels gelezen, hieronder mijn bespreking.
PPON
Zoals al vaak gememoreerd op de BONsite zijn de resultaten op het onderdeel `vermenigvuldigen van meercijferige getallen’ volgens het PPON onderzoek tussen 1997 en 2004 drastisch gedaald. Op paginas 94-99 gaat Buijs hierop in. Interessant is dat de drie opgaven over vermenigvuldigen van meercijferige getallen die op zowel PPON97 als PPON04 getoetst werden opgenomen zijn. Deze opgaven (ontdaan van hun context) met goed-percentage zijn:
- 38 keer 56: 75% 59%
- 23 keer 56: 77% 62%
- 25 keer 22: 86% 72%
Buijs analyseert ook de toetsboekjes om de strategie die leerlingen gebruiken om deze opgaven op te lossen te weten te komen. Van Putten deed eerder hetzelfde voor optellen in plaats van vermenigvuldigen.
Het experiment
Buijs is 1 van de auteurs van het rekenboek wis en reken. Zoals gebruikelijk in realistische rekenboeken worden daarin allerlei onderwerpen door elkaar behandelt. Buijs beschrijft de huidige behandeling van meercijferig vermenigvuldigen in wis en reken op paginas 72-74. Dit begint eind groep 5 en eindigt begin groep 7 (steeds slechts een deel van de rekentijd). Buijs verving het materiaal van begin groep 7 door nieuw materiaal en teste dit uit op 5 scholen. Dit waren in totaal 17 lessen van een half uur in de periode september tot en met december. Als belangrijkste meetinstrument werden 3 toetsen afgenomen (voorafgaand, halverwege en aan het eind van het traject). Opvallend is dat deze toetsen qua `gestripte opgaven’ identiek zijn (de contexten zijn anders, de getallen hetzelfde). Buijs schrijft hierover op pagina 130:
Doordat er steeds een periode van 6 tot 8 weken tussen de toetsafnamen lag, werd de kans dat leerlingen opgaven (cq. getallen) uit een vorige toetsafname zouden herkennen, minimaal geacht.
De toets is opgenomen als bijlage (paginas 357-359).
Op pagina 116 staat interessante informatie over de leerlingen in het experiment uit het leerlingvolgsysteem van het CITO. Dit geeft aan in hoeverre de experimentele populatie afwijkt van de Nederlandse populatie. Buijs is hier wat summier over, ik heb op internet flink wat moeten zoeken om de relevante informatie over de niveau-aanduidingen van het CITO leerlingvolgsysteem te achterhalen. Volgens het CITO is de bovenste 25% een A-leerling (27% in het experiment), de bovenste 50% een AB leerling (60% in het experiment), de bovenste 75% een ABC leerling (82% in het experiment), de bovenste 90% een ABCD leerling (97% in het experiment). Duidelijk is dus dat er teveel B-leerlingen in het experiment waren en te weinig E leerlingen, de leerlingen in het experiment zijn gemiddeld wat beter dan de hele Nederlandse populatie.
De resultaten van de toetsen staan op pagina 360-370. Op toets 1 is 47% van de antwoorden goed, op toets 2 is dat 65% en op toets 3 is dat 84%. Jammer genoeg krijgen we geen informatie per opgave.
Analyse
In de aankondiging van de promotie staat
Uit de testen bleek dat leerlingen die de experimentele leergang volgden aanzienlijk minder fouten maakten in de sommen dan op dit moment blijkens Cito-gegevens gebruikelijk is.
Deze conclusie is echter niet zomaar te trekken. Ten eerste zijn de opgaven op de toets uit het experiment anders dan die op PPON. Sommigen zijn soortgelijk, maar anderen zijn echt anders de PPON opgaven die Buijs eerder in zijn proefschrift bespreekt (bijvoorbeeld het vermenigvuldigen van 3 getallen, of de opgave 6 keer 25). Aangezien Buijs geen uitsplitsing maakt van de resultaten naar opgaven is dit verschil er voor de lezer niet uit te zeven. Als Buijs conclusies had willen trekken over de resultaten in zijn experiment en die van PPON, dan had hij simpelweg de leerlingen de PPON opgaven voor kunnen leggen. De andere bezwaren blijven dan geldig, maar dit eerste bezwaar niet. Ten tweede is de toetssituatie verschillend: een toets speciaal over meercijferig vermenigvuldigen direct na instructie daarover versus een toets over alle basisschoolstof aan het eind van de basisschool. Ten derde, enigzins aansluitend op het vorige, werd de toets gemaakt door dezelfde persoon die het onderwijs ontwierp. Dat geeft vrijwel onvermijdelijk een betere aansluiting tussen onderwijs en toets dan bij PPON. Ten vierde zijn zoals boven genoemd de leerlingen in het experiment volgens het CITO leerlingvolgsysteem gemiddeld beter dan de PPON populatie.
Waarom Buijs niet ook een controle groep heeft gebruikt in zijn onderzoek is een raadsel. Waarom niet een vijftal andere scholen eenzelfde aantal lessen laten werken uit een klassiek rekenboek en de resultaten op de toetsen vergelijken?
Is dit een doctorstitel waard
Eerst maar de kwantiteit. Buijs heeft 392 paginas volgeschreven, dus lijvig is het wel. Maar als je daadwerkelijk kijkt naar wat het onderzoek nu eigenlijk behelst (17 lessen van een half uur voorbereiden, een toets maken (in 3 verschillende vormen) en de uitkomsten daarvan analyseren), dan is het wel erg mager. Natuurlijk was er ook een literatuurstudie en waren er wat voorgesprekjes, maar ook dat geeft het onderzoek niet genoeg bulk.
En dan belangrijker: de kwaliteit. Zoals gezegd, er is geen controlegroep en een goede vergelijking met PPON wordt ook al niet gemaakt. Dit is niets anders dan een gebrekkige onderzoeksopzet. Dus ook qua kwaliteit is het proefschrift erg mager.
Conclusie: geen doctorstitel waard, als ik de examinator was dan had ik de promovendus tenminste teruggestuurd voor aanvullend experimenteel onderzoek. Zoiets valt de promotor (in dit geval Gravemeijer) en de universiteit (in dit geval die van Utrecht) te verwijten, niet zozeer de jonge doctor.
De wiskunde
In het bovenstaande ging het eigenlijk alleen over methodologie, over meercijferig vermenigvuldigen heb ik het eigenlijk niet gehad. Dat nu dus maar.
Buijs onderscheidt 10 strategieen (pagina 208-215), waarvan het verschil niet altijd even duidelijk is. De voorkeursstrategie die Buijs aan probeert te leren is S1 (splitsen van het eerste getal). Op pagina 211 geeft Buijs 3 voorbeelden van S1 bij de som 24×68 (van minder geavanceerde vorm naar meer geavanceerde vorm): 10×68+10×68+2×68+2×68, 10×68+10×68+4×68, 20×68+4×68. De leerlingen worden geacht boogjes te gebruiken om aan te geven welke dingen ze bij elkaar op gaan tellen. Als je zoiets gaat doen bij grotere getallen, dan wordt het al gauw een warboel (maar natuurlijk komen getallen van meer dan 3 cijfers niet voor in het onderzoek van Buijs…).
Verder is opvallend dat Buijs schrijft dat leerlingen wanneer ze een som te zien krijgen deze veelal formeel op proberen te lossen. Voor optellen en aftrekken zijn ze al tot dit formele niveau gekomen en blijkbaar is het voor hen natuurlijk om een som als 24×35 gewoon als iets kaals te zien, zelfs al is het ingebakken in een context en al heeft de onderzoeker er een mooi plaatje bij. Wat velen dan wel verkeerd doen is 24×35 op proberen te lossen als 20×30+4×5 (verkeerd splitsen noemt Buijs dit). Buijs dwingt hen om op een laag abstractieniveau (cirkeltjes zetten in de tekening) te gaan werken, terwijl een uitleg van de distributieve wet waarschijnlijk meer op zijn plaats is. Buijs zondigt hier tegen zijn eigen regel: aansluiten op wat leerlingen uit zichzelf doen.
Het
jeukt me zo.