Vanmorgen een bericht over rekenonderwijs op de hoofdpagina van BBC news. Strekking: onderzoek toont aan dat het niet zo belangrijk is om de tafels te kennen (dit herkennen wij uit de Nederlandse rekendiscussie).
De enige verwijzing is naar een studie van Richard Cowan die vandaag daarover een presentatie geeft op een onderwijsconferentie. Dus ben ik naar de site van die conferentie gegaan. Dit is niet 1 van de ‘keynote lectures’, maar een 20 minuten praatje in een parallele sessie. Je moet naar de pdf-versie van het programma om deze te kunnen vinden. Op zich niet erg natuurlijk. Maar mijn interesse was vooral om de inhoud van die presentatie te vinden. Helaas, de conferentie publiceert de artikelen niet. Ze doen wel de suggestie om artikelen in een speciaal online archief te plaatsen, maar dat heeft deze Richard Cowan niet gedaan voor dit artikel (wel voor een artikel uit 2009). Heeft Richard Cowan het artikel op zijn eigen website gezet? Nee, ook niet. Er is dus geen mogelijkheid voor mij om zijn conclusies na te lopen. Dat hebben de reviewers van de conferentie overigens ook niet kunnen doen: volgens de peer review gegevens op de website van de conferentie gebeurde de peer review op basis van een abstract van maximaal 400 woorden (het nieuwsartikel van de BBC is langer).
Zo komen ‘onderzoek toont aan dat’ fabeltjes dus bovendrijven.
Het rapport van Richard Cowan
. . . kun je hier ophalen. Weinig tekst.
8- en 9-jarigen
Dit gaat over groep 5 en 6.
De hamvraag is: kun je goed het leven door zonder eenvoudige rekenfeiten paraat te hebben? Lijkt me niet.
Een kort rapport is hier op te halen.
Don’t follow Richard. Hij zegt bijvoorbeeld het volgende
Conceptual knowledge plays more of a part in developing fluency in simple calculation than advocates of learning facts by memorizing tables would expect.
daarmee suggererend dat er een volksstam in Engeland rondzwerft voor wie de alfa en omega van rekenonderwijs bestaat uit het stampen van de tafels. Het bekende type drogreden waar de Freudenthal tot en met de dag van vandaag in grossiert.
Incomplete knowledge of number facts is not the barrier to success in mathematics it is often believed to be.
Onze vriend Richard heeft dat inderdaad onderzocht, maar zijn follow-up was niet langer dan één jaar. Het is van de gekke om dan een formulering te gebruiken zoals hier geciteerd. Dat journalisten van de BBC helemaal van de kook raken als ze dit lezen, deugt natuurlijk ook niet.
Nevertheless, the current English National Curriculum goal for knowledge of addition and subtraction facts was achieved by none of the 259 children when they were assessed either in Year 3 or Year 4.
Ja, dat is dan wel weer mooi. Dat is vaker zo met standaarden en referentieniveaus die los van enige empirische toetsing door commissies zijn opgesteld (zie blog 7883 van Joost Hulshof )
Despite ignorance of many facts, their mathematical achievement was slightly above average.
Ja, het gaat dus ook om wereldschokkende grootte van effecten. Mogelijk niet eens statistisch significant? (dit korte rapportje meldt niets om de kritische lezer houvast te geven bij het interpreteren van wat de onderzoeker denkt dat dit onderzoek heeft opgeleverd).
Richard Cowan: artikel in Journal of Educational Psychology
Over het betreffende onderzoek is een artikel in druk in het triple-A tijdschrift JEP.
Cowan, R., Donlan, C., Shepherd, D.-L., Cole-Fletcher, R., Saxton, M., & Hurry, J. (2011, July 18). Basic Calculation Proficiency and Mathematics Achievement in Elementary School
Children. Journal of Educational Psychology. Advance online publication. doi:
10.1037/a0024556
abstract, persbericht.
Het artikel is in universiteitsbibliotheken te downloaden, maar overigens niet vrij beschikbaar.
Het artikel bevat alle nodige informatie om de geclaimde resultaten te kunnen controleren. Dat is een hoop werk, dat ga ik niet doen. Omdat Cowan en zijn mede-auteurs zich uitspreken over reken-controversiële zaken, zal ik op deze punten het artikel met rode oortjes lezen, en er verslag van doen.
Dank Ben
Dat persbericht en artikel kon ik vanochtend nog niet vinden.
In dit geval ging het mij vooral om de BBC die controversiele uitspraken zonder duidelijke onderbouwing prominent brengt.
Cowan
Ik heb het artikel van Cowan nu gelezen. De teneur van het BBC artikel wordt op geen enkele manier ondersteund door de feiten in het artikel.
Eerst een terzijde. Cowan noemt weten dat 7+5=12 ‘rote memorization’, maar het opnoemen van de getallen van 25 tot 32 heet ‘conceptual knowledge’. Vreemd.
Op pagina 12 schrijft Cowan naar aanleiding van de statistische analyse:
The direct path between basic calculation proficiency and math achievement was still significant despite mediation effects involving number system knowledge, oral language, and WM VSSP.
Volkomen in tegenspraak met de teneur van het BBC artikel.
Op pagina 13 staat iets dat wel in lijn is met wat hij in het BBC artikel zegt:
We find that math achievement is not compromised by imperfect knowledge of basic calculation solutions.
Hier staat verder geen uitleg bij, maar hij lijkt erop te doelen op wat op pagina 12 staat:
The sample as whole showed math achievement in Grade 3 that was slightly superior to age-based norms: The mean standard score for the WIAT Math Composite in Table 1 is more than 100.
Maar dat is niet verrassend aangezien op pagina’s 3 en 4 staat:
Both measures indicated that the sample was less deprived than England as a whole. […] Inspection of the distributions showed that few children (6.8%) lived in the lowest 40% of English neighborhoods. […] Achievement was much above the national average in three schools, at the national average in one school, and below the national average in the fifth. The school whose achievement was below the national average was attended by only 5% of the sample.
Dus dat deze gepriviligeerde leerlingen slechts ‘slightly superior to age based norms’ zijn lijkt mij eerder een reden voor zorg dan voor vreugde.
Op pagina 15 gaat Cowan nog wat verder:
It is important to emphasize that our results do not prove that the route to higher attainment in math is through developing basic calculation proficiency. The opposite relation may well obtain [ik denk dat hij hier ‘be true’ en niet ‘obtain’ bedoelt].
En dan volgt een verhaal waarom dat dan zo zou zijn. Op pagina 15 is hij blijkbaar vergeten dat hij op pagina 14 schreef
In considering the interpretation of these results we must caution readers that this is essentially a correlational study and therefore equivocal about causality.
Dit is echt BAGGER. Als dit ’triple A’ psychologie tijdschrift materiaal en waardig voor vermelding op de voorpagina van de website van de BBC is….
Ik mag van de psychologen op dit forum . . . .
Mark,
Ik heb het idee dat je kritiek op deze psychologen (Cowan en zijn team, de referenten, en de redactie van het tijdschrift) terecht is.
Nu valt er op ieder gerapporteerd onderzoek wel het een en ander aan te merken, op zich is dat niet opmerkelijk. Maar in dit geval gaat een zwak onderzoek (er is niets experimenteels aan, zoals Cowan c.s. zelf ook opmerken, zodat er geen conclusies over enig oorzakelijk verband vallen te trekken) samen met een slordige opzet (kletsika over drie modellen) en een discussie (de laatste alinea’s) die afdwaalt van wat is onderzocht.
Het zou mij een dag kosten om alle details in dit artikel door te spitten, als het niet meer is. Ik moet het dus doen met een eerste indruk op basis van diagonaal doornemen van de conclusies en discussie. Het is allemaal nietszeggend, en niet alleen omdat je hier niets mag interpreteren als oorzakelijk gevolg van wat dan ook. Trivia en open deuren, vooral.
Merk op dat Cowan c.s. aan de hand van de statistische analyses over een hele zooi aan verzamelde data, niet tot enige strakke analyse kunnen komen die iets zegt over het leren rekenen, laat staan over de controverse van de rol van het automatiseren van basisvaardigheden daarin.
Niet alleen is het psychologisch allemaal oninteressant, rekendidactisch bekeken kan ik er ook niets mee.
Zullen we bij de triple-A status van het Journal of Educational Psychology maar een minnetje zetten?
[Ik annoteer het artikel, maar ben even vastgelopen in de bagger in de eerste sectie:
www.benwilbrink.nl/projecten/optellen.htm#Cowan]
meneer Cowan, een psycholoog?
Ik heb altijd het idee dat psychologen vooral neuroses en frustraties willen voorkomen. Het aanleren van nuttig gereedschap, waarbij duidelijk foute en goede antwoorden te onderscheiden zijn, zou dan misschien wel te veel frustratie-momenten opleveren?
‘Leren moet spelen zijn’; een oud idee dat al in 1931 door een staatscommissie in Engeland werd gepropageerd.
Ik vraag mij af of een psycholoog de meest geschikte persoon is om een oordeel te geven over het nut van vaardigheden. Want een ding staat wel vast: het rekenonderwijs wordt voor een leerling nog veel lastiger en gecompliceerder als hij de tafels van vermenigvuldiging niet uit z’n hoofd heeft geleerd. Dan moet elke oplossing van een som van de bodem af steeds weer helemaal opnieuw worden opgebouwd. Dan wordt het uitrekenen van iets moeilijker sommen, vooral voor de gemiddelde leerlingen en de zwakkere leerlingen, een buitengewoon frustrerende bezigheid.
Het antwoord van zulke vernieuwers? Niet zoveel eisen stellen aan het rekenonderwijs.
Een fundament wordt weggehaald en de bedoeling daarvan schijnt te zijn dat het hele gebouw maar moet worden neergehaald.
Als kinderen de voorkeur geven aan bouwvallige hutjes, moeten zij daarin niet belemmerd worden. Aldus dergelijke sentimentelen.
Waarom heeft een sentimenteel ideaal de status van wetenschap??
Van de bodem af opbouwen
Dat van de bodem af opbouwen van de oplossing van iedere som noemen de vernieuwlers ‘inzicht’ en dit is hun heilige graal. Dat dit bij wat geavanceerdere wiskunde of rekensommen volkomen onmogelijk is, dat lijken ze niet te snappen. Maar goed, deze psycholoog lijkt dan ook niets van wiskunde te weten. Hoe zouden de psychologen reageren wanneer ik als wiskundige ze ga vertellen hoe psychologische consultaties plaats moeten vinden of hoe psychometrische testen samengesteld moeten worden?
Re: Van de bodem af …
Ik heb een antwoord op de laatste vraag van Mark.
Ik zou het toejuichen wanneer een wiskundige zich eens zou uitspreken over door psychologen toegepaste statistieken en modellen (testconstructie; Pisa, TIMSS en Cito met hun IRT; significantietoetsen; factoranalyse, etc.). Sterker, ik heb daarom een paar keer op dit forum gevraagd maar nooit enige reactie gekregen.
Nu zijn er gisteren en eergisteren enige bijdragen verwijderd en dus is ook Mark’s verwijzing naar ene Rink (de Vries??) verdwenen. Kan die verwijzing naar deze psycholoog nog een keer worden geplaatst?
Willem Smit
Willem Smit
Hoekstra
Het is Rink Hoekstra, een psycholoog die gekeken heeft naar statistische fouten gemaakt door (Nederlandse) psychologen. Ik heb het proefschrift overigens niet gelezen (en statistiek is niet mijn deelgebied van de wiskunde).
Sander Nieuwenhuis
Nog een artikel over statistische fouten gemaakt door psychologen (nou ja, ‘neuroscience’). In dit geval een hele specifieke statistische fout die in de helft van de gevallen waarin hij gemaakt kan worden gemaakt worden door de onderzochte onderzoekers. Zie de column van Ben Goldacre in de Guardian.
alweer die psychologen?
Heb je de laatste alinea van Ben’s column gemist, Mark?
Is het je niet opgevallen dat Nieuwenhuis cs. die op de fout wijzen psychologen zijn?
Heb je de reacties volgend op Ben’s column gemist?
Deze ondermeer?
I must defend ‘psychology’ here.
Psychologists are very fond of using analysis of variance (ANOVA) on their data sets. If they did an experiment with the structure of the experiment described here, ANOVA would be an obvious choice. There two independent variables – mouse Type with two ‘levels’ (mutant and normal), and drug Dosage with two levels (present and absent) – and one dependent variable (firing rate).
If you threw an ANOVA at an experiment like this in which there are 4 experimental ‘conditions’ (2 Types x 2 Dosages), you would get statistics for the effects of each independent variable on the dependent variable (the effect of Type and the effect of Dosage) and for their interaction (does Type influence the effect of Dosage?). A statistically significant interaction would tell you whether or not you could conclude that Type influences the effect of Dosage, further analysis of the interaction would then allow you to conclude exactly how Type influences Dosage.
This sort of thing is absolutely routine at undergraduate level in psychology and I know of no psychologists who are not completely familiar with it. I must conclude that the sort of error described here is restricted to a type of behavioral scientist who is not trained in experimental psychology.
Willem Smit
Papieren versie
Ik had de papieren versie gelezen Willem en daarom niet het online artikel bekeken anders dan om de link te vinden.
Dan over psychologen en neuroscientists. Bijvoorbeeld in Leiden is de masteropleiding cognitive neuroscience een specialisatie binnen psychologie.
Dan de reactie op de column van Ben Goldacre die jij noemt. Bijkijk het proefschrift van Rink Hoekstra. Training in experimentele psychologie heeft de daar onderzochte psychologen blijkbaar niet goed geholpen.
re Papieren versie
Maar inmiddels weet je toch dat ” the Nieuwenhuis study looked specifically at neuroscience papers, not psychology research”. ?
Je schrijft: “Bijvoorbeeld in Leiden is de masteropleiding cognitive neuroscience een specialisatie binnen psychologie.”
Jawel, maar waar slaat dat op?
Cogntitieve neurowetenschappen is de inbreng van de psychologen in de neurowetenschappen waaraan in Leiden ook de faculteit Wis- en Natuurkunde meedoet. het LIBC
Nieuwenhuis is als psycholoog gepromoveerd op een onderwerp uit de neurowetenschappen, werkt aan het LIBC en mikt met zijn kritiek expliciet niet op psychologen.
Willem Smit
Expliciet niet op psychologen?
Willem, jij vroeg naar analyses van statistische fouten gemaakt door psychologen. Het proefschrift van Hoekstra gaat precies daar over. Het artikel van Nieuwenhuis gaat zoals ik in mijn orginele post duidelijk aangaf over neuroscience, maar dat vakgebied heeft een duidelijke overlap met psychologie. Op het bestaan van die duidelijke overlap doelde ik met mijn latere verwijzing naar die masteropleiding cognitive neuroscience binnen psychologie in Leiden. Jij schrijft ‘Cogntitieve neurowetenschappen is de inbreng van de psychologen in de neurowetenschappen’ en gaat daar dus mee akkoord. Vervolgens schrijf je echter ‘[Nieuwenhuis] mikt met zijn kritiek expliciet niet op psychologen’. Dat is onjuist. Dat staat nergens in het artikel (de enige keer dat het woord ‘psychology’ of aanverwanten voorkomt in het artikel van Nieuwenhuis is in de affiliatie van Nieuwenhuis). Wel staat expliciet in het artikel van Nieuwenhuis:
We reviewed 513 behavioral, systems and cognitive neuroscience articles.
Inclusief cognitive neuroscience dus wat volgens jou ‘de inbreng van de psychologen in de neurowetenschappen [is]’. Nieuwenhuis zegt dat deze specifieke statistische fout vooral voorkomt in neuroimaging (maar geeft alleen een verwijzing naar anderen en geen statistieken voor deze bewering), maar expliciet niet dat het in ‘cognitive neuroscience’ niet voorkomt.
Overigens een voor onderwijs interessant aspect is een voorbeeld dat Nieuwenhuis geeft: het afnemen van een pre-test en een post-test bij een controle groep en een experimentele groep en concluderen dat het experiment werkt omdat er geen significant verschil is op de pre-test maar wel op de post-test. Ik heb dit vaak zien gebeuren in onderwijsonderzoekliteratuur.
re: expliciet niet op psychologen?
Mark79
Eerst nogmaals dit: het Guardian-artikel op internet eindigt, zoals ik meldde, met een amendment van Ben Goldacre op z’n analoge artikel. Hij stelt daar dat Nieuwenhuis z’n kritiek NIET op psychology research richt. Hier volgt de tekst: This article was amended on 13 September 2011 to make clear that the Nieuwenhuis study looked specifically at neuroscience papers, not psychology research.
Waarom hij dat expliciet en achteraf nodig acht weet ik niet. Jij weet het beter dan Goldacre en Nieuwenhuis en probeert je gelijk te halen met: We reviewed 513 behavioral, systems and cognitive neuroscience articles die vooral uit de koker van psychologen zouden komen.
Maar even verder in het artikel van N. c.s. staat gewoon dit:
“Because of our background expertise, our main analysis focused on behavioral, systems and cognitive neuroscience. However, it is likely that the incorrect analysis of interactions is not just limited to these disciplines. To confirm this intuition, we reviewed an additional 120 cellular and molecular neuroscience articles published in Nature Neuroscience in 2009 and 2010 (the first five Articles in each issue). We did not find a single study that used the correct statistical procedure to compare effect sizes.”
Jouw optiek volgend scoren de psychologen dus aanzienlijk beter dan deze medici(?) en natuurkundigen(?).
Ik zou deze zaak verder uit kunnen diepen door N. te mailen en naar reden van de amendment te vragen. Of door de inbreng van de faculteit Wis- en Natuurkunde in de Neurowetenschappen uit te lichten. Die zitten daar toch niet uit hun neus te eten? Toch begin ik daar niet aan. Als jij psychologen wilt bekritiseren omdat ze psycholoog zijn ga dan vooral je gang. Ik ga ze niet verdedigen omdat ze psycholoog zijn.
Het proefschrift van Hoekstra (psycholoog) ga ik voorlopig niet lezen. Dat heeft kritiek op uitsluitend significantietoetsen en die kritiek is stokoud. Ook de remedies die hij noemt zijn oud en bekend.
Het volgende valt op: die significantietoetsen zelf worden door Nieuwenhuis (psycholoog) niet bekritiseerd, hij bekritiseert een fout gebruik ervan.
Jij hebt dat proefschrift ook niet gelezen want, zoals je schrijft: “statistiek is niet mijn deelgebied van de wiskunde.” Experimentele psychologie dus wel?
Willem Smit
Psychologen binnen neuroscience
Ja hoor: het lijkt erop dat de psychologen het wat statistiek betreft het volgens dit onderzoek beter doen dan de biologen. Ik schreef helemaal niet dat het ‘vooral uit de koker van psychologen’ zou komen. Dat is een verzinsel van jou. Ik beweerde enkel dat het hier ging om een vakgebied (neuroscience) waar veel psychologen bij betrokken zijn. Wellicht niet in de beste bewoordingen, maar ik heb ook nog een baan naast dit internetforum: ik heb geen uren om na te denken over perfecte formuleringen.
Je schreef eerder geinteresseerd te zijn in statistische fouten gemaakt door psychologen. Dat ben je blijkbaar niet echt. Ik hou er dus maar mee op.
psychologen (nou ja, “neuroscience’)
Mark,
Het abstract van het artikel van Sander Nieuwenhuis, Birt U. Forstman & Eric-Jan Wagemakers is helder genoeg: zij geven het lijstje van de onderzochte tijdschriften, en dat zijn geen psychologie-tijdschriften:
Science, Nature, Nature Neuroscience, Neuron and The Journal of Neuroscience
Foute methodologie is niet zo bijzonder als jij lijkt te denken. Lees de rapporten van het Centraal Planbureau over onderwijs, met conclusies over oorzakelijke relaties, waar alleen correlaties als data beschikbaar zijn. In sociaal-wetenschappelijk onderzoek is dat nonsens.
Let wel: sommige samenhangen zijn oorzakelijk te interpreteren omdat de fysica ervan bekend is: het aantal spuitgasten bij branden hangt sterk samen met de omvang van de betreffende branden. In dit geval weten we dat het aantal spuitgasten niet de oorzaak van de grootte van branden is. Fysica is iets anders dan gezond verstand.
Psychologie-tijdschriften
Hans van Maanen (De Volkskrant, Wetenschap p. 3, 17 september) gaat behoorlijk met de botte bijl aan de slag, bij bespreking van een artikel van Marjan Bakker en Jelte Wicherts (psychologie UvA haal hier dat artikel op), over foutieve statistische berekeningen en conclusies in zes psychologische tijdschriften. Van Maanen ziet hier de ondergang van het Avondland geschetst. Hij gaat zelfs zo ver om onjuist gebruik van statistiek als een misdaad aan te merken: hij gaat er vanuit dat statistische fouten berusten op pogingen tot misleiding, kwade trouw dus. Waarom zouden wij Hans van Maanen dan wel kunnen vertrouwen? Hans?
Laten we wel zijn, wetenschap is een avontuur in het ongewisse (anders moeten we onmiddellijk stoppen met het te financieren), en iedereen is voortdurend bezig om grenzen te verleggen en nieuwe piketpaaltjes te slaan. Het is van alle tijden dat onderzoekers hun statistische methoden en technieken niet perfect beheersen, en dat de communicatie tussen onderzoekers en statistici moeizaam is. Het is dus ook een permanente strijd om de kwaliteit van wetenschappelijk onderzoek op deze aspecten in de klauwen te krijgen, te verbeteren, en te bewaken. Heel goed dus dat er studies zoals die van Bakker & Wicherts, en het proefschrift van Hoekstra, worden gedaan.
Wie in de geschiedenis van de statistiek duikt, ziet dat die voor een belangrijk deel juist is ontwikkeld in reactie op in de praktijk gebruikte methoden en technieken waarvan werd gesignaleerd dat er bepaalde problemen aan kleefden.
Wetenschap is een avontuur in het ongewisse
Wat is de definitie van wetenschap? Men denkt dan aan objectiveerbare wetten (herhaalbaarheid van verschijnselen onder helder bepaalde voorwaarden). De menswetenschap lift op deze wetenschappelijke status mee. Het begrip intersubjectiviteit heeft zijn entree in academia gemaakt. Voor zachte wetenschappers is de academische vrijheid – voor zover deze nog bestaat – een zegen. “We weten het nog niet. We zijn er mee bezig.” Weer een (hobby)onderzoek verder. U ziet het, ik ben even somber. Buiten klaart de lucht op.
‘Project Follow Through’ (1968-1994; looptijd 26 jaar), Verenigde Staten.
Effective school practices*; Direct instruction really works*; A way to rescue poor kids*. Met deze uitkomsten kun je geen wetenschappelijke carrière opbouwen. “We weten het nog niet. We zijn er mee bezig.” (ploeteren en hypes)
Jammer dat de lijn van (doelgerichte beleids-) subsidie naar ‘(beleids)wetenschap’ naar politiek(e lobby) naar (democratische?) besluitvorming naar ellende op de werkvloer zo kort is. Een vicieuze cirkel. Een neergaande spiraal richting eindeloze verbetering totdat de ziel van het onderwijs in ieder geval op papier verdwenen is. Wat is de drijvende kracht achter het perpetuum mobile? Zeg het maar. Hoeveel (top)wetenschappers gericht op onderwijs telt Nederland inmiddels? De populaire studierichtingen hebben personeel nodig.
Veel ouder
Een oud onderzoek van Peters en Ceci (Behavioral and Brain Sciences (1982), 5: 187-195 ) is ook interessant in dit licht. Enkele citaten uit de samenvatting:
As test materials we selected 12 already published research articles by investigators from prestigious and highly productive American psychology departments, one article from each of 12 highly regarded and widely read American psychology journals. [..] With fictitious names and institutions substituted for the original ones, the altered manuscripts were formally resubmitted to the journals that had originally refereed and published them 18 to 32 months earlier. Of the sample of 38 editors and reviewers, only three (8%) detected the resubmissions. This result allowed nine of the 12 articles to continue through the review process to receive an actual evaluation: eight of the nine were rejected. Sixteen of the 18 referees (89%) recommended against publication and the editors concurred. The grounds for rejection were in many cases described as “serious methodological flaws.”
Herkenbaar
Peters & Ceci
Veel door redacties, referees en NWO geplaagde onderzoekers zullen dit herkennen.
De “serious methodological flaws” kunnen dus reëel zijn, of alleen bestaan in de perceptie van een referee.
Door de bank genomen zijn referees ook onderzoekers, dus . . . .
Nederlands onderzoek o.a.
Willem K. B. Hofstee (2009). Promoting intersubjectivity: a recursive-betting model of evaluative judgments. Netherlands Journal of Psychology, 65.
W. K. B. Hofstee (1983). Beoordeling van subsidie-aanvragen voor onderwijsresearch: een psychometrische evaluatie. Tijdschrift voor Onderwijsresearch, 8, 273-284.
W. K. B. Hofstee (1984). Beoordeling van de kwaliteit van wetenschappelijk onderzoek: fundamentele kwesties. In H. A. Becker & A. F. J. van Roon: Kwaliteit in de wetenschap. Leiden: DSWO.
J. Scheerens & A. L. Beem (1986). Ratings of requests for grants in educational research revisited. Tijdschrift voor Onderwijsresearch, 11, 67-82.