In november 2023 hebben we, bij het Harvard Program on Training Coverage and Governance, een nieuwe ranglijst per staat van de prestaties van scholieren op de Nationwide Evaluation of Academic Progress, ook wel de Nation’s Report Card genoemd. De ranglijst is gebaseerd op de scores van charterstudenten op 24 NAEP-toetsen voor wiskunde en lezen, afgenomen tussen 2009 en 2019. Onze ranglijst is de eerste ranglijst van de prestaties van charterstudenten op dezelfde reeks exams die zijn afgenomen bij steekproeven van alle studenten in de Verenigde Staten.
De ranglijst is voor het grootste deel goed ontvangen. Het hoofd van de KIPP Basis, het grootste netwerk van charterscholen van het land, zegt in één nieuwsbericht dat de resultaten ‘onze ervaring bevestigen’. De Nationwide Alliance for Public Constitution Faculties merkt op dat “de nieuwe gegevens ‘in veel opzichten ontnuchterend’ zijn, waaruit blijkt dat charterscholen op veel plaatsen ‘ruimte hebben om te groeien’.” En uiteraard is de ranglijst enthousiast ontvangen door beleidsmakers in de VS. staten als Alaska, Massachusetts, New Hampshire en Oklahoma, die allemaal bovenaan het klassement stonden. Zelfs staten uit de midden- tot de laagste rangorde hebben er niet voor gekozen de rangschikkingsprocedures te bekritiseren – hoewel een pleitbezorger van een charterschool die de benedengemiddelde plaatsing van zijn thuisstaat niet prettig vond, maakte bezwaar op de nogal weird gronden dat “(o)slechts een willekeurig geselecteerde steekproef van … studenten de NAEP-test aflegt”, een ontkenning van de betrouwbaarheid van een aanpak die regelmatig wordt toegepast door het US Census Bureau.
Maar bij een recente blogpostMatthew Ladner, hoofdredacteur van NextSteps, een publicatie van de belangenorganisatie voor schoolkeuze Step Up For College students, heeft zijn eigen twijfels geuit over onze bevindingen. Hij zegt dat we er niet in zijn geslaagd om ons aan te passen aan het aandeel charterstudenten die speciale onderwijsprogramma’s volgen of Engels leren, dat we vertrouwen op informatie die van de ene check naar de andere fluctueert, en dat charterstudenten in plaats daarvan op staatsvaardigheidstests hadden moeten worden gerangschikt. van het NAEP.
Deze kritiek is ofwel verkeerd, misleidend, ofwel houdt geen rekening met wat er in de tekst is gezegd technische versie van het artikel gepubliceerd in de Tijdschrift voor schoolkeuze.
We maken in het bijzonder een uitzondering op de onjuiste beweringen dat we “niet in staat waren controle uit te oefenen op de tarieven voor speciaal onderwijs en de standing van Engelstalige leerling” op het NAEP. Als deze beschuldigingen waar zijn, zouden ze ernstig zijn. Maar zoals gerapporteerd in de verkorte versie die erin verscheen Onderwijs Volgende, scores worden aangepast “om rekening te houden met de leeftijd van de testpersoon, het opleidingsniveau van de ouders, het geslacht, de etniciteit, Kennis van het Engels, Invaliditeits standing, het in aanmerking komen voor een free of charge en gereduceerde schoollunch, door de scholar gerapporteerde toegang tot boeken en computer systems thuis, en locatie (nadruk toegevoegd).” In de onverkorte versie informeren we de lezers dat de geschiktheid voor speciaal onderwijs en de standing van Engelstalige leerling door NAEP wordt vastgesteld aan de hand van schooladministratieve gegevens.
Ladner misleidt als hij opmerkt dat de wiskundescores van door NAEP geteste studenten uit de 8e klas van Texas tussen 2017 en 2019 aanzienlijk fluctueerden. Hoewel dat zeker appropriate is, is dit juist de reden dat we informatie uit meerdere exams over een langere periode gebruiken. Zoals we in het technische artikel zeggen: “Door de resultaten van 24 exams over een periode van elf jaar te combineren, worden de kansen op het verkrijgen van betrouwbare resultaten aanzienlijk vergroot.”
Ladner stelt dat het de voorkeur verdient om gegevens te gebruiken uit de Stanford Training Information Archives, oftewel SEDA, een bron die de prestaties van studenten bij de vaardigheidstests van elke staat weergeeft. We rapporteren in feite een rangschikking verkregen uit de SEDA-gegevens, die wordt berekend op een manier die vergelijkbaar is met de rangschikking die is gebruikt om de PEPG-ranglijst samen te stellen, in Tabel A.11 in de bijlage naar het papier dat beschikbaar is in de Tijdschrift voor schoolkeuze. Deze rangschikking komt overeen met de PEPG-ranglijst op niveau 0,7, wat erop wijst dat de twee gegevensbronnen grotendeels vergelijkbare resultaten opleveren. Zoals we in ons artikel bespreken, verdienen de NAEP-tests echter de voorkeur omdat ze een rangschikking van de scores van studenten op dezelfde reeks exams mogelijk maken. Het rangschikken van staten op foundation van SEDA-gegevens vereist de sterke aanname dat staatstests allemaal op dezelfde schaal kunnen worden geplaatst. Bovendien zijn staatsvaardigheidstests exams met een hoge inzet die worden gebruikt om zowel handvestscholen als hun leraren te evalueren, wat prikkels biedt om testresultaten te manipuleren. NAEP is een check met een lage inzet die niet wordt gebruikt voor evaluaties van studenten, docenten of scholen. Ten slotte sluit SEDA ruim 32 procent van alle handvestscholen uit van zijn steekproef. Daarentegen omvat de NAEP-steekproef van PEPG meer dan 99 procent van alle observaties van charterstudenten in NAEP.
Maar Ladner wil dat we de problematische SEDA-testgegevens gebruiken, omdat SEDA veranderingen rapporteert in de prestaties van leerlingen in elk schooldistrict en elke faculty van het ene jaar op het andere. Dat vereist nog een andere aanname: dat er van jaar tot jaar geen verandering is in de samenstelling van een schoolcohort, een bijzonder sterke aanname voor een faculty van keuze.
Zoals we in beide versies van het artikel concludeerden: “de PEPG-ranglijsten zijn niet het laatste woord over de kwaliteit van charterscholen.” We hebben goede hoop dat de beoordeling van de kwaliteit van charterscholen de komende jaren zal blijven verbeteren. Maar we kunnen alleen vooruitgang boeken als de kritiek accuraat en duidelijk is.
Paul E. Peterson is hoogleraar overheid aan de Harvard College, directeur van het programma voor onderwijsbeleid en bestuur, en hoofdredacteur bij Training Subsequent. M. Danish Shakeel is professor en directeur van het EG West Centre for Training Coverage aan de Universiteit van Buckingham, VK