Inleiding
Academische prestaties zijn een belangrijke aspect in de onderwijspsychologie. Vaak zijn beoordelingen van docenten de belangrijkste bron van informatie m.b.t. de academische prestaties. De mogelijkheid om de prestaties in kaart te brengen lijkt daarom een belangrijk aspect te zijn van de competenties van een leraar. Omdat competenties van een leraar in het beoordelen zo belangrijk zijn, hebben verschillende instanties een standaard gemaakt m.b.t. deze competenties. Daarin staat bijvoorbeeld: De leraar moet weten hoe de vooruitgang van een leerling gemeten kan worden en hoe de vooruitgang van de hele klas gemeten kan worden.
beoordelingen en consequenties
De beoordeling van een leraar heeft consequenties voor de te geven instructies, voor verdere evaluatie, voor niveaubepaling en heeft daarmee cruciale invloed op de carrières van deze leerlingen en het zelfbeeld.
Leerkrachten gebruiken hun beoordelingen voor verschillende, instructionele beslissingen.Deze beoordelingen hebben invloed op de activiteiten en materialen die de leraar gebruikt.Er zijn inmiddels verschillende standaardmetingen die een leraar kan gebruiken, toch is het zinvol om bij de nauwkeurigheid van deze beoordeling stil te staan.
standaarmetingen/beoordelingen:
- Curriculum based metingen (CBM): bijvoorbeeld elke 3 à 4 maanden een beoordeling van het lezen om vooruitgang in kaart te brengen. Beoordelingen gaan veder dan dit; ook tussendoor moet een leraar vooruitgang blijven controleren (dus veel vaker).
- Response to intervention (RTI): curriculum based metingen worden veel gebruikt om de prestaties van een leerling te beoordelen.
- Een nauwkeurige beoordeling draagt bij aan het identificeren van vroegtijdige signalen bij studenten die problemen hebben met school. Deze nauwkeurige beoordeling is cruciaal om leerlingen in te schalen op een goed schoolniveau. Het is de leraar die vroegtijdig interventies kan plegen.
- De beoordelingen van een leraar hebben invloed op de verwachtingen die een leraar van een leerling heeft.
- Bij een formele beoordeling, wordt het resultaat vaak uitgedrukt in een getal. Dit geeft feedback aan de leerlingen en ouders, maar draagt ook bij aan het behalen van bepaalde kwalificaties. Cijfers hebben verreikende consequenties op de academische carrière.
- De beoordeling van een leraar heeft invloed op het zelfbeeld en cognities die daarmee te maken hebben. Het effect van een individuele prestatie van een leerling op hun zelfbeeld wordt mede bepaald door de beoordelingen van de leraar.
Geconcludeerd kan worden dat een nauwkeurige beoordeling cruciaal is; zodat leraren hun instructies aan kunnen passen, om goede niveaubepalingen te kunnen doen en om invloed te hebben op het ontwikkelen van een goed zelfbeeld bij de leerlingen.
Nauwkeurigheid van een beoordeling van een leraar
Uit onderzoek blijkt dat er sprake is van gemiddelde tot hoge samenhang tussen de beoordeling van een leraar en de daadwerkelijke academische prestaties.
- Bijvoorbeeld: correlatie van 0.59/0.60 tussen de beoordeling van een leraar en de decodeervaardigheden en het leesbegrip van de leerlingen (gemeten met subtesten uit Woodcock-Johnson-III Test of Achievement).
- Deze resultaten suggereren dat de beoordelingen redelijk nauwkeurig zijn, gezien de hoge correlatie. Aan de andere kant blijkt echter dat de beoordelingen verre van perfect zijn, meer dan 2/3e van de variaties in beoordelingen kunnen niet verklaard worden vanuit de prestaties.
- De correlaties verschillen per studie (variërend van 0.28 tot 0.92)
Er zijn een aantal beperkingen te noemen bij diverse onderzoeken:
- De term ‘nauwkeurigheid’ wordt zelden gedefinieerd.
- In de diverse onderzoeken worden verschillende onderzoeksmethoden gebruikt, met diverse uitkomsten.
- Ook de term ‘onnauwkeurigheid’ wordt zelden gedefinieerd.
- Daarnaast blijkt dat de nauwkeurigheid van een leraar vaak niet in samenhang wordt gezien met de beslissingen die leraren nemen m.b.t. de academische prestaties.
Factoren die van invloed zijn op de nauwkeurigheid van een beoordeling van de leraar Beoordelingskenmerken
beoordelingsmethoden
De verschillende beoordelingsmethoden kunnen invloed hebben op de correlatie tussen beoordelingen van een leraar en de werkelijke prestaties de verschillende methoden:
- Informed vs. Uninformed beoordelingen: (ofwel directe en indirecte beoordelingen). Bij informed/directe beoordelingen is de leraar op de hoogte van de test/onderzoek waarmee de beoordeling vergeleken zal worden. Bij uninformed/indirect is de leraar dit niet. De leraar weet dat er een onderzoek plaatsvindt, maar weet niet waarmee zijn beoordeling vergeleken zal worden. Hogere correlaties zijn gevonden voor informed/directe beoordelingen
- Punten op de scoreschaal: Er wordt onderscheid gemaakt tussen de hoeveelheid punten die op een schaal worden weergegeven. Schalen met veel punten (categorieën) leveren een verfijnd oordeel, terwijl schalen met weinig punten een meer globaal oordeel leveren. Wanneer een verfijnde schaal is gebruikt, worden hogere correlaties gevonden.
- Specificiteit van het oordeel: Een leraar kan een heel specifiek oordeel geven, of een meer globaal oordeel.
- Wanneer gebruik wordt gemaakt van een scoreschaal: niet: laag specifiek
- De leerlingen moeten op volgorde worden gezet (van lage prestaties > hoge prestaties): iets meer specifiek
- Beoordelingen waarbij de leraar cijfers moet geven: gemiddeld specifiek.
- Beoordelingen waarbij de leraar in moet schatten hoeveel goede antwoorden een leerling geeft: meer specifiek.
- Beoordelingen waarbij de leraar in moet schatten wat een leerling antwoordt: heel specifiek.
Hoe hoger de specificiteit, hoe groter de correlatie tussen de beoordeling en de prestatie.
4. Beoordelingen vergeleken met de norm vs. Leeftijdsonafhankelijke beoordelingen: Er lijkt geen significant verschil in correlatie te zijn tussen beide methoden. Gesuggereerd wordt dat het gebruik van leeftijdsonafhankelijke boordelingen tot een hogere correlatie leidt,omdat de leraar zich dan kan focussen op ieder individu. Aan de andere kant wordt gesuggereerd dat het gebruik van normbeoordelingen een hogere correlatie oplevert, omdat de leraar de klas dan kan ordenen en gebruiken als maatstaaf.
5. Domeinspecifiek: Het lijkt aannemelijk dat het makkelijker is om een goede beoordeling te doen bij een specifieke beoordeling, dan een algemene beoordeling. Dat maakt ook dat de verwachting is dat er hogere correlaties gevonden worden bij specifieke beoordelingen dan bij algemene beoordelingen.
Testkenmerken
In de verschillende onderzoeken worden verschillende testen gebruikt om iets te boordelen. Soms heel specifieke testen (voor het beoordelen van de receptieve woordenschat (> Peabody Picture Vocabulary Test) en soms meer globale testen, voor het beoordelen van verschillende gebieden (> Kaufman Test of Academic Achievement). Deze verschillen worden testkenmerken genoemd.
- Het onderwerp bepaald: De correlaties waren significant lager voor sociale studies en wetenschap, vergeleken met taal, lezen en wiskunde. Bij het gebruik van CBM-metingen werden hogere correlaties gevonden bij lezen dan bij wiskunde.
- CBM-procedures vs. Gestandaardiseerde beoordelingstesten: CBM is vaak nauw verbonden met de prestaties in de klas, omdat de methoden vanuit het curriculum bepalen, waardoor een grotere overlap ontstaat. Dit zorgt er ook voor dat er een hogere correlatie gevonden wordt bij CBM.
- Domeinspecifiek: Sommige testen onderzoeken een heel specifiek onderdeel (bijv. fonologisch bewustzijn), terwijl andere testen veel globaler kijken (Woodstock-Johnson Achievement Battery).
leraar en student kenmerken
Onder leraren blijkt groot verschil te zitten in mate van nauwkeurigheid m.b.t het beoordelen. Dit blijkt afhankelijk te zijn van diverse kenmerken die bij een leraar wel/niet naar voren komen: denk daarbij aan werkervaring, professionele doelen en de lesgeeffilosofie. Het is nog onduidelijk wat de invloed van diverse kenmerken precies is.
Ook blijken er onder leerlingen kenmerken te zijn die van invloed zijn op de nauwkeurigheid van de beoordeling. Wanneer een leerling ‘slecht’ gedrag laat zien, is de kans groter dat deze leerling wordt beoordeeld op een laag prestatieniveau, onafhankelijk van de academische vaardigheden.
Discussie
Op basis van de meta-analyse kan geconcludeerd worden dat de correlatie tussen de beoordelingen van een leraar en de daadwerkelijke prestaties van leerlingen, hoog is (0.63). de nauwkeurigheid van leraren lijkt dus hoog. Ook kan geconcludeerd worden dat de beoordelingen verre van perfect zijn en dat er veel ruimte voor verbetering is.
Bij een vergelijking van de diverse meta-analyses bleek er een substantieel verschil te zijn tussen de diverse testen.
- Significant hogere correlaties tussen beoordelingen en daadwerkelijke prestaties bij informed beoordelingen vergelen met uninformed beoordelingen. Bewust niet genoemd: direct/indirect omdat er een klein verschil lijkt te zijn.
- Geen significante verschillen bij de vergelijking tussen bijvoorbeeld schaalverdeling, specificiteit, normgebonden vs. Leeftijdsonafhankelijke beoordeling. Alleen voor informed vs. Uninformed.
Er is geen bewijs gevonden voor een verschil in nauwkeurigheid van de beoordelaar vergeleken met bijvoorbeeld een taalvak vs. Een wiskundevak. Resultaten lijken genereerbaar.
Model nauwkeurigheid docent beoordeling
De resultaten van een leerling op een test hangen af van: kennis, motivatie en intelligentie. Aan de andere kant hangen deze resultaten af van het onderwerp, de specifieke testopdrachten en vraagstelling.
Er zijn drie testkenmerken onderzocht, maar bij geen van deze drie kwam een significant effect naar voren. De studentkenmerken zijn, wegens een gebrek aan gegevens, niet onderzocht. Wat betreft de leraarkenmerken kan geconcludeerd worden dat er een verschil is tussen uninformed beoordelingen en informed beoordelingen.
Tot slot blijkt ook dat de beoordelingskenmerken invloed hebben. Hoe meer er sprake is van congruentie (tussen de beoordeling door de test en de beoordeling van de leraar) hoe meer kans er op correlatie is.
Omdat veel van de gegevens niet daadwerkelijk onderzocht zijn of omdat er te weinig bewijs was, is het model zeer speculatief
Reacties
