Evalueren van de kwaliteit van een onderzoek

Evalueren van de kwaliteit van een onderzoek

Leren onderzoeken bij de bètavakken

Aansluiting bij de bètavakken

Bovenbouwleerlingen voeren bij de bètavakken regelmatig een eigen onderzoek uit. Sinds de herziening van de examenprogramma's biologie, natuurkunde en scheikunde (havo-examens vanaf 2015 en vwo-examens vanaf 2016) is vastgelegd dat leerlingen zouden moeten leren om de nauwkeurigheid, betrouwbaarheid en validiteit van een onderzoek te evalueren. Het evalueren van nauwkeurigheid, betrouwbaarheid en validiteit van een onderzoek is een onderdeel van de procedurele vaardigheden die leerlingen nodig hebben om een kwalitatief goed onderzoek te kunnen uitvoeren. Bij het doen van een onderzoek spelen naast procedurele vaardigheden ook praktische vaardigheden een rol, en is sprake van een bepaald kennisgebied waarin het onderzoek uitgevoerd wordt.

Drie belangrijke elementen voor leren onderzoeken

 

Leren onderzoeken in dit arrangement

In dit arrangement wordt een zelfevaluatie-instrument met bijbehorende lesmateriaal gedeeld waarmee leerlingen het evalueren van nauwkeurigheid, betrouwbaarheid en validiteit kunnen aanleren. Het instrument kan bij de verschillende bètavakken ingezet worden en biedt hierdoor een mogelijkheid om vakoverstijgende verbanden in het doen van onderzoek inzichtelijk te maken voor leerlingen. Het materiaal is ontwikkeld in het kader van een promotie-onderzoek binnen het DUDOC-programma. Het bijbehorende proefschrift is te vinden op VU-DARE: http://dare.ubvu.vu.nl/handle/1871/54866.

 

Toepassen in eigen lesmateriaal

Het zelfevaluatie-instrument kan uiteraard ook in eigen onderzoekslessen / -modules worden ingezet. Het is belangrijk om hierbij te zorgen dat de leerlingen zich met name kunnen richten op het aanleren van de procedurele vaardigheden. Hiertoe zou de benodigde kennisbasis al bekend moeten zijn of in aparte lessen worden besproken. Ook zouden de leerlingen de benodigde praktische vaardigheden (bijv. aflezen van een schuifmaat, gegevens verwerken in Excel) al moeten beheersen om te voorkomen dat ze door gebrek aan praktische vaardigheden vastlopen in het aanleren van procedurele vaardigheden.

Leren onderzoeken vs. onderzoekend leren

Leren onderzoeken moet niet verward worden met onderzoekend leren'. Bij onderzoekend leren ligt de nadruk op het verwerven van kennis binnen een bepaald vakgebied, via een leerweg waarin de leerling actieve (zoekende) taken uitvoert. Bij leren onderzoeken ligt de nadruk op het leren kennen van het werk van (wetenschappelijke) onderzoekers, via een leerweg waarbij leerlingen bestaand onderzoek analyseren en eigen onderzoeken uitvoeren.

Definities nauwkeurigheid, betrouwbaarheid en validiteit

Nauwkeurigheid

De nauwkeurigheid van een onderzoek heeft betrekking op hoe meetgegevens verkregen zijn. Hierbij kan bijvoorbeeld gedacht worden aan hoe precies de meetapparatuur kan meten, of meerdere onderzoekers de meetapparatuur hebben afgelezen en of de meetapparatuur voor gebruik geijkt is.

Betrouwbaarheid

De betrouwbaarheid van een onderzoek heeft betrekking op hoe de meetgegevens verwerkt zijn tot onderzoeksresultaten. Hierbij kan bijvoorbeeld gedacht worden aan de grootte van en variatie in een steekproef, het uitvoeren van een onderzoek in duplo en het bepalen van de invloed van omgevingsvariabelen.

Validiteit

De validiteit van een onderzoek heeft betrekking op het gebruik van dezelfde onafhankelijke en afhankelijke variabele gedurende het hele onderzoek. Om de validiteit vast te stellen kan bijvoorbeeld gekeken worden of de onderzoeksmethode geschikt is om de onderzoeksvraag (volledig) te beantwoorden en of de conclusie (volledig) gebaseerd is op de onderzoeksresultaten.

Zelfevaluatie-instrument

Toelichting bij het gebruik van het zelfevaluatie-instrument

Het zelfevaluatie-instrument bestaat uit drie deelinstrumenten:

  • Overzichtskaart (memobriefje)
  • Checklist
  • Rubrics

Bij ieder onderdeel staat beschreven wanneer deze gebruikt kan worden. Het hangt af van de fase in het onderzoek én de ervaring van leerlingen (of de docent) welke van de deelinstrumenten ingezet moet worden. In het lesmateriaal (zie menu links) zijn voorbeelden te zien van het gebruik van de verschillende deelinstrumenten in bestaand onderzoek en in eigen onderzoek van leerlingen.

Het zelfevaluatie-instrument heeft als primair doel om leerlingen zelfstandig een evaluatie van de nauwkeurigheid, betrouwbaarheid en validiteit te laten uitvoeren. Het instrument kan uiteraard ook worden ingezet voor evaluatie door klasgenoten en door de docent. Wanneer leerlingen de deelinstrumenten voor het eerst gebruiken, is het aan te raden dat de docent 'meekijkt' of aan de hand van voorbeelden uitlegt wat bedoeld wordt met omschrijvingen in de deelinstrumenten.

 

 

 

Overzichtskaart (memobriefje)

Met deze overzichtskaart zien leerlingen snel welke onderzoekselementen bijdragen aan de nauwkeurigheid, betrouwbaarheid en validiteit van een onderzoek. Op de gele memobriefjes kunnen zij hun eigen aantekeningen noteren.

Checklist

Met de checklist kunnen de leerlingen controleren of zij 'alles' gedaan hebben dat relevant is voor de nauwkeurigheid, betrouwbaarheid en validiteit van hun onderzoek. De checklist bestaat uit twee delen:

1) Voorbereiding: om een onderzoeksplan te controleren

2) Uitvoering: om het uitgevoerde onderzoek (dataverzameling) te controleren

Rubrics

Met de rubrics kunnen leerlingen evalueren hoe nauwkeurig, betrouwbaar en valide een onderzoek is. Iedere rubric bevat vijf rijen waarin de verschillende mate van beheersing van het betreffende onderdeel is beschreven. De indeling in vijf niveaus volgt de niveaubeschrijving uit de SOLO-taxonomie.

Alle beschrijvingen in de rubrics bevatten een algemeen deel (tweede kolom) en een voorbeeld waarmee het algemene deel toegelicht wordt. De ervaring leert dat sommige leerlingen voldoende hebben aan het algemene deel, andere leerlingen werken juist vanuit de voorbeelden om het niveau van een onderzoeksonderdeel vast te stellen. Het rode kader geeft aan waar een leerling uit vwo-5/6 zou moeten kunnen komen.

Lesmateriaal voor gebruik zelfevaluatie-instrument

Startmodule (algemeen natuurwetenschappelijk)

Aan de hand van de startmodule leren de leerlingen om het zelfevaluatie-instrument te gebruiken. Het lesmateriaal bestaat uit een werkboek voor leerlingen en een docentenhandleiding. Naast een aantal aanleertaken om met het instrument om te leren gaan, zetten de leerlingen een experiment op rond het afkoelen van koffie, voeren het experiment uit en trekken conclusies. Tot slot evalueren zij de nauwkeurigheid, betrouwbaarheid en validiteit van hun onderzoek.

Biologiemodule

Aan de hand van de biologiemodule passen de leerlingen het zelfevaluatie-instrument opnieuw toe, in een andere context dan in de startmodule. Het lesmateriaal bestaat uit een werkboek voor leerlingen en een docentenhandleiding. Naast een aantal aanleertaken om met het instrument in een nieuwe context te leren gebruiken, zetten de leerlingen een experiment op rond het proeven van smaken met de tong, voeren het experiment uit en trekken conclusies. Tot slot evalueren zij de nauwkeurigheid, betrouwbaarheid en validiteit van hun onderzoek.

Natuurkundemodule

Aan de hand van de natuurkundemodule passen de leerlingen het zelfevaluatie-instrument opnieuw toe, in een andere context dan in de startmodule en de biologiemodule. Het lesmateriaal bestaat uit een werkboek voor leerlingen en een docentenhandleiding. Naast een aantal aanleertaken om met het instrument in een nieuwe context te leren gebruiken, zetten de leerlingen een experiment op over de remweg bij een gevaarlijk kruispunt, voeren het experiment uit en trekken conclusies. Tot slot evalueren zij de nauwkeurigheid, betrouwbaarheid en validiteit van hun onderzoek.

Formatieve toetsing: Wat kunnen de leerlingen na drie onderzoeksmodules?

Test 1: analyse bestaand onderzoek

Via deze opdracht laten de leerlingen (individueel) zien in hoeverre zij de nauwkeurigheid, betrouwbaarheid en validiteit van een (uitgevoerd) onderzoek op passende wijze kunnen evalueren. De leerlingen kunnen hierbij gebruik maken van het memobriefje, de checklists en de rubrics. De context van de opdracht is een biomedisch onderzoek naar de lichamelijke effecten van chocolade dat bedacht en uitgevoerd is door twee leerlingen uit vwo-5.

Test 2: onderzoeksplan chemisch onderzoek

Bij deze opdracht schrijven de leerlingen een onderzoeksplan om de invloed van frisdrank op tandglazuur te onderzoeken. Zij kunnen het memobriefje, de checklist Voorbereiding en relevante rubrics gebruiken om hun onderzoeksplan uit te werken en te controleren.

Meer over leren onderzoeken

Boek: Eureka! Didactiek voor het leren onderzoeken in het vwo
Uitgave van twee onderwijsadviseurs van Universiteit Utrecht waarin hun praktijkervaringen met leren onderzoeken op het vwo uitgewerkt zijn. De auters beschrijven hierbij onder andere hoe een doorlopende leerlijn vormgegeven zou kunnen worden.

Overzichtsartikel [online]: Leren onderzoeken - een leerlijn
In dit artikel wordt een overzicht gegeven van onderzoek naar leren onderzoeken en worden suggesties gedaan voor onderdelen van een onderzoeksleerlijn op het vo. Het artikel is primair bedoeld voor lerarenopleiders, maar biedt ook veel bruikbare informatie voor vo-docenten.

Website: Getting Practical
Engelstalige website van The Association for Science Education (Groot-Brittannië) over leren onderzoeken in basis- en voortgezet onderwijs. Op de site is veel lesmateriaal en achtergrondmateriaal voor docenten te vinden.

Website: Good Practical Science
Deze website bevat informatie uit het rapport Good Practical Science (gepubliceerd in september 2017) aangevuld met achtergrondinformatie over het evalueren van de onderzoeksvaardigheden van leerlingen.

Website: Understanding Scientific Evidence
Engelstalige website van University of Durham (Groot-Brittannië) waarop concepten (Concepts of Evidence, CoE) beschreven worden die behoren tot procedurele vaardigheden van een onderzoek. Een deel van deze CoE is uitgewerkt in het zelfevaluatie-instrument dat beschreven is in dit arrangement.

Video: TEDex - Battling bad science
Aspecten van slecht onderzoek volgens Ben Goldrace (onderzoeksethiek). Een video om leerlingen inzicht te geven in wat er zoal verkeerd afgeleid kan worden uit een (biomedisch) onderzoek.

  • Het arrangement Evalueren van de kwaliteit van een onderzoek is gemaakt met Wikiwijs van Kennisnet. Wikiwijs is hét onderwijsplatform waar je leermiddelen zoekt, maakt en deelt.

    Auteur
    Saskia van der Jagt Je moet eerst inloggen om feedback aan de auteur te kunnen geven.
    Laatst gewijzigd
    2018-04-09 16:41:41
    Licentie

    Dit lesmateriaal is gepubliceerd onder de Creative Commons Naamsvermelding 3.0 Nederlands licentie. Dit houdt in dat je onder de voorwaarde van naamsvermelding vrij bent om:

    • het werk te delen - te kopiëren, te verspreiden en door te geven via elk medium of bestandsformaat
    • het werk te bewerken - te remixen, te veranderen en afgeleide werken te maken
    • voor alle doeleinden, inclusief commerciële doeleinden.

    Meer informatie over de CC Naamsvermelding 3.0 Nederland licentie.

    Dit werk valt onder een Creative Commons Naamsvermelding-NietCommercieel-GeenAfgeleideWerken 4.0 Internationaal-licentie.

    Aanvullende informatie over dit lesmateriaal

    Van dit lesmateriaal is de volgende aanvullende informatie beschikbaar:

    Toelichting
    Bovenbouwleerlingen voeren regelmatig een eigen onderzoek uit bij de bètavakken. In dit arrangement wordt een zelfevaluatie-instrument met bijbehorende lesmateriaal gedeeld waarmee leerlingen kunnen leren om de nauwkeurigheid, betrouwbaarheid en validiteit van een onderzoek te evalueren. Het instrument kan bij de verschillende bètavakken ingezet worden en biedt hierdoor een mogelijkheid om vakoverstijgende verbanden in het doen van onderzoek inzichtelijk te maken voor leerlingen. Het materiaal is ontwikkeld in het kader van een promotie-onderzoek binnen het DUDOC-programma. Het bijbehorende proefschrift is te vinden op VU-DARE: http://dare.ubvu.vu.nl/handle/1871/54866
    Eindgebruiker
    leerling/student
    Moeilijkheidsgraad
    gemiddeld
    Trefwoorden
    bètavakken, betrouwbaarheid, biologie, bovenbouw vo, leren onderzoeken, natuurkunde, nauwkeurigheid, scheikunde, validiteit, zelfevaluatie-instrument

    Bronnen

    Bron Type
    Boek: Eureka! Didactiek voor het leren onderzoeken in het vwo
    http://Leren onderzoeken vs. onderzoekend leren
    Link
    Overzichtsartikel [online]: Leren onderzoeken - een leerlijn
    https://elbd.sites.uu.nl/2017/09/18/leren-onderzoeken-een-leerlijn/
    Link
    Website: Getting Practical
    http://www.gettingpractical.org.uk/
    Link
    Website: Good Practical Science
    http:// www.gatsby.org.uk/education/programmes/support-for-practical-science-in-schools
    Link
    Website: Understanding Scientific Evidence
    http://community.dur.ac.uk/rosalyn.roberts/Evidence/cofev.htm
    Link
    Video: TEDex - Battling bad science
    https://www.ted.com/talks/ben_goldacre_battling_bad_science
    Link
  • Downloaden

    Het volledige arrangement is in de onderstaande formaten te downloaden.

    Metadata

    LTI

    Leeromgevingen die gebruik maken van LTI kunnen Wikiwijs arrangementen en toetsen afspelen en resultaten terugkoppelen. Hiervoor moet de leeromgeving wel bij Wikiwijs aangemeld zijn. Wil je gebruik maken van de LTI koppeling? Meld je aan via info@wikiwijs.nl met het verzoek om een LTI koppeling aan te gaan.

    Maak je al gebruik van LTI? Gebruik dan de onderstaande Launch URL’s.

    Arrangement

    IMSCC package

    Wil je de Launch URL’s niet los kopiëren, maar in één keer downloaden? Download dan de IMSCC package.

    Meer informatie voor ontwikkelaars

    Wikiwijs lesmateriaal kan worden gebruikt in een externe leeromgeving. Er kunnen koppelingen worden gemaakt en het lesmateriaal kan op verschillende manieren worden geëxporteerd. Meer informatie hierover kun je vinden op onze Developers Wiki.