Over ons en het handboek
Onze professionele leergemeenschap (plg) is gevormd vanuit onze gezamenlijke interesse in en ervaring met het faciliteren van onderzoek doen met eigen onderzoekvragen door bachelor studenten hebben in bèta-practicumvakken. De groep is ontstaan na een interessante discussie tijdens een onderwijsconferentie over practicumonderwijs. In onze plg zitten bètadocenten van zes faculteiten en drie verschillende universiteiten, aangevuld met een onderwijsonderzoeker. Een subsidie van SURF (www.surf.nl) ondersteunde onze plg, zodat we onze lespraktijk konden verbeteren, onze lesmaterialen online konden delen met anderen evenals de kennis die we over het verzorgen van dit soort onderwijs hebben opgedaan.
In deze pagina's vind je ons handboek 'ontwerpen van een practicumvak met open onderzoeks- of ontwerpopdrachten voor studenten in het hoger onderwijs'. Echter, we hebben de ervaring dat ook docenten in het voortgezet onderwijs goed met het handboek overweg kunnen. Het handboek zet de lezer aan om binnen het eigen instituut met de eigen mogelijkheden een vak op te zetten, waarschuwt voor valkuilen en geeft noodzakelijke elementen aan. Via het emailadres van de groep kun je met ons in contact komen om een online bijeenkomst bij te wonen, vragen te stellen of je ervaringen te delen.
S3OIL group logo
De samenwerkende instituten
Werkdefinitie open inquiry in lab onderwijs
“Open practicumopdrachten in het bacheloronderwijs vereist van de student een gehele cyclus van authentiek wetenschappelijk onderzoek of een gehele ontwerpcyclus te doorlopen, daarin gecoached door docenten.”
In de volgende pagina's werken we deze definitie uit naar wat wij denken dat open practicumopdrachten in bachelor practicumvakken inhoudt.
Al het materiaal van elk van de vakken is online gezet op het Edusources platform. Het studentmateriaal, docentenhandleiding, studiegids informatie, nakijkrubrics en dergelijke zijn allemaal te vinden op het platform.
Belangrijkste leerdoelen van de vakken (uitgezonderd de vakinhoud):
- Empirische cyclus
- Van literatuuronderzoek naar eigen data en conclusies
- Niet direct beoordeeld in rubrics, maar impliciet onderdeel van het proces
- Onderzoeksvaardigheden
- Identificeren van relevante informatiebronnen (literatuur/stakeholders/wat er ook op internet staat)
- Onderscheid maken tussen de betrouwbaarheid en relevantie van de gegeven informatie en de context ervan (ontwikkel een kritische houding ten opzichte van informatie)
- Onderbouwen van wetenschappelijke keuzes
- Ontwerpen van een relevante onderzoeksvraag en hypothese op basis van de informatie, context en beperkingen.
- Ontwikkelen van een experimenteel ontwerp (meet- en analyseplan) dat antwoord geeft op de onderzoeksvraag
- Beoordelen en kritisch reflecteren op de eigen resultaten in het licht van de experimentele en wetenschappelijke context (hoe betrouwbare resultaten verkregen kunnen worden)
- Onderzoekscommunicatie
- Het schriftelijk en mondeling presenteren van het eigen onderzoek op een gestructureerde en toegankelijke manier
Details vanuit studentperspectief
Het eerste deel van de ontwerpprincipes voor het open onderzoeks- of ontwerppracticum gaat over hoe de student het vak zou moeten kunnen ervaren. Een aantal van deze principes zijn epliciet leerdoelen van het vak, anderen zou je kunnen zien als academische leerdoelen, meer generiek. Ze komen in onze vakken echter als 'nadrukkelijk van belang' naar voren.
Studenten die aan open opdrachten werken:
- Werken in een zo authentiek mogelijke omgeving, wat betekent dat er sprake is van:
- een echte klant of belanghebende, of een realistische probleem of object.
- een (authentieke) onderzoeksomgeving – werken in een onderzoeksomgeving.
- dat zowel falen als slagen mogelijke acceptable (leer)uitkomsten zijn.
- Werken op dezelfde manier als experts:
- De wetenschappelijk onderzoeker
- De ontwerper
- De professional (bedrijf)
- Met iteratieve stapsgewijze ontwerp- of onderzoeksprocessen
- In een veilige werkomgeving of praktijk.
- Formuleren een ontwerpdoel of een onderzoeksvraag en een hypothese, rekening houdend met:
- Ontwerpdoel en mogelijke oplossingen en routes, plannen van aanpak
- (kwantitatieve) Onderzoeksvraag en hypothese, waarbij de hypothese toetsbaar is
- Formuleren wanneer het ontwerp of het onderzoek succesvol is (of niet) en hoe ze dat weten of vaststellen.
- Zoeken bewust en kritisch naar informatie via:
- Experts (onderwijsassistenten, onderzoeker, docenten, studenten uit eerdere jaren, mensen met inhoudelijke kennis
- Boeken, het internet, literatuur
- Andere studenten in het vak
- Interpreteren, in twijfel trekken, reflecteren op de gevonden informatie en het gekregen advies
- Omgaan met conflicerende informatie en versimpelingen.
- (her)formuleren ontwerpcriteria of hypothesen nauwkeurig, wat inhoud:
- een beschrijving van een acceptabele manier om een kwantificeerbaar, meetbaar antwoord te vinden op de onderzoeksvraag of op het ontwerpdoel
- stelselmatig terugkomen op de beschrijving van de ontwerpcriteria of hpothese om deze te herfomuleren indien nodig.
- (her)ontwerpen een prototype of stellen een experiment op, wat betekent:
- Keuzes maken
- Veiligheidschecks uitvoeren
- Iteratief terugkomen op deze stappen
- Een prototype bouwen of een experiment uitvoeren, wat betekent:
- Herhaling, reproduceren
- Snelle test resultaten
- Kalibreren
- Haalbaarheid
- (meet)Onzekerheid
- Pilotstudies
- Alternatieven achter de hand hebben.
- Resultaten interpreteren, inclusief:
- Relateren aan ontwerpdoel en hypothese
- Betrouwbaarheid, foutmarges
- Reproduceerbaarheid
- Validiteit
- Iteratief -indien mogelijk met oog op tijd, materialen etc..
- Raporteren over de resultaten op verschillende manieren:
- Aan anderen presenteren tijdens (tussen)presentaties, in verslagen of artikel
- Resultaten, keuzes en beslissingen verdedigen
- De betekenis van de resultaten voor anderen, de implicaties uitleggen
- Successen en falen rapporteren
- Conclusies trekken, waar ze
- De conclusie over het ontwerp, de hypothese en de onderzoeksvraag trekken
- Uitleggen wat deze conclusie betekent voor anderen, wat de implicaties daarvan zijn
Ontwerpopdracht
Ontwerpgeorienteerde Open opdracht
Studenten:
- Worden aangemoedigd onafhankelijk te werken en eigenaarschap te nemen
- Vinden zelfstandig belanghebbenden en experts
- Formulateren het ontwerpdoel
- Zoeken allerlei informatie
- Formulerenmogelijke ontwerpoplossingen
- Worken samen:
- delen ideeën,
- bediscussiëren bevindingen en ervaringen,
- geven elkaar feedback
- Volgen korte design cycli:
- probleem analyseren, oplossing ontwerpen, oplossingen uitwerken, oplossing implementeren, oplossing evalueren,
- waar elke stap misschien 'aanklooien, uitproberen, kalibreren, verbeteren, optimalizeren en dergelijke kan inhouden
- Een definitieve oplossing formuleren voor hun ontwerpdoel
- Het process, de oplossing en wat ze geleerd hebben presenteren aan alle betrokkenen
- Misschien verder gaan om hun product in de markt te zetten
Onderzoeksopdracht
Onderzoeksgeoriënteerde open opdracht
Studenten:
- Ervaren een setting die zo dicht mogelijk in de buurt komt van een authentieke onderzoeksomgeving
- Hebben eigenaarschap van hun onderzoek
- Formuleren een (kwantitatieve) ondeerzoeksvraag
- Zoeken allerlei soorten informatie
- Formuleren een hypothese
- Geven elkaar feedback (bijvoorbeeld peer review of intervisie)
- Formuleren en plannen een experiment
- Formuleren en plannen de analyse
- Bereiden een monster / bouwen een opstelling
- Voeren het experiment uit
- Analyseren en interpreteren de resultaten
- Rapporteren en presenteren de resultaten
- Formuleren een aansluitende onderzoeksvraag/richting
- Interpreteren de waarde van hun bevindingen zowel ten aanzien van de wetenschappelijke kennis als voor de maastchappij
- Verkrijgen een breder inzicht van wat ze hebben gedaan
Details vanuit docentperspectief
De tweede set ontwerpprincipes gaan over het coachen van studenten tijden het process door een docent of onderwijsassistent. Dit in contrast met de meer gebruikelijke manier waar de docent de inhoudelijk expert is. De meeste van onze vakken hebben een docentenhandleiding gemaakt om zowel wat de student zou moeten ervaren als hoe de docent hen moet aansturen duidelijk te maken. Het process coachen houdt in dat de docent de studenten coached op:
- Weten hoeveel tijd er is, zodanig dat:
- De planning/beschikbare tijd in het oog gehouden wordt
- Gereflecteerd wordt op wat ze in de beschikbare tijd kunnen bereiken
- Rekening gehouden wordt met de beschiknbaarheid van het lab of de materialen.
- Het kunnen behalen van de toetsing van het vak, waarin zijn opgenomen:
- Presentaties
- Tussentoetsen, verslagen en producten
- Op te leveren producten.
- Autonoom werken, wat betekent dat ze:
- Zelfregulerend leren
- Samenwerken
- Feedback krijgen van elkaar en intervisie o.l.v. de coach
- Scaffolding.
Van docentcontrole naar studentcontrole
Studenten krijgen de controle over het eigen process eerder of later tijdens het vak, afhankelijk van eerdere evaringen van de groep studenten. Voor eerstejaars of onervaren studenten, zou je gebruik kunnen maken van onderstaande schematische weergave van het overgeven van de controle.
Van docent- naar studentcontrole; meerdere cycli kunnen in een vak worden toegepast
Werken in teams
Open onderzoek wordt veelal in teams van studenten gedaan, wat kan leiden tot grieven tussen de studenten (studenten die niet hun best doen versus studenten die er te veel aan trekken, verschillen in cijfertevredenheid tussen studenten). Door alert te zijn op de volgende zaken, kan je dit als docent ondervangen:
- Wees tijdens de cursus beschikbaar voor studenten om de problemen te bespreken
- Neem peer feedback op groepswerk mee in de rubric
- Gebruik een Team-Charter om studenten te laten discussiëren over hun favoriete manier van werken binnen de groep, maar ook om te plannen wat een ieder wil bijdragen en wat een ieder daadwerkelijk heeft bijgedragen
- Laat studenten hun verwachtingen van werken in het team binnen het team bespreken (cijfer, bijdragen, werkethiek)
- Werk met een 'eerste auteur/tweede auteur' principe. Studenten moeten tijdens de cursus minstens één keer presenteren, maar ook bijdragen aan de andere presentaties tijdens de cursus.
Restricties en randvoorwaarden
De plg heeft de ervaring dat er verschillende restricties en randvoorwaarden kunnen zijn, afhankelijk van de faciliteitem universiteiten, context, eisen van de omgevind en dergelijke. Een paar ter overweging:
- Welk soort labomgeving beschikbaar is;
- Welke voorkennis verwacht je van de student voor het practicumvak;
- Het aantal en soort docent of onderwijsassistent of studentassistent;
- Het soort resultaat/resultaten op te leveren door de student (product, verslag, presentatie, tentamen);
- Het soort voorbeeld, test-case, oefenpracticum (procedureel);
- De toegestane en toegankelijke informatie (literatuur, boeken, etc.) en mensen (experts) die de student kan raadplegen;
- Details van de toetsing – berekening eindcijfers, gewicht per onderdeel, meerdere beoordelaars;
- Open ontwerp- of onderzoeksprojecten kunnen tijdsintensiever zijn dan gesloten projecten.
Must-haves
De plg is het er over eens dat er ‘must haves’ zijn:
- Studentassistenten of docenten moeten in de regel beschikbaar zijn in het lab tijdens het vak
- Duidelijk maken dat van studenten verwacht wordt dat ze hun eigen mening vormen gebaseerd op informatie die ze hebben gevonden en dat ze die moeten gebruiken in hun werk;
- Studenten rapporteren aan elkaar wat ze gaan doen of hebben gedaaan zodat er peer-feedback en delen van resultaten en ervaringen plaatsvindt;
- Duidelijk maken aan studenten dat falen altijd mogelijk is en dat dit een mogelijkheid biedt om de plannen te herzien;
- Geef studenten een cijfer voor het proces, hoe ze hebben gewerkt, hun academische houding, hoe ze laten zien wat ze geleerd hebben, hun gedrag en dergelijke;
- Geef studenten een cijfer voor een tussentoets/product (theorie toets, procedure toets, etc.);
- Gebruik een rubric om het verslag, het artikel, de presentatie te beoordelen.
Must Haves: Rubrics
Wat ondervonden wij dat belangrijk is voor werken met rubrics
Soorten rubrieken voor open onderzoek
Rubrics voor het proces
- (midterm/labmeeting/update) Presentatie
- Labjournaal
- Academische/professionele houding
- Teamwork, Feedback, Hoe pak je de problemen aan
Rubrics voor producten
- Laatste voorbereiding/ onderzoeksvoorstel
- (wetenschappelijke) Eind presentatie
- Verslagen
Noodzakelijk in de rubrieken
- Gebruiken van constructive alignment; rubrics moeten de leerdoelen weerspiegelen
- Onderzoeksvaardigheden moeten in de rubrieken staan
- Formatieve feedback op categorieën uit de rubric tijdens het open inquiry gedeelte (via rubrics of mondeling, go/nogo point)
Wat wij ondervonden dat optioneel of cursusspecifiek is
- Groepswerk
- Veiligheid
- Projectmanagement, datamanagement
- Feedback ontvangen, geven en gebruiken/toepassen
- Onderzoekscommunicatie (presentatie, rapport, tutorial, video, handleiding)
- Rubrics voor producten
Tips voor het gebruik van rubrics / Hoe kom je van een rubric naar een cijfer (geslaagd/gezakt):
FALEN VOOR HET EXPERIMENT ≠ NIET SLAGEN VOOR DE CURSUS!
Met open inquiry beoordeel je het proces in plaats van de uitkomst/verkregen kennis. Het gebruik van een Rubrics geeft studenten richtlijnen over wat er van hen wordt verwacht en wat er nodig is voor een hoog(er) cijfer. Het standaardiseert de beoordeling tussen docenten en geeft docenten richtlijnen over waar ze zich tijdens de cursus op moeten concentreren.
Rubrics als feedbacktool voor de studenten werken misschien het beste tijdens de cursus, omdat studenten graag willen weten wat ze kunnen verbeteren om een hoog cijfer te krijgen, terwijl studenten aan het einde van een cursus over het algemeen gewoon graag hun cijfer willen weten.
Houd rekening met de volgende punten bij het gebruik van rubrieken
- Rubrieken met strikte niveaus (zoals 1, 4, 7, 10) kunnen leiden tot het aanpassen van rubrieken om studenten het cijfer te geven dat je wilt geven, wat het doel van de rubrieken als een manier om feedback te geven ondermijnt.
- Te weinig categorieën leiden tot grote verschillen in cijfers
- Te veel categorieën gebruiken zorgt voor een gemiddelde score van ~7 voor alle studenten
Dit kan worden omzeild door:
- Neem één niveau voor onvoldoende en 3-4 niveaus voor voldoende criteria
- Geef categorieën/items een andere/verschillende weging
- Beoordeel excellente bijdragen hoger dan een 10 (12 of 13)
- Voeg extra criteria toe voor excellente studenten (voeg 0,5 punt toe aan het totaalcijfer)
- Laat studenten een leerdoel toevoegen in de rubrics
- Verdeel brede categorieën in subitems (bijv. experimenteel ontwerp in onderzoeksvraag, aanpak, meetplan en analyseplan).
- In plaats van cijfers kan elk leerdoel beoordeelt worden met voldoende/ onvoldoende. Aan de hand van de leerdoelen kun je bepalen voor welke onderdelen de studenten een voldoende moeten halen om te slagen voor het vak.
Online artikelen vanuit dit project
Over de practicumvakken:
Bradbury, F. R., & Pols, C. F. J. (2020). A pandemic-resilient open-inquiry physical science lab course which leverages the Maker movement. Electronic journal for research in science and mathematics education 24 (3).
Logman, P. S. W. M., & Kautz, J. (2021, May). From Dublin descriptors to implementation in Bachelor labs. In Journal of Physics: Conference Series (Vol. 1929, No. 1, p. 012065). IOP Publishing.
Artikel op de website universiteit Leiden "Only when you give students freedom, exceptional results are possible."
De Putter, L. and Logman P. (2023). Basis voor studeren: leerlingen meenemen in de onderzoekrs- en ontwerrol om ind e bachelor goed beslagen ten ijs te komen. WND conferente 2023. https://www.fisme.science.uu.nl/woudschotennatuurkunde/verslagen/Vrsl2023/2023/werkgroepenza.html#basis-voor-studeren-leerlingen-meenemen-in-de-onderzoekers-en-ontwerperrol-om-in-bachelor-goed-beslagen-ten-ijs-te-komen
Student opbrengsten:
Feenstra, L., Cramer, J., & Logman, P. (2021). A Lego® Mach–Zehnder interferometer with an Arduino detector. Physics Education, 56(2), 023004.
Van Willigen, J., Loman, C., Thibaudier, P., Fokkema, D. B., & Hijmans, T. W. (2020). Uranium fission and plutonium production in the undergraduate lab. American Journal of Physics, 88(3), 200-206.
Ontwerp Werkblad Open Inquiry
