Als een ICT student of professional zul je allerlei ICT uitdagingen op moeten lossen. Daarvoor zul je vragen moeten beantwoorden om tot een geschikte oplossing te komen, denk bijvoorbeeld aan "Wat wil de eindgebruiker eigenlijk?" en "Bestaan hier misschien al geschikte oplossingen voor?". Wanneer het vinden van een antwoord meer vraagt dan "even Googlen" en op het bovenste antwoord klikken, zul je een onderzoek(je) moeten uitvoeren om tot een goed antwoord te komen. Maar hoe?
Passende onderzoeksmethodes kiezen kan heel lastig zijn. Er zijn veel verschillende onderzoeksmethoden en net zo veel redenen waarom de ene methode misschien meer geschikt is voor je project dan anderen. Het DOT-framework biedt een goede manier om de verschillen en overeenkomsten tussen verschillende onderzoeksmethoden te begrijpen, zodat je een geschikte methode – of combinatie van methodes – kunt kiezen.
In deze bouwsteen wordt eerst het framework uitgelegd, met de bijbehorende onderzoeksstrategieën en afwegingen. Vervolgens worden een aantal manieren beschreven waarop je dit framework en de lijst met voorbeelden van methoden (ook beschikbaar als kaartenset) kunt gebruiken om geschikte methoden te kiezen om de belangrijkste vragen in je project te beantwoorden.
P.S. Onderzoek is "het methodisch beantwoorden van vragen dat leidt tot relevante kennis voor het maken van beroepsproducten" (Andriessen, 2014). Het gaat om het verkrijgen van de informatie je nodig hebt om een goede oplossing te realiseren voor je project. Onderzoek doen is dus niet iets wat je alleen nodig hebt voor je afstuderen, maar hoort gewoon bij je beroep!
P.P.S. Het DOT-framework is opgesteld door Koen van Turnhout et al. (2013), docenten van de HAN. De afbeeldingen zijn letterlijk van hen overgenomen en worden hier gebruikt met hun toestemming. De uitleg is grotendeels overgenomen van de CMD methods en ICT research methods sites met hier en daar lichte aanpassingen. De kennisclips zijn gemaakt door Tom Langhorst van Fontys in het kader van Praktijkgericht onderzoek voor ICT.
Heb je vragen of opmerkingen over deze bouwsteen? Neem dan contact op met Danny Plass (Saxion).
Leerdoelen
Na deze bouwsteen:
Ken je het DOT-framework met de bijbehorende onderzoeksstrategieën en afwegingen met betrekking tot wat je met het onderzoek wilt bereiken.
Kun je het DOT-framework gebruiken om onderbouwd een passende combinatie van methoden te kiezen om aan de nodige informatie te komen voor een geschikte oplossing voor je project.
Als ICT'er is je doel het realiseren van een ICT oplossing voor een bepaald probleem of vraag.
Dit soort ICT onderzoek is dan ook oplossingsgericht, en niet gericht op het creëren van nieuwe kennis, zoals wel het geval is bij wetenschappelijk onderzoek.
Het Development Oriented Triangulation (DOT)-framework kan je helpen bij het structureren van je onderzoeksactiviteiten om te komen van vraag naar oplossing. Het bestaat uit drie lagen:
Wat - de kennisdomeinen waarover je informatie naar boven kunt halen
Hoe - de onderzoeksstrategieën (ook wel bekend als onderzoeksruimtes) en de methoden die je gebruikt om de nodige informatie te verkrijgen
Waarom - de afwegingen die duidelijk maken waarom je kiest voor bepaalde onderzoeksactiviteiten
Bekijk de volgende kennisclips van Fontys voor uitleg van het DOT-framework.
De sectie hierna geeft tekstuele uitleg van het framework.
Korte introductie van het framework (duur 1:59)
Uitleg van het framework a.d.h.v. een voorbeeld (duur: 21:26)
Uitleg van de strategieën (duur: 18:23)
Drie kennisdomeinen (Wat)
Binnen ICT projecten zul je meestal nieuwe oplossingen moeten ontwikkelen, zoals processen, architecturen, applicaties of back-end systemen. Onderzoeksmethoden helpen je in je zoektocht naar vernieuwing en kwaliteit. Tijdens een ontwerpproject kun je je vragen stellen om informatie naar boven te halen op drie verschillende gebieden:
Beschikbaar werk (Available work): Mogelijk wil je weten wat er al door anderen is gedaan. Dit betreft niet alleen al bestaande producten of artikelen over deze producten, maar ook experts en auteurs. Je zou kunnen kijken naar de concurrentie, gebruik kunnen maken van bestaande theorieën of modellen, of best practices en design guidelines kunnen vinden om ervoor te zorgen dat je ontwerp inderdaad nieuw en in sommige aspecten beter is dan wat er al bestaat. Bijbehorende activiteiten zouden kunnen zijn: lezen, bestaande oplossingen zelf uitproberen, en experts raadplegen. In dit domein kun je algemene informatie vinden die je kan helpen binnen je project.
Toepassingscontext (Application domain): Wellicht wil je meer weten over de mensen die je oplossing gaan gebruiken en de situatie waarin het gebruikt zal worden. Je kunt de werkprocessen onderzoeken die je zult moeten ondersteunen, of de mensen die je klant zullen zijn. Activiteiten zijn bijvoorbeeld: observeren, de context van gebruik in kaart brengen, en je doelgroep raadplegen. Binnen dit domein vind je informatie die specifiek is voor waar jouw oplossing gebruikt gaat worden.
Innovatieruimte (Innovation space): Misschien wil je de mogelijkheden binnen de oplossing zelf onderzoeken. Je kunt verschillende mogelijke manieren om het probleem op te lossen verkennen en vergelijken d.m.v. ideation of prototyping technieken. Tijdens deze activiteiten kun je ook je doelgroep en experts betrekken. Dit domein is waar de daadwerkelijke innovatie plaatsvindt.
Tijdens een project probeer je dus zoveel mogelijk te leren over de domeinen van beschikbaar werk, toepassingscontext en de innovatieruimte. Hoe krijg je informatie over deze domeinen? Het DOT-framework groepeert de methoden hiervoor in 5 onderzoeksstrategieën.
Bieb (Library) - Op de schouders van reuzen
Onderzoek in de biebstrategie heeft als doel verkennen wat er al is gedaan en welke richtlijnen en theorieën er bestaan die je zouden kunnen helpen met het bedenken en verbeteren van je oplossing. Dit kan literatuuronderzoek zijn naar best practices of een concurrentieanalyse, maar ook een expertinterview.
Veld (Field) - Ken je gebruiker
Onderzoek in Veld wordt gedaan om de eindgebruikers beter te leren kennen met hun behoeften en wensen, en de beperkingen van de organisatie- en fysieke context waarin je oplossing zal worden gebruikt. Veelgebruikte methoden hier zijn gebruikersinterviews en -observaties.
Werkplaats (Workshop) - Verbeter je oplossing
Werkplaatsonderzoek valt samen met de innovatieruimte en wordt gedaan om mogelijkheden te verkennen. Door middel van brainstorms, prototyping, reviews en vergelijkingen verkrijg je inzicht in wat mogelijk is en hoe dingen (beter) zouden kunnen werken.
Lab - Meten is weten
Binnen labonderzoek kun je delen van je oplossing, concepten of je uiteindelijke product testen. Je wil erachter komen of dingen werken zoals je had bedoeld, of verschillende scenario's uitproberen. Voorbeelden van methoden zijn systeemtests, usability tests en beveiligingstests.
Showroom - Toon je waarde
Onderzoek binnen de showroomstrategie wordt gedaan om je ideeën te vergelijken met beschikbaar werk. Hoe is jouw oplossing anders dan dat van de concurrentie? Je kunt hiervoor bijvoorbeeld je prototype laten evalueren door experts, een benchmark vergelijking opstellen, of een pitch formuleren met de unique selling points van jouw product.
Als je kunt uitleggen wat je wilt bereiken, kan dit je helpen met het structureren van je onderzoek. Als je onderzoek doet binnen de toepassingscontext, dan is je doel waarschijnlijk tot een oplossing te komen die relevant is voor de verschillende belanghebbenden. Je probeert te zorgen voor een optimale aansluiting (fit) tussen je product en de toepassingscontext en hebt daarvoor informatie nodig uit die toepassingscontext. Vaak zul je ook zeker willen zijn dat je oplossing wel voldoet aan de huidige kwaliteitsstandaarden. In zo'n geval zul je alle beschikbare expertise willen gebruiken om je product te ontwikkelen. Dit doe je door onderzoek te doen binnen het domein van beschikbaar werk. Er zijn weinig onderzoeksmethoden die tegelijkertijd zorgen voor een betere fit met de toepassingscontext en betere aansluiting bij bestaande expertise, zul je meestal methoden uit beide domeinen moeten gebruiken binnen een project.
Zo is er een vergelijkbare afweging tussen overzicht (overview) en zekerheid (certainty). Meestal wil je in het begin eerst goed overzicht krijgen over wat nodig is of wat er al beschikbaar is. Op andere momenten wil je juist specifieke aspecten van je werk testen om er zeker van te zijn dat het werkt. In die gevallen kun je je onderzoeksaanpak zo opstellen dat je meer aandacht hebt voor zekerheid over je doelen.
Tenslotte is er nog de afweging data vs. inspiratie. In de meeste gevallen zul je een data-gerichte aanpak gebruiken om je keuzes te onderbouwen met resultaten die niet sterk afhangen van wie het onderzoek uitvoert. Maar je zult ook af en toe gebruik maken van inspiratie-gerichte methoden, waarin jijzelf persoonlijk (deels) de antwoorden bepaalt die naar boven komen, bijvoorbeeld met de Brainstorm methode. Data-gerichte methoden zijn dus erg geschikt voor onderbouwing, terwijl inspiratie-gerichte methoden juist bijdragen aan creatieve, innovatieve oplossingen.
Aan de ene kant zorgen de afwegingen er zo voor dat je geschikte methodes kiest om de informatie naar boven te halen die je nodig hebt voor je doelen. Aan de andere kant laten ze je ook zien dat je voor een goede oplossing juist een combinatie van methoden op verschillende assen nodig hebt: triangulatie. Op die manier heb je zowel overzicht als zekerheid gezocht, zowel gezorgd voor een goede fit als gebruik gemaakt van expertise. Welke aspecten in jouw situatie het belangrijkst zijn hangt natuurlijk af van het doel van jouw specifieke project. Houd ook rekening met de beperkte tijd die je tot je beschikking hebt.
P.S. Je kunt ook bewust kiezen om juist meerdere methoden binnen dezelfde onderzoeksruimte te combineren. In plaats van triangulatie dan te gebruiken om breedte te zoeken in de verschillende afwegingen, kies je er dan voor om een bepaald aspect grondiger uit te diepen waardoor je zekerder bent van je antwoorden op de vragen op dat gebied. Het belangrijkste is dat je bewust keuzes maakt en deze kunt onderbouwen vanuit het doel dat je wilt bereiken.
Voorbeeld
Hoe kan een robot oma minder eenzaam laten voelen?
Hier volgt een voorbeeld met een veelvoorkomend "onderzoeksontwerppatroon" (research design pattern): Eerst overzicht krijgen van de situatie en bestaand werk in Veld en Bieb, dan een oplossing ontwerpen en mogelijk realiseren in Werkplaats, om het vervolgens te evalueren in Lab en Showroom. Dit is een voorbeeld van een lineair proces.
Een vraag, kans of probleem om op te lossen komt vaak uit de praktijk. Stel je bezoekt je oma en ze vertelt dat ze zich vaak eenzaam voelt. Je hebt wel vaker gehoord dat oude mensen zich eenzaam voelen. Hier ligt blijkbaar een veelvoorkomend probleem. Je hebt toevallig net een project met robots achter de rug - zou dat hier misschien een geschikte oplossing kunnen zijn?
Een project begint meestal met het krijgen van meer overzicht en inzicht in het probleem. Wanneer voelt oma zich eigenlijk eenzaam en wanneer juist niet? Wat wil oma zelf? Je wilt informatie uit de toepassingscontext - de situatie waar de oplossing toegepast gaat worden. Overzicht van de toepassingscontext? Dan kom je uit in de strategie Veld. Je zou oma kunnen interviewen. Als je een methode gaat gebruiken, check dan vooral wat belangrijke punten zijn om dit goed te doen (Biebstrategie!). Je wilt niet alleen maar gezellig een kopje thee drinken met oma, maar ook zeker weten dat je antwoorden krijgt op je vragen. Je kunt bijvoorbeeld voor een interview een topic lijst opstellen. Ook hiervoor kun je weer even naar de Biebstrategie: Wat is er al bekend over wat bijdraagt aan het gevoel van eenzaamheid bij ouderen? Staan daar bepaalde onderwerpen bij waar je ook naar wilt vragen bij oma? En als je toch in het bejaardentehuis bent, kun je misschien ook nog een paar andere oma's interviewen om te kijken of je een oplossing kunt maken die meerdere mensen zou kunnen helpen.
Nu je beter inzicht hebt in het probleem dat je probeert op te lossen en de wensen van de oma's, is een goede volgende stap te kijken wat anderen al hebben gedaan. Overzicht in Beschikbaar werk: de Biebstrategie. Bestaat de oplossing al? Of zijn er misschien wel pogingen gedaan, maar waren er nog wat problemen mee? Daar kun je mooi van leren voor je eigen (betere) oplossing. Bieb kan ook nuttige informatie geven over bestaande onderdelen die je zou kunnen hergebruiken, zoals een geschikte schattige robot of een softwarebibliotheek voor spraakherkenning en spraakgeneratie. Check ook de best practices rond de methoden en processen die je wilt gaan gebruiken. Veelgebruikte manieren om informatie in de Biebstrategie te vinden is natuurlijk door te zoeken op het internet of door een expert om input te vragen (tip: gebruik ook bij zo'n interview weer iets als een topic lijst). De biebstrategie bespaart je vaak veel werk doordat je verder kunt bouwen op het werk van anderen voor je - "Standing on the shoulders of giants".
Je hebt de wensen en inspiratie uit je gesprekken met oma's en bestaand werk. De volgende stap is te komen tot een ontwerp en deze te realiseren. Het is tijd voor innovatie in de Werkplaats. Brainstormen, interacties ontwerpen, prototypes bouwen en uitproberen zijn allemaal activiteiten die je hier zou kunnen doen. Ook hier is weer de methodische aanpak belangrijk. Zomaar lukraak een oplossing in elkaar klikken maakt de kans vrij klein dat de oplossing ook echt bruikbaar gaat zijn. Ook vanuit deze strategie zul je regelmatig kleine uitstapjes maken naar andere strategieën, bijvoorbeeld naar Bieb om informatie in te winnen hoe je bepaalde dingen het beste kunt doen, naar Veld om verder inzicht te krijgen in de context van gebruik en naar Lab om even kort te testen of je oplossing wel lijkt te werken zoals je hoopt of een tussentijds prototype te demonstreren aan oma.
Als je dan een prototype hebt gerealiseerd is de hamvraag: zorgt de robot ook werkelijk voor minder eenzaamheid bij oma? Je wilt zekerheid in de Toepassingscontext: tijd voor de Lab-strategie. Het doel is hier te evalueren of je oplossing werkelijk het probleem oplost en aan de eerder geformuleerde eisen en wensen voldoet. Voor verschillende soorten eisen zijn verschillende soorten tests. Je zou oma kunnen vragen om elk uur aan te geven hoe ze zich voelt, op een gewone dag en hetzelfde op een dag met de robot, om dit met elkaar te vergelijken. Als de andere oma's ook weer mee willen doen, dan heb je nog meer zekerheid!
Nu missen we nog een heel belangrijke onderzoeksstrategie, namelijk Showroom. Showroom geeft zekerheid ten opzichte van Beschikbaar werk. Voegt jouw oplossing werkelijk wat toe ten opzichte van al bestaande oplossingen? Stel bijvoorbeeld een vergelijking op tussen jouw oplossing en al bestaande sociale robots waarin duidelijk wordt wat de verschillen zijn. En laat je je werk zo achter dat anderen er weer op door zouden kunnen bouwen? Zorg voor goede documentatie.
Hoe je de kaarten gebruikt is aan jou, maar bij deze een aantal suggesties. Negatieve selectie en Triangulatie zijn vooral geschikt om uit te voeren in je eentje. Voor teams is er Triangulatiekwartet, Vierspel en Netwerkspel, hoewel ze met een beetje fantasie ook in je eentje te gebruiken zijn.
Let op: Om de spellen te spelen heb je wel eerst een grof idee nodig van je doel. Anders kun je namelijk geen idee vormen van wat voor informatie je nodig gaat hebben om dat doel te bereiken. Heb je nog geen doel, dan kun je beter eerst afspreken met de opdrachtgever of, als je zelf je doel kiest, een brainstormsessie houden.
Negatieve selectie
Het volgende spel kun je zowel in je eentje doen als in een team.
Leg de kaarten voor je neer zodat je ze allemaal kunt zien.
Verwijder de helft van de kaarten, die om wat voor reden dan ook niet geschikt zijn voor je project.
Herhaal stap 2, tot je een gebalanceerde en haalbare set methodes hebt.
Triangulatie
Het volgende spel kun je zowel in je eentje doen als in een team.
Kies een kaart uit de kaartenset.
Bedenk het soort resultaten dat je zou krijgen met deze methode(s).
Kies een kaart die zorgt voor optimale triangulatie over de afwegingen.
Herhaal de laatste twee stappen tot je alle resultaten hebt die je nodig hebt voor dit project.
Triangulatiekwartet
Dit spel is bedoeld voor teams.
Schud de kaarten en geef elke speler 4 kaarten. De rest van de kaarten vormen een trekstapel.
Een teamlid begint. Als de vier kaarten in zijn hand niet zorgen voor een optimale triangulatie, dan probeert hij een kaart te ruilen met een ander door te vragen om een specifieke kaart.
Als de ander die kaart niet heeft: leg een kaart weg onder de stapel en trek een nieuwe. Wanneer je een kaart weglegt, leg dan uit waarom die kaart weg moet. Dan is de beurt aan de volgende speler.
Herhaal de stappen tot iemand naar zijn/haar mening vier kaarten heeft met een optimale triangulatie. Hij/zij verdedigt deze set voor de andere teamleden.
Vierspel
Vierspel is bedoeld voor teams, maar zou ook in je eentje uitgevoerd kunnen worden.
Schud de kaarten en geef elke speler 4 kaarten. De rest van de kaarten vormen een trekstapel. Leg vier kaarten open op tafel. Dit is jullie initiële onderzoeksaanpak.
Een teamlid begint. De speler kiest een van de kaarten uit z'n hand om toe te voegen aan de onderzoeksaanpak op tafel, en kiest vervolgens welke kaart uit de aanpak het minst geschikt is voor het huidige project en legt deze onder aan de trekstapel. Elke keuze wordt onderbouwd naar de overige spelers.
Heb je geen kaart die die huidige aanpak beter zou maken, leg dan je hele hand onder aan de trekstapel en trek 4 nieuwe kaarten. Dan is de beurt aan de volgende speler.
Herhaal de stappen tot een ronde lang niemand meer een kaart aan de aanpak heeft toegevoegd.
Netwerkspel
Het volgende spel levert een iets uitgebreidere onderzoeksaanpak op dan de bovenstaande spellen. Je hebt er ook nog een aantal extra dingen voor nodig, namelijk: post-its, een pen, een stuk tafel of muur, en eventueel nog extra post-it-plakkers in de vorm van pijltjes.
Voorbereiding
Schrijf op een post-it in een paar steekwoorden het doel van de opdracht.
Schud de kaarten en verdeel ze onder de teamleden.
Fase 1) Divergeren
Een teamlid begint. Tijdens je beurt:
Kies een methode uit je stapel en zeg wat voor informatie deze methode op zou kunnen leveren die nuttig zou zijn om te komen tot een geschikte oplossing.
Schrijf methode en de informatie op een post-it en plak het op tafel (of op de muur). Let op: Hou de kaart in je stapel. Misschien kun je dezelfde methode nog gebruiken om andere informatie naar boven te halen!
Is er al een methode geplakt die dezelfde informatie oplevert, probeer dan je team te overtuigen waarom deze methode beter is. Is je team overtuigd? Plak dan jouw methode er bovenop. Of misschien is het besluit om beide methodes samen te gebruiken zodat jullie zekerder zijn van het antwoord: plak het er dan naast.
Geef afhankelijkheden aan.
Ben je voor het uitvoeren van de methode afhankelijk van andere informatie die al opgeplakt is, plak dan een pijl zodat die wijst van die informatie die je nodig hebt naar deze methode die je net hebt neergeplakt. Herpositioneer eventueel wat post-its als dat je aanpak duidelijker maakt.
Ligt er een methode op tafel die de informatie nodig heeft die jouw methode oplevert, plak dan een pijl van de informatie naar die andere methode. Herpositioneer wat post-its als dat je aanpak duidelijker maakt.
Ga door met het volgende teamlid tot niemand meer een methode toe wil voegen. Ga dan door naar de volgende fase.
Fase 2) Convergeren
Nu alle mogelijk interessante onderzoeksactiviteiten zijn opgeplakt is het tijd om terug te werken naar een haalbaar plan met alleen de meest belangrijke onderdelen.
Een teamlid begint. Tijdens je beurt:
Wijs een van de opgeplakte onderzoeksactiviteiten aan en geef aan waarom deze activiteit het minst (of in ieder geval zeer weinig) bijdraagt aan het eindresultaat.
Heb je je team kunnen overtuigen, dan haal je de activiteit weg. Let op: haal je niet per ongelijk toch belangrijke informatie weg? Zit er nog triangulatie in je aanpak?
Ga door met het volgende teamlid tot niemand meer een methode toe wil weghalen en jullie het erover eens zijn dat dit haalbaar is binnen de tijd die jullie hebben.
Opdrachten
Zelfassessment (kennis)
Oefening: Zelftest DOT-framework
0%
Met behulp van onderstaande zelftest kun je bepalen hoe goed je het DOT-framework met de drie kennisdomeinen, twee afwegingen en vijf onderzoeksstrategieen kent. De test bestaat uit 10 meerkeuzevragen en geeft na elke vraag aan wat het goede antwoord was en of je het goed had.
Hieronder volgt een beschrijving van een onderzoekstraject dat binnen het Saxion lectoraat Ambient Intelligence is uitgevoerd. Na de beschrijving volgen er een paar vragen over de beschrijving.
Vragen
1. Welke onderzoeksvragen herken je in het verhaal?
2. Kan je er nog meer bedenken die belangrijk zijn?
3. Welke methoden en onderzoeksstrategieën herken je?
4. Zou je zelf nog andere methoden en strategieën gebruiken? Waarom?
Projectopdracht
Bedenk een onderzoeksaanpak voor je huidige project. Onderbouw je aanpak vanuit wat het onderzoek bijdraagt aan de eindoplossing. Maak gebruik van triangulatie.
Geef per stap aan:
de vraag aan die je wilt beantwoorden,
wat voor informatie je daarmee naar boven wilt halen (welk kennisdomein hoort dit?),
hoe je die vraag gaat beantwoorden (welke methode?),
en waarom dit belangrijk is (wat probeer je te bereiken? waar zit je op de assen?).
Tip: Gebruik een van de Aanpakspellen om tot een eerste aanpak te komen.
De methoden in de kaartenset en de lijsten zijn slechts ter inspiratie. Laat je je er niet door beperken. Er is nog veel meer mogelijk!
Behalve de methoden, kan het ook nuttig zijn om na te denken over hoe het resultaat eruit gaat zien. Hoe ga je de informatie zo vormgeven dat je het door kunt geven naar de volgende stap in het proces? Is het een lijst van eisen? Een prototype? Een tabel met de kenmerken van verschillende oplossingen naast elkaar?
Stel voor een goede aanpak ook de volgende twee vragen: In hoeverre zijn deze vragen/onderzoeken nodig voor een goede eindoplossing? En is deze aanpak haalbaar gegeven de tijd die je hebt?
Wat betreft haalbaarheid: Hoeveel tijd een activiteit kost hangt van meer af dan alleen de methode zelf. Als je twee mensen interviewt kost dat minder tijd dan wanneer je er tien wilt interviewen. Denk dus ook alvast een beetje na over wat je precies wilt gaan doen binnen die activiteit.
Bronnen
Andriessen, D. (2014). Praktisch relevant én methodisch grondig. Dimensies van onderzoek in het HBO. Kenniskring Methodologie van Praktijkgericht Onderzoek. Hogeschool Utrecht Kenniscentrum Innovatie & Business, Nederland. ISBN (EAN), 978-90.
Langhorst, T.A. (2017). Praktijkgericht Onderzoek binnen FHICT - Het DOT framework. Fontys, Nederland. Geraadpleegd op: 10 augustus 2018, van http://www.fhict.nl/Vakken/DOTFramework/
Turnhout, K. van, Craenmehr, S., Holwerda, R., Menijn, M., Zwart, J. P., & Bakker, R. (2013). Tradeoffs in design research: development oriented triangulation. In Proceedings of the 27th International BCS Human Computer Interaction Conference (p. 56). British Computer Society.
Het doel van deze bouwsteen is een introductie te geven over het DOT framework om studenten houvast te geven bij het bepalen van hun aanpak van het onderzoek in hun eigen project.
Plaats in het curriculum en module
Curriculum
Aangezien deze bouwsteen een eerste introductie geeft in het DOT framework is het aanbevolen dit leermateriaal in te zetten aan het begin van het eerste leerjaar, bijvoorbeeld kwartiel 1 of kwartiel 2. Dit geeft de studenten houvast bij het nadenken over onderzoek en geeft de docenten een handvat voor het begeleiden van studenten op dit onderwerp. Aangezien er bij elk project wel een bepaalde informatiebehoefte is, zullen studenten hier baat bij hebben bij elk volgend project.
Module
Het is aanbevolen onderzoek zoveel mogelijk geintegreerd aan te bieden, dus niet als een vak dat compleet los lijkt te staan van de overige professionele vaardigheden. Ons advies is deze bouwsteen te integreren in een projectmodule, zodat de studenten van deze kennis en vaardigheden gebruik kunnen maken in een realistische context.
Er zijn voorbeeldlesplannen aangegeven met ideeen voor zowel minimale contacttijd (alleen bespreking van de aanpak) als een workshop van 2 lesuren.
Voorkennis
Er is geen vereiste voorkennis, maar wel kennis die handig is om rond deze bouwsteen ook aan te reiken. Denk hierbij aan een onderdeel over de onderzoekscyclus zodat studenten weten hoe ze na het plannen van hun onderzoek tot op methodeniveau ze ook de stappen binnen die methode verder uit kunnen werken in termen van data verzameling, data analyse en visualisatie, en het trekken van conclusies. Een ander aanbevolen onderwerp is het schrijven van een projectplan of onderzoeksplan waarin het plan waar studenten op uit komen m.b.v. deze bouwsteen in beschreven kan worden. Daarnaast is het natuurlijk aan te raden om de studenten informatie of bronnen aan te reiken voor het uitvoeren van een aantal veelvoorkomende/handige methoden, zoals een basis interviewtechnieken, brainstorming, paper prototyping, en basale informatievaardigheden voor het doen van literatuuronderzoek.
Vervolgkennis
Aanbevolen vervolgkennis is eigenlijk alles wat ook maar voortbouwt op enige basale onderzoekskennis, zoals design research patterns / beroepsprocessen, stepping stones, of het reflecteren op de kwaliteit van gedaan onderzoek.
Tips bij de opdrachten
Zelftest
De zelftest kan door studenten zelf worden uitgevoerd na het bekijken van de bouwsteen, zodat ze weten hoeveel van het materiaal al is geland en waar ze nog een keer naar zouden kunnen kijken. De zelftest geeft direct aan of een antwoord goed was of fout.
Als docent kun je rondvragen of er n.a.v. deze test nog vragen of onduidelijkheden zijn.
Verwerkingsopdracht
In de verwerkingsopdracht lezen de studenten een beschrijving van daadwerkelijk uitgevoerd onderzoek en krijgen vervolgens opdrachten om te herkennen welke vragen, methoden en onderzoeksstrategieën zijn gebruikt, incl. de vraag wat zij zelf anders zouden hebben gedaan en waarom. De verwerkingsopdracht kan individueel worden uitgevoerd als voorbereiding thuis, maar zou ook in een groepje plaats kunnen vinden tijdens een workshop of begeleidingsuur. In dat laatste geval kan bijvoorbeeld per alinea in het team besproken worden welke vragen en methodes de studenten herkennen en wat ze mogelijk anders zouden doen.
Er zou een inleveropdracht van gemaakt kunnen worden om het daadwerkelijk uitvoeren van deze opdracht te stimuleren.
Projectopdracht
De insteek van de projectopdracht is het gebruik van het framework voor het ontwerpen van het nodige onderzoek voor een project, zoals we het ook in de praktijk graag zouden willen zien. Stimuleer studenten in eerste instantie vooral breed te kijken, voorbij de standaard methoden. Daag ze uit om nog eens te kijken naar alternatieve methoden en ook naar strategieen die ze op dit moment misschien nog niet gebruiken. Help ze nadenken over wat ze met de verschillende onderzoekjes proberen te bereiken (de afwegingen) en wat dit bijdraagt aan hun eindoplossing. Zo gaan ze vermijden ze hopelijk de valkuil van het onderzoek doen alleen omdat ze onderzoek moeten doen, en helpt dit ze met het vinden van geschikte methodes binnen de juiste strategieën.
Praktisch gezien kan het vooral voor de eerste blootstelling aan het framework handig zijn om studenten een concreet kaartenspel te geven om uit te voeren in plaats van ze zelf te laten kiezen. Ook is het een idee om al een zekere fasering van het beroepsproces aan te geven, bijvoorbeeld: probleemanalyse - ideeengeneratie - ontwerp - evaluatie (realisatie is in kwartiel 1 waarschijnlijk wat te veel gevraagd, hoewel er wel degelijk mogelijkheden zijn met bijv. paper prototyping). Op die manier hoeven studenten alleen nog maar kaartjes te plaatsen binnen elke fase en stimuleert de fasering het gebruik van meerdere onderzoeksruimtes. Een andere aanpak kan zijn een eis te stellen in de trant van: gebruik tenminste drie verschillende onderzoeksstrategieën.
In plaats van de aanpak alleen maar in te leveren voor feedback, kan het ook heel leerzaam zijn de studenten hun aanpak te laten presenteren aan de andere teams. Studenten worden zo meer blootgesteld aan verschillende mogelijkheden wat betreft het gebruik van strategieën en methoden en de onderbouwing voor het gebruik ervan.
Voorbeeld lesplannen
Tijdsindicaties hangen natuurlijk af van de betreffende student(en) en hoe grondig ze het betreffende materiaal lezen en verwerken danwel hoe serieus de opdrachten worden uitgevoerd.
Voorbeeld lesplan 1: minimale contacttijd
2 u
De student neemt zelf thuis de bouwsteen door en doet de zelftest ter voorbereiding.
Individueel
2 u
Binnen het eigen projectteam voeren studenten de verwerkingsopdracht uit en leveren hun antwoorden in als team.
Groep
2 u+1 u
Het projectteam werkt een plan uit voor het eigen project door het uitvoeren van de projectopdracht, met behulp van een kaartspel naar keuze.
Groep
1u
Het grove plan wordt in tekst en/of visueel uitgewerkt en ingeleverd.
Groep
15 min
De docent bespreekt het plan met het team, beantwoordt openstaande vragen en geeft feedback.
Begeleiding
Groep
1u
Het projectteam past eventueel het plan nog aan en levert de laatste versie in.
Groep
Voorbeeld lesplan 2: workshop en presentatie
2 u
De student neemt zelf thuis de bouwsteen door en doet de zelftest ter voorbereiding.
Individueel
2 u
Binnen het eigen projectteam voeren studenten de verwerkingsopdracht uit.
Groep
2 u
Centrale bespreking van vragen n.a.v. het doorwerken van de bouwsteen en de verwerkingsopdracht.
De docent geeft de studenten materiaal voor het uitvoeren van het Netwerkspel. De teams werken zo een plan uit voor hun eigen project door het uitvoeren van de beschreven projectopdracht.
De docent loopt rond als coach.
Workshop
Groep / klas
30 min
Dit grove plan wordt uitgewerkt als korte presentatie van maximaal 5 minuten.
Groep
15 min
Tijdens het volgende klassikale contactmoment presenteert elke groep in maximaal 5 minuten hun aanpak, gevolgd door feedback en vragen van de klas en de docent.
Begeleiding
Groep / klas
1u
Het projectteam past eventueel het plan nog aan en levert de laatste versie in.
Groep
Voorbeeld lesplan 3: geen zelfstandige voorbereiding
Stel je verwacht dat de klas niets voorbereidt en je hebt maar 2 lesuren, begin dan met een centrale uitleg van het framework van maximaal 15 minuten (zet bijvoorbeeld de plaatjes in deze bouwsteen in een powerpoint) en zet de studenten vervolgens zo snel mogelijk aan de slag met de projectopdracht om zo tot een aanpak te komen voor hun eigen onderzoek. Geef feedback op hun voorgestelde aanpak tijdens het rondlopen of tijdens het eerstvolgende begeleidingsmoment.
Tips voor projectbegeleiding
Zie de tips bij de Projectopdracht. Laat studenten expliciet maken waarom ze bepaalde onderzoeken uitvoeren en hoe dat leidt tot hun gekozen methoden. Stimuleer ze ook na te denken over alternatieven.
Aan het eind van het project kunnen studenten ook reflecteren op hun aanpak met behulp van het DOT framework en zo lering trekken voor toekomstige projecten.
Beoordelen
Zelf-test
De zelftest wordt automatisch beoordeeld.
Verwerkingsopdracht
Er is (nog) geen voorbeeld uitwerking of handreiking voor scoring beschikbaar.
Project
Onvoldoende
Voldoende
Goed
Aanpak
Je legt niet uit wat je hebt gedaan.
Je geeft aan welke methoden zullen worden uitgevoerd.
Je geeft aan welke methoden worden uitgevoerd en maakt gebruik van een combinatie van methoden die een triangulatie inhouden op de assen overzicht-zekerheid en expertise-fit.
Onderbouwing
Je legt niet uit waarom er gekozen is voor een bepaalde aanpak.
Je geeft aan waarom je hebt voor deze methoden in relatie tot het doel van het deelonderzoek.
Je geeft aan waarom je hebt gekozen voor deze methoden in relatie tot het doel van het deelonderzoek en maakt gebruik van triangulatie en legt uit hoe dit bijdraagt aan een betere oplossing.
Dit lesmateriaal is gepubliceerd onder de Creative Commons Naamsvermelding-GelijkDelen 4.0 Internationale licentie. Dit houdt in dat je onder de voorwaarde van naamsvermelding en publicatie onder dezelfde licentie vrij bent om:
het werk te delen - te kopiëren, te verspreiden en door te geven via elk medium of bestandsformaat
het werk te bewerken - te remixen, te veranderen en afgeleide werken te maken
voor alle doeleinden, inclusief commerciële doeleinden.
Van dit lesmateriaal is de volgende aanvullende informatie beschikbaar:
Toelichting
Als ICT'er zul je om tot een geschikte oplossing te komen allerlei relevante informatie naar boven moeten halen. Als het antwoord niet al op de plank ligt, zul je hiervoor onderzoek moeten doen, maar hoe bepaal je je onderzoeksaanpak? Het DOT-framework kan je hierbij helpen. Dit is een HBO-ICT bouwsteen voor Onderzoek in Onderwijs.
Als ICT'er zul je om tot een geschikte oplossing te komen allerlei relevante informatie naar boven moeten halen. Als het antwoord niet al op de plank ligt, zul je hiervoor onderzoek moeten doen, maar hoe bepaal je je onderzoeksaanpak? Het DOT-framework kan je hierbij helpen. Dit is een HBO-ICT bouwsteen voor Onderzoek in Onderwijs.
Leeromgevingen die gebruik maken van LTI kunnen Wikiwijs arrangementen en toetsen afspelen en resultaten
terugkoppelen. Hiervoor moet de leeromgeving wel bij Wikiwijs aangemeld zijn. Wil je gebruik maken van de LTI
koppeling? Meld je aan via info@wikiwijs.nl met het verzoek om een LTI
koppeling aan te gaan.
Maak je al gebruik van LTI? Gebruik dan de onderstaande Launch URL’s.
Arrangement
Oefeningen en toetsen
Zelftest DOT-framework
IMSCC package
Wil je de Launch URL’s niet los kopiëren, maar in één keer downloaden? Download dan de IMSCC package.
Oefeningen en toetsen van dit arrangement kun je ook downloaden als QTI. Dit bestaat uit een ZIP bestand dat
alle
informatie bevat over de specifieke oefening of toets; volgorde van de vragen, afbeeldingen, te behalen
punten,
etc. Omgevingen met een QTI player kunnen QTI afspelen.
Wikiwijs lesmateriaal kan worden gebruikt in een externe leeromgeving. Er kunnen koppelingen worden gemaakt en
het lesmateriaal kan op verschillende manieren worden geëxporteerd. Meer informatie hierover kun je vinden op
onze Developers Wiki.
Hier volgt een voorbeeld met een veelvoorkomend "onderzoeksontwerppatroon" (research design pattern): Eerst overzicht krijgen van de situatie en bestaand werk in 
