Pakketselectie, tool-evaluatie

Een pakketselectie is een stappenplan om via een aantal stappen te komen tot een keuze uit beschikbare software of tools. Of je nu een systeem of een game moet selecteren of een Business Intelligence tool wil vergelijken, een vergelijkingsmatrix helpt je bij een goede evaluatie. Hiervoor zijn uitgebreide methoden en stappenplannen beschikbaar. Hieronder beperken we ons tot het verwerken van gegevens, en daarvoor bekijken we het volgende voorbeeld om een vergelijking van drie games op te stellen en te analyseren. De werkwijze hierbij is de volgende:

  1. Vergelijkingscriteria: wat zijn de aspecten waarop je de games met elkaar wilt vergelijken?
    Houd hiervoor bijvoorbeeld interviews met game-experts en gebruikers.
  2. Weging: ken prioriteiten toe in de vorm van een wegingsfactor.
  3. Score: ken -op grond van bijvoorbeeld interviews- een waardering toe aan elk van de criteria.
  4. Evalueren: reken de scores op grond van de weging door, om te komen tot een gewogen oordeel.

 

Hieronder zijn deze stappen uitgewerkt en weergegeven in een evaluatiematrix. De eerste scores in plussen en minnen zijn vertaald in een cijfermatige beoordeling. Daarmee kun je eenvoudig de weging toepassen door de wegingsfactor hiermee te vermenigvulgdigen. De game met de hoogste totaalscore komt als beste uit de bus.

In onderstaand voorbeeld zijn er drie games met elkaar vergeleken: World of PeaceCraft, Cute Critters Go en Castle Knight. Hiervoor is een achttal criteria opgesteld, en het relatief belang van deze criteria komt tot uiting in de wegingsfactoren. De weging is bepaald op een schaal van 1 tot en met 5. Hoe en wie deze weging en score heeft vastgesteld, laten we voor dit voorbeeld buiten beschouwing. In de uitvoering van jouw onderzoek dien je dat wel te verantwoorden.
In dit voorbeeld komt World of PeaceCraft op de hoogste score. De onderbouwing van het onderzoek dient nadere toelichting over het proces te bevatten, om de cijfermatige weergave te nuanceren.

Wanneer de onderzoeker de toegepaste wegingsfactor heeft gevalideerd, bijvoorbeeld bij de opdrachtgever, of bij een game-expert dan wordt hiermee de betrouwbaarheid van het resultaat vergroot.

Evaluatiematrix met scores en weging

Evaluatiematrix met gewogen resultaat