Evaluatieonderzoek: Definitie, methoden en voorbeelden

Wat is evaluatieonderzoek?

Evaluatieonderzoek, ook bekend als programma-evaluatie, verwijst naar het onderzoeksdoel in plaats van een specifieke methode. Evaluatieonderzoek is de systematische beoordeling van de waarde of verdienste van tijd, geld, moeite en middelen die zijn besteed om een doel te bereiken.

Evaluatieonderzoek is nauw verwant aan maar verschilt enigszins van meer conventioneel sociaal onderzoek. Het maakt gebruik van veel van dezelfde methoden die worden gebruikt in traditioneel sociaal onderzoek, maar omdat het plaatsvindt binnen een organisatorische context, vereist het teamvaardigheden, interpersoonlijke vaardigheden, managementvaardigheden, politieke slimheid, en andere vaardigheden die sociaal onderzoek niet veel nodig heeft. Evaluatieonderzoek vereist ook dat men de belangen van de belanghebbenden in het oog houdt.

Evaluatieonderzoek is een soort toegepast onderzoek, en het is dus de bedoeling dat het enig effect heeft in de echte wereld. Veel methoden zoals enquêtes en experimenten kunnen worden gebruikt om evaluatieonderzoek te doen. Het proces van evaluatieonderzoek bestaande uit gegevensanalyse en rapportage is een rigoureus, systematisch proces waarbij gegevens worden verzameld over organisaties, processen, projecten, diensten en/of middelen. Evaluatieonderzoek vergroot kennis en besluitvorming, en leidt tot praktische toepassingen.

Waarom evaluatieonderzoek doen?

Het gemeenschappelijke doel van de meeste evaluaties is om zinvolle informatie uit het publiek te halen en waardevolle inzichten te verschaffen aan evaluatoren, zoals sponsors, donateurs, cliëntgroepen, bestuurders, personeel, en andere relevante achterbannen. Feedback wordt meestal als nuttig ervaren als het helpt bij de besluitvorming. Evaluatieonderzoek creëert echter niet altijd een effect dat elders kan worden toegepast, soms slagen zij er niet in om op korte termijn beslissingen te beïnvloeden. Het is ook zo dat het aanvankelijk misschien geen invloed lijkt te hebben, maar dat die later, wanneer de situatie gunstiger is, wel degelijk invloed kan hebben. Desondanks is men het er algemeen over eens dat het belangrijkste doel van evaluatieonderzoek moet zijn de besluitvorming te verbeteren door systematisch gebruik te maken van meetbare feedback.

Hieronder volgen enkele van de voordelen van evaluatieonderzoek

• Inzichten verwerven over een project of programma en de werking ervan

Evaluatieonderzoek laat u begrijpen wat werkt en wat niet, waar we waren, waar we zijn en waar we naar toe gaan. Je kunt de verbeterpunten achterhalen en sterke punten identificeren. Het zal u dus helpen om erachter te komen waar u zich meer op moet richten en of er bedreigingen zijn voor uw bedrijf. U kunt er ook achter komen of er momenteel verborgen sectoren in de markt zijn die nog niet zijn aangeboord.

• Verbeteren van de praktijk

Het is van essentieel belang om uw prestaties uit het verleden te peilen en te begrijpen wat er fout is gegaan om betere diensten aan uw klanten te kunnen leveren. Tenzij er sprake is van tweerichtingscommunicatie, is er geen manier om te verbeteren wat u te bieden hebt. Evaluatieonderzoek geeft uw werknemers en klanten de kans om uit te drukken hoe ze zich voelen en of er iets is dat ze zouden willen veranderen. Het stelt u ook in staat een praktijk zo aan te passen of in te voeren dat de kans op succes toeneemt.

• Evalueer de effecten

Na de inspanningen te hebben geëvalueerd, kunt u zien hoe goed u de doelstellingen en streefcijfers haalt. Aan de hand van evaluaties kunt u meten of de beoogde voordelen werkelijk de doelgroep bereiken en zo ja, hoe effectief.

• Bouw capaciteit op

Evaluaties helpen u het vraagpatroon te analyseren en te voorspellen of u meer middelen nodig zult hebben, vaardigheden zult moeten verbeteren en de efficiëntie van activiteiten zult moeten verbeteren. Het stelt u in staat de hiaten in de productie-leveringsketen te vinden en mogelijke manieren om deze te vullen.

Methodes van evaluatieonderzoek

Alle marktonderzoeksmethoden omvatten het verzamelen en analyseren van de gegevens, het nemen van beslissingen over de geldigheid van de informatie en het afleiden van relevante conclusies daaruit. Evaluatieonderzoek omvat planning, uitvoering en analyse van de resultaten, waarbij gebruik wordt gemaakt van technieken voor gegevensverzameling en statistische methoden.

Enkele van de evaluatiemethoden die vrij populair zijn, zijn inputmeting, output- of prestatiemeting, effect- of resultaatbeoordeling, kwaliteitsbeoordeling, procesevaluatie, benchmarking, normen, kostenanalyse, organisatorische doeltreffendheid, programma-evaluatiemethoden en LIS-gerichte methoden. Er zijn ook enkele soorten evaluaties die niet altijd tot een zinvolle beoordeling leiden, zoals beschrijvende studies, formatieve evaluaties, en implementatie-analyse. Bij evaluatieonderzoek gaat het meer om informatieverwerkings- en feedbackfuncties van evaluatie.

Deze methoden kunnen grofweg worden ingedeeld in kwantitatieve en kwalitatieve methoden.

Kwantitatieve methoden

De uitkomst van de kwantitatieve onderzoeksmethoden is een antwoord op onderstaande vragen en wordt gebruikt om iets tastbaars te meten.

• Hoeveel?
• Wie was erbij betrokken?
• Wat waren de uitkomsten?
• Wat was de prijs?

De beste manier om kwantitatieve gegevens te verzamelen is door middel van enquêtes, vragenlijsten en opiniepeilingen. U kunt ook pre- en posttests maken, bestaande documenten en databases beoordelen of klinische gegevens verzamelen.

Enquêtes worden gebruikt om meningen, feedback of ideeën van uw werknemers of klanten te verzamelen en bestaan uit verschillende vraagtypen. Ze kunnen worden uitgevoerd door een persoon face-to-face of per telefoon, per post, of online. Online enquêtes vereisen geen tussenkomst van een mens en zijn veel efficiënter en praktischer. U kunt de enquêteresultaten bekijken op het dashboard van onderzoekstools en dieper graven met behulp van filtercriteria op basis van verschillende factoren, zoals leeftijd, geslacht, locatie, enz. U kunt ook enquêtelogica zoals vertakking, quota, ketenenquête, looping, enz. in de enquêtevragen behouden en de tijd verminderen om zowel de enquête op te stellen als erop te antwoorden. U kunt ook een aantal rapporten genereren die statistische formules omvatten en gegevens presenteren die gemakkelijk kunnen worden opgenomen in de vergaderingen. Om meer te weten te komen over hoe het onderzoeksinstrument werkt en of het geschikt is voor u, kunt u zich nu aanmelden voor een gratis account.

Maak een gratis account aan!

Quantitatieve gegevens meten de diepte en breedte van een initiatief, bijvoorbeeld het aantal mensen dat heeft deelgenomen aan een non-profit evenement, het aantal mensen dat zich heeft ingeschreven voor een nieuwe cursus aan de universiteit. Kwantitatieve gegevens die voor en na een programma zijn verzameld, kunnen de resultaten en de impact ervan aantonen.

De nauwkeurigheid van kwantitatieve gegevens die voor evaluatieonderzoek worden gebruikt, hangt af van hoe goed de steekproef de populatie vertegenwoordigt, van het gemak van de analyse en van hun consistentie. Kwantitatieve methoden kunnen mislukken als de vragen niet juist zijn geformuleerd en niet onder het juiste publiek zijn verspreid. Ook geven kwantitatieve gegevens geen inzicht in de context en zijn ze wellicht niet geschikt voor complexe vraagstukken.

Lees meer: Kwantitatief marktonderzoek: The Complete Guide

Qualitative methods

Qualitative research methods are used where quantitative methods cannot solve the problem, i.e. they are used to measure intangible values. Zij geven antwoord op vragen als

• Wat is de toegevoegde waarde?
• Hoe tevreden bent u met onze dienstverlening?
• Hoe waarschijnlijk is het dat u ons aan uw vrienden aanbeveelt?
• Wat zal uw ervaring verbeteren?

Qualitatieve gegevens worden verzameld door middel van observatie, interviews, casestudy’s, en focusgroepen. De stappen voor het maken van een kwalitatieve studie bestaan uit onderzoeken, vergelijken en contrasteren, en het begrijpen van patronen. Analisten concluderen na het identificeren van thema’s, het clusteren van vergelijkbare gegevens, en tenslotte het reduceren tot punten die zinvol zijn.

Observaties kunnen helpen bij het verklaren van gedragingen en van de sociale context die doorgaans niet wordt ontdekt door kwantitatieve methoden. Observaties van gedrag en lichaamstaal kunnen worden gedaan door naar een deelnemer te kijken en audio- of video-opnamen te maken. Gestructureerde interviews kunnen worden afgenomen met mensen alleen of in een groep onder gecontroleerde omstandigheden, of er kunnen open kwalitatieve onderzoeksvragen aan hen worden gesteld. Kwalitatieve onderzoeksmethoden worden ook gebruikt om inzicht te krijgen in iemands percepties en motivaties.

De kracht van deze methode is dat groepsdiscussie ideeën kan opleveren en herinneringen kan stimuleren, waarbij de onderwerpen in de loop van de discussie in elkaar overgaan. De nauwkeurigheid van kwalitatieve gegevens hangt af van hoe goed contextuele gegevens complexe kwesties verklaren en kwantitatieve gegevens aanvullen. Het helpt het antwoord te krijgen op de vragen “waarom” en “hoe”, nadat het antwoord op “wat” is gegeven. De beperkingen van kwalitatieve gegevens voor evaluatieonderzoek zijn dat ze subjectief, tijdrovend, kostbaar en moeilijk te analyseren en te interpreteren zijn.

Lees meer: Kwalitatief Marktonderzoek: The Complete Guide

Enquêtesoftware kan voor beide evaluatieonderzoeksmethoden worden gebruikt. U kunt gebruik maken van bovenstaande voorbeeldvragen voor evaluatieonderzoek en een enquête verzenden in enkele minuten met behulp van onderzoekssoftware. Het gebruik van een tool voor onderzoek vereenvoudigt het proces, van het maken van een enquête, het importeren van contacten, het verspreiden van de enquête en het genereren van rapporten die helpen bij het onderzoek.

Voorbeelden van evaluatieonderzoek

Evaluatieonderzoeksvragen leggen de basis voor een succesvolle evaluatie. Zij definiëren de onderwerpen die zullen worden geëvalueerd. Door evaluatievragen klaar te hebben, bespaart u niet alleen tijd en geld, maar kunt u ook gemakkelijker beslissen welke gegevens moeten worden verzameld, hoe ze moeten worden geanalyseerd en hoe ze moeten worden gerapporteerd.

Evaluatieonderzoeksvragen moeten in de planningsfase worden ontwikkeld en overeengekomen, maar er kunnen ook kant-en-klare onderzoekssjablonen worden gebruikt.

Voorbeelden van procesevaluatie-onderzoeksvragen:

1. Hoe vaak gebruikt u ons product op een dag?
2. Werd goedkeuring verkregen van alle belanghebbenden?
3. Kunt u het probleem vanuit het systeem rapporteren?
4. Kunt u feedback geven vanuit het systeem?
5. Werd elke taak uitgevoerd volgens de standaard operationele procedure?
6. Wat waren de obstakels bij de uitvoering van elke taak?
7. Waren er verbeterpunten ontdekt?

Outcome evaluation research question examples:

1. Hoe tevreden bent u met ons product?
2. Heeft het programma de beoogde uitkomsten opgeleverd?
3. Wat waren de onbedoelde uitkomsten?
4. Heeft het programma de kennis van de deelnemers vergroot?
5. Waren de deelnemers aan het programma inzetbaar voor aanvang van de cursus?
6. Zijn de deelnemers aan het programma vaardig genoeg om na afloop van de cursus een baan te vinden?
7. Is de kennis van de deelnemers verbeterd ten opzichte van degenen die niet aan het programma hebben deelgenomen?