Arviointitutkimus:

Mitä on arviointitutkimus?

Arviointitutkimus, joka tunnetaan myös nimellä ohjelman arviointi, viittaa tutkimuksen tarkoitukseen eikä tiettyyn menetelmään. Arviointitutkimus on jonkin tavoitteen saavuttamiseksi käytetyn ajan, rahan, vaivannäön ja resurssien arvon tai ansioiden systemaattista arviointia.

Arviointitutkimus liittyy läheisesti perinteisempään yhteiskuntatutkimukseen mutta eroaa siitä hieman. Siinä käytetään monia samoja menetelmiä kuin perinteisessä yhteiskuntatutkimuksessa, mutta koska se tapahtuu organisaatiokontekstissa, se edellyttää tiimitaitoja, ihmissuhdetaitoja, johtamistaitoja, poliittista älykkyyttä ja muita taitoja, joita yhteiskuntatutkimus ei juuri tarvitse. Arviointitutkimuksessa on myös pidettävä mielessä sidosryhmien edut.

Arviointitutkimus on eräänlaista soveltavaa tutkimusta, joten sillä on tarkoitus saada aikaan jonkinlaisia reaalimaailman vaikutuksia. Arviointitutkimuksen tekemiseen voidaan käyttää monia menetelmiä, kuten kyselytutkimuksia ja kokeita. Tietojen analysoinnista ja raportoinnista koostuva arviointitutkimusprosessi on tiukka, systemaattinen prosessi, jossa kerätään tietoja organisaatioista, prosesseista, hankkeista, palveluista ja/tai resursseista. Arviointitutkimus lisää tietämystä ja päätöksentekoa ja johtaa käytännön sovelluksiin.

Miksi tehdä arviointitutkimusta?

Useimpien arviointien yhteisenä tavoitteena on poimia tarkoituksenmukaista tietoa kohderyhmästä ja tarjota arvokkaita oivalluksia arvioinnin toteuttajille, kuten rahoittajille, lahjoittajille, asiakasryhmille, hallintohenkilöstölle, henkilökunnalle ja muille asiaankuuluville sidosryhmille. Useimmiten palaute koetaan hyödylliseksi, jos se auttaa päätöksenteossa. Arviointitutkimukset eivät kuitenkaan aina tuota sellaista vaikutusta, jota voitaisiin soveltaa missä tahansa muualla, ja joskus ne eivät pysty vaikuttamaan lyhyen aikavälin päätöksiin. Yhtä totta on myös se, että aluksi se saattaa vaikuttaa siltä, ettei sillä ole mitään vaikutusta, mutta sillä voi olla viivästynyt vaikutus, kun tilanne on suotuisampi. Tästä huolimatta ollaan yleisesti yhtä mieltä siitä, että arviointitutkimuksen päätavoitteena tulisi olla päätöksenteon parantaminen mitattavissa olevan palautteen systemaattisen hyödyntämisen avulla.

Alhaalla on lueteltu joitakin arviointitutkimuksen hyötyjä

• Saa tietoa hankkeesta tai ohjelmasta ja sen toiminnasta

Arviointitutkimuksen avulla voidaan ymmärtää, mikä toimii ja mikä ei, missä oltiin, missä ollaan, mihin ollaan menossa ja mihin ollaan menossa. Voit selvittää parannuskohteet ja tunnistaa vahvuudet. Se auttaa sinua siis selvittämään, mihin sinun on keskityttävä enemmän ja onko yrityksellesi uhkia. Voit myös selvittää, onko markkinoilla tällä hetkellä piilossa olevia aloja, joita ei ole vielä hyödynnetty.

• Käytäntöjen parantaminen

On olennaista mitata aiempaa suorituskykyäsi ja ymmärtää, mikä meni pieleen, jotta voit tarjota parempia palveluita asiakkaillesi. Ellei kyseessä ole kaksisuuntainen viestintä, ei ole mitään keinoa parantaa tarjoamaasi. Arviointitutkimus antaa työntekijöillesi ja asiakkaillesi mahdollisuuden ilmaista, miltä heistä tuntuu ja haluaisivatko he muuttaa jotakin. Sen avulla voit myös muuttaa tai ottaa käyttöön jonkin käytännön niin, että se lisää onnistumisen mahdollisuuksia.

• Arvioi vaikutuksia

Ponnistelujen arvioinnin jälkeen näet, miten hyvin saavutat tavoitteet ja päämäärät. Arviointien avulla voit mitata, saavuttavatko aiotut hyödyt todella kohdeyleisön, ja jos saavuttavat, niin kuinka tehokkaasti.

• Kapasiteetin rakentaminen

Arvioinnit auttavat sinua analysoimaan kysyntärakennetta ja ennustamaan, tarvitsetko lisää varoja, päivitätkö taitojasi ja tehostatko toimintaa. Sen avulla voit löytää aukkoja tuotannosta toimitusketjuun ja mahdollisia tapoja täyttää ne.

Arviointitutkimuksen menetelmät

Kaikkiin markkinatutkimusmenetelmiin kuuluu tietojen kerääminen ja analysointi, päätösten tekeminen tietojen paikkansapitävyydestä ja relevanttien johtopäätösten tekeminen niistä. Arviointitutkimus käsittää suunnittelun, toteuttamisen ja tulosten analysoinnin, joihin kuuluu tiedonkeruutekniikoiden käyttö ja tilastollisten menetelmien soveltaminen.

Joitakin varsin suosittuja arviointimenetelmiä ovat panosten mittaaminen, tuotosten tai suorituskyvyn mittaaminen, vaikutusten tai tulosten arviointi, laadun arviointi, prosessien arviointi, vertailuanalyysi, standardit, kustannusanalyysi, organisaation tehokkuus, ohjelmien arviointimenetelmät ja LIS-keskeiset menetelmät. On myös muutamia arviointityyppejä, jotka eivät aina johda mielekkääseen arviointiin, kuten kuvailevat tutkimukset, formatiiviset arvioinnit ja toteutuksen analysointi. Arviointitutkimuksessa on kyse enemmänkin arvioinnin tiedonkäsittely- ja palautetehtävistä.

Menetelmät voidaan karkeasti luokitella kvantitatiivisiin ja kvalitatiivisiin menetelmiin.

Kvantitatiiviset menetelmät

Kvantitatiivisten tutkimusmenetelmien lopputulos on vastaus alla oleviin kysymyksiin, ja sen avulla mitataan jotakin konkreettista.

• Paljonko?
• Kuka osallistui?
• Millaisia tuloksia saatiin aikaan?
• Mikä oli hinta?

Paras tapa kerätä kvantitatiivista tietoa on kyselytutkimukset, kyselylomakkeet ja gallupit. Voit myös luoda esi- ja jälkitestejä, tarkastella olemassa olevia asiakirjoja ja tietokantoja tai kerätä kliinisiä tietoja.

Kyselyitä käytetään työntekijöiden tai asiakkaiden mielipiteiden, palautteen tai ideoiden keräämiseen, ja ne koostuvat erilaisista kysymystyypeistä. Ne voidaan toteuttaa henkilön toimesta kasvokkain tai puhelimitse, postitse tai verkossa. Verkkokyselyt eivät vaadi ihmisen väliintuloa, ja ne ovat paljon tehokkaampia ja käytännöllisempiä. Voit tarkastella kyselyn tuloksia tutkimustyökalujen kojelaudalla ja mennä syvemmälle käyttämällä suodatuskriteerejä, jotka perustuvat eri tekijöihin, kuten ikään, sukupuoleen, sijaintiin jne. Voit myös säilyttää kyselylogiikan, kuten haarautumisen, kiintiöiden, ketjukyselyn, silmukoiden jne., tutkimuskysymyksissä ja lyhentää sekä kyselyn luomiseen että siihen vastaamiseen kuluvaa aikaa. Voit myös luoda useita raportteja, jotka sisältävät tilastollisia kaavoja, ja esittää tietoja, jotka voidaan helposti omaksua kokouksissa. Jos haluat lisätietoja tutkimustyökalun toiminnasta ja siitä, sopiiko se sinulle, rekisteröi ilmainen tili nyt.

Luo ilmainen tili!

Kvantitatiiviset tiedot mittaavat aloitteen syvyyttä ja laajuutta, esimerkiksi voittoa tavoittelemattomaan tapahtumaan osallistuneiden ihmisten määrä, yliopistossa uudelle kurssille ilmoittautuneiden ihmisten määrä. Ennen ja jälkeen ohjelman kerätyillä määrällisillä tiedoilla voidaan osoittaa sen tulokset ja vaikutukset.

Arviointitutkimuksessa käytettävien määrällisten tietojen tarkkuus riippuu siitä, kuinka hyvin otos edustaa perusjoukkoa, analyysin helppoudesta ja niiden johdonmukaisuudesta. Kvantitatiiviset menetelmät voivat epäonnistua, jos kysymyksiä ei ole muotoiltu oikein eikä niitä ole jaettu oikealle kohderyhmälle. Kvantitatiiviset tiedot eivät myöskään anna ymmärrystä asiayhteydestä, eivätkä ne välttämättä sovellu monimutkaisiin kysymyksiin.

Learn more: Kvantitatiivinen markkinatutkimus: The Complete Guide

Kvalitatiiviset menetelmät

Kvalitatiivisia tutkimusmenetelmiä käytetään silloin, kun kvantitatiivisilla menetelmillä ei voida ratkaista ongelmaa, eli niitä käytetään aineettomien arvojen mittaamiseen. Niillä vastataan esimerkiksi seuraaviin kysymyksiin:

• Mikä on lisäarvo?
• Miten tyytyväinen olet palveluumme?
• Miten todennäköisesti suosittelet meitä ystävillesi?
• Millä parannetaan kokemustasi?

Kvalitatiivista aineistoa kerätään havainnoimalla, haastatteluin, tapaustutkimuksin ja fokusryhmin. Kvalitatiivisen tutkimuksen laatimisen vaiheisiin kuuluu tutkiminen, vertailu ja vastakkainasettelu sekä mallien ymmärtäminen. Analyytikot tekevät johtopäätökset teemojen tunnistamisen, samankaltaisten tietojen klusteroimisen ja lopuksi pelkistämisen järkeviin kohtiin jälkeen.

Havainnot voivat auttaa selittämään käyttäytymistä sekä sosiaalista kontekstia, jota kvantitatiivisilla menetelmillä ei yleensä saada selville. Käyttäytymisen ja kehonkielen havainnointi voidaan tehdä tarkkailemalla osallistujaa, nauhoittamalla ääntä tai videota. Strukturoituja haastatteluja voidaan tehdä ihmisten kanssa yksin tai ryhmässä kontrolloiduissa olosuhteissa, tai heille voidaan esittää avoimia laadullisen tutkimuksen kysymyksiä. Laadullisia tutkimusmenetelmiä käytetään myös henkilön käsitysten ja motiivien ymmärtämiseen.

Menetelmän vahvuutena on, että ryhmäkeskustelu voi antaa ideoita ja herättää muistoja aiheiden kaskadoidessa keskustelun myötä. Kvalitatiivisen aineiston tarkkuus riippuu siitä, miten hyvin kontekstitiedot selittävät monimutkaisia asioita ja täydentävät kvantitatiivista aineistoa. Se auttaa saamaan vastauksen kysymykseen ”miksi” ja ”miten” sen jälkeen, kun on saatu vastaus kysymykseen ”mitä”. Kvalitatiivisen aineiston rajoituksia arviointitutkimuksessa ovat se, että se on subjektiivista, aikaa vievää, kallista ja vaikeasti analysoitavaa ja tulkittavaa.

Learn more: Laadullinen markkinatutkimus: The Complete Guide

Kyselyohjelmia voidaan käyttää molempiin arviointitutkimusmenetelmiin. Voit käyttää edellä esitettyjä esimerkkikysymyksiä arviointitutkimukseen ja lähettää kyselyn muutamassa minuutissa tutkimusohjelmiston avulla. Tutkimustyökalun käyttäminen tutkimukseen yksinkertaistaa prosessia heti kyselyn luomisesta, yhteystietojen tuonnista, kyselyn jakelusta ja tutkimusta tukevien raporttien luomisesta.

Esimerkkejä arviointitutkimuksesta

Arviointitutkimuskysymykset luovat perustan onnistuneelle arvioinnille. Niissä määritellään arvioitavat aiheet. Arviointitutkimuskysymysten pitäminen valmiina paitsi säästää aikaa ja rahaa, myös helpottaa päätöksentekoa siitä, mitä tietoja kerätään, miten niitä analysoidaan ja miten ne raportoidaan.

Evaluaatiotutkimuskysymykset on kehitettävä ja niistä on sovittava suunnitteluvaiheessa, mutta myös valmiita tutkimusmalleja voidaan käyttää.

Esimerkkejä prosessien arvioinnin tutkimuskysymyksistä:

1. Miten usein käytät tuotteitamme päivässä?
2. Onko hyväksynnät otettu kaikilta sidosryhmiltä?
3. Pystytkö raportoimaan ongelmasta järjestelmästä?
4. Voitko antaa palautetta järjestelmästä?
5. Toteutettiinko kukin tehtävä vakiotoimintamenettelyn mukaisesti?
6. Mitkä olivat kunkin tehtävän toteuttamisen esteet?
7. Havaittiinko parannuskohteita?

Tulosten arvioinnin tutkimuskysymysesimerkkejä:

1. Miten tyytyväisiä olette tuotteeseemme?
2. Tuottiinko ohjelmalla tavoiteltuja tuloksia?
3. Mitkä olivat ei-tavoiteltuja tuloksia?
4. Lisäsikö ohjelma osallistujien osaamista?
5. Olivatko ohjelman osallistujat työllistymiskykyisiä ennen kurssin alkua?
6. Onko ohjelman osallistujilla taidot löytää työpaikka kurssin päätyttyä?
7. Onko osallistujien tietämys parempi verrattuna niihin, jotka eivät osallistuneet ohjelmaan?