Evaluationsforschung: Definition, Methoden und Beispiele

Was ist Evaluationsforschung?

Evaluationsforschung, auch bekannt als Programmevaluation, bezieht sich auf den Forschungszweck und nicht auf eine bestimmte Methode. Evaluationsforschung ist die systematische Bewertung des Wertes von Zeit, Geld, Aufwand und Ressourcen, die aufgewendet werden, um ein Ziel zu erreichen.

Evaluationsforschung ist eng mit der konventionellen Sozialforschung verwandt, unterscheidet sich aber leicht von ihr. Sie verwendet viele der gleichen Methoden, die in der traditionellen Sozialforschung verwendet werden, aber weil sie in einem organisatorischen Kontext stattfindet, erfordert sie Teamfähigkeit, zwischenmenschliche Fähigkeiten, Managementfähigkeiten, politisches Geschick und andere Fähigkeiten, die in der Sozialforschung nicht unbedingt erforderlich sind. Bei der Evaluationsforschung muss man auch die Interessen der Beteiligten im Auge behalten.

Evaluationsforschung ist eine Art der angewandten Forschung, d.h. sie soll eine gewisse Wirkung in der realen Welt haben. Viele Methoden wie Umfragen und Experimente können für die Evaluationsforschung verwendet werden. Der Prozess der Evaluationsforschung, der aus Datenanalyse und Berichterstattung besteht, ist ein strenger, systematischer Prozess, der die Sammlung von Daten über Organisationen, Prozesse, Projekte, Dienstleistungen und/oder Ressourcen beinhaltet. Evaluationsforschung verbessert das Wissen und die Entscheidungsfindung und führt zu praktischen Anwendungen.

Warum Evaluationsforschung?

Das gemeinsame Ziel der meisten Evaluationen ist es, aussagekräftige Informationen von der Zielgruppe zu erhalten und den Evaluatoren wie Sponsoren, Spendern, Kundengruppen, Verwaltern, Mitarbeitern und anderen relevanten Gruppen wertvolle Erkenntnisse zu liefern. Meistens wird das Feedback als nützlich empfunden, wenn es zur Entscheidungsfindung beiträgt. Die Ergebnisse der Evaluierungsforschung haben jedoch nicht immer eine Wirkung, die sich auf andere Bereiche übertragen lässt, und manchmal gelingt es ihnen nicht, kurzfristige Entscheidungen zu beeinflussen. Ebenso wahr ist, dass sie anfangs keinen Einfluss zu haben scheinen, sich aber später, wenn die Situation günstiger ist, auswirken können. Trotzdem besteht allgemeines Einvernehmen darüber, dass das Hauptziel der Evaluierungsforschung darin bestehen sollte, die Entscheidungsfindung durch die systematische Nutzung von messbarem Feedback zu verbessern.

Nachfolgend einige der Vorteile der Evaluierungsforschung

• Gewinnen Sie Einblicke in ein Projekt oder Programm und seine Abläufe

Evaluierungsforschung lässt Sie verstehen, was funktioniert und was nicht, wo wir waren, wo wir sind und wohin wir gehen. Sie können die Bereiche herausfinden, in denen Verbesserungen möglich sind, und die Stärken identifizieren. So können Sie herausfinden, worauf Sie sich stärker konzentrieren müssen und ob Ihr Unternehmen bedroht ist. Sie können auch herausfinden, ob es derzeit verborgene Sektoren auf dem Markt gibt, die noch nicht erschlossen sind.

• Praxis verbessern

Es ist wichtig, Ihre bisherigen Leistungen zu bewerten und zu verstehen, was falsch gelaufen ist, um Ihren Kunden bessere Dienstleistungen zu bieten. Ohne eine Kommunikation in beide Richtungen gibt es keine Möglichkeit, das eigene Angebot zu verbessern. Die Evaluierungsforschung gibt Ihren Mitarbeitern und Kunden die Möglichkeit, ihre Meinung zu äußern und mitzuteilen, ob es etwas gibt, das sie gerne ändern würden. Sie ermöglicht es Ihnen auch, eine Praxis so zu ändern oder zu übernehmen, dass sie die Erfolgschancen erhöht.

• Bewertung der Auswirkungen

Nach der Bewertung der Bemühungen können Sie sehen, wie gut Sie die Ziele und Vorgaben erreichen. Anhand von Evaluierungen können Sie messen, ob der beabsichtigte Nutzen die Zielgruppe wirklich erreicht, und wenn ja, wie effektiv.

• Kapazitäten aufbauen

Evaluierungen helfen Ihnen bei der Analyse der Nachfragemuster und bei der Vorhersage, ob Sie mehr Mittel benötigen, Ihre Fähigkeiten verbessern und die Effizienz der Maßnahmen steigern müssen. Sie ermöglicht es Ihnen, Lücken in der Produktions- und Lieferkette zu finden und mögliche Wege zu finden, diese zu schließen.

Methoden der Evaluationsforschung

Alle Marktforschungsmethoden beinhalten das Sammeln und Analysieren von Daten, das Treffen von Entscheidungen über die Gültigkeit der Informationen und das Ableiten von relevanten Schlussfolgerungen daraus. Die Evaluierungsforschung umfasst die Planung, Durchführung und Analyse der Ergebnisse, die den Einsatz von Datenerfassungstechniken und die Anwendung statistischer Methoden einschließen.

Einige der gängigen Evaluierungsmethoden sind die Inputmessung, die Output- oder Leistungsmessung, die Bewertung der Auswirkungen oder Ergebnisse, die Qualitätsbewertung, die Prozessbewertung, das Benchmarking, die Standards, die Kostenanalyse, die organisatorische Wirksamkeit, die Programmevaluierungsmethoden und die LIS-zentrierten Methoden. Es gibt auch einige Arten von Evaluierungen, die nicht immer zu einer aussagekräftigen Bewertung führen, wie z. B. deskriptive Studien, formative Evaluierungen und Implementierungsanalysen. In der Evaluationsforschung geht es eher um die informationsverarbeitenden und rückkoppelnden Funktionen der Evaluation.

Diese Methoden lassen sich grob in quantitative und qualitative Methoden einteilen.

Quantitative Methoden

Das Ergebnis der quantitativen Forschungsmethoden ist eine Antwort auf die folgenden Fragen und wird verwendet, um etwas Greifbares zu messen.

• Wie viele?
• Wer war beteiligt?
• Was waren die Ergebnisse?
• Was war der Preis?

Quantitative Daten lassen sich am besten durch Umfragen, Fragebögen und Abstimmungen erfassen. Sie können auch Pre- und Posttests erstellen, vorhandene Dokumente und Datenbanken überprüfen oder klinische Daten sammeln.

Umfragen werden verwendet, um Meinungen, Feedback oder Ideen Ihrer Mitarbeiter oder Kunden zu sammeln und bestehen aus verschiedenen Fragetypen. Sie können von einer Person von Angesicht zu Angesicht oder per Telefon, per Post oder online durchgeführt werden. Online-Umfragen erfordern kein menschliches Eingreifen und sind weitaus effizienter und praktischer. Sie können die Umfrageergebnisse auf dem Dashboard der Recherchetools sehen und anhand von Filterkriterien nach verschiedenen Faktoren wie Alter, Geschlecht, Standort usw. tiefer gehen. Sie können auch Umfragelogik wie Verzweigungen, Quoten, Kettenumfragen, Schleifen usw. in den Umfragefragen beibehalten und die Zeit für die Erstellung und Beantwortung der Umfrage reduzieren. Sie können auch eine Reihe von Berichten erstellen, die statistische Formeln beinhalten und Daten präsentieren, die in den Besprechungen leicht aufgenommen werden können. Wenn Sie mehr darüber erfahren möchten, wie das Forschungstool funktioniert und ob es für Sie geeignet ist, melden Sie sich jetzt für ein kostenloses Konto an.

Gratiskonto erstellen!

Quantitative Daten messen die Tiefe und Breite einer Initiative, z. B. die Anzahl der Personen, die an einer gemeinnützigen Veranstaltung teilgenommen haben, die Anzahl der Personen, die sich für einen neuen Kurs an der Universität angemeldet haben. Quantitative Daten, die vor und nach einem Programm erhoben werden, können dessen Ergebnisse und Auswirkungen aufzeigen.

Die Genauigkeit quantitativer Daten, die für die Evaluierungsforschung verwendet werden, hängt davon ab, wie gut die Stichprobe die Grundgesamtheit repräsentiert, wie einfach die Analyse ist und wie konsistent sie ist. Quantitative Methoden können scheitern, wenn die Fragen nicht richtig formuliert und nicht an die richtige Zielgruppe verteilt werden. Außerdem vermitteln quantitative Daten kein Verständnis für den Kontext und sind möglicherweise nicht für komplexe Fragestellungen geeignet.

Weitere Informationen: Quantitative Marktforschung: The Complete Guide

Qualitative Methoden

Qualitative Forschungsmethoden werden dort eingesetzt, wo quantitative Methoden das Problem nicht lösen können, d.h. sie werden zur Messung immaterieller Werte verwendet. Sie beantworten Fragen wie

• Was ist der Mehrwert?
• Wie zufrieden sind Sie mit unserem Service?
• Wie wahrscheinlich ist es, dass Sie uns Ihren Freunden empfehlen?
• Was wird Ihre Erfahrung verbessern?

Qualitative Daten werden durch Beobachtung, Interviews, Fallstudien und Fokusgruppen gesammelt. Die Schritte zur Erstellung einer qualitativen Studie umfassen das Untersuchen, Vergleichen und Kontrastieren sowie das Erkennen von Mustern. Analysten kommen zu einem Schluss, nachdem sie Themen identifiziert, ähnliche Daten geclustert und schließlich auf sinnvolle Punkte reduziert haben.

Beobachtungen können dazu beitragen, Verhaltensweisen sowie den sozialen Kontext zu erklären, der im Allgemeinen durch quantitative Methoden nicht entdeckt wird. Die Beobachtung von Verhalten und Körpersprache kann durch die Beobachtung eines Teilnehmers, Audio- oder Videoaufnahmen erfolgen. Strukturierte Interviews können mit Personen allein oder in einer Gruppe unter kontrollierten Bedingungen durchgeführt werden, oder es können ihnen offene qualitative Forschungsfragen gestellt werden. Qualitative Forschungsmethoden werden auch eingesetzt, um die Wahrnehmungen und Motivationen einer Person zu verstehen.

Die Stärke dieser Methode besteht darin, dass Gruppendiskussionen Ideen liefern und Erinnerungen anregen können, wobei die Themen im Laufe der Diskussion kaskadenartig auftauchen. Die Genauigkeit qualitativer Daten hängt davon ab, wie gut kontextbezogene Daten komplexe Sachverhalte erklären und quantitative Daten ergänzen. Sie helfen bei der Beantwortung der Fragen nach dem „Warum“ und „Wie“, nachdem man eine Antwort auf das „Was“ erhalten hat. Die Grenzen qualitativer Daten für die Evaluierungsforschung liegen darin, dass sie subjektiv, zeitaufwändig, kostspielig und schwierig zu analysieren und zu interpretieren sind.

Weiter erfahren: Qualitative Marktforschung: The Complete Guide

Umfragesoftware kann für beide Methoden der Evaluationsforschung verwendet werden. Sie können die oben genannten Beispielfragen für die Evaluierungsforschung verwenden und mit Hilfe einer Umfragesoftware in wenigen Minuten eine Umfrage versenden. Die Verwendung eines Tools für die Forschung vereinfacht den Prozess von der Erstellung einer Umfrage, dem Import von Kontakten, der Verteilung der Umfrage und der Erstellung von Berichten, die bei der Forschung helfen.

Beispiele für die Evaluationsforschung

Fragen für die Evaluationsforschung bilden die Grundlage für eine erfolgreiche Evaluation. Sie definieren die Themen, die evaluiert werden sollen. Wer Evaluationsfragen bereithält, spart nicht nur Zeit und Geld, sondern kann auch leichter entscheiden, welche Daten erhoben, wie sie analysiert und wie sie berichtet werden sollen.

Evaluationsfragen müssen in der Planungsphase entwickelt und abgestimmt werden, es können aber auch fertige Forschungsvorlagen verwendet werden.

Beispiele für Forschungsfragen zur Prozessevaluierung:

1. Wie oft verwenden Sie unser Produkt an einem Tag?
2. Wurden Genehmigungen von allen Beteiligten eingeholt?
3. Können Sie das Problem aus dem System melden?
4. Kann man das Feedback aus dem System heraus übermitteln?
5. Wurde jede Aufgabe gemäß dem Standardarbeitsverfahren durchgeführt?
6. Welche Hindernisse gab es bei der Umsetzung jeder Aufgabe?
7. Wurden Verbesserungsbereiche entdeckt?

Beispiele für Forschungsfragen zur Ergebnisbewertung:

1. Wie zufrieden sind Sie mit unserem Produkt?
2. Hat das Programm die beabsichtigten Ergebnisse erzielt?
3. Welche unbeabsichtigten Ergebnisse gab es?
4. Hat das Programm das Wissen der Teilnehmer erhöht?
5. Waren die Teilnehmer des Programms vor Beginn des Kurses beschäftigungsfähig?
6. Haben die Teilnehmer des Programms die Fähigkeiten, um nach dem Kurs einen Arbeitsplatz zu finden?
7. Ist das Wissen der Teilnehmer im Vergleich zu denen, die nicht am Programm teilgenommen haben, besser?