Evidenzbasierte Wirtschaftspolitik: Wirkungsanalysen

Evidenzbasierte Wirtschaftspolitik: Wirkungsanalysen

Um die Beurteilung der Validität einer Wirkungsanalyse zu gewährleisten, muss die Studie in jedem Punkt transparent durchgeführt werden. Das beinhaltet vor allem eine klare Darstellung der Implementierung der Evaluation. Bei experimentellen Studien muss dokumentiert werden, wie die Gruppeneinteilung vor dem Experiment erfolgte und ob die zufällige Zuordnung zu tatsächlich vergleichbaren Gruppen führte. Dies verhindert, dass Ergebnisse, die auf Gruppenunterschieden basieren, irrtümlich der Förderungsmaßnahme zugesprochen werden. Für den Fall, dass die zufällige Einteilung fehlerhaft war (oder dass aus anderen Gründen wünschenswerte Evaluationsmethoden nicht implementierbar sind), sollte für die wichtigsten beobachtbaren Einflussfaktoren des Ergebnisses kontrolliert werden.

Vor jeder Analyse sollte festgelegt werden, welche Ergebnisse ermittelt werden sollen. Wirkungsanalysen sollten grundsätzlich über große Stichproben verfügen, um Zufallseffekte auszuschließen. Sie sollten weiterhin in einer möglichst normalen Umgebung erfolgen. Wünschenswert ist die Evaluation einer Maßnahme in mehr als einer Umgebung, um zu verhindern, dass z.B. besondere Umstände in einer Region irreführende Ergebnisse produzieren. Ob die Entscheidung für eine Maßnahme insgesamt als wissenschaftlich fundiert gelten kann, hängt nicht nur von der Qualität der Studien, sondern auch von der Quantität der Evidenz ab. Auch deshalb sollten Studie mindestens in einer weiteren Umgebung repliziert werden.

Bei zunächst zu Testzwecken begrenzt eingeführten Maßnahmen ist es wichtig zu prüfen, wie verallgemeinerbar die Effekte sind. Insbesondere ist zu prüfen, ob die Ergebnisse aus einer spezifischen Untersuchungsumgebung auf andere Umgebungen übertragbar sind. Wichtig ist auch zu beachten, dass langfristige Effekte in einem kurz gewählten Evaluationszeitraum nicht erfasst werden.

In Situationen, in denen keine Evaluationen auf der Basis von Randomisierung durchführbar sind, ist es unter bestimmten Bedingungen trotzdem möglich, valide quantitative Schlüsse zu ziehen. Auch qualitative Wirkungsanalysen können zur Evaluation wirtschaftspolitischer Maßnahmen einen wichtigen Beitrag leisten.