Auch wenn kein Experiment durchgeführt wird, ergeben sich manchmal Bedingungen, die dem Aufbau von Experimenten stark ähneln. Wichtig ist, dass es zu einer unvorhergesehenen („quasi-experimentellen“) Variation in einer erklärenden Variable kommt, so dass die Effekte auf die Zielvariable kausal interpretiert werden.

Beispiele für solche „natürlichen Experimente“ ist ein plötzlicher Wechsel in den Bedingungen, z.B. wenn ohne lange Vorlaufzeit ein bestimmter Aspekt der Gesetzgebung geändert wird. In solchen Situationen können je nach Maßnahme mehrere Methoden zur Evaluation verwendet werden:

Matching

Die Grundidee des Matchings ist es, einen „statistischen Zwilling“ der von der Maßnahme betroffenen Beobachtungseinheit zu finden. Dieser sollte hinsichtlich der beobachtbaren Charakteristika der Beobachtungseinheit möglichst identisch sein. Die wesentliche Annahme dieser Methode ist, dass sich die von der Maßnahme betroffene Beobachtungseinheit ohne die Maßnahme so wie der statistische Zwilling verhalten hätte. Der Effekt der Maßnahme kann dann gemessen werden.

Regressions-Diskontinuitäten-Design

Bei vielen Förderprogrammen entscheidet eine festgelegte Grenze (bspw. eine Bewertungsgrenze), ob ein Unternehmen oder ein Individuum gefördert wird. Bei solchen Maßnahmen können die Ergebnisse derjenigen Beobachtungseinheiten verglichen werden, die knapp unterhalb bzw. knapp oberhalb der Grenze liegen. Die wesentliche Annahme der Methode ist, dass in diesem Bereich die Position relativ zur Grenze zufällig ist. In diesem Fall wären die Beobachtungseinheiten in Abwesenheit der Maßnahme sehr ähnlich, wodurch sich der Erfolg einer Maßnahme durch einen einfachen Vergleich feststellen lässt.

Doppelter Differenzenansatz

Ein sogenannter doppelter Differenzenansatz vergleicht die Entwicklung von Treatment- und Kontrollgruppe zu zwei verschiedenen Zeitpunkten, zwischen denen die eine Gruppe von einer Maßnahme betroffen war und die andere nicht. Bei beiden Gruppen wird die Veränderung der Zielgröße im Vergleich zum Ausgangszustand betrachtet.

Für beide Gruppen wird zunächst separat die Differenz zwischen der Zielgröße zum Endzeitpunkt und zum Ausgangszeitpunkt berechnet. Die zweite Differenz entspricht dann dem Unterschied dieser beiden Differenzen. Dadurch wird die Entwicklung der Treatmentgruppe durch die Trendkomponente der Kontrollgruppe bereinigt und es können kausale Effekte geschätzt werden. Die entscheidende Annahme ist, dass der Trend der Zielgröße in Treatment- und Kontrollgruppe identisch ist.

Instrumentalvariablen

Das Ziel des Instrumentalvariablenansatzes ist es, den wahren Treatmenteffekt einer Maßnahme von nicht beobachteten Einflüssen anderer Variablen zu trennen.

Dafür stellt man sich die erklärende Variable als zweigeteilt vor: Ein Teil, der durch andere Variablen beeinflusst wird (der „endogene Teil“) und ein Teil, der frei von weiteren Einflüssen ist, die auch die Zielgröße beeinflussen. Dieser zweite Teil (der „exogene Teil“) kann zur kausalen Identifikation von Effekten einer Maßnahme verwendet werden.

Um den exogenen Teil der erklärenden Variable zu isolieren, sucht man nun nach einer weiteren Variable, der „Instrumentenvariable“ (z.B. bestimmte Förderregularien), die diesen Teil der erklärenden Variable bestimmt. Zwei Annahmen sind für die Eignung eines Instruments wichtig: Die Relevanz und die Exogenität. Die erste Annahme sagt aus, dass die Instrumentenvariable einen Einfluss auf die erklärende Variable hat. Die zweite Annahme sagt aus, dass die Instrumentenvariable keinen direkten Einfluss auf die Zielgröße hat.

Panel-Methoden mit fixen Effekten

Panel-Methoden nutzen Datensätze, die die gleichen Beobachtungseinheiten zu mehreren Zeitpunkten beobachten. Sie eliminieren die Wirkung unbeobachteter Einflussfaktoren, die über die Zeit konstant bleiben. Prominente Beispiele für solche Einflussfaktoren sind Variablen wie Persönlichkeitsmerkmale oder individuelle Fähigkeiten.

Bei diesen Methoden wird lediglich die Variation der Zielvariable zwischen verschiedenen Zeitpunkten betrachtet und die Heterogenität durch „Festhalten“ der konstanten Eigenschaftsmerkmale herausgerechnet. Fixe Effekte können in verschiedenen Dimensionen genutzt werden. Zu beachten ist jedoch, dass durch ihre Verwendung alle zeitinvarianten Faktoren – beobachtbare und unbeobachtbare – nicht in der Regression berücksichtigt werden können.