Evaluation und Wirkungsmessung: Nachweisbare Wirkung statt Bauchgefühl.

Ob ein Förderprogramm, eine Bildungsintervention, eine Schulungsmaßnahme oder eine öffentliche Dienstleistung die beabsichtigte Wirkung hat, lässt sich nicht aus Erfahrungsberichten allein ableiten. Belastbare Wirkungsnachweise erfordern eine strukturierte Datenerhebung und eine statistische Auswertung, die zwischen echten Effekten und zufälligen Schwankungen unterscheidet. Gerade wenn gegenüber Fördermittelgebern, Auftraggebern oder der Öffentlichkeit Rechenschaft abgelegt werden muss, sind methodisch fundierte Evaluationsergebnisse unverzichtbar.

Unser Team unterstützt Sie bei der statistischen Auswertung von Evaluationsdaten. Wir arbeiten mit verschiedenen Evaluationsdesigns, beraten bei der Auswahl des geeigneten Designs und führen alle notwendigen statistischen Analysen durch. Das Ergebnis ist ein Evaluationsbericht, der die Befunde nachvollziehbar erklärt und für verschiedene Zielgruppen aufbereitet werden kann.

Pre-Post-Designs und Kontrollgruppenvergleiche

Das einfachste Evaluationsdesign misst einen Indikator vor und nach einer Maßnahme und prüft, ob sich eine statistisch bedeutsame Veränderung eingestellt hat. Pre-Post-Designs ohne Kontrollgruppe sind methodisch eingeschränkt, weil andere Ursachen für die Veränderung nicht ausgeschlossen werden können. Wenn eine Kontrollgruppe verfügbar ist, ermöglicht ein Differenz-in-Differenzen-Design deutlich robustere Aussagen über die Wirksamkeit einer Maßnahme.

Wir führen beide Designs durch, weisen transparent auf die methodischen Grenzen hin und stellen sicher, dass die Ergebnisse die tatsächliche Informationsgrundlage korrekt widerspiegeln. Für randomisierte Kontrollgruppendesigns führen wir vollständige Intention-to-Treat-Analysen durch.

Effektgrößen und praktische Bedeutsamkeit

Statistische Signifikanz ist eine notwendige, aber keine hinreichende Bedingung für einen praktisch relevanten Effekt. Gerade bei großen Stichproben werden auch winzige Unterschiede signifikant. Deshalb berichten wir neben p-Werten immer auch Effektgrößen wie Cohens d, Eta-Quadrat oder Odds Ratios, die eine Einschätzung der praktischen Bedeutsamkeit eines Befunds erlauben. Diese Information ist für Fördermittelgeber und Auftraggeber oft wichtiger als der Signifikanztest.

Wirkungslogiken und Theory of Change

Evaluationen werden aussagekräftiger, wenn die angenommene Wirkungslogik des Programms vorab explizit gemacht wird. Eine Theory of Change beschreibt, durch welche Mechanismen eine Maßnahme die beabsichtigte Wirkung erzielt, und definiert messbare Indikatoren auf verschiedenen Wirkungsebenen. Wir unterstützen bei der statistischen Operationalisierung von Wirkungslogiken und prüfen, welche Hypothesen mit den verfügbaren Daten testbar sind.

Fördermitteltaugliche Berichterstattung

Evaluationsberichte für Fördermittelgeber müssen zwei unterschiedliche Anforderungen gleichzeitig erfüllen: methodische Belastbarkeit und Lesbarkeit für fachfremde Entscheidungsträger. Wir kennen die typischen Anforderungen öffentlicher und privater Fördermittelgeber und gestalten Berichte entsprechend. Das umfasst Outcome-Tabellen, Visualisierungen und eine Executive Summary, die die wichtigsten Befunde auf einer Seite zusammenfasst.

Längsschnittanalysen und Paneldaten

Evaluationen, die über mehrere Messzeitpunkte hinweg verfolgen, wie sich eine Gruppe entwickelt, erfordern spezifische statistische Methoden für Längsschnittdaten: Wachstumskurvenmodelle, Mixed-Effects-Modelle oder Überlebenszeitanalysen. Diese Methoden berücksichtigen die Abhängigkeitsstruktur von Mehrfachmessungen an denselben Personen und liefern präzisere Schätzungen als einfache Querschnittsanalysen.