Zurück zum Blog
Erwachsene sitzen in einem hellen Raum mit weißen Wänden auf Stühlen und blicken nach vorn, einer hält Papierblätter, im Vordergrund ein unscharfer Laptop
Umfragedesign13. November 202610 Min. Lesezeit

Vorher und nachher: So erkennst du in einer Umfrage, ob sich wirklich etwas verändert hat

Du hast vor dem Training eine Umfrage verschickt und danach noch eine, und der Wert ist gestiegen. Dieser Anstieg ist noch kein Effekt. Was eine Vorher-Nachher-Zahl sonst noch bewegt, und wie du eine Messung baust, die das auseinanderhält.

Von SurveyLane · Das Team hinter SurveyLane

Du verschickst vor einem Führungstraining eine Umfrage und sechs Wochen später dieselbe noch einmal. Die Sicherheit beim Feedbackgeben steigt auf einer Fünferskala von 3,1 auf 3,7, und die Folie für den Lenkungskreis schreibt sich von selbst. Vorsicht trotzdem. Diese 0,6 sind der Abstand zwischen zwei Messungen. An derselben Zahl ziehen noch andere Dinge, nach oben und nach unten, und eine Vorher-Nachher-Messung sagt dir erst dann, was das Training bewirkt hat, wenn du sie so baust, dass sich diese Dinge trennen lassen.

Ein Unterschied ist noch kein Effekt

Donald Campbell und Julian Stanley haben die üblichen Verdächtigen 1963 aufgelistet, in Experimental and Quasi-Experimental Designs for Research. Ihre Liste der Gefährdungen der internen Validität steht bis heute in Methodenlehrbüchern. Vier davon begegnen dir bei fast jeder Umfrage, die du zweimal durchführst.

Zwischenzeitliches Geschehen ist alles, was sonst zwischen den Wellen passiert ist. Eine Umstrukturierung zum Beispiel, oder eine neue Führungskraft. Reifung ist Veränderung, die ohnehin gekommen wäre, weil Leute in einem Job besser werden, den sie vor drei Monaten angefangen haben. Der Testeffekt ist der Einfluss des ersten Fragebogens selbst: Zwanzig Fragen zu Feedback bringen Menschen dazu, über Feedback nachzudenken. Instrumentierung ist jede Änderung am Messinstrument, bei einer Umfrage also an Formulierung, Skala, Reihenfolge oder Kanal.

Keiner dieser vier bekommt in deinem Export eine eigene Spalte. Sie stecken alle in denselben 0,6.

Die Regression zur Mitte sucht dir die schlechtesten Werte aus

Angenommen, du gibst den fünf Teams mit dem niedrigsten Engagement-Wert ein Programm. Ein Quartal später haben sich vier davon verbessert. Ein Teil davon stand vorher schon fest.

Jeder Wert besteht aus einem stabilen Teil und Rauschen: eine schlechte Woche, ein Konflikt, der inzwischen beigelegt ist. Wählst du Teams nach einem extremen Wert aus, wählst du Teams, bei denen das Rauschen dieses Mal ungewöhnlich negativ ausfiel. Misst du erneut, kann das Rauschen genauso gut in die andere Richtung gehen, und der Durchschnitt rutscht zurück zur Mitte. Francis Galton hat dieses Muster in den 1880er-Jahren beschrieben. HR- und CX-Teams fallen trotzdem jedes Quartal wieder darauf herein.

Musst du nach einem niedrigen Wert auswählen, dann vergleiche mit ähnlich niedrigen Teams, die nichts bekommen haben. Auch sie verbessern sich, und ihre Verbesserung ist deine Nulllinie.

Menschen verschieben auch ihren eigenen Maßstab

Vor einem Kurs zum Feedbackgeben schätzen viele ihre eigene Fähigkeit ziemlich gut ein. Sie wissen noch nicht, wie gutes Feedback aussieht. Danach wissen sie es und legen einen strengeren Maßstab an. Ihre Fähigkeit ist gestiegen, der Maßstab auch, also steigt die Selbsteinschätzung weniger als die Fähigkeit. Manchmal sinkt sie sogar.

George Howard und Patrick Dailey nannten das Response-Shift-Bias. In einem Artikel von 1979 im Journal of Applied Psychology (Band 64, Seiten 144 bis 150) evaluierten sie ein Training für Interviewfähigkeiten und stellten fest, dass diese Verschiebung des Maßstabs beeinflusste, wie die Teilnehmenden die Wirkung des Trainings einschätzten. Bei einem Programm, das Menschen beibringt, wie Kompetenz aussieht, unterschätzt ein einfacher Vorher-Nachher-Vergleich von Selbstauskünften die Veränderung deshalb oft. Ein flaches Ergebnis beweist nicht, dass das Programm nichts gebracht hat.

Fragen zum Verhalten ("Wie viele Einzelgespräche hast du letzten Monat geführt?") haben keinen Maßstab, der so mitwandert. Nimm also ein paar davon auf. Der Beitrag über Verhaltensfragen und Erinnerung erklärt, wie du sie formulierst.

Die retrospektive Vorher-Messung und ihr Preis

Ein Ausweg ist, nachher nach vorher zu fragen. In der Nachher-Umfrage kommt jedes Item zweimal vor: "Wie schätzt du heute deine Fähigkeit ein, kritisches Feedback zu geben?" und "Rückblickend: Wie hättest du sie vor dem Training eingeschätzt?" Beide Antworten nutzen dann denselben, angepassten Maßstab.

Howard und fünf Kollegen haben diese retrospektive Vorher-Messung in fünf Studien geprüft, veröffentlicht 1979 in Applied Psychological Measurement (Band 3, Seiten 1 bis 23). Sie schlugen sie als genauere Methode vor, um Veränderung in Selbstauskünften zu messen.

Umsonst ist sie nicht. Stellst du "vorher" und "jetzt" nebeneinander, signalisierst du, dass ein Unterschied erwartet wird, und manche liefern ihn bereitwillig. Wer zwei Tage in einen Kurs gesteckt hat, will glauben, dass es geholfen hat. Laura Griner Hill und Drew Betz haben die Methode 2005 im American Journal of Evaluation noch einmal untersucht (Band 26, Heft 4, Seiten 501 bis 517). Ihr Rat: Nimm eine klassische Vorher-Messung, um die Wirkung eines Programms zu beurteilen, und eine retrospektive, um zu sehen, wie die Teilnehmenden ihre eigene Veränderung erlebt haben. Wenn es geht, frag beides ab. Wo die beiden stark auseinanderliegen, hat sich das Verständnis des Themas selbst verschoben.

Halte das Messinstrument exakt gleich

Instrumentierung ist die Gefährdung, die du selbst verursachst. Jemand poliert zwischen den Wellen eine Frage auf, tauscht eine Fünferskala gegen eine Siebenerskala oder zieht einen Block nach vorn. Jede Änderung verschiebt die Antworten, und diese Verschiebung kannst du nicht mehr vom Effekt unterscheiden.

Friere die Vorher-Umfrage ein, sobald die erste Antwort da ist: gleiche Formulierung, gleiche Optionen in gleicher Reihenfolge, gleiche Fragenreihenfolge, gleicher Kanal. Vorher per E-Mail am Laptop und nachher per QR-Code am Handy ist ein anderer Modus, und schon der Modus verschiebt Antworten. Lies dazu eine Umfrage wiederholen, ohne den Trend zu brechen und Reihenfolgeeffekte bei Fragen. Korrigiere die Formulierung vor der ersten Welle, mit den Methoden aus eine Umfrage vorab testen.

Personen verknüpfen, ohne die Anonymität zu brechen

Du kannst alle, die vorher geantwortet haben, mit allen vergleichen, die nachher geantwortet haben. Oder du verknüpfst die beiden Antworten jeder Person und schaust auf die Veränderung pro Person. Das Zweite ist viel stärker: Unterschiede zwischen Menschen fallen aus dem Vergleich heraus, sodass eine kleinere echte Veränderung mit derselben Zahl an Befragten sichtbar wird.

Zum Verknüpfen brauchst du einen Schlüssel, und der kollidiert mit jedem Anonymitätsversprechen, das du gegeben hast. Der Beitrag über Anonymität und Vertraulichkeit erklärt, warum dich ein gebrochenes Versprechen ehrliche Antworten kostet.

Ein Mittelweg ist ein selbst erzeugter Code. Frag am Anfang beider Umfragen nach Dingen, die nur die befragte Person weiß, etwa die ersten zwei Buchstaben des Vornamens ihrer Mutter und den Tag im Monat, an dem sie Geburtstag hat. "MA14" verknüpft die Wellen ohne Namen. Manche Codes passen nicht zusammen, weil jemand sie beim zweiten Mal anders eintippt, also gib an, wie viele Paare du tatsächlich verknüpfen konntest. Und in einem Team von sechs Leuten kann ein Code zusammen mit Abteilung und Funktion trotzdem auf eine Person zeigen. Leg vorher fest, welche Aufschlüsselungen du nicht berichtest.

Wer hat zweimal geantwortet

Die zweite Welle erreicht selten dieselben Menschen wie die erste. Leute wechseln das Team oder steigen auf halber Strecke aus. Andere kommen einfach nie dazu. Wer den Kurs nutzlos fand, öffnet am wenigsten gern eine Umfrage darüber, also wirkt die Nachher-Gruppe oft positiver, obwohl niemand seine Meinung geändert hat. Campbell und Stanley nannten das experimental mortality. Der Beitrag über Stichprobenqualität geht allgemeiner auf Nonresponse ein.

Zwei Prüfungen fangen das meiste ab. Vergleiche die Vorher-Werte derjenigen, die beide Male geantwortet haben, mit denen, die nur beim ersten Mal dabei waren. Lagen die Ausgestiegenen niedriger, schönt dein Nachher-Durchschnitt das Programm. Und berichte die Veränderung für verknüpfte Paare neben den Rohdurchschnitten.

Eine Vergleichsgruppe ist mehr wert als eine perfekte Frage

Die größte Verbesserung hat mit Formulierung nichts zu tun. Miss zu denselben Zeitpunkten eine Gruppe, die die Maßnahme nicht bekommen hat. Zwischenzeitliches Geschehen und Reifung treffen dann beide Gruppen, der Testeffekt auch, und der Unterschied zwischen ihren Veränderungen ist eine viel bessere Schätzung des Effekts.

In einem Unternehmen geht das oft ohne großen Aufwand. Roll das Training in zwei Kohorten aus und befrage beide zu denselben Zeitpunkten. Die zweite Kohorte ist deine Vergleichsgruppe, bis sie selbst dran ist.

Angenommen, die trainierte Gruppe geht in denselben sechs Wochen von 3,1 auf 3,7 und die wartende Gruppe von 3,2 auf 3,5. Dann hat das Training etwa 0,3 beigetragen. Die anderen 0,3 kamen von etwas anderem, der Jahreszeit oder dem neuen Beurteilungszyklus. Die Gruppen müssen nicht gleich starten, solange du Veränderungen vergleichst. Aber ein Pilotteam, das sich freiwillig gemeldet hat, ähnelt den Teams, die das nicht getan haben, nur wenig.

Wann du die zweite Welle verschickst

Ein Fragebogen am Ende der letzten Sitzung fängt ein, wie sich die Leute an diesem Tag fühlen. Meist voller Energie, und ein bisschen froh, dass es vorbei ist. Ihre Arbeitsweise hatte noch keine Gelegenheit, sich zu ändern.

Für eine Fähigkeit, die man wöchentlich braucht, sind sechs bis acht Wochen eine vernünftige erste Schätzung. Für etwas, das einmal im Quartal vorkommt, wartest du ein Quartal. Frag nach konkretem, jüngstem Verhalten. "Wie oft hast du in den letzten zwei Wochen einer Kollegin oder einem Kollegen im Gespräch kritisches Feedback gegeben?" lässt sich schwerer schönen als "Ich fühle mich sicher, wenn ich Feedback gebe."

Wie groß eine Veränderung sein muss, damit du sie siehst

Mit vierzig Leuten erkennst du eine große Veränderung und übersiehst eine bescheidene. Hoffst du auf einen Viertelpunkt auf einer Fünferskala, prüf vorher, ob deine Gruppe das zeigen kann. Sonst heißt "kein signifikanter Unterschied" vor allem "zu wenige Leute".

Verknüpfen hilft, weil die Veränderung pro Person viel weniger streut als die Werte selbst. Der Beitrag darüber, wie viele Befragte du brauchst, erklärt Fehlermarge und Untergruppen.

Und teste nicht dreißig Items einzeln, um dann die zwei zu feiern, die signifikant wurden. Ein paar überschreiten die Grenze rein zufällig. Leg vorher die zwei oder drei Ergebnisse fest, die das Programm bewegen soll.

Veränderung ehrlich berichten

Nenne die Zahl der Antworten pro Welle und die Zahl der verknüpften Paare. Zeig Verteilungen, denn ein Programm, das das untere Viertel anhebt, sieht ganz anders aus als eines, das alle ein kleines Stück verschiebt. Stell die Veränderung einer Vergleichsgruppe neben die der trainierten Gruppe.

Sag dann, was das Design tragen kann. "Die Werte derjenigen, die beide Male geantwortet haben, stiegen um 0,4; eine Vergleichsgruppe stieg um 0,1" kannst du verteidigen. "Das Training hat die Sicherheit um 15 Prozent erhöht" meistens nicht. Mehr dazu in Umfrageergebnisse berichten.

Eine Vorher-Nachher-Umfrage in SurveyLane einrichten

Bau und teste die Vorher-Umfrage und kopiere sie dann für die Nachher-Welle, damit Formulierung und Reihenfolge gleich bleiben. Setz den selbst erzeugten Code an den Anfang beider Umfragen. Füg die retrospektiven Items nur der Nachher-Umfrage hinzu, als eigenen Block.

Mit bedingter Logik blendest du programmspezifische Fragen für die Vergleichsgruppe aus. Wenn die Ergebnisse da sind, lässt der schreibgeschützte MCP-Server einen KI-Assistenten die Wellen über den Code verknüpfen und die Veränderung pro Gruppe vergleichen, wie in Umfragen mit KI analysieren beschrieben. Leg die Zahl der Paare, die er nennt, neben deine eigene Zählung.

Häufig gestellte Fragen

Ist eine retrospektive Vorher-Messung besser als eine normale?

Nicht grundsätzlich. Eine normale Vorher-Messung ist die sicherere Grundlage, um die Wirkung eines Programms zu beurteilen, weil die Leute sie ausfüllen, bevor sie wissen, was das Programm vermittelt. Eine retrospektive Vorher-Messung umgeht den wandernden Maßstab, lädt aber dazu ein, die erwartete Verbesserung zu melden. Nutze nach Möglichkeit beide.

Kann ich vorher und nachher vergleichen, wenn die Umfrage anonym war?

Ja, auf Gruppenebene, oder pro Person, wenn du einen selbst erzeugten Code hinzufügst. Ein Vergleich auf Gruppenebene kann eine Veränderung bei den Menschen nicht von einer Veränderung darin trennen, wer geantwortet hat. Vergleiche deshalb die Vorher-Werte derjenigen, die einmal geantwortet haben, mit denen, die zweimal geantwortet haben.

Wie lange warte ich mit der Nachher-Umfrage?

Lange genug, dass das Verhalten, um das es dir geht, ein paar Mal vorkommen kann. Für Fähigkeiten, die wöchentlich gebraucht werden, sind sechs bis acht Wochen ein vernünftiger Anfang. Eine Umfrage am letzten Tag misst, wie die Leute die Sitzung fanden.

Was, wenn ich keine Vergleichsgruppe haben kann?

Dann triff eine kleinere Aussage. Miss vor der Maßnahme mehr als einmal, um den bestehenden Trend zu sehen, nimm Verhaltensfragen auf und wähle Teilnehmende nicht aus, weil sie niedrig lagen. Berichte das Ergebnis als Veränderung über die Zeit. Über die Wirkung des Programms sagt es wenig.

Weiterlesen