Umfrageergebnisse berichten, ohne die Entscheider in die Irre zu führen

Auch eine sorgfältige Umfrage kann in einer falschen Entscheidung enden, und meistens passiert das im letzten Schritt. Eine Managerin liest eine Folie, sieht "62 % wollen Funktion X", und niemand fragt: 62 % von wem? Behandle deinen Bericht wie einen Fragebogen für die Leser. Jedes Diagramm stellt ihnen eine Frage, und ein mehrdeutiges Diagramm beantworten sie mit dem, was sie ohnehin schon dachten. Deshalb gelten die Regeln aus bessere Umfragefragen schreiben hier genauso.

Fang bei der Entscheidung an

Die meisten Berichte folgen dem Fragebogen: Frage 1 mit Diagramm, dann Frage 2, bis zum Ende. Diese Reihenfolge war für die Befragten sinnvoll. Wer den Bericht liest, will wissen, was zu tun ist.

Beginne mit der Entscheidung, für die die Umfrage gedacht war, und stell die zwei oder drei Ergebnisse, die dazu etwas sagen, auf die erste Seite. "Verlagern wir das Onboarding in den Self-Service?" ist eine Entscheidung. Dafür zählt, wie neue Kunden das jetzige Onboarding bewerten, wo sie hängen geblieben sind und ob genau diese Kunden diejenigen sind, die du verlieren würdest. Der Rest kommt in den Anhang.

Formuliere die Überschrift jedes Ergebnisses als Satz mit einer Zahl. "Onboarding" sagt dem Leser nichts. "Vier von zehn neuen Kunden brauchten Hilfe, um die Einrichtung abzuschließen" gibt ihm etwas, das er prüfen und diskutieren kann. Und es zwingt dich, vorher festzulegen, was das Diagramm eigentlich zeigt.

Jeder Prozentwert braucht seine Basis

"62 % finden die neue Preisseite besser" liest sich ganz anders, wenn es um 62 % von 1.400 Kunden geht, als wenn es 62 % der 29 Personen sind, die die neue Seite gesehen und danach eine Folgefrage bekommen haben.

Schreib die Basis unter jedes Diagramm, immer an dieselbe Stelle, in Worten, die jeder versteht: "Basis: Kunden, die die Exportfunktion in den letzten 30 Tagen genutzt haben, n = 312". Ein nacktes "n = 312" reicht nicht.

Mit bedingter Logik wird das noch wichtiger. Durch die Filterführung beantworten verschiedene Leute verschiedene Fragen, also verschiebt sich die Basis von Diagramm zu Diagramm. Wurde Frage 8 nur denen gezeigt, die den Support schlechter als 5 bewertet haben, dann beschreibt "71 % nennen die Antwortzeit als Hauptproblem" unzufriedene Support-Nutzer. Über deine Kunden insgesamt sagt der Wert nichts. Schreib den Filter deshalb jedes Mal in die Basiszeile.

Entscheide vor dem Zählen, was mit "weiß nicht" passiert

Wer "weiß nicht" oder "trifft nicht zu" antwortet oder die Frage überspringt, ist trotzdem in deinen Daten. Du entscheidest, wo diese Leute landen, und diese Entscheidung verschiebt die Schlagzeile.

Angenommen, du fragst 500 Personen, ob das neue Dashboard einfacher zu bedienen ist. 240 sagen ja, 110 sagen nein, 150 haben es zu wenig genutzt, um das zu beurteilen. Auf alle 500 bezogen finden es 48 % einfacher. Lässt du die "weiß nicht"-Gruppe weg, sind es 69 %. Beide Zahlen stimmen. Die erste beschreibt deine Nutzer. Die zweite beschreibt Nutzer, die schon eine Meinung hatten.

Du darfst beide verwenden. Du darfst nur nicht verschweigen, welche du verwendet hast. Wähl die Basis, die zur Entscheidung passt, schreib sie dazu und zeig die ausgeschlossene Gruppe als Zahl. Wenn 30 % das neue Dashboard noch gar nicht beurteilen konnten, ist das selbst ein Ergebnis.

Rundung, Summen und Mehrfachantworten

Drei Antworten mit je 33,3 % werden gerundet zu 33, 33 und 33. Macht 99. Irgendwer merkt es. Eine kurze Anmerkung löst das: "Rundungsbedingt ergeben die Prozentwerte nicht immer 100." Schieb nicht an einer Zahl herum, damit die Spalte aufgeht.

Bei Mehrfachantworten ist es umgekehrt: Durften die Befragten jeden zutreffenden Grund ankreuzen, summieren sich die Balken auf deutlich über 100. Das stimmt so. Schreib es trotzdem ans Diagramm, denn 180 % sehen aus wie ein Fehler. Und pass die Nachkommastellen an deine Stichprobe an. 47,3 % bei 180 Antworten täuschen eine Genauigkeit vor, die du nicht hast.

Ein Mittelwert versteckt die Verteilung

Der Mittelwert verdeckt die Form der Antworten, und gerade die Form ist oft das Ergebnis. Eine 3,0 auf einer Fünferskala kann heißen, dass alle die Mitte gewählt haben. Sie kann auch heißen, dass die Hälfte eine 1 und die andere Hälfte eine 5 gegeben hat. Das eine ist laue Gleichgültigkeit. Das andere ist eine gespaltene Kundschaft, und die braucht eine ganz andere Reaktion.

Zeig bei Bewertungsskalen die ganze Verteilung als gestapelten Balken, mit den Skalenpunkten in ihrer natürlichen Reihenfolge. Wenn du eine einzelne Kennzahl willst, gib den Anteil der oberen zwei Kategorien neben dem Anteil der unteren zwei an. Die Beschriftungen aus deinem Skalendesign gehören ebenfalls ins Diagramm. "1" bis "5" sagt niemandem etwas, der den Fragebogen nicht vor sich hat.

Sortier die Punkte einer Skala nie nach Größe, sonst steht "stimme eher zu" neben "stimme überhaupt nicht zu". Ungeordnete Kategorien wie "wichtigster Kündigungsgrund" sortierst du dagegen sehr wohl nach Größe.

Ein Unterschied ist unsicherer als jede einzelne Zahl

Hier übertreiben Berichte am häufigsten. Die Zufriedenheit liegt bei Jahresabo-Kunden bei 64 % und bei Monatskunden bei 57 %, und der Raum schließt daraus, dass Jahreskunden zufriedener sind. Vielleicht. Jede Zahl hat ihre eigene Unsicherheit, und der Abstand zwischen beiden hat noch mehr.

Andrew Mercer vom Pew Research Center schrieb 2016 in einem Erklärstück zur Fehlermarge: Die Fehlermarge für den Abstand zwischen zwei Kandidaten ist in der Regel etwa doppelt so groß wie die Marge für den Anteil jedes einzelnen Kandidaten. Sein Beispiel mit einer Untergruppe ist noch ernüchternder. Eine Umfrage mit rund 3 Punkten Fehlermarge insgesamt hatte etwa 8 Punkte für eine Untergruppe, die 15 % der Bevölkerung ausmacht, und etwa 16 Punkte für einen Abstand innerhalb dieser Untergruppe.

Jetzt schau auf deinen eigenen Bericht. Ein Abstand von sieben Punkten zwischen zwei Segmenten mit je 200 Befragten ist sehr wahrscheinlich Rauschen. Wenn du etwas über den Abstand behaupten willst, teste den Abstand, und wenn der Test das nicht hergibt, schreib "kein klarer Unterschied". Wie du die Genauigkeit vor der Feldphase berechnest, steht in wie viele Befragte du brauchst. Für Veränderungen über die Zeit gilt dasselbe: Von 41 auf 44 zwischen zwei Wellen ist noch kein Trend.

Kreuztabellen und das Problem der vierzig Vergleiche

In Kreuztabellen gehen Berichte auf Fischfang. Teil zehn Fragen nach vier Segmenten auf, und du hast vierzig Vergleiche. Bei der üblichen Schwelle von 95 % musst du damit rechnen, dass etwa zwei davon rein zufällig signifikant aussehen, auch wenn in Wirklichkeit nichts dahintersteckt. Und genau diese zwei sind dann die auffälligsten Zellen im Bericht, weil der Zufall gut im Überraschen ist.

Leg fest, bevor du hinschaust, welche Vergleiche die Umfrage beantworten sollte, und berichte diese als Ergebnisse. Alles andere bekommt das Etikett explorativ: einen Blick in der nächsten Welle wert, mehr nicht. Würde ein Ergebnis in einer Untergruppe eine Entscheidung ändern, bestätige es zuerst. Und wenn dein Tool signifikante Zellen automatisch markiert, denk daran: Es hat jeden Test gerechnet, den es rechnen konnte.

Diagramme, die richtig gelesen werden

In einem Aufsatz von 1984 im Journal of the American Statistical Association haben William Cleveland und Robert McGill getestet, wie genau Menschen Mengen aus verschiedenen grafischen Kodierungen ablesen. Position entlang einer gemeinsamen Skala schnitt am besten ab. Winkel und Flächen schnitten deutlich schlechter ab. Praktisch heißt das: Balkenlängen vergleichen Menschen viel genauer als Tortenstücke.

Für Umfrageergebnisse ergibt das eine kurze Liste:

• Nimm liegende Balken für Antwortkategorien, damit lange Beschriftungen lesbar bleiben.
• Lass die Achse eines Balkendiagramms bei null beginnen. Eine Achse, die bei 50 % startet, macht aus drei Punkten Unterschied etwas, das wie eine Verdopplung aussieht.
• Verwende Torten- oder Ringdiagramme höchstens für eine Zweiteilung. Fünf etwa gleich große Stücke sind ein Ratespiel.
• Gib derselben Antwort in jedem Diagramm dieselbe Farbe. Ist "sehr zufrieden" auf Seite 2 dunkelgrün, bleibt es das auch auf Seite 9.
• Schreib die Zahl an den Balken, damit niemand an Gitterlinien schätzen muss.

Das Ziel ist ein Diagramm, das schwer falsch zu lesen ist. Ob es hübsch aussieht, kommt danach.

Zitate aus offenen Antworten illustrieren ein Thema

Ein gutes Zitat bewirkt in einem Meeting mehr als ein Diagramm. Such dir die drei schärfsten Beschwerden aus 600 offenen Antworten heraus, und alle im Raum nehmen an, dass sie für alle sprechen.

Nutze ein Zitat, um zu zeigen, wie ein Thema klingt, und gib dem Thema eine Zahl: "Etwa jede fünfte offene Antwort erwähnte Exportformate, zum Beispiel: ...". Wähl Zitate, die für das Thema typisch sind. Die Ausreißer bleiben im Export. Hat KI beim Codieren geholfen, prüf jedes Zitat, das du verwendest, gegen die Originalantwort, denn eine Zusammenfassung kann einen Satz umschreiben, den so niemand geschrieben hat. Wie du Themen so codierst, dass die Zahlen halten, steht in offene Antworten analysieren.

Die Methodenangaben, die AAPOR erwartet

Die American Association for Public Opinion Research hat einen Code of Professional Ethics and Practices, zuletzt überarbeitet im April 2021. Abschnitt III legt fest, was in jedem Bericht über veröffentlichte Umfrageergebnisse sofort offengelegt werden muss. Er ist für öffentliche Umfragen gedacht. Als Checkliste für interne Berichte taugt er trotzdem:

• wie die Daten erhoben wurden und wer die Studie beauftragt und durchgeführt hat
• der genaue Wortlaut und die Darstellung der Fragen
• die untersuchte Grundgesamtheit und wie die Stichprobe gezogen und rekrutiert wurde
• Erhebungsmodus und Zeitraum der Datenerhebung
• Stichprobengrößen und, wo zutreffend, die Genauigkeit der Ergebnisse
• wie die Daten gewichtet wurden, falls überhaupt
• wie die Daten aufbereitet und auf Qualität geprüft wurden
• eine allgemeine Aussage zu den Grenzen des Designs

In einem internen Bericht passt das in einen kleinen Kasten auf der letzten Seite:

Methode: Online-Umfrage per E-Mail an alle 4.820 Kunden,
die im Q3 aktiv waren. Feldzeit 2.-16. Oktober. 1.212
vollständige Antworten (25 %). Keine Gewichtung. 37 Antworten
wegen zu schnellen Ausfüllens oder Straightlining entfernt.
Vollständiger Fragebogen in Anhang A.
Einschränkung: Vor Oktober gekündigte Kunden wurden nicht eingeladen.

Eine Zeile im Code verdient Aufmerksamkeit: Berichte über nicht-probabilistische Stichproben sollen nur dann Genauigkeitsmaße angeben, wenn sie erklären, wie diese definiert und berechnet wurden. Die meisten Kunden- und Mitarbeiterbefragungen sind nicht-probabilistisch, weil du alle eingeladen hast und ein Teil sich entschieden hat zu antworten. Eine "Fehlermarge ±3 %" unter so einer Umfrage behauptet eine Genauigkeit, die das Design nicht hergibt, und die Nichtbeantwortung ist ohnehin das größere Risiko. Was du im Nachhinein korrigieren kannst und was nicht, steht in Umfragedaten gewichten.

Schreib die Grenzen neben die Ergebnisse

Einschränkungen landen meistens in grauer Schrift auf der letzten Folie. Setz jede einzelne neben das Ergebnis, das sie betrifft: Wenn nur 12 % deiner Geschäftskunden geantwortet haben, gehört das unter das Diagramm zu den Geschäftskunden. Schreib zu jedem Hauptergebnis einen Satz, der mit "Das ist falsch, wenn" beginnt, und behalte die Sätze, die du nicht ausschließen kannst.

Gib den Bericht danach jemandem, der nicht an der Umfrage mitgearbeitet hat, und frag nach den drei wichtigsten Ergebnissen. Weicht die Antwort von deiner ab, überarbeite den Bericht.