Treiberanalyse: Was Ihren Zufriedenheitswert wirklich bewegt

Ihre Zufriedenheitsumfrage enthält einen Gesamtwert und acht Bewertungen einzelner Merkmale: Preis, Geschwindigkeit, Support, Onboarding, Zuverlässigkeit und ein paar mehr. Dann fragt jemand, welches davon Sie zuerst angehen sollen. Dafür gibt es die Treiberanalyse, und mit ihr kann man sich sehr überzeugt irren. Das Diagramm wirkt präzise. Ob es etwas bedeutet, hängt von Entscheidungen ab, die die meisten treffen, ohne es zu merken.

Warum Sie nicht einfach fragen können, was wichtig ist

Am nächsten liegt es, einfach zu fragen. "Wie wichtig ist Ihnen der Preis?" "Wie wichtig ist Ihnen der Support?" Das nennt man erfragte Wichtigkeit, und fast alles kommt als wichtig zurück.

Auf einer fünfstufigen Wichtigkeitsskala landen die meisten Merkmale zwischen 4 und 5, und die Reihenfolge innerhalb dieses schmalen Bands ist überwiegend Rauschen. Kunden wollen, dass alles gut ist. Das wussten Sie schon.

Dazu kommt: Menschen nennen, was ihrer Meinung nach wichtig sein sollte. Fragen Sie, wie wichtig das Layout Ihrer Rechnung ist, und Sie ernten ein Schulterzucken. Dann sehen Sie sich die Zufriedenheit bei den Kunden an, die eine unverständliche Rechnung bekommen haben. Befragte lügen dabei gar nicht. Sie sehen bloß schlecht, was ihr eigenes Urteil steuert, und genau danach fragt die Wichtigkeitsfrage.

Abgeleitete Wichtigkeit: die Daten zeigen, was den Wert bewegt

Abgeleitete Wichtigkeit dreht die Frage um. Sie schauen, welche Merkmalsbewertungen sich mit dem Gesamtwert mitbewegen. Wer den Support hoch bewertet, bewertet auch das Gesamterlebnis hoch, und wer den Support schlecht bewertet, nicht? Dann ist Support ein Kandidat für einen Treiber.

Der Preis: Sie betreiben jetzt Statistik mit Beobachtungsdaten. Die einfachste Variante ist eine Korrelation pro Merkmal. Der nächste Schritt ist eine Regression des Gesamtwerts auf alle Merkmale zugleich. Beides ist schnell und verbreitet. Und beides führt in die Irre, auf eine Art, die Sie kennen sollten, bevor das Ergebnis beim Produktteam liegt.

Korrelation bläht jeden Treiber auf: der Halo-Effekt

Korrelieren Sie jedes Merkmal mit der Gesamtzufriedenheit, kommen meist alle positiv heraus, oft zwischen 0,5 und 0,7. Das sieht nach acht starken Treibern aus. Es ist größtenteils ein einziger Effekt, achtmal gezählt.

Edward Thorndike hat ihn 1920 im Journal of Applied Psychology beschrieben, in "A constant error in psychological ratings". Offiziere bewerteten Soldaten nach einzelnen Eigenschaften wie Intelligenz, Körperbau und Führung, und die Noten hingen viel stärker zusammen, als es die Eigenschaften selbst plausibel konnten. Ein Gesamteindruck sickerte in jede Einzelbewertung. Er nannte das den Halo-Effekt.

Ihre Befragten machen es genauso. Ein zufriedener Kunde bewertet Support, Onboarding und Preisseite milder, zum Teil eben weil er zufrieden ist. Die Bewertungen teilen einen großen gemeinsamen Anteil, und dieser Anteil ist genau das Gesamturteil, das Sie erklären wollten. Eine Korrelationstabelle sagt Ihnen, dass zufriedene Kunden alles besser bewerten. Was Sie ändern sollten, sagt sie nicht.

Regression scheitert in die andere Richtung

Das Lehrbuch empfiehlt multiple Regression. Jeder Koeffizient zeigt den Effekt eines Merkmals, während die anderen konstant bleiben. Theoretisch entfernt das den gemeinsamen Halo.

In der Praxis hängen Ihre Merkmale so stark zusammen, dass das Modell sie nicht auseinanderhalten kann. Das heißt Multikollinearität. Kommen 50 Antworten dazu oder fällt ein Merkmal weg, wird die Rangfolge neu gemischt. Ein Merkmal schnappt sich die gemeinsame Varianz und wirkt dominant, sein Beinahe-Zwilling bekommt einen Koeffizienten um null, manchmal sogar einen negativen.

Das Minuszeichen verrät es. Lesen Sie "eine bessere Onboarding-Bewertung senkt die Gesamtzufriedenheit", dann messen Onboarding und ein anderes Merkmal fast dasselbe, und das Modell hat die Anerkennung willkürlich verteilt. War Support im zweiten Quartal Ihr Top-Treiber und im dritten kaum noch sichtbar, obwohl sich im Team nichts geändert hat? Dann liegt es vermutlich daran.

Shapley-Werte und Dominanzanalyse teilen die Anerkennung auf

Verfahren, die für genau dieses Problem entwickelt wurden, fragen anders. Mitteln Sie über jede Reihenfolge, in der Sie die Merkmale ins Modell aufnehmen könnten: Wie viel trägt jedes Merkmal zur erklärten Varianz bei?

David Budescu hat die Dominanzanalyse 1993 im Psychological Bulletin vorgestellt. Stan Lipovetsky und Michael Conklin kamen 2001 über die kooperative Spieltheorie dorthin, in Applied Stochastic Models in Business and Industry. Sie behandeln jedes Merkmal als Spieler und das R² des Modells als Gewinn, der verteilt wird. Das ist die Shapley-Value-Regression. Für das R² eines linearen Modells sind Budescus allgemeine Dominanzgewichte und die Shapley-Werte dieselben Zahlen.

Sie erhalten Wichtigkeitsanteile, die sich zur gesamten erklärten Varianz addieren, nie negativ werden und deutlich stabiler bleiben, wenn Merkmale sich überschneiden.

Zwei Grenzen bleiben. Der Halo steckt weiter in jeder Bewertung. Und das Ergebnis beschreibt Ihre Daten, eine kausale Aussage macht es nicht.

Shapley-Werte brauchen ein Modell für jede Teilmenge der Merkmale: 2 hoch Anzahl der Merkmale. Acht Merkmale ergeben 256 Modelle, das ist nichts. Dreißig ergeben mehr als eine Milliarde, und dann brauchen Sie eine Näherung oder eine kürzere Liste.

Gute Treiberdaten beginnen im Fragebogen

Das meiste an einer Treiberanalyse entscheidet sich schon beim Schreiben der Umfrage.

Halten Sie die Merkmalsliste kurz und trennscharf. "Benutzerfreundlichkeit" und "intuitive Bedienung" sind ein Merkmal, zweimal abgefragt. Können Sie nicht sagen, was ein Kunde zwischen zwei Punkten anders erleben würde, legen Sie sie zusammen.

Stellen Sie die Gesamtfrage zuerst. Kommen die Merkmale davor, wird der Gesamtwert zur Zusammenfassung dessen, worüber der Befragte gerade nachgedacht hat. Der Beitrag über Fragereihenfolge-Effekte erklärt den Mechanismus.

Verwenden Sie eine Skala in einer Richtung für Merkmale und Ergebnis. Der Beitrag über Bewertungsskalen gestalten behandelt, welche Entscheidungen dabei zählen.

Und nehmen Sie auf, womit Kunden tatsächlich zu kämpfen haben. Die Analyse ordnet nur, was Sie gefragt haben. Fehlt das eigentliche Problem auf der Liste, wird Ihr Top-Treiber einfach das Merkmal, das am stärksten mit dem fehlenden zusammenhängt.

Matrixfragen beschädigen Treiberdaten

Merkmalsbewertungen landen fast immer in einer Matrix: acht Zeilen, eine Skala, ein Bildschirm.

In einer Matrix kreuzen Menschen geradlinig an. Sie geben die ganze Spalte hinunter dieselbe Antwort, weil das schneller geht, als jede Zeile zu lesen. Jede geradlinige Antwort ist reiner Halo: identische Werte, die dem Gesamtwert folgen und nichts darüber sagen, welches Merkmal zählt. Davon genug, und Sie analysieren vor allem Ermüdung.

Zählen Sie, wie viele Befragte jedem Merkmal denselben Wert gegeben haben, und rechnen Sie das Modell mit und ohne sie. Der Beitrag über schlechte Umfrageantworten erkennen hat weitere Prüfungen. Auf dem Smartphone wird eine Matrix noch schlechter (siehe den Beitrag über Umfragen für Smartphones gestalten).

Manche Merkmale zählen erst, wenn sie versagen

Ein lineares Modell nimmt an, dass ein Punkt mehr bei Zuverlässigkeit von 2 auf 3 genauso viel wert ist wie von 4 auf 5. So ticken Kunden nicht.

Noriaki Kano und Kollegen haben das 1984 in der Zeitschrift der Japanese Society for Quality Control beschrieben, in "Attractive quality and must-be quality". Basismerkmale (must-be) bringen kein Lob, wenn sie funktionieren, und Ärger, wenn sie versagen: etwa dass Ihre Daten korrekt gespeichert werden. Begeisterungsmerkmale vermisst niemand, wenn sie fehlen, und sie überraschen, wenn sie da sind. Leistungsmerkmale sind schlicht besser, je besser sie sind.

Ist fast jeder mit einem Basismerkmal zufrieden, schwanken die Werte kaum, und eine Variable, die kaum schwankt, kann wenig erklären. Also landet es weit unten. Bis es kaputtgeht und niemand mehr über etwas anderes redet.

Tragen Sie die Gesamtzufriedenheit gegen niedrige und hohe Werte pro Merkmal ab. Zieht ein niedriger Wert den Gesamtwert stark nach unten und bringt ein hoher wenig, haben Sie ein Basismerkmal gefunden. Beheben Sie die Ausfälle und erwarten Sie nicht, dass Feinschliff über der Schwelle sich auszahlt.

Wichtigkeit gegen Leistung auftragen

Mit einer Rangfolge allein sind Sie nicht fertig. Ihr Top-Treiber liegt vielleicht schon bei 4,7 von 5, wo jeder weitere Gewinn teuer ist. Ein Treiber aus der Mitte der Liste mit 2,9 lässt sich womöglich günstig anheben.

John Martilla und John James haben die Importance-Performance-Analyse 1977 im Journal of Marketing veröffentlicht, drei Seiten auf Grundlage von Servicedaten aus Autohäusern. Wichtigkeit auf der einen Achse, Leistung auf der anderen, geteilt an den Mittelwerten. Vier Quadranten: hier konzentrieren, weiter so, geringe Priorität, möglicherweise übertrieben.

Nehmen Sie für die Wichtigkeitsachse die abgeleitete Wichtigkeit. Mit erfragter Wichtigkeit steht alles im oberen Band, und das Raster fällt in sich zusammen. Und denken Sie daran, dass die Trennlinien willkürlich sind. Verschieben Sie sie vom Mittelwert zum Median, kann ein Merkmal den Quadranten wechseln. Mit dem Diagramm eröffnen Sie das Gespräch. Budget verteilen Sie nach Belegen.

Was ein Treiberdiagramm Ihnen nicht sagt

Umfragedaten sind eine Momentaufnahme. Eine Treiberanalyse zeigt, welche Bewertungen in dieser Stichprobe zu diesem Zeitpunkt mit einem höheren Gesamtwert einhergehen. Ob ein besserer Wert bei einem Merkmal die Zufriedenheit steigert, kann sie nicht beantworten.

Intensive Nutzer bewerten Support und Gesamtzufriedenheit vielleicht beide hoch, weil viel Nutzung Vertrautheit und Wohlwollen schafft. Support wäre dann ein Symptom von Engagement. Das Modell sieht diesen Unterschied nicht.

Behandeln Sie Treiber also als Hypothesen. Ändern Sie etwas und beobachten Sie den Wert: Verbessern Sie das Onboarding für eine Kohorte und vergleichen Sie sie mit einer anderen, oder verfolgen Sie Merkmal und Ergebnis über mehrere Wellen. Der Beitrag über Umfragen wiederholen, ohne den Trend zu zerstören zeigt, wie diese Wellen vergleichbar bleiben.

Berichten Sie auch die Unsicherheit. Bei 150 Antworten ist der Abstand zwischen Treiber drei und Treiber fünf meist Rauschen. Bootstrappen Sie: Ziehen Sie ein paar hundert Mal neu aus Ihren Befragten, rechnen Sie die Analyse jedes Mal neu und melden Sie, wie oft jedes Merkmal unter den ersten drei landet. "Support ist in 95 % der Fälle unter den ersten drei, Preis in 40 %" sagt einem Produktteam weit mehr als ein Balkendiagramm.

Wenn Sie eine KI nach Ihren Treibern suchen lassen

Ein KI-Assistent mit Zugriff auf Ihre Umfragedaten, etwa über den SurveyLane-MCP-Server aus Umfragen mit KI analysieren, rechnet eine Treiberanalyse in Sekunden. Jede Abwägung von oben überspringt er dabei, solange Sie nicht nachhaken.

Fragen Sie, welche Methode er verwendet hat. "Key Driver" in einem beiläufigen Prompt wird oft zur Korrelationstabelle, also zur Methode mit dem Halo-Problem. Verlangen Sie Shapley-Werte oder Dominanzanalyse, mit dem Anteil an erklärter Varianz pro Merkmal.

Lassen Sie sich zuerst die Korrelationen zwischen den Merkmalen zeigen, dann erst die Rangfolge. Zwei Merkmale über 0,8 sollten Sie nicht gegeneinander ausspielen.

Lassen Sie geradlinig Antwortende markieren und die Analyse ohne sie wiederholen, und fragen Sie nach dem gesamten R² des Modells. Bei 0,25 stammen drei Viertel der Zufriedenheit aus Dingen, die Sie nie gefragt haben.

Fragen Sie dann, was die Ergebnisse nicht zeigen. Steht in der Zusammenfassung "der Preis treibt die Zufriedenheit" ohne ein Wort zu Halo, Überschneidung oder Kausalität, behauptet sie mehr, als die Methode trägt. Das ist derselbe Fehler wie bei einer KI, die in offenen Antworten Themen erfindet, beschrieben im Beitrag über offene Antworten analysieren.