Ranking, Rating oder MaxDiff: so messen Sie, was Menschen wirklich wichtig ist

Sie wollen wissen, welchen von zehn Roadmap-Punkten Sie zuerst bauen, und lassen Kunden jeden Punkt von "unwichtig" bis "sehr wichtig" bewerten. Acht der zehn landen über vier von fünf. Jetzt wissen Sie, dass Menschen gern Dinge bekommen. Was Sie zuerst bauen sollen, wissen Sie immer noch nicht. Dafür brauchen Sie eine Frage, die zur Wahl zwingt, und jedes gängige Format hat dabei seine eigene Schwachstelle.

Warum Bewertungsskalen Prioritäten einebnen

Eine Bewertungsfrage betrifft immer nur einen Punkt. Nichts hindert jemanden daran, überall die Höchstnote zu geben, und bei allem, was nach Vorteil klingt, passiert genau das. Schnellere Ladezeiten, bessere Exporte, mehr Integrationen, niedrigere Preise: Wer würde das unwichtig nennen? Eine Bewertung sagt Ihnen, ob etwas willkommen ist. Willkommen ist fast alles.

Es wird noch schlimmer. Wer nur halb aufmerksam ist, kreuzt Punkt für Punkt dieselbe Stufe an. In der Methodenforschung heißt das Nichtdifferenzierung. Und das oberste Kästchen ist eine Decke: Wer beim dritten Punkt schon "sehr wichtig" gesagt hat, hat für den fünften, der ihm noch wichtiger ist, keinen Platz mehr nach oben.

So bekommen Sie Mittelwerte, die alle zwischen 4,1 und 4,6 liegen, mit Abständen kleiner als das Rauschen. Teams sortieren sie trotzdem und präsentieren 4,4 gegen 4,3 als Ergebnis. Das ist keins, egal wie gut Ihre Skala gebaut ist.

Was die Forschung zu Rating und Ranking sagt

Duane Alwin und Jon Krosnick verglichen beide Formate mit Daten des General Social Survey von 1980, in dem eine Liste geschätzter Eigenschaften einmal als Bewertung und einmal als Rangfolge abgefragt wurde. Ihr Aufsatz erschien im Dezember 1985 in Public Opinion Quarterly. Für die Stichprobe als Ganzes brachten beide Methoden die Eigenschaften in ungefähr dieselbe Reihenfolge. Auf der Ebene einzelner Personen, also wer was wichtig fand, sahen die Muster je nach Format anders aus.

In einer Folgestudie von 1988 nannten Krosnick und Alwin eine Ursache: Befragte, die viele Punkte gleich bewerteten, verzerrten die Korrelationen. Für eine grobe Reihenfolge der Gruppe reichen Bewertungen oft. Wenn Sie wissen wollen, worauf eine einzelne Person verzichten würde, oder Menschen nach Prioritäten segmentieren wollen, brauchen Sie eine erzwungene Wahl.

Fragen Sie sich also, welche Entscheidung an den Daten hängt. "Wollen die Leute diese Funktion überhaupt?" ist eine Bewertungsfrage. "Welche bauen wir zuerst?" ist eine Abwägung, und die müssen Sie erzwingen.

Wann eine einfache Rangfolgefrage reicht

Die einfachste erzwungene Wahl ist die Rangfolge: Hier sind fünf Punkte, bringen Sie sie in eine Reihenfolge. Das funktioniert unter ein paar Bedingungen.

Die Liste ist kurz. Fünf Punkte sind bequem, sieben sind etwa die Grenze. Darüber sortieren Menschen die Enden sorgfältig und schieben die Mitte irgendwie hin und her.

Alle Befragten kennen alle Punkte. Hat ein Drittel Ihrer Stichprobe die Exportfunktion nie benutzt, ist deren Rang dafür geraten. Nutzen Sie bedingte Logik, um nur die Punkte zu zeigen, die jemand beurteilen kann.

Sie brauchen nur die Reihenfolge. Eine Rangfolge sagt, dass A vor B lag, und nichts darüber, ob A weit vorn oder knapp vorn war.

Trifft das zu, ist eine Rangfolgefrage schnell beantwortet und leicht zu erklären. Eine Top 3 ist oft noch besser. Weniger Arbeit, und an der Spitze geben sich die Leute ohnehin die meiste Mühe.

Wo Rangfolgefragen scheitern

Zuerst die langen Listen. Bitten Sie jemanden, fünfzehn Punkte zu ordnen, bekommen Sie sorgfältige drei oben, sorgfältige zwei unten und zehn Plätze, die nur ausgefüllt wurden, damit das Formular weitergeht. Eine vollständige Rangfolge zu erzwingen, macht aus ehrlicher Gleichgültigkeit Zahlen, die präzise aussehen, und die Mühe wirkt nach bis in spätere Fragen.

Punkte oben in der angezeigten Liste bekommen außerdem oft bessere Ränge, weil die Leute dort zu lesen anfangen. Mischen Sie die Startreihenfolge pro Person.

Dann die Bedienung. Drag-and-drop ist auf dem Handy fummelig: Der Finger verdeckt den Punkt, und Scrollen und Ziehen streiten um dieselbe Geste. Mit Tastatur oder Screenreader ist es ebenfalls schwer. Geben Sie jedem Punkt zusätzlich ein Zahlenfeld oder eine Auswahlliste, sonst steigen diese Befragten still aus.

Ränge sind keine Punktwerte

Die Ränge jeder befragten Person summieren sich immer zur gleichen Zahl. Setzt jemand A auf Platz eins, rutscht alles andere eine Stelle nach unten. Die Zahlen hängen per Konstruktion voneinander ab. Statistiker nennen das ipsative Daten, und sie passen nicht zu den Annahmen hinter gewöhnlichen Korrelationen oder Regressionen. Eine Faktorenanalyse auf rohen Rängen findet Strukturen, die das Frageformat selbst erzeugt hat.

Berichten Sie lieber anders. Der Anteil der Befragten, die einen Punkt auf Platz eins setzen, ist leicht zu lesen und passt zu der Entscheidung, um die es meist geht. Der Anteil in den Top 3 ist stabiler, gerade bei kleinen Stichproben. Der mittlere Rang taugt als grobe Zusammenfassung, unterstellt aber, dass der Schritt von Platz eins zu zwei so groß ist wie der von sechs zu sieben. Und er verdeckt Lager.

Das wiegt am schwersten. Ein Punkt, den die Hälfte Ihrer Stichprobe auf eins setzt und die andere Hälfte ganz nach unten, bekommt denselben Mittelwert wie einer, den alle in die Mitte stellen. Zeigen Sie pro Punkt, wie sich die Ränge verteilen. Mehr dazu im Beitrag über Ergebnisberichte.

Konstantsumme: wenn die Größe des Abstands zählt

Manchmal reicht die Reihenfolge nicht. Wenn Sie ein Budget verteilen, wollen Sie wissen, ob A doppelt so wichtig ist wie B oder nur knapp davor liegt. Eine Konstantsummenfrage gibt den Befragten eine feste Punktzahl, meist 100, die sie auf die Punkte verteilen.

Damit messen Sie Intensität. Eine Person setzt 70 Punkte auf Zuverlässigkeit, eine andere verteilt alles gleichmäßig. Eine Rangfolge gibt beiden eine saubere Reihenfolge. Die Konstantsumme zeigt, dass nur die erste eine klare Priorität hat.

Das kostet Mühe. Die Leute müssen rechnen, und ohne laufende Summe im Formular ergeben viele Antworten 90 oder 115. Bleiben Sie bei etwa sechs Punkten und testen Sie vorher. Die Punkte haben dieselbe feste Summe wie Ränge, also gelten dieselben Warnungen für die Auswertung.

So funktioniert MaxDiff

MaxDiff, kurz für Maximum Difference Scaling und auch Best-Worst-Scaling genannt, umgeht das Problem langer Listen, indem es nie die ganze Liste auf einmal zeigt. Die Methode geht auf Arbeiten von Jordan Louviere Ende der 1980er-Jahre zurück. Eine der ersten veröffentlichten Anwendungen, 1992 von Finn und Louviere im Journal of Public Policy & Marketing, maß, wie besorgt die Öffentlichkeit über Lebensmittelsicherheit war.

Man sieht eine kleine Auswahl, wählt den wichtigsten und den unwichtigsten Punkt und geht zur nächsten Auswahl weiter:

Was ist Ihnen davon AM WICHTIGSTEN, und was AM UNWICHTIGSTEN?

  [ ] am wichtigsten   Export nach Excel und CSV            [ ] am unwichtigsten
  [ ] am wichtigsten   Single Sign-on für Ihr Team          [ ] am unwichtigsten
  [ ] am wichtigsten   E-Mail-Benachrichtigung bei Antwort  [ ] am unwichtigsten
  [ ] am wichtigsten   Umfragevorlagen                      [ ] am unwichtigsten

Über viele Auswahlen hinweg taucht jeder Punkt mehrmals auf, jedes Mal in anderer Gesellschaft. War A am wichtigsten und D am unwichtigsten, schlägt A die Punkte B, C und D, und D verliert gegen alle drei. Das sind fünf Vergleiche aus zwei Klicks.

Extreme wählen Menschen zuverlässig. Den besten und schlechtesten von vier Punkten zu benennen ist leicht, Platz sechs und sieben von fünfzehn auseinanderzuhalten nicht. MaxDiff stellt nur die leichte Frage, dafür oft, und die Auswertung setzt die ganze Reihenfolge wieder zusammen.

Eine MaxDiff-Studie aufbauen

Sawtooth Software, dessen Werkzeuge für MaxDiff verbreitet sind, veröffentlicht Gestaltungsregeln. Zeigen Sie drei bis fünf Punkte pro Auswahl, denn mehr als fünf führen zu Ermüdung und Fehlern. Brauchen Sie genaue Werte pro Person, zeigen Sie jeden Punkt mindestens dreimal. Zeigen Sie nie mehr als die Hälfte der Liste in einer Auswahl, bei acht Punkten also höchstens vier. Die Methode braucht mindestens sechs Punkte, und Sawtooth empfiehlt, bei etwa dreißig oder weniger zu bleiben.

Rechnen Sie vor dem Start nach. Bei 15 Punkten, 5 pro Auswahl und je 3 Einblendungen brauchen Sie 15 × 3 ÷ 5 = 9 Auswahlen. Neun kurze Bildschirme sind in Ordnung. Bei 30 Punkten, 4 pro Auswahl und 3 Einblendungen sind es rund 23. Das ist viel Klickerei, also kürzen Sie zuerst.

Die meiste Arbeit steckt in den Punkten selbst. Jeder Punkt muss dieselbe Frage beantworten; wer Funktionen und Preise mischt, bekommt einen Vergleich, mit dem niemand etwas anfangen kann. Halten Sie die Punkte ähnlich konkret. Ein vager Punkt wie "bessere Qualität" schlägt oft "Export nach Google Sheets", weil die Leute ihren eigenen Wunsch hineinlesen. Entfernen Sie Überschneidungen, denn zwei fast gleiche Punkte teilen sich die Stimmen. Und legen Sie die Frage fest: "am wichtigsten bei der Wahl eines Tools" und "am wichtigsten als Nächstes zu verbessern" können dieselbe Liste unterschiedlich ordnen.

Lassen Sie die Software die Auswahlen bauen. Von Hand gebaute zeigen manche Paare zu oft und andere nie. Das merkt man erst in der Auswertung.

MaxDiff-Werte lesen

Die einfachste Auswertung ist Zählen. Nehmen Sie pro Punkt, wie oft er als wichtigster gewählt wurde, ziehen Sie ab, wie oft er als unwichtigster gewählt wurde, und teilen Sie durch die Zahl der Einblendungen. Das Ergebnis liegt zwischen −1 und +1 und ergibt schon eine brauchbare Reihenfolge. Spezialisierte Werkzeuge schätzen ein Wahlmodell mit Werten pro Person.

Zwei Einschränkungen. MaxDiff-Werte sind relativ: Sie vergleichen die Punkte miteinander und sagen nichts darüber, ob überhaupt einer davon zählt. Will niemand etwas von Ihrer Liste, kürt MaxDiff trotzdem einen Sieger. Beim verankerten MaxDiff kommt eine Frage hinzu, ob ein Punkt überhaupt wichtig ist, damit Sie eine Linie zwischen relevant und irrelevant ziehen können.

Außerdem gehören die Werte zu genau dieser Liste. Fügen Sie Punkte hinzu oder streichen Sie welche, verschieben sich die Anteile, also vergleichen Sie keine Studien mit unterschiedlichen Listen. Was Menschen wichtig nennen, ist etwas anderes als das, was ihre Zufriedenheit bewegt. Für Letzteres kombinieren Sie MaxDiff mit einer Key-Driver-Analyse.

Bei Segmenten zahlt sich MaxDiff aus. Teilen Sie nach Rolle oder Region auf, und Sie sehen, wo Gruppen uneins sind. Jedes Segment braucht allerdings genug Befragte.

Zwischen Rating, Ranking, Konstantsumme und MaxDiff wählen

Fangen Sie bei der Entscheidung an.

Nehmen Sie eine Bewertungsskala, wenn Sie pro Punkt wissen wollen, ob er gewünscht ist, oder wenn Sie einen Punkt über die Zeit verfolgen.

Nehmen Sie eine kurze Rangfolge oder eine Top 3, wenn die Liste höchstens sieben Punkte hat und die Reihenfolge alles ist, was Sie brauchen.

Nehmen Sie eine Konstantsumme, wenn die Größe des Abstands die Entscheidung trägt, etwa bei einer Budgetverteilung.

Nehmen Sie MaxDiff, wenn die Liste lang ist, die Punkte nah beieinander liegen oder Sie Segmente vergleichen wollen. Ergänzen Sie einen Anker, wenn Sie auch eine absolute Schwelle brauchen.

Was Sie auch wählen, stellen Sie eine offene Frage dahinter: "Fehlt auf dieser Liste etwas, das Ihnen wichtig ist?" Eine erzwungene Wahl misst nur die Optionen, an die Sie gedacht haben. In den Antworten steht, was Ihnen entgangen ist. Wie Sie solche Antworten auswerten, steht im Beitrag über offene Antworten.