Rangschikken, beoordelen of MaxDiff: zo meet je wat mensen echt belangrijk vinden

Je wilt weten welke van tien roadmap-items je als eerste bouwt, dus je vraagt klanten elk item te beoordelen van "niet belangrijk" tot "heel belangrijk". Acht van de tien scoren boven de vier op vijf. Nu weet je dat mensen graag dingen krijgen. Wat je eerst bouwt, weet je nog steeds niet. Daarvoor heb je een vraag nodig die mensen laat kiezen, en elke gangbare vorm gaat ergens mis.

Waarom schaalvragen prioriteiten platslaan

Een schaalvraag gaat over één item tegelijk. Niets houdt iemand tegen om overal de hoogste score te geven, en bij alles wat als voordeel klinkt gebeurt dat ook. Snellere laadtijden, betere exports, meer koppelingen, lagere prijzen: wie noemt dat onbelangrijk? Een beoordeling vertelt je of iets welkom is. Bijna alles is welkom.

Het wordt erger. Respondenten die met een half oog meelezen kiezen item na item hetzelfde punt, wat methodologen non-differentiatie noemen. En het hoogste vakje is een plafond: wie bij het derde item al "heel belangrijk" heeft gezegd, kan nergens hoger heen voor het vijfde item dat nog meer telt.

Zo krijg je gemiddelden die allemaal tussen 4,1 en 4,6 liggen, met verschillen kleiner dan de ruis. Teams zetten ze toch op volgorde en presenteren 4,4 tegenover 4,3 als bevinding. Dat is het niet, hoe goed je je schaal ook hebt gebouwd.

Wat onderzoek zegt over beoordelen en rangschikken

Duane Alwin en Jon Krosnick vergeleken de twee vormen met data uit de General Social Survey van 1980, waarin een lijst gewaardeerde eigenschappen één keer als beoordeling en één keer als rangschikking werd gevraagd. Hun artikel verscheen in december 1985 in Public Opinion Quarterly. Voor de steekproef als geheel zetten beide methoden de eigenschappen in grofweg dezelfde volgorde. Maar per persoon bekeken, wie vond wat belangrijk, zagen de patronen er per vorm anders uit.

In een vervolgstudie uit 1988 wezen Krosnick en Alwin op één oorzaak: respondenten die veel items hetzelfde beoordeelden, vertekenden de correlaties. Voor een ruwe volgorde van de groep komen beoordelingen vaak in de buurt. Wil je weten wat één persoon zou opgeven, of mensen indelen naar hun prioriteiten, dan heb je een gedwongen keuze nodig.

Vraag je dus af welk besluit de data voedt. "Willen mensen deze functie überhaupt?" is een schaalvraag. "Welke bouwen we eerst?" is een afweging, en die moet je afdwingen.

Wanneer een gewone rangschikvraag volstaat

De eenvoudigste gedwongen keuze is rangschikken: hier zijn vijf items, zet ze op volgorde. Dat werkt onder een paar voorwaarden.

De lijst is kort. Vijf items gaat prima, zeven is ongeveer de grens. Daarboven ordenen mensen de uitersten zorgvuldig en schuiven ze het midden maar wat heen en weer.

Iedere respondent kent ieder item. Heeft een derde van je steekproef de exportfunctie nooit gebruikt, dan is hun plek voor dat item een gok. Gebruik conditionele logica om alleen de items te tonen die iemand kan beoordelen.

Je hebt alleen de volgorde nodig. Een rangschikking zegt dat A vóór B kwam, en niets over de vraag of A ver voorlag of net.

Klopt dat, dan is een rangschikvraag snel ingevuld en makkelijk uit te leggen. Een top drie is vaak nog beter. Minder werk, en de top krijgt toch de aandacht.

Waar rangschikvragen breken

Lange lijsten eerst. Vraag iemand vijftien items te ordenen en je krijgt een zorgvuldige top drie, een zorgvuldige onderste twee en tien plekken die zijn ingevuld omdat het formulier anders niet verder wil. Een volledige rangschikking afdwingen maakt van eerlijke onverschilligheid getallen die precies lijken, en de moeite werkt door in latere vragen.

Items bovenaan de getoonde lijst krijgen ook vaak een hogere plek, omdat mensen daar beginnen met lezen. Husel de beginvolgorde per respondent.

Dan is er de interface. Slepen en neerzetten is gepriegel op een telefoon, waar je vinger het item bedekt en scrollen en slepen om hetzelfde gebaar vechten. Met een toetsenbord of schermlezer is het ook lastig. Geef elk item daarom ook een nummerveld of keuzelijst, anders haken die respondenten stilletjes af.

Rangnummers zijn geen scores

De rangnummers van elke respondent tellen op tot hetzelfde totaal. Zet item A op één en al het andere schuift een plek op. De getallen hangen per definitie van elkaar af. Statistici noemen dat ipsatieve data, en het breekt de aannames achter gewone correlaties, factoranalyse en regressie. Een factoranalyse op ruwe rangnummers vindt structuur die de vraagvorm er zelf in heeft gelegd.

Rapporteer liever anders. Het aandeel respondenten dat een item op één zet, is makkelijk te lezen en past bij het besluit waar het meestal om draait. Het aandeel in de top drie is stabieler, zeker bij kleine steekproeven. De gemiddelde rang werkt als ruwe samenvatting, maar gaat ervan uit dat de stap van één naar twee even groot is als die van zes naar zeven, en verbergt verdeeldheid.

Dat laatste weegt het zwaarst. Een item dat de helft van je steekproef op één zet en de andere helft onderaan, krijgt hetzelfde gemiddelde als een item dat iedereen in het midden plaatst. Toon per item hoe de rangnummers verdeeld zijn. Meer daarover in de post over resultaten rapporteren.

Constante som: als de grootte van het verschil telt

Soms is de volgorde niet genoeg. Verdeel je een budget, dan wil je weten of A twee keer zo belangrijk is als B of er net boven zit. Een constante-somvraag geeft mensen een vast aantal punten, meestal 100, om over de items te verdelen.

Zo meet je intensiteit. De ene respondent zet 70 punten op betrouwbaarheid, de andere verdeelt alles gelijk. Een rangschikking geeft beiden een nette volgorde. De constante som laat zien dat alleen de eerste een duidelijke prioriteit heeft.

Het kost wel moeite. Mensen moeten rekenen, en zonder lopend totaal op het formulier tellen veel antwoorden op tot 90 of 115. Houd het bij zo'n zes items en test het vooraf. De punten hebben hetzelfde vaste totaal als rangnummers, dus dezelfde waarschuwingen voor de analyse gelden.

Hoe MaxDiff werkt

MaxDiff, kort voor maximum difference scaling en ook best-worst scaling genoemd, omzeilt het probleem van lange lijsten door nooit de hele lijst tegelijk te tonen. De methode gaat terug op werk van Jordan Louviere eind jaren tachtig. Een van de eerste gepubliceerde toepassingen, van Finn en Louviere in 1992 in het Journal of Public Policy & Marketing, mat hoe bezorgd het publiek was over voedselveiligheid.

De respondent ziet een kleine set items, kiest het belangrijkste en het minst belangrijke en gaat door naar de volgende set:

Wat vind je hiervan het MEEST belangrijk, en wat het MINST?

  [ ] meest   Exporteren naar Excel en CSV        [ ] minst
  [ ] meest   Single sign-on voor je team         [ ] minst
  [ ] meest   Meldingen per e-mail bij reacties   [ ] minst
  [ ] meest   Enquêtesjablonen                    [ ] minst

Over veel sets komt elk item een paar keer voorbij, steeds in ander gezelschap. Was A het beste en D het slechtste, dan wint A van B, C en D, en verliest D van alle drie. Dat zijn vijf vergelijkingen uit twee klikken.

Uitersten kiezen gaat mensen goed af. Het beste en slechtste uit vier aanwijzen is makkelijk, nummer zes en zeven uit vijftien uit elkaar houden niet. MaxDiff stelt alleen de makkelijke vraag, vaak, en de analyse bouwt de volgorde weer op.

Een MaxDiff-oefening ontwerpen

Sawtooth Software, veel gebruikt voor MaxDiff, publiceert ontwerprichtlijnen. Toon drie tot vijf items per set, want meer dan vijf leidt tot vermoeidheid en fouten. Heb je per respondent precieze scores nodig, laat dan elk item minstens drie keer zien. Toon nooit meer dan de helft van de lijst in één set, dus bij acht items hooguit vier per set. De methode heeft minstens zes items nodig, en Sawtooth raadt aan rond de dertig of minder te blijven.

Reken het uit voordat je live gaat. Met 15 items, 5 per set en elk item 3 keer, heb je 15 × 3 ÷ 5 = 9 sets nodig. Negen snelle schermen is prima. Met 30 items, 4 per set en 3 keer tonen kom je op zo'n 23 sets. Dat is veel klikken, dus snoei eerst.

Het meeste werk zit in de items. Elk item moet antwoord geven op dezelfde vraag; een lijst die functies, prijzen en merkeigenschappen mengt, levert een vergelijking op waar niemand iets mee kan. Houd items even concreet. Een vaag item als "betere kwaliteit" wint vaak van "exporteren naar Google Sheets", omdat mensen hun eigen wens in het vage item lezen. Haal overlap weg, want twee bijna gelijke items verdelen de stemmen. En leg de vraag vast: "het belangrijkst bij het kiezen van een tool" en "het belangrijkst om als volgende te verbeteren" kunnen dezelfde lijst anders ordenen.

Laat de software de sets samenstellen. Handwerk toont sommige paren te vaak en andere nooit.

MaxDiff-scores lezen

De eenvoudigste analyse is tellen. Neem per item het aantal keer dat het als beste werd gekozen, trek het aantal keer als slechtste eraf en deel door het aantal keer dat het werd getoond. De uitkomst ligt tussen −1 en +1 en geeft al een bruikbare volgorde. Gespecialiseerde tools schatten een keuzemodel met scores per respondent.

Twee kanttekeningen. MaxDiff-scores zijn relatief: ze vergelijken de items met elkaar en zeggen niets over de vraag of er eentje echt toe doet. Wil niemand iets van je lijst, dan wijst MaxDiff toch een winnaar aan. Bij verankerde MaxDiff komt er een vraag bij of een item überhaupt belangrijk is, zodat je een grens kunt trekken tussen wat telt en wat niet.

De scores horen ook bij deze lijst. Voeg items toe of haal ze weg en de aandelen verschuiven, dus vergelijk geen studies met verschillende lijsten. Wat mensen belangrijk noemen is iets anders dan wat hun tevredenheid beweegt. Voor dat tweede combineer je MaxDiff met een key driver-analyse.

Bij segmenten betaalt MaxDiff zich uit. Splits op rol of regio en je ziet waar groepen het oneens zijn. Elk segment heeft wel genoeg mensen nodig.

Kiezen tussen beoordelen, rangschikken, constante som en MaxDiff

Begin bij het besluit.

Gebruik een schaalvraag als je per item wilt weten of het gewenst is, of als je één item door de tijd volgt.

Gebruik een korte rangschikking, of een top drie, als de lijst zeven items of minder heeft en de volgorde alles is wat je nodig hebt.

Gebruik een constante som als de grootte van het verschil het besluit stuurt, zoals bij een budgetverdeling.

Gebruik MaxDiff als de lijst lang is, de items dicht bij elkaar liggen of je segmenten wilt vergelijken. Voeg een anker toe als je ook een absolute grens nodig hebt.

Wat je ook kiest, zet er één open vraag achter: "Mist er iets op deze lijst dat jij belangrijk vindt?" Een gedwongen keuze meet alleen de opties waaraan jij hebt gedacht. Daar lees je wat je hebt gemist. Hoe je die antwoorden verwerkt, staat in de post over open antwoorden.