Terug naar blog
Blik over de schouder van een man op een laptop op een houten bureau met een agenda-app open, zijn rechterhand op een muis, in zijn linkerhand een telefoon, met een los wit toetsenbord en een glas water ernaast
Product17 november 202610 min lezen

De System Usability Scale: wat tien vragen je wel en niet vertellen

De System Usability Scale maakt van tien stellingen één score voor gebruiksvriendelijkheid. Zo stel je hem, zo bereken je hem en zo lees je hem, en daarom is een 68 gemiddeld en geen onvoldoende.

Door SurveyLane · Het team achter SurveyLane

De een in je team vindt de nieuwe onboarding makkelijker. De ander niet. De System Usability Scale is gemaakt om zo'n discussie met een getal te beslechten: tien korte stellingen, een minuut van je respondent, en tientallen jaren aan gepubliceerde scores om de jouwe mee te vergelijken. Hij wordt ook vaak verkeerd berekend, verkeerd gelezen en op het verkeerde moment gesteld.

Waar de System Usability Scale vandaan komt

John Brooke bouwde SUS in 1986 bij Digital Equipment Corporation en noemde hem zelf een "quick and dirty" schaal voor gebruiksvriendelijkheid. Labs werkten toen met lange vragenlijsten. Brooke wilde iets wat je na een testsessie in een paar minuten scoort. Hij publiceerde de schaal in 1996 als hoofdstuk in het boek Usability Evaluation in Industry. Je mag hem gratis gebruiken, zolang je de bron vermeldt.

Duizenden teams gebruikten steeds dezelfde tien stellingen. Die stapel referentiedata is de belangrijkste reden om SUS te kiezen boven vragen die je zelf bedenkt.

De tien stellingen, letterlijk

De schaal is Engelstalig. Hieronder staat de oorspronkelijke formulering. Elke stelling krijgt een vijfpuntsschaal van "Strongly disagree" tot "Strongly agree":

  1. I think that I would like to use this system frequently.
  2. I found the system unnecessarily complex.
  3. I thought the system was easy to use.
  4. I think that I would need the support of a technical person to be able to use this system.
  5. I found the various functions in this system were well integrated.
  6. I thought there was too much inconsistency in this system.
  7. I would imagine that most people would learn to use this system very quickly.
  8. I found the system very cumbersome to use.
  9. I felt very confident using the system.
  10. I needed to learn a lot of things before I could get going with this system.

De oneven stellingen zijn positief, de even stellingen negatief. Brooke wisselde ze bewust af: wie zonder lezen één kolom afvinkt, spreekt zichzelf tegen.

Scoren: waarom je de antwoorden niet zomaar middelt

Een SUS-score is nooit het gemiddelde van de tien antwoorden. De helft van de stellingen wijst de andere kant op, dus een gewoon gemiddelde gooit "ik vond het makkelijk" op één hoop met "ik vond het onnodig ingewikkeld".

Per respondent codeer je elk antwoord van 1 (helemaal oneens) tot 5 (helemaal eens). Bij de oneven stellingen trek je 1 af van het antwoord. Bij de even stellingen trek je het antwoord af van 5. Elk item levert nu 0 tot 4 punten op, en hoger is altijd beter. Tel de tien bij elkaar op en vermenigvuldig met 2,5. Dan heb je een score van 0 tot 100.

Een respondent die op elke oneven stelling 4 antwoordt en op elke even stelling 2, krijgt 3 punten per item, 30 in totaal, dus 75. Wie op alle tien "Strongly agree" aanvinkt zonder te lezen, komt precies op 50 uit.

Bereken dus eerst de score per respondent en neem daarna pas het gemiddelde. Rapporteer de tien items ook niet los. Brooke zei zelf duidelijk dat de afzonderlijke items op zichzelf weinig betekenen.

Een 68 is gewoon gemiddeld

De schaal loopt tot 100, dus mensen lezen hem als percentage en horen bij 68 een zesje-min. Jeff Sauro van MeasuringU bundelde zo'n 500 evaluaties met meer dan 5.000 gebruikers en kwam op een gemiddelde SUS-score van 68.

Een percentiel is de betere lezing. In Sauro's data zit een product met 74 boven ongeveer 70 procent van de producten in de set. Zijn cijfercurve geeft een A boven 80,3, de bovenste 10 procent. Een 68 is een C. Onder 51 is een F, de onderste 15 procent.

Laat dus nooit het kale getal zien. Zeg "74, boven het gemiddelde voor software in het algemeen" of "52, in het onderste vijfde deel", en noem waarmee je vergeleek.

Woorden bij de getallen: de bijvoeglijke schaal

Aaron Bangor, Philip Kortum en James Miller pakten hetzelfde probleem anders aan. In het Journal of Usability Studies van mei 2009 beschreven ze hoe ze een elfde vraag toevoegden aan bijna 1.000 SUS-vragenlijsten: omschrijf de gebruiksvriendelijkheid van het product in één woord, van "Worst imaginable" tot "Best imaginable". De woorden liepen sterk gelijk op met de scores, met r = 0,822.

De gemiddelde SUS-score per woord: worst imaginable 12,5, awful 20,3, poor 35,7, OK 50,9, good 71,4, excellent 85,5, best imaginable 90,9.

Kijk naar "OK". Een product dat mensen OK noemen scoort rond de 51, op Sauro's curve vlak bij een F. Hoort een stakeholder "gebruikers vonden het wel OK" en leunt hij achterover, laat hem dan zien waar OK op de schaal staat.

De afwisselende formulering werkt vaker tegen dan mee

Het patroon van positief en negatief moest slordige respondenten vangen. Het vangt ook slordige onderzoekers. In een CHI-paper uit 2011, "When designing usability questionnaires, does it hurt to be positive?", vonden Jeff Sauro en James Lewis dat 11 procent van de SUS-datasets die ze bekeken door de onderzoekers verkeerd was gecodeerd, meestal omdat iemand vergat de even items om te draaien. En 13 procent van de afzonderlijke vragenlijsten bevatte fouten van respondenten, bijvoorbeeld instemmen met een negatieve stelling terwijl ze duidelijk het tegendeel bedoelden.

Ze vergeleken ook de standaard-SUS met een versie waarin alle tien stellingen positief zijn ("I found the system to be simple" in plaats van "unnecessarily complex"). De scores verschilden niet wezenlijk. De volledig positieve versie haalt dus een bekende foutbron weg en meet hetzelfde.

Je hebt twee opties. Gebruik het origineel, bouw de omcodering één keer in je analyse in en test die op een paar antwoorden die je met de hand uitrekende. Of gebruik de positieve versie en scoor elk item als antwoord min 1. Meng de twee alleen nooit in één trendlijn.

Kleine aanpassingen die mogen, en die niet mogen

Twee aanpassingen zijn breed geaccepteerd. "System" vervangen door "website", "app" of je productnaam helpt mensen die wat ze gebruikten niet als systeem zien. "Cumbersome" vervangen door "awkward" helpt ook: Kraig Finstad liet in 2006 zien dat mensen met Engels als tweede taal vaak niet wisten wat "cumbersome" betekende, en Bangor en collega's gebruikten "awkward" in hun grote onderzoek.

Andere wijzigingen breken de vergelijkbaarheid. Zeven antwoordpunten in plaats van vijf, een geschrapte stelling, een extra optie "niet van toepassing" of stellingen in je eigen huisstijl betekenen allemaal dat de benchmark van 68 niet meer geldt. Noem hem dan ook geen SUS. Onze gids over schaalvragen ontwerpen legt uit waarom de schaal het antwoord vormt.

Voor een Nederlandstalige enquête moet je ook vertalen, en een letterlijke vertaling kan verschuiven wat een stelling meet. Lees daarvoor ons stuk over enquêtes vertalen, en test een eigen vertaling voordat je de uitkomsten naast Engelse scores legt.

Wanneer je hem stelt, en aan wie

SUS beoordeelt een ervaring, dus je respondent moet er een gehad hebben. In een begeleide test stel je hem direct na de taken en voordat je ze bespreekt. Praten over wat misging drukt de scores. Een vriendelijke testleider duwt ze omhoog. Brooke vraagt in zijn oorspronkelijke instructies om een directe reactie per stelling, zonder er lang over na te denken.

In een enquête binnen je product geldt hetzelfde. Vraag het iemand op zijn eerste dag en je meet vooral je onboarding. Vraag het iemand die de app drie maanden geleden één keer opende en je meet zijn geheugen. Richt je op mensen die het product genoeg gebruikt hebben om er iets van te vinden, en laat met conditionele logica het blok overslaan door wie niet deed waar je naar vraagt.

Wat SUS je niet vertelt

SUS vertelt je hoe gebruiksvriendelijk mensen iets vonden. Niet waarom. Een 55 kan komen door onduidelijke navigatie of door één kapotte stap. De tien stellingen halen dat niet uit elkaar.

Zet hem dus nooit alleen in. Koppel hem in een test aan taakdata: wie kwam er doorheen, en waar liepen mensen vast. Zet in een enquête één open vraag na de schaal, zoals "Wat vond je het meest frustrerend?", en lees de antwoorden. Onze gids over open antwoorden analyseren laat zien hoe je ze codeert, en waar AI helpt en waar het thema's gaat verzinnen.

Hoeveel respondenten je nodig hebt

Sauro merkt op dat SUS al betrouwbaar werkt met heel kleine groepen, zelfs twee gebruikers, in de zin dat de schaal zich consistent gedraagt. Een precieze schatting krijg je met zo'n kleine groep niet. Tien respondenten leveren een gemiddelde op met een breed betrouwbaarheidsinterval.

Rapporteer dat interval. Scoort versie A 70 met een interval van 62 tot 78, en versie B 74 met een interval van 66 tot 82, dan heb je niet aangetoond dat B beter is. Ons artikel over hoeveel respondenten je nodig hebt legt de foutmarge uit en waarom vergelijkingen tussen subgroepen veel meer mensen vragen.

Scores vergelijken over tijd en tussen producten

Een SUS-score wordt nuttig als hij beweegt, per kwartaal of voor en na een redesign. Dat werkt alleen als formulering en moment gelijk blijven en je hetzelfde soort gebruiker vraagt. Vraag je het ene kwartaal powerusers en het volgende proefgebruikers, dan zegt de daling meer over je steekproef dan over je product. Ons stuk over een enquête herhalen zonder je trend te breken loopt de valkuilen langs.

Het gemiddelde van 68 komt uit allerlei soorten software, van interne tools tot simpele apps. Je eigen vorige score verslaan zegt dus meer dan 68 verslaan.

Kortere alternatieven als tien vragen te veel is

Tien stellingen is kort voor een usabilitytest en lang voor een pop-up in je app. UMUX-Lite, in 2013 gepubliceerd door James Lewis, Brian Utesch en Deborah Maher, gebruikt twee stellingen met een zevenpuntsschaal: of de mogelijkheden van het product aan je eisen voldoen, en of het makkelijk te gebruiken is. Voor losse taken stellen veel teams één zevenpuntsvraag over hoe makkelijk de taak was. Stap je over, begin dan een nieuwe trendlijn en ga oude scores niet omrekenen.

SUS opzetten in een enquêtetool

Gebruik één vijfpuntsschaal met gelabelde uitersten voor alle tien stellingen, in de oorspronkelijke volgorde. Op een telefoon is een matrix van tien rijen bij vijf kolommen lastig in te vullen, en onze gids over enquêtes voor smartphones ontwerpen legt uit waarom losse vragen op kleine schermen schonere data opleveren.

Haal daarna het rekenwerk bij mensen weg. Bouw de score één keer in je analyse in en controleer hem met een paar antwoorden die je zelf uitrekende, waaronder één met overal hetzelfde antwoord, want die hoort op 50 uit te komen. Analyseer je resultaten met een AI-assistent, bijvoorbeeld via de MCP-server van SurveyLane, geef dan expliciet de rekenregel mee en controleer de eerste uitkomst. Vraag je een model om "de SUS-score" zonder die regel, dan middelt het misschien gewoon de ruwe antwoorden.

Veelgestelde vragen

Is een SUS-score een percentage?

Nee. De schaal loopt alleen van 0 tot 100 omdat het ruwe totaal met 2,5 wordt vermenigvuldigd. Een 68 is het gemiddelde over honderden onderzoeken, dus een middelmatige uitkomst. Lees de score als percentiel, of tegen je eigen eerdere metingen.

Mag ik een van de tien stellingen weglaten?

Dat kan, maar dan gelden gepubliceerde benchmarks zoals het gemiddelde van 68 niet meer en is het geen SUS meer. Zijn tien stellingen te veel voor jouw situatie, dan is een maat die bewust kort is, zoals UMUX-Lite, een zuiverder keuze dan een ingekorte SUS.

Kies ik het origineel of de volledig positieve versie?

Allebei is prima. Sauro en Lewis vonden geen wezenlijk verschil in scores, en de positieve versie haalt de meest voorkomende reken- en invulfouten weg. Kies er één en houd die vast, want twee versies in één trendlijn maken je cijfers lastig te verdedigen.

Vertelt SUS me welk deel van mijn product ik moet repareren?

Nee. SUS meet hoe gebruiksvriendelijk mensen het product als geheel vonden. Voeg een open vraag toe over wat het meest frustrerend was, en kijk naar taakdata, om te ontdekken wat een lage score veroorzaakt.

Verder lezen