Zurück zum Blog
Blick über die Schulter eines Mannes auf einen Laptop auf einem Holzschreibtisch mit geöffneter Kalender-App, die rechte Hand an der Maus, in der linken ein Smartphone, daneben eine separate weiße Tastatur und ein Glas Wasser
Produkt17. November 202610 Min. Lesezeit

Die System Usability Scale: was zehn Fragen verraten und was nicht

Die System Usability Scale macht aus zehn Aussagen einen einzigen Usability-Wert. So setzen Sie sie ein, so berechnen und lesen Sie sie, und deshalb ist eine 68 Durchschnitt und kein schwaches Ergebnis.

Von SurveyLane · Das Team hinter SurveyLane

Eine Kollegin findet das neue Onboarding einfacher. Ein anderer Kollege findet das nicht. Die System Usability Scale wurde gebaut, um genau so eine Diskussion mit einer Zahl zu entscheiden: zehn kurze Aussagen, eine Minute Zeit pro Befragtem und Jahrzehnte veröffentlichter Werte, mit denen Sie Ihren vergleichen können. Sie wird aber auch oft falsch berechnet, falsch gelesen und im falschen Moment gestellt.

Woher die System Usability Scale kommt

John Brooke entwickelte SUS 1986 bei der Digital Equipment Corporation und nannte sie selbst eine "quick and dirty" Usability-Skala. Labore arbeiteten damals mit langen Fragebögen. Brooke wollte etwas, das man nach einer Testsitzung in wenigen Minuten auswertet. Er veröffentlichte die Skala 1996 als Kapitel im Buch Usability Evaluation in Industry. Sie dürfen sie kostenlos verwenden, solange Sie die Quelle nennen.

Gehalten hat sich SUS, weil Tausende Teams immer dieselben zehn Aussagen nutzten. So entstand ein großer Bestand an Vergleichsdaten, und genau diese Daten sind der wichtigste Grund, SUS statt selbst formulierter Fragen zu nehmen.

Die zehn Aussagen im Wortlaut

Die Skala ist englischsprachig. Hier steht der Originalwortlaut. Jede Aussage bekommt eine Fünf-Punkte-Skala von "Strongly disagree" bis "Strongly agree":

  1. I think that I would like to use this system frequently.
  2. I found the system unnecessarily complex.
  3. I thought the system was easy to use.
  4. I think that I would need the support of a technical person to be able to use this system.
  5. I found the various functions in this system were well integrated.
  6. I thought there was too much inconsistency in this system.
  7. I would imagine that most people would learn to use this system very quickly.
  8. I found the system very cumbersome to use.
  9. I felt very confident using the system.
  10. I needed to learn a lot of things before I could get going with this system.

Die ungeraden Aussagen sind positiv, die geraden negativ. Brooke hat sie absichtlich abgewechselt: Wer ohne zu lesen eine Spalte durchklickt, widerspricht sich selbst. Genau daher kommen später die meisten Rechenfehler.

Auswertung: warum Sie die Antworten nicht einfach mitteln dürfen

Ein SUS-Wert ist nie der Mittelwert der zehn Antworten. Die Hälfte der Aussagen zeigt in die andere Richtung, ein einfacher Durchschnitt wirft also "Ich fand es einfach" und "Ich fand es unnötig kompliziert" in einen Topf.

Pro Befragtem codieren Sie jede Antwort von 1 (stimme überhaupt nicht zu) bis 5 (stimme voll zu). Bei den ungeraden Aussagen ziehen Sie 1 von der Antwort ab. Bei den geraden ziehen Sie die Antwort von 5 ab. Jedes Item bringt jetzt 0 bis 4 Punkte, und höher ist immer besser. Addieren Sie die zehn Werte und multiplizieren Sie mit 2,5. Das Ergebnis liegt zwischen 0 und 100.

Wer bei jeder ungeraden Aussage 4 und bei jeder geraden 2 ankreuzt, bekommt 3 Punkte pro Item, insgesamt 30, also 75. Wer bei allen zehn ungelesen "Strongly agree" wählt, landet genau bei 50.

Berechnen Sie den Wert also zuerst pro Person und mitteln Sie erst danach. Und berichten Sie die zehn Items nicht einzeln als eigene Usability-Maße. Brooke schrieb ausdrücklich, dass die einzelnen Items für sich genommen wenig bedeuten.

Eine 68 ist schlicht Durchschnitt

Die Skala reicht bis 100, deshalb lesen viele sie als Prozentwert und hören bei 68 eine knappe Vier. Jeff Sauro von MeasuringU hat rund 500 Evaluationen mit mehr als 5.000 Nutzern zusammengeführt und kam auf einen durchschnittlichen SUS-Wert von 68.

Aussagekräftiger ist ein Perzentil. In Sauros Daten liegt ein Produkt mit 74 vor etwa 70 Prozent der Produkte im Datensatz. Seine Notenkurve vergibt ein A ab über 80,3, das sind die besten 10 Prozent. Eine 68 ist ein C. Unter 51 ist ein F, die untersten 15 Prozent.

Zeigen Sie deshalb nie die nackte Zahl. Sagen Sie "74, über dem Durchschnitt für Software allgemein" oder "52, im untersten Fünftel", und nennen Sie die Vergleichsbasis.

Worte für die Zahlen: die Adjektivskala

Aaron Bangor, Philip Kortum und James Miller sind das Problem von einer anderen Seite angegangen. Im Journal of Usability Studies vom Mai 2009 beschrieben sie, wie sie fast 1.000 SUS-Fragebögen um eine elfte Frage ergänzten: Beschreiben Sie die Benutzerfreundlichkeit des Produkts mit einem Wort, von "Worst imaginable" bis "Best imaginable". Die Wörter liefen eng mit den Werten mit, bei r = 0,822.

Der mittlere SUS-Wert je Wort: worst imaginable 12,5, awful 20,3, poor 35,7, OK 50,9, good 71,4, excellent 85,5, best imaginable 90,9.

Schauen Sie auf "OK". Ein Produkt, das Leute OK nennen, liegt bei etwa 51, auf Sauros Kurve nah an einem F. Wenn jemand im Lenkungskreis "die Nutzer fanden es OK" hört und sich zurücklehnt, zeigen Sie ihm, wo OK auf der Skala steht.

Die wechselnde Formulierung schadet öfter, als sie hilft

Das Muster aus positiven und negativen Aussagen sollte unaufmerksame Befragte entlarven. Es entlarvt auch unaufmerksame Forschende. In einem CHI-Paper von 2011, "When designing usability questionnaires, does it hurt to be positive?", stellten Jeff Sauro und James Lewis fest, dass 11 Prozent der untersuchten SUS-Datensätze von den Forschenden falsch codiert waren, meist weil jemand vergessen hatte, die geraden Items umzupolen. Und 13 Prozent der einzelnen Fragebögen enthielten Fehler der Befragten, etwa Zustimmung zu einer negativen Aussage, obwohl erkennbar das Gegenteil gemeint war.

Außerdem verglichen sie die Standard-SUS mit einer Version, in der alle zehn Aussagen positiv formuliert sind ("I found the system to be simple" statt "unnecessarily complex"). Die Werte unterschieden sich nicht nennenswert. Die rein positive Version beseitigt also eine bekannte Fehlerquelle und misst dasselbe.

Sie haben zwei Möglichkeiten. Nehmen Sie das Original, bauen Sie die Umpolung einmal in Ihre Auswertung ein und prüfen Sie sie an ein paar von Hand berechneten Antworten. Oder nehmen Sie die positive Version und werten Sie jedes Item als Antwort minus 1. Mischen Sie die beiden nur nie in einer Zeitreihe.

Kleine Änderungen, die erlaubt sind, und solche, die es nicht sind

Zwei Anpassungen sind weithin akzeptiert. "System" durch "Website", "App" oder Ihren Produktnamen zu ersetzen, hilft Menschen, die das Genutzte nicht als System sehen. "Cumbersome" durch "awkward" zu ersetzen, hilft ebenfalls: Kraig Finstad zeigte 2006, dass Menschen mit Englisch als Zweitsprache oft nicht wussten, was "cumbersome" bedeutet, und Bangor und Kollegen verwendeten "awkward" in ihrer großen Studie.

Andere Änderungen zerstören die Vergleichbarkeit. Sieben Antwortpunkte statt fünf, eine gestrichene Aussage, eine zusätzliche Option "trifft nicht zu" oder Aussagen im eigenen Hausstil bedeuten alle, dass der Vergleichswert 68 nicht mehr gilt. Nennen Sie das Ergebnis dann auch nicht SUS. Unser Leitfaden zu Skalenfragen erklärt, warum die Skala die Antwort prägt.

Für eine deutschsprachige Umfrage müssen Sie außerdem übersetzen, und eine wörtliche Übersetzung kann verschieben, was eine Aussage misst. Darum geht es in unserem Beitrag über das Übersetzen von Umfragen. Nutzen Sie eine veröffentlichte Übersetzung, wenn es eine gibt, und testen Sie eine eigene, bevor Sie die Ergebnisse neben englische Werte legen.

Wann Sie fragen, und wen

SUS bewertet eine Erfahrung, also müssen die Befragten eine gemacht haben. In einem moderierten Test fragen Sie direkt nach den Aufgaben und bevor Sie sie besprechen. Ein Gespräch über Fehler drückt die Werte. Eine freundliche Testleitung hebt sie. Brooke bittet in seinen ursprünglichen Anweisungen um eine spontane Reaktion auf jede Aussage, ohne langes Nachdenken.

In einer Umfrage im Produkt gilt dieselbe Logik. Fragen Sie jemanden an seinem ersten Tag, messen Sie vor allem Ihr Onboarding. Fragen Sie jemanden, der die App vor drei Monaten einmal geöffnet hat, messen Sie sein Gedächtnis. Zielen Sie auf Menschen, die das Produkt genug genutzt haben, um sich ein Urteil zu bilden, und lassen Sie den Block per bedingter Logik überspringen, wenn jemand die erfragte Sache gar nicht getan hat.

Was SUS Ihnen nicht sagt

SUS sagt Ihnen, wie benutzerfreundlich Menschen etwas fanden. Nicht, warum. Eine 55 kann von unklarer Navigation kommen oder von einem einzigen kaputten Schritt. Die zehn Aussagen halten das nicht auseinander.

Setzen Sie die Skala deshalb nie allein ein. Im Test gehören Aufgabendaten dazu: Wer kam durch, und wo blieben Leute hängen. In einer Umfrage setzen Sie eine offene Frage hinter die Skala, etwa "Was war beim Benutzen am frustrierendsten?", und lesen die Antworten. Unser Leitfaden zur Auswertung offener Antworten zeigt, wie Sie sie codieren, und wo KI hilft und wo sie anfängt, Themen zu erfinden.

Wie viele Befragte Sie brauchen

Sauro merkt an, dass SUS schon bei sehr kleinen Gruppen verlässlich funktioniert, sogar bei zwei Nutzern, in dem Sinn, dass die Skala sich konsistent verhält. Eine genaue Schätzung bekommen Sie mit so wenigen Personen trotzdem nicht. Zehn Befragte liefern einen Mittelwert mit einem breiten Konfidenzintervall.

Berichten Sie dieses Intervall mit. Erreicht Version A 70 mit einem Intervall von 62 bis 78 und Version B 74 mit einem Intervall von 66 bis 82, haben Sie nicht gezeigt, dass B besser ist. Unser Artikel darüber, wie viele Befragte Sie brauchen, erklärt die Fehlermarge und warum Vergleiche zwischen Untergruppen deutlich mehr Menschen erfordern.

Werte über die Zeit und zwischen Produkten vergleichen

Nützlich wird ein SUS-Wert, wenn er sich bewegt, von Quartal zu Quartal oder vor und nach einem Redesign. Das klappt nur, wenn Wortlaut und Zeitpunkt gleich bleiben und Sie dieselbe Art von Nutzern befragen. Befragen Sie in einem Quartal Power-User und im nächsten Testnutzer, sagt der Rückgang mehr über Ihre Stichprobe als über Ihr Produkt. Unser Beitrag über wiederholte Umfragen ohne Bruch in der Zeitreihe geht die Fallen durch.

Der Durchschnitt von 68 stammt aus sehr unterschiedlicher Software, vom internen Fachwerkzeug bis zur einfachen App. Den eigenen letzten Wert zu schlagen sagt deshalb mehr, als die 68 zu schlagen.

Kürzere Alternativen, wenn zehn Fragen zu viel sind

Zehn Aussagen sind kurz für einen Usability-Test und lang für ein Pop-up in der App. UMUX-Lite, 2013 von James Lewis, Brian Utesch und Deborah Maher veröffentlicht, nutzt zwei Aussagen mit einer Sieben-Punkte-Skala: ob die Funktionen des Produkts Ihre Anforderungen erfüllen, und ob es leicht zu bedienen ist. Für einzelne Aufgaben stellen viele Teams eine Sieben-Punkte-Frage dazu, wie leicht die Aufgabe war. Wenn Sie wechseln, beginnen Sie eine neue Zeitreihe und rechnen Sie alte SUS-Werte nicht um.

SUS in einem Umfragetool einrichten

Verwenden Sie für alle zehn Aussagen eine Fünf-Punkte-Skala mit beschrifteten Endpunkten, in der Originalreihenfolge. Auf dem Smartphone ist eine Matrix mit zehn Zeilen und fünf Spalten mühsam, und unser Leitfaden zu Umfragen für Smartphones erklärt, warum einzelne Fragen auf kleinen Bildschirmen sauberere Daten liefern.

Nehmen Sie den Menschen danach das Rechnen ab. Bauen Sie die Auswertung einmal ein und prüfen Sie sie an ein paar selbst berechneten Antworten, darunter eine mit überall derselben Antwort, die bei 50 landen muss. Wenn Sie Ergebnisse mit einem KI-Assistenten auswerten, zum Beispiel über den MCP-Server von SurveyLane, geben Sie ihm die Rechenregel ausdrücklich mit und prüfen Sie das erste Ergebnis. Fragt man ein Modell ohne diese Regel nach "dem SUS-Wert", mittelt es womöglich einfach die Rohantworten.

Häufig gestellte Fragen

Ist ein SUS-Wert ein Prozentwert?

Nein. Die Skala reicht nur deshalb von 0 bis 100, weil die Rohsumme mit 2,5 multipliziert wird. Eine 68 ist der Durchschnitt über Hunderte Studien, also ein mittleres Ergebnis. Lesen Sie den Wert als Perzentil oder im Vergleich zu Ihren eigenen früheren Messungen.

Darf ich eine der zehn Aussagen weglassen?

Das geht, aber dann gelten veröffentlichte Vergleichswerte wie der Durchschnitt von 68 nicht mehr, und es ist keine SUS mehr. Sind Ihnen zehn Aussagen zu viel, ist ein bewusst kurzes Instrument wie UMUX-Lite die sauberere Wahl als eine gekürzte SUS.

Nehme ich das Original oder die rein positive Version?

Beides ist in Ordnung. Sauro und Lewis fanden keinen nennenswerten Unterschied in den Werten, und die positive Version beseitigt die häufigsten Rechen- und Ausfüllfehler. Entscheiden Sie sich für eine und bleiben Sie dabei, denn zwei Versionen in einer Zeitreihe machen Ihre Zahlen schwer zu verteidigen.

Sagt mir SUS, welchen Teil meines Produkts ich verbessern muss?

Nein. SUS misst, wie benutzerfreundlich Menschen das Produkt als Ganzes fanden. Ergänzen Sie eine offene Frage danach, was am frustrierendsten war, und schauen Sie auf Aufgabendaten, um herauszufinden, was hinter einem niedrigen Wert steckt.

Weiterlesen