Bringen Umfrage-Anreize bessere Daten, oder nur mehr davon?
Ein Anreiz hebt zuverlässig deine Rücklaufquote, aber das ist nicht dasselbe wie eine bessere Stichprobe oder sauberere Antworten. Das sagt die Forschung zu Bargeld gegen Preise, im Voraus gegen versprochen, und wo Bezahlen leise nach hinten losgeht.
Von SurveyLane · Das Team hinter SurveyLane
Biete Menschen Geld, und mehr von ihnen füllen deine Umfrage aus. So weit steht es fest, und da hört das Nachdenken meist auf. Die schwierigeren Fragen sind gerade die, die ein Anreiz nie beantwortet. Sind die zusätzlichen Antworten die Leute, die dir gefehlt haben? Ändert Bezahlung, was Menschen schreiben? Eine höhere Rücklaufquote sieht auf dem Dashboard nach Erfolg aus, aber ob sie ein Gewinn für deine Daten ist, hängt davon ab, wer wegen des Geldes kam und wer trotzdem fernblieb.
Wofür ein Anreiz eigentlich bezahlt
Ein Anreiz kauft Aufmerksamkeit, keine Ehrlichkeit. Er schiebt deine Umfrage im Stapel nach oben bei jemandem, der sonst den Tab geschlossen hätte, indem er die kleine private Rechnung ändert, die jeder Empfänger zwischen dem Aufwand und dem Ertrag anstellt. Meist ist der Ertrag nur ein vages Gefühl, geholfen zu haben. Ein paar Euro, ein Gutschein, ein Platz in einer Verlosung: jedes davon kippt die Abwägung.
Was er nicht kauft, ist eine bessere Antwort auf irgendeine einzelne Frage. Wer für die Teilnahme bezahlt wird, ist nicht ehrlicher als ein Freiwilliger. Der ganze Wert eines Anreizes hängt also daran, Leute hereinzuholen, die sich von deinen eifrigen Freiwilligen unterscheiden, und die Lücke zwischen deiner Stichprobe und den tatsächlich Antwortenden zu schließen.
Vorab schlägt versprochen, und zwar deutlich
Der am besten gesicherte Befund hier betrifft das Timing, nicht die Höhe. Geld, das du mit der Bitte mitschickst, wirkt weit besser als Geld, das du bei Abschluss versprichst. Alan Church bündelte in seiner Meta-Analyse von 1993 in Public Opinion Quarterly 38 Experimente und fand, dass ein kleiner Bargeldanreiz im Umschlag die Rücklaufquote bei Postumfragen im Schnitt um rund 19 Prozentpunkte hob. Ein Anreiz, der erst bei Rücksendung versprochen wurde, brachte weniger als vier hinzu, und nur die Belohnungen vorab lieferten einen statistisch verlässlichen Effekt.
Der Mechanismus ist sozial, nicht ökonomisch. Ein Anreiz vorab ist ein kleines Geschenk, und ein Geschenk erzeugt eine leichte Pflicht, etwas zurückzugeben. Bei Abschluss versprochenes Geld ist ein Geschäft, und ein paar Euro sind ein schlechter Lohn für zehn Minuten Arbeit, also rechnet der Empfänger den Deal durch und geht. Deshalb kann eine an einen Brief geklebte Zwei-Euro-Münze ein versprochenes Zehn schlagen, das nur landet, wenn du fertig wirst. Du zeigst Vertrauen, bevor du um etwas gebeten hast.
Bargeld schlägt alles, womit du es ersetzen willst
Wenn Menschen wählen dürfen, schätzen sie Bargeld höher als ein Geschenk gleichen Nennwerts, und höher als eine Spende in ihrem Namen. Ein bedruckter Kugelschreiber, ein Schlüsselanhänger, ein Los in einer Verlosung für ein Tablet: sie alle bleiben hinter schlichtem Geld zurück, denn ihr Wert für den Empfänger ist unsicher und meist niedriger als der Preis, den du gezahlt hast. Kannst du kein Bargeld schicken, ist ein bedingungsloser Gutschein, der sich wie Bargeld ausgeben lässt, die nächstbeste Wahl. Je weiter du dich von frei verfügbarem Geld entfernst, desto mehr Wirkung gibst du auf. Denk daran, bevor du dir die Stofftasche einredest.
Klein und vorab schlägt groß und versprochen
Der Ertrag der Höhe nimmt schnell ab. Der Sprung von nichts zu einem symbolischen Vorabbetrag ist groß; der von einem symbolischen zu einem großzügigen Betrag ist klein und manchmal unsichtbar. Ein bescheidener Betrag, den alle vorab bekommen, bringt mehr pro Euro als ein großer, den wenige am Ende erhalten, also ist das kosteneffiziente Design meist ein kleiner Vorabanreiz an die ganze Stichprobe. Die Ausnahme ist eine wirklich schwere Bitte, etwa eine lange Tagebuchstudie oder eine wiederholte Panel-Welle, wo ein größerer Betrag eher nach fairer Bezahlung aussieht als nach einem Anstoß.
Mehr Antworten ist keine bessere Stichprobe
Hier liegt die Falle. Ein Anreiz hebt deine Rücklaufquote, und eine höhere Quote sieht nach weniger Nonresponse-Verzerrung aus, also ist es leicht anzunehmen, die zusätzlichen Leute hätten deine Schieflage behoben. Vielleicht taten sie das. Vielleicht sind sie auch mehr vom Gleichen. Zieht die Belohnung vor allem die Gruppen an, die du schon reichlich hattest, steigt deine Quote und deine Verzerrung bewegt sich nicht.
Nonresponse-Verzerrung hängt nicht davon ab, wie viele Leute abgelehnt haben. Sie hängt davon ab, wie stark die Ablehnenden sich von den Antwortenden bei dem unterscheiden, was du misst. Das ist genau der Punkt, der sich durch wer deine Umfrage ausfüllt und wer nicht zieht: ein großer Stapel Antworten ist kein repräsentativer. Ein Anreiz zahlt sich nur aus, wenn er die Zurückhaltenden und die Gleichgültigen umdreht, die Leute, deren Abwesenheit deine Schätzungen verbog.
Verdirbt Bezahlung die Antworten?
Die Sorge ist berechtigt. Bezahle Leute, und du holst dir Kästchenankreuzer, die die Belohnung wollen und nicht das Gespräch. Die Belege stützen das größtenteils nicht. Eleanor Singer und Cong Ye kamen in ihrem Überblick von 2013 in The Annals of the American Academy of Political and Social Science, der Standardsynthese aus Jahrzehnten der Anreizforschung, zu dem Schluss, dass Anreize höchstens kleine Effekte auf die Datenqualität haben und dass die Effekte auf die Zusammensetzung deiner Stichprobe uneindeutig bleiben, ohne nachweisbaren Schaden. Bezahlte Teilnehmer sind nicht verlässlich fauler.
Das ist kein Freibrief, das Hinsehen zu lassen. Ein Anreiz hebt den Ertrag für alle, die bereit sind, durch Unsinn zu hetzen, um an die Belohnung zu kommen, und in einem offenen Panel ist dieser Druck real. Die Verteidigung besteht darin, die Qualitätsprüfungen laufen zu lassen, die du ohnehin fahren solltest, das Erkennen von Straightlining, Schnellklicken und Copy-Paste-Antworten, das Antwortqualität überwachen beschreibt. Lass die Angst vor ein paar schlechten Zeilen nicht die zurückhaltende Mehrheit unmotiviert zurück.
Das Problem der Berufsteilnehmer
Wo Anreize wirklich verzerren, ist am Extrem: Online-Panels, deren Mitglieder Umfragen berufsmäßig ausfüllen. Das sind nicht deine Kunden, die zufällig bezahlt wurden. Es sind Leute, die die Belohnung pro Minute über Dutzende Studien optimieren. Sie lernen, Aufmerksamkeitsprüfungen zu bestehen und mit geübter Leichtigkeit zu satisficen.
Ein Anreiz hat diese Person nicht geschaffen, aber er ist das Wasser, in dem sie schwimmt, und ein schlecht bewachtes Panel füllt sich schnell mit ihnen. Kaufst du Antworten bei einem Panel, steckt der Anreiz in einer Lieferkette, die du nicht steuerst, und deine Verteidigung verschiebt sich vom Gestalten der Belohnung zum Prüfen der Quelle: Fallenfragen, Konsistenzchecks und ein scharfer Blick auf jeden, der weit schneller fertig ist als der Median.
Verlosungen und Preisziehungen sind billiger, schwächer, umständlicher
Die Verlosung ist beliebt, weil sie billig ist. Ein Tablet statt einer Münze für jeden. Sie wirkt auch schlechter. Eine garantierte kleine Belohnung schlägt eine winzige Chance auf eine große, denn ein Los mit einem Erwartungswert nahe null bewegt wenige Menschen, und ihm fehlt die Gegenseitigkeit eines Vorabgeschenks ganz.
Ziehungen schleppen Komplikationen mit, die Bargeld vermeidet. In vielen Ländern gelten sie als Gewinnspiele, mit Regeln zu veröffentlichten Bedingungen und Teilnahmeberechtigung. Und um den Preis auszugeben, musst du den Gewinner identifizieren, also hängt an der anonymen Umfrage nun ein Name und eine E-Mail-Adresse. Hast du Anonymität versprochen, hast du sie gerade gebrochen. Die Grenze zwischen dem, was Anonymität und Vertraulichkeit wirklich bedeuten, ist genau dort, wo eine Verlosung Leute stolpern lässt.
Zahl mehr für die schwer Erreichbaren, aber achte auf die Fairness
Manchmal sind die zurückhaltenden Gruppen im Voraus bekannt, und dann kann es der richtige Zug sein, sie mit mehr Geld hereinzuholen, denn du gibst Geld dort aus, wo es die Verzerrung verringert. Es kostet aber etwas: vergleichen Teilnehmer sich untereinander und stellen fest, dass manche für dieselbe Aufgabe mehr bekamen, kann die Unfairness ein Panel verderben, das du erneut befragen willst. Für einen einmaligen Querschnitt ist es vertretbar, die schwer Erreichbaren etwas besser zu bezahlen. Für ein festes Panel schützt Gleichbehandlung die Beziehung, und du erreichst die Zurückhaltenden über Erinnerungen und Gestaltung.
Anreize über wiederholte Wellen
In einer Längsschnittstudie ist der Anreiz kein einmaliger Anstoß. Er ist das Unterhaltsbudget für eine Beziehung. Zahl bei der Rekrutierung gut, und du setzt eine Erwartung. Kürzt du die Belohnung in einer späteren Welle, steigt der Abbruch, denn Menschen bemerken eine Verschlechterung schärfer, als sie das ursprüngliche Angebot bemerkten. Das Wohlwollen, das ein Vorabanreiz in Welle eins kauft, musst du erneuern, sonst bröckelt das Panel gerade bei den Leuten weg, die du zu halten bezahlt hast. Auch die Belastung zählt hier: ein Panel, das fair zahlt und die Zeit der Leute achtet, hält mehr von ihnen als eines, das mehr zahlt, aber jede Runde eine erschöpfende Schinderei verlangt. Die Belohnung und die Länge der Umfrage sind zwei Hälften desselben Bindungsproblems.
Die Seite von Einwilligung und Datenschutz
Einen Teilnehmer zu belohnen heißt fast immer, ihn zu identifizieren. Du kannst keinen Gutschein an eine anonyme Sitzung schicken, also hast du in dem Moment, in dem du eine Belohnung anhängst, eine Person mit ihren Antworten verknüpft, lange genug, um zu zahlen. Diese Verknüpfung ist ein personenbezogenes Datum: sie braucht eine Rechtsgrundlage und eine Speicherfrist, und sie muss von den Antwortdaten getrennt werden, sobald die Zahlung durch ist, wenn du Vertraulichkeit versprochen hast. Gestalte den Zahlweg also so, dass er trennbar bleibt, erhebe die Auszahlungsdaten dort, wo sie nicht in derselben Zeile wie die Antworten stehen, und lösche sie nach Plan. Der Fehlerfall ist ein Anreiz-Ablauf, der leise eine Umfrage re-identifiziert, von der du den Leuten sagtest, sie sei privat, was dem Vertrauen mehr schadet, als der Anreiz je einbrachte.
Ein Standard, mit dem man anfängt
Willst du einen Startpunkt statt eines Forschungsprogramms? Für eine einmalige Umfrage an deine eigene Liste bringt eine kleine oder bedingungslose Vorabbelohnung an alle mehr ein als ein großer Preis, der wenigen versprochen wird, und sie hält deine Zusagen zur Identität ein. Achte im Ergebnis auf die Handvoll, die nur wegen des Geldes kam, und beurteile den Erfolg daran, ob die zurückhaltenden Gruppen sich bewegt haben, nicht an der Rücklaufquote allein. Heb die größeren Beträge für schwere Bitten auf, und die Verlosung für den Fall, dass du wirklich nichts anderes schicken kannst. Richte die Belohnung auf diese eine Aufgabe, das Umdrehen der Leute, deren Schweigen deine Ergebnisse verzerrte, und es ist gut angelegtes Geld. Richte sie auf die Rücklaufquote um ihrer selbst willen, und du zahlst, damit eine eitle Zahl besser aussieht.
Häufig gestellte Fragen
Zahlt man den Anreiz vor oder nach dem Ausfüllen der Umfrage?
Davor, wo du es einrichten kannst. Eine kleine Belohnung, die du mit der Einladung mitschickst, schlägt eine größere, die du bei Abschluss versprichst, denn die Variante vorab wirkt als Geschenk, während eine versprochene Zahlung als Lohn gelesen wird. Churchs Meta-Analyse fand, dass Bargeld vorab den Rücklauf mehrfach stärker hob als versprochene Belohnungen, und nur die Form vorab lieferte einen verlässlichen Effekt. Kannst du nicht voll im Voraus zahlen, bringt selbst ein symbolischer Betrag vorab mehr pro Euro als eine große Summe hinter dem Ziel.
Führt Geldangebot zu schlechteren Antworten?
Meist nicht. Der Überblick von Singer und Ye fand höchstens kleine Effekte auf die Datenqualität und keinen klaren Schaden an der Stichprobenzusammensetzung. Das echte Risiko liegt bei Berufsteilnehmern in offenen Panels, die für die Belohnung durch die Umfrage rasen, nicht bei deinem eigenen Publikum, das ein bescheidenes Dankeschön bekommt. Halte also die üblichen Prüfungen am Laufen: markiere die Schnellklicker, die Straightliner und die Copy-Paste-Antworten, bezahlt oder nicht.
Ist eine Verlosung so gut wie jedem einen kleinen Betrag zu geben?
Meist nicht. Eine garantierte kleine Belohnung schlägt eine winzige Chance auf einen großen Preis, denn ein Los mit einem Erwartungswert nahe null bewegt wenige Menschen. Ziehungen ziehen auch rechtliche Pflichten rund um ein Gewinnspiel nach sich, und sie zwingen dich, einen Gewinner zu identifizieren, was leise ein Anonymitätsversprechen brechen kann. Ihren Platz verdienen sie vor allem, wenn du nicht jedem etwas schicken kannst.
Eine höhere Rücklaufquote bedeutet weniger Verzerrung, oder?
Nicht von allein. Nonresponse-Verzerrung hängt davon ab, wie stark die Ablehnenden sich von den Antwortenden unterscheiden, nicht davon, wie viele ablehnten. Ein Anreiz, der vor allem schon gut vertretene Gruppen belohnt, hebt die Quote, ohne die Schieflage zu berühren. Er hilft nur, wenn er die Zurückhaltenden umdreht, deren Abwesenheit deine Schätzungen verbog, also beurteile ihn daran, ob die schwer erreichbaren Gruppen sich bewegt haben, nicht an der Zahl obenan.
