Bridging the gap

UX-Testing: Vorsicht vor voreingenommenen Usern!
Kommentare

In User-Befragungen kommt es immer wieder vor, dass die Befragten bei ihren Antworten etwas von der Wahrheit abweichen. Um brauchbare, wahre Ergebnisse zu erzielen und somit auch die User Experience zu verbessern, gibt es eine Handvoll nützliche Methodiken.

Kat Matfield hat ihre Tipps für bessere Ergebnisse in UX-Tests im Post „Bridging the Gap Between Actual and Reported Behavior“ festgehalten.

Kann man den Usern trauen?

Das Schwierigste sei es, zu lernen, dass man als Forscher den Antworten der Befragten nicht unbedingt trauen kann. Produkte werden zwar verbessert, indem man den Bedürfnissen der User nachkommt, aber nicht vorbehaltlos dadurch, dass man tut, was sie sagen. Oder wie Henry Ford es wohl einmal ausdrückte: „If I had asked people what they wanted, they would have said faster horses” (anstatt des ersten motorisierten Autos für den Massenmarkt).

Der Mensch ist kein rationales Wesen

Denn Menschen verhalten sich oft nicht rational, sodass sie auch in Umfragen keine akkuraten Antworten geben. So gibt es immer einen Unterschied zwischen angeblichem (was wir sagen, dass wir tun) und tatsächlichem Verhalten (was wir de facto tun). Matfield verweist auf eine Studie, die sie kürzlich selbst durchgeführt hat. Hierbei ging es darum, wie Banking-Apps fürs Smartphone verbessert werden können. Zwei Nutzer-Gruppen wurden befragt, ob der Log-in-Prozess sicherer oder praktischer sein soll. Abhängig von den Bedingungen – eine Gruppe nutzte die App während der Befragung, die andere bekam einen Fragebogen zugeschickt – kamen auffallend unterschiedliche Antworten heraus: Die App-User präferierten einen anwenderfreundlichen, weniger sicheren Zugang, während die User, die nur den Fragebogen ausfüllten, sich mehr Sicherheit, auch einhergehend mit Verlust des Komforts, wünschten.

Wissen, was der User braucht – nicht, was er will

Diese Uneinheitlichkeit in den Antworten ist kein Sonderfall, sondern trifft auf die meisten Befragungen zu. Das führt wiederum oft dazu, dass ein Feature oder Produkt bei Erscheinen floppt – auch wenn die Untersuchungen zeigen, dass die User es genau so wollten. Aus diesem Grund sagte schon Akio Morita, Mitbegründer von Sony:

Our plan is to lead the public with new products rather than ask them what kind of products they want. The public does not know what is possible, but we do.

Da der Mensch von verschiedensten Faktoren, wie Emotionen oder unterschiedlichen Wahrnehmungstendenzen, beeinflusst wird, ist die Reaktion auch immer eine andere. So ist zum Beispiel jedem klar, dass ein Eis als Abendessen oder das fünfte Paar Schuhe bei akuter Geldnot keine so gute Idee sind – aber man entscheidet sich doch dafür, weil es gerade reizvoll ist.

Die Kluft zwischen angeblichem und tatsächlichem Verhalten

Es ist von großer Bedeutung, sich die wichtigsten Einflussfaktoren auf die menschliche Wahrnehmung vorzunehmen und diese zu verstehen, um zu erkennen, wie es zur „behaviour gap“ kommt. So stellen neben Kat Matfield Jeff Sauro im Artikel „9 Biases in Usability Testing“ und Seneca Brandi in „Bias in the UX Lab“ weitere Tendenzen vor, die User in ihren Antworten beeinflussen:

  • Social desirability und Konformität
    Social desirability tritt auf, wenn Befragte eine Antwort geben, von der sie glauben, sie träfe eher auf Zustimmung als die korrekte Antwort, bei der sie soziale Ablehnung befürchten. Dazu kommt der Herdeneffekt: Man gibt Antworten, die von einem selbst zwar als falsch erachtet werden, die aber die Gruppe so gegeben hat.
  • Hawthorne Effect sowie „note taking“
    Dieser Effekt wird auch „observer effect“ genannt, da sich User anders verhalten, wenn sie wissen, dass sie beobachtet werden. Schreibt der Moderator etwas auf, was der User gesagt hat, bekommt dieser das Gefühl, bewertet zu werden. Man verhält sich daraufhin also besonders zielstrebig und aufmerksam und wägt seine Antworten ab.
  • Task-Selection Bias
    Nutzer gehen davon aus, dass die Aufgaben, die sie in Tests gestellt bekommen, auch zu lösen sind und reagieren deswegen anders auf Probleme als im echten Leben. Außerhalb der Testumgebung haben Nutzer ihre eigenen Ziele und wissen beispielsweise nicht, ob ein bestimmtes Produkt überhaupt auf einer Website zu finden ist.
  • Wishful thinking
    Auch das Wunschdenken führt oft zu verfälschten Ergebnissen. Die User sagen das, von dem sie gerne hätten, dass es wahr ist. Wishful thinking dient dem Erhalt bzw. der Schaffung eines emotional angenehmen Zustands, sucht somit kognitive Dissonanzen zu vermeiden und ignoriert daher ihm widersprechende Begebenheiten.
  • Recency & Primacy Effects
    Nutzer tendieren beim Test von mehreren Produkten oder bei mehreren Durchgängen dazu, die zuletzt ausgeführte Tätigkeit als die beste zu bewerten, da diese im Gedächtnis verhaftet ist. Dazu kommt, dass die Aufgaben, die man zuerst bearbeitet, generell schlechter gelöst werden.
  • Unterschiedliche Kontexte und Mindsets
    Jeder Mensch verhält sich, abhängig von Umgebung und Stimmung, unterschiedlich. Laut Daniel Kahnman gibt es zwei verschiedene Mindsets: Nutzer, die sich im Rahmen des ersten Mindsets bewegen, handeln schnell, instinktiv und emotional, während das zweite Mindset Nutzer langsamer, reflektierter und rationaler agieren lässt. Set 2 tritt in Kraft, wenn man vorausplant, wie man in einem bestimmten Kontext reagieren würde. Trifft man allerdings eine Entscheidung, nutzt man instinktiv Set 1.
  • Tech-Savvy
    Die meisten Tests werden mit Computern oder Mobile Devices durchgeführt. Um aber aussagekräftige Daten von technisch nicht-versierten Usergruppen zu erhalten, muss auch die Testumgebung dementsprechend angepasst werden.
  • Verfügbarkeit und Bezahlung
    Wenn ein User täglich zwei Stunden für einen Test verfügbar sein muss, schränkt das die Anzahl der Freiwilligen ein. Genauso ist es mit der Bezahlung: Ist der Test vergütet, melden sich mehr Teilnehmer. Ist das allerdings die einzige Motivation, können die Ergebnisse verfälscht sein.

Die Kluft überbrücken

Damit Daten möglichst nicht verfälscht werden und der Wert der User-Antworten vergrößert wird, empfehlen Vicky Brown im Post „A few thoughts on psychology & UX“ und Kat Matfield folgende Techniken:

  • User aufmerksam beobachten: Wenn möglich, das Verhalten in der „real world“ beobachten, um Rückschlüsse auf das Verhalten in der Testumgebung ziehen zu können
  • In dem Kontext testen, in dem das Produkt später genutzt wird: Je geringer der Unterschied zwischen Testumgebung und Realität, desto genauer werden die Ergebnisse
  • Spezifische Fragen stellen
  • Vermeidung von irrelevanten Themen: Fragen, die z. B. der Entspannung dienen, beeinflussen die weitere Stimmung der Probanden
  • Empathie für und Interesse an den Motiven der User
  • Fragen zu Erfahrungen aus der Vergangenheit stellen: Zukunftsvorstellungen sind oft unpräzise, während Vergangenes vom User genauer bewertet werden kann
  • Alle Antworten für den User gleichwertig machen: Ein neutrales Verhalten zeigt, dass die Testperson nicht anhand ihrer Antwort beurteilt wird
  • Objektive Formulierungen: Fragen ohne Implikation oder Auswahlmöglichkeit führen zu ehrlicheren Antworten
  • Hintergrundwissen zu menschlichem Verhalten und Statistik: Daten sollten immer im Kontext ausgewertet werden
  • und schließlich: sich mit den verschiedenen Einflussfaktoren auf den User auseinandersetzen und von ihnen lernen!

Eins ist klar: Voreingenommenheit ist bei der Beantwortung von Fragen nicht zu vermeiden. Beachtet man aber die genannten Punkte und ist sich deren Einfluss bewusst, so steht repräsentativen Ergebnissen und einer damit verbundenen guten User Experience nichts mehr im Weg.

Wie steht es mit Ihnen? Mit welchen Techniken haben Sie bei UX-Tests besonders gute oder besonders schlechte Erfahrungen gemacht?

Aufmacherbild: ants_rolling_stones_bridge via Shutterstock / Urheberrecht: Andrey Pavlov

Unsere Redaktion empfiehlt:

Relevante Beiträge

Meinungen zu diesem Beitrag

X
- Gib Deinen Standort ein -
- or -