Über die von testhub bereitgestellte Plattform können IT­Unternehmen auf über 6.500 Tester zugreifen, um Ihre Produkte zu optimieren. Getestet werden kann dabei alles, was über das Internet verfügbar gemacht, beziehungsweise lokal installiert werden kann. Fokus der Tests ist entweder das funktionale Testen (Quality Assurance) oder die Optimierung der Benutzerfreundlichkeit (Usability Test).

Unter Quality Assurance versteht man das Bug­Tracking von Applikationen unter realen Bedingungen. Zusätzlich kann mit Card Sorting die Navigationsstruktur der Produkte aus Kundensicht optimiert werden, um diese für den User verständlich zu machen. Generell kann man sagen, dass externe Tester Betriebsblindheit verhindern und Fehler finden, die intern von Unternehmen oft übersehen werden.

Eine besondere Herausforderung besteht darin, eine Crowd von mehreren tausend Testern auf der Plattform effektiv zu steuern, zu motivieren und gute Qualität der Arbeitsergebnisse sicherzustellen. Die Plattform ist zweiseitig aufgebaut, sodass Tester, unsere Kunden und wir Zugriff zu der Plattform haben. Durch die Heterogenität des Testerpools können unterschiedlichste Zielgruppen sinnvoll abgedeckt werden.

Der Prozessablauf bei TestHub im schematischen Überblick.

Qualifizierungs/Eignungsprozess

Ein optimales Ergebnis bedarf einer guten Vorbereitung, deshalb durchlaufen unsere Tester einen mehrstufigen Qualifizierungs/Eignungsprozess. Jeder potenzielle Tester muss nach der Registrierung auf testhub.com einen Probetest machen – egal ob er sich für das Thema Usability (UX) oder Quality Assurance (QA) interessiert. Durch diesen Probetest stellen wir sicher, dass die Tester unsere Arbeitsweise kennenlernen und sich mit der Software und unserer Plattform auseinandersetzen. Wurde der Test akzeptiert, wird der Tester/Testerin in die Community aufgenommen, erstellt danach das eigene Testerprofil und erhält anschließend einen eigenen Zugang für die Plattform.

Dank des konsequenten Crowdansatzes haben wir verschiedene Job Möglichkeiten für die Tester geschaffen. Je nach Qualität, Interessenslage und Einsatzwille können sich Tester zu Protokollanten bzw. Auswertern im Bereich Usability oder zu sogenannten Projekt Managern im QA Bereich weiter entwickeln. Dafür müssen Sie unterschiedlich gestaltete Schulungen und Trainings durchlaufen.

Durch eine eigene Community, die in die Plattform integriert ist, können sich die Tester untereinander austauschen oder sich mit Fragen und Anregungen an uns wenden.

Kein Test ist wie der andere. Somit verlangen qualitativ hochwertige Ergebnisse individuell angepasste Lösungen.
Aus diesem Grund sind die einzelnen Module auf der Plattform flexibel miteinander kombinierbar und greifen problemlos ineinander.

Usability Test

Für einen Usability Test wird zunächst ein Szenario entworfen und Aufgaben erstellt. Diese werden dann an passende Probanden der richtigen Zielgruppe verteilt. Während die Probanden die Aufgaben lösen, wird deren Bildschirm aufgenommen und hochgeladen. Nach Abschluss werden die aufgezeichneten Videos an ein weiteres Modul übergeben, über das die Videos parallel protokolliert und ausgewertet werden können. Die Auswertung und das Protokollieren übernehmen die erwähnten Auswerter und Protokollanten. Bevor eine Auswertung an die Kunden rausgeht, wird diese intern, vom zuständigen Ansprechpartner überprüft und anschließend an den Kunden übergeben. Innerhalb des Bearbeitungsprozesses können die verschiedenen Positionen anhand unterschiedlicher Administrationsrechte nahtlos auf das Projekt zugreifen und übergeben.

Ist dieser Prozess abgeschlossen werden alle bisher erarbeiteten Ergebnisse an das Auswertungsmodul übergeben, in dem ein PDF­Report als Zusammenfassung erstellt wird.

Zum besseren Verständnis hier einige Beispiele für kritische Testerkommentare aus der Praxis:

• “Menüpunkte und Navigationsstruktur sind unklar.”
• “Ladezeit ist zu lang.”
• “Trotz einer deutschen Webseite stehen dort englische Begriffe.”
• “Suchfeld findet nicht alle Artikel.”

Und positive Testerurteile:      

• Produktdetails sind übersichtlich
• schöne Produktauswahl
• die Möglichkeit eines Probekaufs ermutigt zu weiteren Bestellungen

Einen Zusammenschnitt einiger Testaussagen findet man im Video unter diesem Link:

http://testervideos.wistia.com/medias/d8ivyvseh1?start=0

Die Ergebnisse aller Tester werden protokolliert, zusammengefasst und in Form einer Auswertung dem Kunden zur Verfügung gestellt.

Quality Assurance

Im Bereich QA sieht der Prozess ähnlich aus. Hier testen die Tester unter Anleitung eines erfahrenen Projektmanagers. Da hier demografische Testermerkmale weniger relevant sind, wird nach Erfahrung, technischem Equipment bzw. techn. Ausstattung ausgewählt.

Die Tester testen entweder explorativ (das heißt frei) oder anhand bestimmter vordefinierter Testcases. Die Ergebnisse (Bugs) werden in einem Bugtracker anhand vom Kunden vordefinierter Labels bzw. Kategorien dokumentiert. Die Projektmanager beaufsichtigen den Test und kontrollieren, dass keine Doubletten aufgelistet werden und ob die Fehler auch ordnungsgemäß dokumentiert übergeben werden.

Anschließend werden die gefundenen Fehler über eine Exportfunktion an den Kunden übergeben oder direkt in seine Systeme eingespielt. Ebenfalls besteht die Möglichkeit den Kunden aktiv mit einzubeziehen, in dem dieser einen Zugang zu der Plattform erhält. So kann der Kunde von Anfang an aktiv den Test bzw. den Prozess mitverfolgen. 

Die Fehler bei einem Quality Aussurance Test sind in 3 Kategorien aufgeteilt:

• Usability Bugs: Fehler, die die Benutzerfreundlichkeit verschlechtern
• Grammatikalische Bugs: sprachliche Fehler wie eine falsche Rechtschreibung oder eine falschen Grammatik
• Funktionale Bugs: Fehler oder Funktionsstörungen von Features oder Prozessen der Webseite bzw. der Software

Beispiel für ein Bug-Protokoll.

Fazit

Crowdtesting ist ein komplexer Prozess, der aber mit den richtigen Werkzeugen eine enorm effektive Alternative zu herkömmlichen Testmethoden darstellt. Profitieren tun nicht nur die Tester und Anbieter solcher Plattformen sondern am Ende hauptsächlich der Auftraggeber­ denn nun ist es möglich mit geringem Budget permanent zu testen und am Endkunden ausgerichtet zu optimieren.

Über TestHub:

Die testhub GmbH mit Sitz in Berlin ist der Experte für crowdbasiertes Softwaretesting. Mit Hilfe der Schwarmintelligenz können Webseiten, E­Commerce Shops, mobile Applikationen sowie Software unter realen Bedingungen mit echten Anwendern getestet werden. Damit erhält man zielgenaue, qualitativ hochwertige und kosteneffektive Testergebnisse.