Das Wichtigste in Kürze
  • Das sogenannte Crowdtesting ermöglicht es Betreibern von Webseiten, Apps oder Online-Shops, ihren jeweiligen Service durch eine Vielzahl von Verwendern testen zu lassen und dadurch die Nutzbarkeit der Anwendung in zahlreichen Einzelfällen zu überprüfen.
  • Die Crowd (oder: Menschenmenge) setzt sich aus einer möglichst großen Anzahl von mehr oder weniger versierten Testern zusammen. Nicht nur Studenten nehmen die betreffenden Anwendungen unter die Lupe, sondern Jung und Alt. Technisch versierte Nutzer und solche, die sich weniger mit Bugs usw. auskennen, durchsuchen die betreffenden Features und überprüfen deren Nutzbarkeit.
  • Da eine Webseite auf einem Smartphone ganz anders aussieht als beispielsweise auf einem Laptop und auch die unterschiedlichen Betriebssysteme die Ansicht sowie Nutzbarkeit einer Anwendung verändern können, werden bei den Tests unterschiedlichste Ausgabegeräte verwendet, um die jeweiligen Online-Angebote zu überprüfen.

Crowdtesting Test

Entwickler von Software sowie Web-Shop-Betreiber kennen die Tücken, die sich beim Programmieren einer App oder einem gelungenen Internetauftritt ergeben können. Allzu häufig schleicht sich ein sogenannter Bug (oder: Fehler) in das Programm ein, den man selbst bzw. die eigenen Mitarbeiter trotz oder gerade wegen der täglichen Routine nicht finden können.

Auch können einige Dienstleister im Internet keinen oder nur eingeschränkten Erfolg verzeichnen, obwohl das eigentliche Produkt, das verkauft werden soll, gut zu sein scheint und auch sonst keine Ursachen für den fehlenden Erfolg ersichtlich sind. Crowdtesting-Anbieter haben es sich daher zur Aufgabe gemacht, in solchen Situationen Abhilfe zu schaffen.

Hierzu wird eine individuelle Gruppe von Nutzern auf die entsprechende Software angesetzt, die dann die App bzw. den Shop auf Herz und Nieren überprüft, so wie es auch Kunden oder Verwender täten. Doch nicht jeder Anbieter arbeitet mit deutschsprachigen Testern zusammen oder bietet den Betreibern dieselben Testszenarien oder Auswertungen an.

In unserem Crowdtesting-Vergleich 2020 haben wir die verschiedenen Dienste selbst einem Test unterzogen und verraten Ihnen bei welchem Crowdsource-Testing-Anbieter Sie Ihre Anwendungen am besten auf Fehler oder ihre Benutzerfreundlichkeit hin checken lassen sollten und welcher Dienst keinen wirklichen Vorteil bringt.

Hier finden Firmeninhaber weitere interessante Vergleiche und Ratgeber:
KfW-Gründerkredit|Reinigungskräfte|Onlinekurse|Arbeitgebersiegel|Buchungssysteme

1. Crowdtesting im Test: Wer ist der Sieger bei Vergleich.org?

1.1. Testsieger

user-testing-deutsch-geräteEye-Tracking

Nur beim Preis-Leistungs-Sieger rapidusertets bekommen Sie standardmäßig Videoaufnahmen der Testpersonen übermittelt, anhand derer Sie die Bewegungen der Pupillen nachvollziehen können, während gerade Ihre Webseite oder Ihre App genutzt wird. So erkennen Sie sofort, was einem Anwender ins Auge springt oder wo die Blicke längere Zeit haften bleiben.

Die Stiftung Warentest hat sich bisher nicht mit dem Thema Crowdtesting auseinandergesetzt. Entsprechend fehlt es im Netz bisher an Seiten, welche die entsprechenden Unternehmen selbst überprüfen.

Deshalb haben wir in unserem Crowdtesting-Test die renommiertesten Anbieter genauer betrachtet und deren Leistungen miteinander verglichen.

Testsieger beim Crowdtesting ist das deutsche Unternehmen Testbirds. Das Münchener Start-Up wurde 2011 gegründet und verfügt heute bereits über mehr als 250.000 eigene Tester, die mit über 450.000 Endgeräten die entsprechenden Features Ihrer Anwendungen bzw. Apps unter die Lupe nehmen.

Testbirds konnte bereits wertvolle Erfahrungen mit zahlreichen großen und weltweit agierenden Firmen wie Audi, 1&1, DHL oder der Deutschen Bahn sammeln und testet sämtliche Betriebssysteme und Browser, von Android und iOS hin zu Chrome, Firefox oder dem Internet Explorer.

testcloud erfahrungen crowd testing software

Der Anbieter Test-Cloud kommt aus Spanien. User-Testing auf Deutsch wird hier nicht angeboten. Der gleichnamige deutsche Anbieter für Website und App Tests heißt jetzt Test IO.

Die Kosten für einen Testdurchlauf bei Testbirds sind nach der gebuchten Anzahl von Testern sowie der eigentlichen Testaufgabe gestaffelt. Ein sogenannter Usability-Test mit 20 Testern schlägt dabei mit rund 4.000 Euro zu Buche, wobei Sie selbst die Zielgruppe und das Test-Design auswählen können.

Ein explorativer Test, ebenfalls mit 20 Test-Personen, bei dem auch die entsprechende Software auf Bugs hin untersucht wird, ist bei Testbirds bereits ab 2.000 Euro zu bekommen. Auch Tests mit einer größeren oder kleineren Crowd sowie Tests mit einer selbst zusammengestellten Test-Crowd sind jederzeit buchbar.

Insgesamt sind bei Testbirds alle gängigen Software-Testarten durchführbar. Auch Security Testing sowie Localization Testing sind hier in großem und kleinem Umfang möglich. Zusätzlich bekommen Kunden die Option, die jeweiligen Testverläufe in Echtzeit mitzuverfolgen und sich – bei Bedarf – einen eigenen Berater an die Seite stellen zu lassen.

Hinweis: Leider sind die Preis-Informationen beim besten Crowdtesting-Anbieter etwas unübersichtlich dargestellt, weshalb es teilweise schwierig ist, die genauen Kosten eines Auftrags im Vorfeld zu kalkulieren.

1.2. Preis-Leistungs-Sieger

Am günstigsten ist das Crowdtesting beim Anbieter rapidusertests. Das Einstiegsangebot für einen Desktop-Test beträgt lediglich 49 Euro. Hierfür durchforsten 2 Tester Ihre Anwendung nach Fehlern und weisen Sie, falls notwendig, auf Verbesserungspotential hin.

Einen Desktop-Test mit 20 Testern bekommen Sie hier bereits ab 780 Euro. Das Testen von mobilen Anwendungen ist im Vergleich etwas teurer. Für 2 mobile Tester verlangt rapidusertests 147 Euro. Ein Mobil-Test mit 20 Test-Personen ist ab 1.170 Euro erhältlich.

Bei rapidusertests werden allerdings keine Functional-Tests durchgeführt. Der Anbieter hat sich hauptsächlich auf Usability- und Localization-Tests in der Beta-Phase spezialisiert. Aber auch Tests nach einem Launch sind problemlos möglich.

Eine Auswertungen der jeweiligen Performancetests sowie der Eye-Tracking-Videos können Sie entweder selbst vornehmen oder die Analyse von erfahrenen Experten durchführen lassen.

Bisherige Erfahrungen von Crowdtesting-Kunden von rapidusertests wie beispielsweise mirapodo oder Flaconi haben gezeigt, dass der Service von rapidusertests seriös ist, schnell funktioniert und steigende Verkaufszahlen bedeutet.

crowdsourcing crowd testing software

Wer mit Crowdtesting Geld verdienen möchte, kann sich einfach bei den Anbietern bewerben. Die Applause GmbH hat hierzu die Plattform uTest ins Leben gerufen. Der Verdienst beim Crowdtesting beträgt ca. 6-10 € pro Stunde bzw. Test.

2. Was versteht man unter Crowdtesting?

Wie oben bereits kurz erklärt, geht es beim Crowdsource-Testing in erster Linie darum, die eigene Software sowie den digitalisierten Einkauf von Waren oder anderen Webseiten so weit zu optimieren, dass die maximale Anzahl von Besuchern den Service nutzt, das Produkt kauft oder dieses weiterempfiehlt.

Die unabhängigen Tester sollen dabei sowohl Fehler in der Software als auch Hindernisse in Bezug auf die Nutzbarkeit der Anwendungen erkennen und Ihnen die entsprechenden Ergebnisse weiterleiten. Hierzu werden unterschiedliche Testabläufe angeboten, die wiederum unterschiedliche Features Ihrer Services überprüfen sollen.

crowdtesting geld verdienen verdienst

Der Crowdtesting-Anbieter Testbirds verfügt zusätzlich über Testautomatisierungs-Tools. Diese ermöglicht eine Vielzahl von maschinellen Performancetests gleichzeitig.

Unter anderem lässt sich mit Hilfe einer Crowd testen,

  • ob Ihre App die richtige Zielgruppe anspricht,
  • die Ladezeiten zu jeder Zeit und an allen Empfangsgeräten akzeptabel sind
  • oder sich anderweitige Probleme bei der Verwendung ergeben, die letztlich ein positives Besuchererlebnis verhindern können.

Auch im Vorfeld einer Veröffentlichung können Sie Ihre Anwendungen von den speziellen Crowds überprüfen lassen. Die sogenannten Beta-Tests versuchen dabei möglichst ganzheitlich und unter realistischen Bedingungen Ihr Produkt zu checken, bevor es offiziell gelaunched (oder: veröffentlicht) wird.

Bei unserem Preis-Leistungs-Sieger rapidusertests werden zu diesem Zweck sogar Videoaufnahmen von den Augenbewegungen der Tester gemacht, die den Auftraggebern später zur Verfügung gestellt werden. Hierdurch lassen sich nicht nur subjektive Eindrücke der Verwender verarbeiten, sondern Sie können tatsächlich sehen, worauf die Benutzer bei Ihrem Service oder Ihrer Anwendung achten.

3. Wie hoch sind die Kosten von Crowdtesting-Anbietern?

Die Preise hängen letztlich immer stark davon ab, welche Anwendungen oder Webseiten getestet werden sollen, welche Testszenarien durchlaufen werden und wie groß die Test-Crowds hierfür letztlich ausfällt. Im Schnitt beginnen die Kosten für einen mittelgroßen Functional-Test bei mehreren hundert Euro.

istqb glossar

Testbirds ist einer der größten Crowdtesting-Anbieter Deutschlands. Eine Alternative zu Testbirds sind beispielsweise die Anbieter Test IO, passbrains oder rapidusertests.

Das günstigste Angebot hat rapidusertests. Hier können Sie schon ab 49 Euro einen Test Ihrer Webseite buchen. Die Größen der Test-Crowds können Sie dabei meist selbst bestimmen, wobei es bei einigen Test-Formaten sinnvoller ist, eine größere Crowd zu verwenden als bei anderen.

Am häufigsten werden Crowds mit 20 Testern gebucht. Diese kosten zwischen 800 und 4.000 Euro, abhängig vom jeweiligen Test-Typ und dem ausführenden Anbieter.

Auch das Einbinden von speziell geschulten Testern, die nach versteckten Bugs suchen, sowie die Erstellung von aufwändigen Auswertungen können teilweise ungleich höhere Kosten verursachen.

So kann ein umfangreicher Usability-Test mit einer Crowd von ca. 20 App-Testern oftmals mehrere tausend Euro kosten.

Hinweis: Um die Preise wirklich richtig einschätzen zu können, sollten Sie unbedingt mehrere Anfragen mit Ihrem persönlichen Anliegen bei verschiedenen Anbietern starten und deren Kosten miteinander vergleichen.

rapidusertests seriös testbirds geräte

Bei einem Crowdtest kann sowohl eine App als auch eine beliebige Website Gegenstand des Tests sein.

4. Welche Test-Typen werden angeboten?

So verschieden Shops und Apps sein können, so unterschiedlich können auch die Tests der jeweiligen Software oder Website ausfallen. Während sich einige Anbieter auf eine oder mehrere Kategorien von Tests spezialisiert haben, gibt es auch solche Crowdsource Testing Anbieter, die lediglich ein Komplettpaket anbieten.

Die folgenden Arten von Tests werden von den Crowd-Vermittlern angeboten:

Test-Typ Definition
Usability Testing Dabei wird überprüft, wie einfach sich die Software bzw. die Webseite bedienen lässt. Wird bei den Nutzern Vorwissen vorausgesetzt oder kann jeder Verwender intuitiv alle möglichen Optionen ohne Hindernisse nutzen? Werden wichtige Fachbegriffe erläutert oder gibt es womöglich offene Fragen bezüglich der Zahlungsbedingungen? Sollten derartige Probleme ausgemacht werden, weist die Crowd Sie darauf hin.
Functional Testing Bei diesem Test wird untersucht, ob sämtliche Anwendungen auch tatsächlich uneingeschränkt zur Verfügung stehen oder es innerhalb des Programm- oder Seitenaufbaus sogenannte Bugs gibt, die behoben werden müssen. Einige Unternehmen haben sich primär auf diesen Test-Typen festgelegt.
Load Testing Hierbei prüft die Crowd, ob Ihr Produkt keine unangenehm langen Ladezeiten oder ähnliche Probleme hervorruft, welche potentielle Nutzer von der weiteren Nutzung womöglich abhalten könnten.
Localisation Testing Dieser Test soll feststellen, ob Ihr Produkt auch die gewünschte Zielgruppe erreicht. Stellt die Anwendung zu sehr auf Jugendliche ab, schreckt Sie womöglich andere Altersgruppen ab oder umgekehrt. Auch für den Fall, dass Sie nur eine gewisse Zielgruppe ansprechen möchten, gibt es entsprechende Tests. Hierbei besteht die Test-Crowd ausschließlich aus Personen, die Ihrer Peer-Group angehören.
Beta Testing Diese Tests sind speziell für Software oder Webseiten gedacht, die bisher noch nicht veröffentlicht wurden und bei denen im Vorfeld sicher gestellt werden soll, dass keine Fehler enthalten sind.
Regression Testing Dabei werden bereits bestehende Features einem umfangreichen Testverfahren unterzogen. Teilweise können durch Neuerungen auf Ihrer Plattform ältere Anwendungen, die bisher tadellos funktioniert haben, einen Fehler bekommen. Betriebsblindheit verhindert oftmals das Auffinden der Ursachen, sodass ein Regressions-Test in dieser Situation Abhilfe schaffen kann.
Security Testing Hier wird Ihr Programm auf mögliche Sicherheitslücken durchsucht. Werden alle personenbezogenen Daten der User sicher behandelt oder gibt es Nachholbedarf in Sachen Privatsphäre oder Datensicherheit?

5. Was sind die Vor- und Nachteile durch Crowdsource Testing?

In dieser Übersicht haben wir die wichtigsten Vor- und Nachteile des Crowdsource Testing für Sie zusammengefasst:

    Vorteile
  • Entdecken von andernfalls unbemerkten Fehlern durch „Viele-Augen-Prinzip“
  • höhere Gewinne durch gesteigerte Qualität der Software oder des Shops
  • enorme Zeitersparnis durch Erkenntnisse, die sonst nur nach langer Zeit oder durch einen großen Nutzerkreis erlangt würden
    Nachteile
  • Anbieter haben teilweise Zugriff auf noch nicht patentrechtlich geschützte Entwicklungen – Nachahmungsgefahr
  • Service relativ kostspielig

6. Die Ergebnisse beim Desktop- und Mobile-App-Testing

Abhängig davon, welche Art von Test Sie in Auftrag gegeben haben, unterscheiden sich im Nachgang auch die Ergebnisse dieser Untersuchungen und deren Aufbereitung für den Kunden. Beim Functional Testing werden in erster Linie die ausfindig gemachten Bugs aufgelistet und in eine entsprechende Reihenfolge gebracht, um deren Wichtigkeit nach außen kenntlich zu machen.

testbirds steuer performancetest

Softwaretesting soll nicht nur Bugs aufspüren, sondern zudem lange Ladezeiten ausmerzen, die allgemeine Nutzbarkeit verbessern, die Sicherheit erhöhen und mehr.

Zudem können die entsprechenden Testergebnisse in ein bestehendes eigenes Bug-Management-System (z. B. Jira) integriert werden und auf diese Weise umso schneller korrigiert werden. Sowohl die Anbieter Applause, passbrains sowie Testbirds bieten ihren Kunden diese Möglichkeit an.

Auch die zeitgleiche Verfolgung der Testabläufe ist bei einigen Crowdtesting-Anbietern möglich. TESTTailor, Testbirds sowie Applause geben ihren Kunden jeweils die Option, auch während der Tests auf einer speziellen Oberfläche die Vorgänge in Echtzeit mitzuverfolgen. Bei den übrigen Anbietern müssen Sie dagegen die Testreihe abwarten, um anschließend die Ergebnisse zu erhalten.

Beim Usability Testing (oder: UX-Testing) ist es dagegen wichtig, dass die Betreiber der Website ein detailliertes Bild davon erhalten, was den Testern beim Nutzen der Seite bzw. der App aufgefallen ist oder ihnen gefehlt hat. Hierzu bedienen sich die Anbieter in unserem Crowdtesting-Test regelmäßig eines schriftlichen Protokolls sowie teilweise auch eines Videomitschnitts der testenden Personen.

Dabei werden Ton und Bild aufgezeichnet, während sich die Tester gerade mit einer Kunden-Anwendung beschäftigen. Bei Applause, passbrains, Testbirds und Testcloud werden die Videos nur nach vorheriger Anfrage an die Kunden ausgegeben.

7. Fazit

Crowd-Testing ist gerade für neue Software sinnvoll. Es ermöglicht teils tiefe Einblicke in die Köpfe der Nutzer und erlaubt die Auswertung von zahlreichen User-Erlebnissen, die entweder genau Ihrer Zielgruppe entsprechen oder aus einer möglichst homogenen Gruppe bestehen.

Sie können viel Zeit einsparen und brauchen nicht erst auf das Feedback von Kunden zu warten, die womöglich einmal enttäuscht, gar nicht erst wieder auf Ihre Seite zurückkehren oder Ihre App ein zweites Mal benutzen.

Der Service verbessert auch Ladezeiten, kann Fehler im Quellcode aufspüren und einiges mehr. Lediglich die Preise sollten Sie dabei kritisch im Auge behalten. Bei vielen Anbietern kostet eine Bewertung der Seite bzw. der App wesentlich mehr als bei anderen.

Bildnachweise: ArtOfPhotos/shutterstock, NadzeyaShanchuk/shutterstock, studiovin/shutterstock, Syda Productions/shutterstock, Rubia/shutterstock, AVIcon/shutterstock, Bakhtiar Zein/shutterstock, Shai_Halud/shutterstock (chronologisch bzw. nach der Reihenfolge der im Kaufratgeber verwendeten Bilder sortiert)