Die Ergebnispräsentation schien nicht gut zu laufen. Gleich in den ersten Minuten wurde der Vertriebsleiter sehr ärgerlich und sagte „Ihre Ergebnisse sind falsch. Die können nicht stimmen. Sie sagen mir also, dass in zwei von drei Testberatungen eine Probefahrt möglich gewesen wäre? Laut unseren Kundenzufriedenheitsbefragungen bieten unsere Verkäufer genau das zu selten an. Maximal jeder Dritte hat eine Probefahrt angeboten bekommen.“
Die Gegenfrage meinerseits war: „Haben die Teilnehmer Ihrer Befragung denn auch jedes Mal aktiv nachgefragt, wenn keine Probefahrt angeboten wurde?“
Der Teufel liegt hier im Detail. Testkunden sind – auch wenn sie der Zielgruppe entsprechen – keine „normalen Kunden“. Es sind geschulte Tester, die eine bestimmte Rolle spielen (ein Kunde prägte einmal den Begriff „Industrieschauspieler“) und z.B. Vorgaben haben, bestimmte Fragen zu stellen.
Im vorliegenden Fall sollten die Tester immer nachfragen, ob eine Probefahrt – auch zu einem späteren Termin – möglich ist, weil ermittelt werden sollte, für welchen Zeitraum und mit welchem Modell dem Tester die Probefahrt ermöglicht worden wäre.
Der Kunde folgt seiner eigenen Agenda, der Testkunde einer vorgegebenen.
Daher können mittels Kundenzufriedenheit auch keine objektiven Prozesse evaluiert werden, wohl aber subjektive Eindrücke basierend auf Einzelerlebnissen.
Gerne wird auch bei Mystery Shopping Studien die Frage aufgenommen, ob der Tester das Geschäft/ den Händler weiterempfehlen würde. Diese Ergebnisse sollen mit den Ergebnissen der Kundenzufriedenheitsstudien verglichen werden. Doch hier ist Vorsicht geboten:
Der Tester ist geschult und hat die Vorgabe, objektiv und fair zu beurteilen. Das Antwortverhalten wird sich also ggf. von dem einen echten Kunden unterscheiden, der – je nach Zeitpunkt der Befragung – vielleicht noch über eine Unstimmigkeit verärgert ist oder aber diese inzwischen schon wieder vergessen hat. Darüber hinaus zeigen „verstimmte Kunden“ eine höhere Bereitschaft zur Teilnahme an Befragungen, so dass es auch hier zu Verzerrungen kommt.
Beurteilungsverhalten und Befragungszeitpunkte sind wesentliche Differenzierungsmerkmale.
Auch bei Mystery Shopping Studien können subjektive Inhalte in den Fragebogen aufgenommen werden. Wichtig dabei ist, dass der Auftraggeber sich dessen bewusst ist, dass die Ergebnisse keine Kundenzufriedenheitsbefragung ersetzen können und dass die Ergebnisse nicht untereinander vergleichbar sind. Ergebnisinterpretationen können nur sehr vorsichtig und nur unter Vorbehalten vorgenommen werden.
Mystery Shopping und Kundenzufriedenheitsbefragungen unterscheiden sich also in wesentlichen Merkmalen:
- Objekte vs. subjektive Beurteilung
- Gezielte Messung von Prozessen vs. Messung von Eindrücken
- Zeitnahe Bewertung vs. Bewertung mit zeitlichem Abstand (Erinnerungslücken)
- Detaillierte Evaluierungen vs. allgemeine Eindrücke
- Nicht repräsentativ durch gezielte Testerauswahl und Konstruktion von Szenarien vs. (ggf.) nicht repräsentativ durch Verzerrungen in der Stichprobe und individuellen Ausgangsszenarien.
Eine Vorgehensweise, die versucht, eine Brücke zwischen den beiden Methoden zu schlagen sind sog. CX Visits, bei denen die Tester zielgruppengerecht selektiert und nach Möglichkeit nicht geschult werden. Die Testinhalte sind weitgehend subjektiv und enthalten häufig auch die NPS-Frage.
Neben sehr praktischen Herausforderungen wie geringerer Zuverlässigkeit bei der Durchführung und der Bewertung selbst, erhalten aber auch diese Tester eine Rollenvorgabe. Darüber hinaus, kann diese Methode nur zum gewünschten Erfolg führen, wenn die zum Einsatz kommenden Tester wirklich nicht aus bereits bestehenden Testerpools rekrutiert werden und „frisch“ sind. Dies ist für den Auftraggeber in der Praxis nur schwer überprüfbar.
Unserer Erfahrung nach ist der Erkenntnisgewinn größer, wenn beide Methoden nicht in Konkurrenz zueinander betrachtet werden, sondern als Vorgehensweisen, die sich gegenseitig ergänzen.
Wer sich der Unterschiede bewusst ist, kann die Ergebnisse ideal nutzen und läuft nicht Gefahr, falsche Interpretationen anzuwenden.
Globis ist einer der führenden Anbieter im Bereich Mystery Shopping und Kundenzufriedenheitsbefragungen. Gerne beraten wir Sie, wie Sie diese Methoden zielgerichtet in Ihrem Unternehmen einsetzen können.