News

Prof. Dr. Peter Gentsch hat in einer Studie die Qualiät von Chatbots untersucht – und kommt zu einem überraschenden Ergebnis.

Viele Unternehmen bieten bereits die Möglichkeit zur Kontaktaufnahme über sogenannte Chatbots an, auch im Versicherungs- und Finanzsektor. Doch wie gut sind die virtuellen Assistenten und welche Fragen können sie bereits beantworten? Das hat Prof. Dr. Peter Gentsch von der Hochschule Aalen am Institute for Conversational Business untersucht. Das Ergebnis überrascht: Traditionelle Banken wie Sparkassen und Volksbanken schlagen beim Einsatz von Chatbots Fintech-Unternehmen.

Ob Fragen zu Finanzprodukten, der technischen Bedienung oder „Persönlichkeit“ des virtuellen Assistenten – Chatbots werden immer häufiger von Kunden zum Erstkontakt genutzt. Einige Fragen können sie bereits richtig beantworten und schnell weiterhelfen. Gut für die Kunden, weil sie sofort Hilfe bekommen ohne einen Berater anrufen zu müssen, aber auch gut für die Unternehmen, weil sich manche Anliegen so automatisch klären lassen. In seiner Studie hat Prof. Dr. Peter Gentsch, Professor für Kundenbeziehungsmanagement im Studienbereich Internationale Betriebswirtschaft an der Hochschule Aalen, die von Versicherungen und Finanzdienstleistern eingesetzten Chatbots anhand von qualitativen und quantitativen Fragestellungen auf ihre „Intent“-Fähigkeit untersucht, also ob sie die Anfragen und Bedürfnisse von Kunden richtig erkennen und die entsprechende Antwort liefern.

Um die Konversationsfähigkeit der Chatbots aus Konsumentensicht zu bewerten, wurden neben fachlichen Fragen zu Produkten und Konditionen auch Off-Topic-Themen sowie persönliche Fragen gestellt. So fragten die Tester die Chatbots zum Beispiel „Wie hoch sind die Gebühren für ein Girokonto?“ oder „Wie erhalte ich eine neue EC-Karte?“. Bei den Off-Topic-Themen wurde bespielweise die Corona-Krise mit der Frage „Welche Auswirkungen hat die Corona-Krise auf die Zinsen?“ aufgegriffen und zu den persönlichen Fragen zählte zum Bespiel die Fragestellung „Wie geht es dir heute?“. Dabei wurden die Genauigkeit der Antwort bewertet, die Antwortgeschwindigkeit, die Einfachheit der Bedienung, der informative Charakter der Antworten sowie der unterhaltsame Charakter der Antworten.

Die Auswertung ergab, dass Sparkassen und Volksbanken mit durchschnittlich 70% Trefferquote deutlich vor den Direktbanken und Fintechs mit durchschnittlich 41% und den Versicherungen mit durchschnittlich 35% Trefferquote rangieren. Große Player wie Ergo oder ARAG hingegen schnitten mit unter 5% Trefferquote ab. Erstaunlich ist, dass zum Teil die Off-Topic-Themen sowie die persönlichen Fragen besser als die fachlichen Fragen beantwortet wurden. Die Studie zeigt, dass die Chatbots der Sparkassen und Volksbanken vor allem durch hohe Antwortgeschwindigkeiten, eine einfache Bedienung und sehr gute Antworten im Hinblick auf Ausdrucksweise und Verständlichkeit der Sprache überzeugen.

„Vor dem Hintergrund der aktuellen Diskussion um Customer Centricity (Kundenorientierung) und Artificial Intelligence (Künstliche Intelligenz) verwundert die zum Teil erschreckend schlechte Performance“, so Gentsch. „Es zeigt sich, dass Chatbots keine Plug&Play-Lösung sind, sondern vom Kunden her gedachte und trainierte Dialogstrecken erfordern.“ Um eine gute oder sogar sehr gute Customer Experience bieten zu können, müssen Chatbots im Sinne der Kundenorientierung an ebenjene angepasst werden. Das heißt, dass bestimmte Fragen entweder häufiger oder seltener gestellt werden, worauf ein Bot entsprechend reagieren sollte. Ebenso sollte ein Chatbot für ein sehr gutes Kundenerlebnis nicht nur konkrete Fragen zu Produkten, sondern darüber hinausreichende Fragen oder auch Rückfragen beantworten können. Um diese Performance zu erreichen, ist allerdings eine weitere Programmierung, angepasst an den Kunden, zwingend erforderlich.

Chatbots werden laut Studie häufig noch zu sehr aus der Perspektive der Kostenersparnis und Prozessautomatisierung und nicht der Kundenperspektive entwickelt. Die Bereitschaft der Kunden sei aber laut Gentsch da, wenn die eingesetzten Systeme denn funktionieren. Eine weitere Untersuchung des Teams zur Akzeptanz von Chatbots unter 600 Konsumenten ergab kürzlich, dass Kunden den Einsatz von Chatbots prinzipiell begrüßen sofern die Antwortqualität akzeptabel ist. Allerdings sind viele Konsumenten frustriert aufgrund ihrer Chatbot-Erfahrungen und meiden danach diesen Kundenkanal. Gentsch: „Ein schlechter Chatbot kann damit geradezu kontraproduktiv für die Customer Experience sein. Deshalb lieber keinen Chatbot als einen schlechten Chatbot einsetzen.“

Die ganze Studie finden Sie hier.