Um intelligente Bots zu erstellen, müssen diese in der Lage sein, durch Algorithmen, Wahrscheinlichkeitsvergleiche und statistische Modelle maschinell zu lernen. Zu Machine Learning gehören aber nicht nur die technischen Prozesse, die in der Chatbot-Software hinter den Kulissen ablaufen. Sondern auch händisch können einige Maßnahmen getroffen werden, die das maschinelle Lernen von digitalen Assistenten verbessern und aus ihnen intelligente Bots machen.
In dieser Beitragsreihe erfahren Sie deshalb, wie Sie diese Maßnahmen auch ohne Programmierkenntnisse konkret in der Praxis anwenden. Im ersten Teil haben wir Ihnen die Grundlagen des maschinellen Lernens vermittelt und gezeigt, wie Sie Ihren Chatbot effektiv trainieren. In diesem zweiten Teil dreht sich nun alles um den sogenannten Confidence-Wert und wie Sie diesen nutzbringend einsetzen.
Der Confidence-Wert als Tool für intelligente Bots
Der Confidence-Wert oder auch Konfidenz-Wert ist ein gängiges Tool im Kontext des maschinellen Lernens. Er gibt an, mit welcher Genauigkeit der Chatbot eine Anfrage verstanden und dementsprechend einer Absicht zugeordnet hat. Liegt der Confidence-Wert für eine Zuordnung beispielsweise bei 90, so war sich der Chatbot zu 90% sicher, die richtige Absicht für die Nutzereingabe gefunden zu haben. Nachfolgend zeigen wir Ihnen, was Sie mit dem Confidence-Wert alles machen können.
Den Confidence-Wert überprüfen
Bei unserer Chatbot-Plattform Kiko haben Sie die Möglichkeit, die Genauigkeit der Erkennung zu überprüfen, indem Sie sich den Confidence-Wert für erkannte und unerkannte Anfragen anzeigen lassen. Navigieren Sie dafür zu den erkannten oder unerkannten Anfragen. Fahren Sie nun bei der jeweiligen Anfrage in der Spalte Erkennung mit der Maus über das kleine graue Symbol. Es erscheint ein Fenster, das die Confidence-Werte für die in Frage kommenden Absichten angibt.
Der Confidence-Wert gibt Ihnen einen guten Anhaltspunkt darüber, welche Absichten Sie trainieren sollten und mit welchen Anfragen Ihr Chatbot noch Hilfe benötigt. Somit können Sie Ihren Chatbot immer besser an die Nutzer anpassen und die Erkennung verbessern. Bei den erkannten Anfragen wird Ihnen in dem Fenster außerdem die Art der Erkennung angezeigt, d.h. regelbasiert oder maschinelles Lernen. Dies erkennen Sie auch am Symbol, das in der Spalte angezeigt wird. Die Lupe steht für regelbasierte Erkennung, der Kopf für maschinelles Lernen.
Hinweis: Der Confidence-Wert ist eine Kennzahl für das maschinelle Lernen. Das heißt, Sie müssen für Ihren Chatbot zuerst das maschinelle Lernen aktivieren, um mit dem Confidence-Wert arbeiten zu können. Wie Sie das maschinelle Lernen aktivieren, erfahren Sie hier.
Anmerkung vom 10.10.2023: Das Kiko CMS ist nicht mehr verfügbar. Der Chatbot wird nun als Komplettservice von uns für Sie eingerichtet. Bei Fragen können Sie uns hier kontaktieren.
Einen Schwellenwert für die Treffsicherheit Ihres Chatbots festlegen
Damit eine Anfrage als erkannt gilt, muss ein bestimmter Confidence-Wert erreicht werden. Bei Kiko können Sie diesen sogenannten Schwellenwert selbst festlegen. Ist der Schwellenwert zum Beispiel auf 75 gesetzt, so erkennt der Chatbot alle Absichten, die basierend auf maschinellem Lernen mindestens eine 75%ige Übereinstimmung mit der Nutzereingabe aufweisen. Die Absicht bzw. Antwort, bei der der Bot den höchsten Confidence-Wert hat, wird letztendlich ausgespielt. Alle anderen Absichten, die unter dem Schwellenwert liegen, kommen nicht in Frage und werden ignoriert. Werden mehrere Absichten mit gleicher Übereinstimmung gefunden oder gar keine Absicht über dem Schwellenwert erkannt, so wird die finale Absicht weiter über regelbasierte Spracherkennung und ggf. über intelligente Rückfragen gefiltert.
Den Schwellenwert legen Sie in den Einstellungen eines jeden Bots fest. Zu den Einstellungen gelangen Sie, indem Sie in der Botliste bei dem gewünschten Bot im Aktionen-Menü die Option Bot bearbeiten auswählen. Dort können Sie den Schieberegler auf den gewünschten Wert setzen oder diesen hinten im Feld per Hand eingeben. Für jeden Bot kann dadurch ein individueller Schwellenwert festgelegt werden, je nachdem wie sicher die Erkennung für ein bestimmtes Thema erfolgen soll. Beispielsweise kann der Schwellenwert für den Smalltalk-Bot geringer gewählt werden, da hier die Antworten des Chatbots sehr allgemein gehalten sind und keine extrem hohe Treffsicherheit gefordert ist.
Behalten Sie dabei stets im Hinterkopf, dass ein zu geringer Schwellenwert zu ungenauen Antworten führen kann. Ein zu hoher Wert kann jedoch dazu führen, dass eigentlich erkannte Absichten verworfen werden. Am besten orientieren Sie sich beim Festlegen des Schwellenwertes an den Confidence-Werten aus den erkannten und unerkannten Anfragen. So können Sie einschätzen, wie genau die Erkennung bisher abläuft und ob sie den Schwellenwert gegebenenfalls justieren müssen.
Anmerkung vom 10.10.2023: Das Kiko CMS ist nicht mehr verfügbar. Stattdessen bieten wir nun einen personalisierten Chatbot mit ChatGPT-Technologie an, den wir für Sie einrichten. Mehr Informationen dazu erhalten Sie hier.
Fazit: Der Confidence-Wert für intelligente Bots
Maschinelles Lernen macht aus einfachen regelbasierten Assistenten intelligente Bots. Um das Optimum aus Machine Learning herauszuholen, kann der Confidence-Wert Aufschluss über die Treffsicherheit des Chatbots geben. zusätzlich trainiert werden. Bei Kiko kann zudem ein individueller Schwellenwert festgelegt werden, der die Erkennungsgenauigkeit optimiert und den Chatbot dadurch noch intelligenter macht.
Diese Beiträge könnten Sie ebenfalls interessieren:
Maschinelles Lernen bei Chatbots: So trainieren Sie Ihren Bot – Teil 1
Maschinelles Lernen vs. regelbasierte Erkennung – Was ist besser geeignet für Chatbots?
Der ultimative Tipp für Ihre Chatbot Struktur: Komplexe Bots übersichtlich erstellen