Statistiken
Im Tab „Statistiken" siehst du aggregierte Nutzungsdaten deines Bots.
| Metrik | Bedeutung | Was sie dir sagt |
|---|---|---|
| Gesamte Gespräche | Anzahl aller gestarteten Sitzungen | Wie viele Nutzer den Bot verwendet haben |
| Nachrichten gesamt | Gesamtzahl aller gesendeten Nachrichten | Wie intensiv die Nutzung ist |
| Ø Nachrichten/Gespräch | Durchschnittliche Gesprächslänge | Tiefe des Engagements – niedrig = schnell beendet |
| Aktivste Tageszeiten | Wann der Bot am meisten genutzt wird | Wartungszeiten planen |
| Nutzerwachstum | Neue Nutzer über Zeit | Verbreitung des Bots |
Nutzerstatistiken
Der Tab „Nutzerstatistiken" zeigt Daten auf Nutzerebene. Hier erkennst du, welche Nutzer besonders aktiv sind und wie sich einzelne Personen mit dem Bot verhalten.
Supervisor-Tools
Die Supervisor-Ansicht ist das mächtigste Diagnose-Werkzeug. Du siehst hier jede Konversation in Echtzeit oder nachträglich – inklusive der KI-internen Gedankenprozesse.
| Feature | Was du siehst | Wofür nützlich? |
|---|---|---|
| Gesprächsverlauf | Alle Nachrichten einer Sitzung im Dialog-Format | Verstehen, wie Nutzer den Bot verwenden |
| KI-Reasoning | Die internen Gedankenprozesse der KI (bei aktiviertem Reasoning) | Warum antwortet die KI so? Fehler finden |
| Verwendete Prompts | Den vollständigen System-Prompt, der tatsächlich gesendet wurde | Prüfen ob Prompt korrekt übergeben wird |
| Skill-Nutzung | Welche Skills in diesem Gespräch aktiv waren und genutzt wurden | Prüfen ob Dokumente korrekt gefunden werden |
| Nutzerwerte | Gespeicherte Key-Value-Daten für diesen Nutzer | Debugging von Variablen und gespeicherten Zuständen |
| Funktionsaufrufe | Alle ausgeführten Blockly-Funktionen mit Zeitstempel | Blockly-Logik debuggen |
Wenn ein Nutzer meldet, dass der Bot falsch geantwortet hat: Supervisor → Gespräch suchen → KI-Reasoning anschauen → Verwendete Dokumente prüfen → Systemanweisung oder Dokument anpassen.
Nutzer-Feedback
Im Tab „Feedback" sammelst du direkte Rückmeldungen von Nutzern. Aktiviere die Feedback-Funktion im Tab „Chat-Bot" (Daumen-hoch/runter-Buttons pro Nachricht).
| Feedback-Typ | Was Nutzer bewerten können |
|---|---|
| 👍 Positiv | Antwort war hilfreich und korrekt |
| 👎 Negativ | Antwort war nicht hilfreich oder falsch |
| 💬 Kommentar | Freitext-Kommentar (optional aktivierbar) |
Auswertung im Feedback-Tab: Du siehst alle Bewertungen mit dem zugehörigen Gesprächskontext. Häufig negativ bewertete Antworten sind die wichtigsten Verbesserungskandidaten.
Memory-Browser
Der Memory-Browser zeigt alle im Key-Value-Speicher gespeicherten Nutzer-Daten. Das ist nützlich um zu prüfen, ob Variablen korrekt gespeichert und abgerufen werden.
Deinen Bot analysieren
- Führe 5 Testgespräche mit deinem Bot durch (verschiedene Fragentypen).
- Öffne den Supervisor und schau dir eines der Gespräche an.
- Aktiviere die Feedback-Funktion im Tab „Chat-Bot" und bewerte eine Antwort negativ.
- Öffne das Feedback-Tab und prüfe, ob das Feedback erscheint.
- Was würdest du basierend auf dem Supervisor-Feedback am Bot verbessern?