Zum Inhalt springen

Monitoring und Methode

Derselbe Prompt kann verschiedene Antworten liefern: Wie werden die Daten verlässlich?

Wir wiederholen dieselben Prompts 14 oder 28 Tage lang und berechnen die statistische Zitathäufigkeit: zum Beispiel, wie oft von hundert Abfragen Ihr Hotel in der Antwort vorkommt.

Generative Modelle schwanken in kontrolliertem Maß: Dieselbe Frage kann zu verschiedenen Zeitpunkten verschieden beantwortet werden. Deshalb messen wir nicht einzelne Antworten, sondern Beobachtungszyklen (Wellen) auf einem konstanten Satz von Prompts. Heraus kommt ein belastbarer Wahrscheinlichkeitswert, etwa „in 87 % der Fälle zitiert“. Damit lässt sich eine echte Verbesserung von einem kurzen Ausschlag unterscheiden.

Verwandte Fragen