Suivi et méthode
Un même prompt peut donner des réponses différentes : comment rendez-vous les données fiables ?
Nous répétons les mêmes prompts pendant 14 ou 28 jours de suite et nous calculons la fréquence statistique de citation : par exemple, combien de fois sur cent votre hôtel apparaît dans la réponse.
Les modèles génératifs ont un degré de variabilité contrôlé : la même question peut produire des réponses différentes à des moments différents. Nous ne mesurons donc pas une réponse isolée, mais des cycles d’observation (les vagues) sur un ensemble de prompts constant. Il en sort une valeur probabiliste solide, par exemple « cité dans 87 % des cas », qui permet de distinguer une vraie amélioration d’une oscillation passagère.