Monitoraggio e metodologia
Lo stesso prompt può dare risposte diverse: come rendete i dati affidabili?
Ripetiamo gli stessi prompt per 14 o 28 giorni consecutivi e calcoliamo la frequenza statistica di citazione: ad esempio, quante volte su cento il tuo hotel compare nella risposta.
I modelli generativi hanno un grado di variabilità controllato: la stessa domanda può produrre risposte diverse in momenti diversi. Per questo non misuriamo la singola risposta ma cicli di osservazione (wave) su un set di prompt costante. Il risultato è un dato probabilistico solido, come "citato nell'87% dei casi", che permette di distinguere un miglioramento reale da un'oscillazione temporanea.