La risposta breve
Tratti il punteggio come il risultato di un campione definito. Conservi domande, modelli, impostazioni di ricerca e risposte originali; ripeta la misurazione e mostri i conteggi per fornitore. Un movimento può dipendere dalla variabilità delle risposte o da un test diverso: da solo non prova che il marketing abbia funzionato.
Il grafico sale dopo una modifica al sito. È una buona ragione per aprire le risposte, ma non basta per attribuire il risultato a quella modifica. Nel frattempo possono cambiare il modello, le fonti recuperate e i concorrenti.
Ripeta il test prima di spiegare il risultato
| Rilevazione | Risposte che nominano il brand | Tasso di menzione |
|---|---|---|
| 1 | 11 su 50 | 22% |
| 2 | 14 su 50 | 28% |
| 3 | 12 su 50 | 24% |
Un risultato successivo del 26% rientra già nell’intervallo osservato, dal 22% al 28%. Presentarlo come un miglioramento certo rispetto al primo 22% sarebbe prematuro. Tre ripetizioni mostrano variabilità; non stabiliscono automaticamente un intervallo di confidenza valido per tutte le conversazioni. Domande simili e risposte ripetute non sono necessariamente osservazioni indipendenti.
Verifichi che il test sia ancora lo stesso
- Sono cambiati il testo delle domande o il peso dei bisogni?
- Il modello, la versione o l’endpoint sono diversi?
- La ricerca web e il contesto della conversazione sono rimasti uguali?
- Un fornitore ha restituito meno risposte valide?
- Sono cambiati gli alias, i concorrenti o le regole per riconoscere una raccomandazione?
Se arrivano 60 risposte valide su 100 previste, mostri 60 risposte e 40 richieste mancanti. Non trasformi i fallimenti in assenze del brand e non presenti il campione ridotto come una raccolta completa. Conservi risposta, fonti e metadati insieme: servono a distinguere un vero cambiamento da un errore di lettura.
Perché l’app e l’API possono dare risposte diverse
Le applicazioni per utenti e le API possono usare configurazioni, ricerca e contesti diversi. OpenAI spiega che la memoria di ChatGPT può personalizzare le risposte. Una richiesta API isolata non riproduce automaticamente una conversazione nel suo account.
Questo non dimostra una differenza fissa di posizione per ogni brand. Indica che le condizioni vanno dichiarate. Un test API controllato e una verifica nell’app rispondono a domande diverse; nessuno dei due osserva ciò che vedono tutti gli utenti. Legga il perimetro nella metodologia.
Mantenga una base di confronto leggibile
Annoti modifiche al sito, aggiornamenti dei modelli, revisioni delle domande e interruzioni. Mostri i conteggi per fornitore accanto al totale. Se il piano cambia in modo sostanziale, inizi una nuova serie o esegua vecchio e nuovo test in parallelo.
Una conclusione utile può essere: «Il risultato rientra nella variabilità già osservata; stiamo controllando le risposte cambiate». È più informativa di un aumento percentuale senza contesto. Per passare dalla lettura a un intervento concreto, usi la guida al miglioramento della visibilità.
Verificare identità e copertura prima della percentuale
Il nostro caso di 624 risposte mostra un’ambiguità: 260 testi contengono “share of voice”, ma l’analisi salvata non attribuisce menzioni al marchio del nostro prodotto nelle 623 risposte analizzate. Una resta non classificata. Né una ricerca testuale né un’etichetta automatica costituisce da sola un riferimento indipendente.
Chiedere esempi verificabili di menzioni accettate, corrispondenze respinte e casi incerti. Leggere identità e raccomandazione nel contesto. Per misurare la qualità della classificazione serve un insieme di riferimento annotato con regole chiare e una risoluzione dei disaccordi. Pochi esempi favorevoli non dimostrano precisione o richiamo sull’intero rapporto.
Per confrontare due raccolte, mantenere prompt esatti, mercato, lingua, modelli richiesti, impostazioni di ricerca, ripetizioni e regole d’inclusione. Segnalare ogni modifica insieme ai conteggi. Se cambia il pannello, testare una parte comune oppure presentare campioni diversi. Le ripetizioni mostrano variabilità, ma non rendono rappresentative domande distorte.
Per un rapporto d’agenzia, un controllo utile è verificare che il cliente possa risalire dal dato principale alle risposte contate e vedere tutte le esclusioni. Senza questa traccia, il punteggio è difficile da contestare e da utilizzare.
Fonti e contesto
Questa guida risponde a una domanda sollevata in Do you track AI visibility in any serious way, or is it mostly guesswork? su Reddit. La discussione ha ispirato l’argomento; non è una prova dell’efficacia di alcun prodotto citato in quella sede. La documentazione delle piattaforme è collegata accanto alle affermazioni che sostiene.
Esempi e cifre sono illustrativi, salvo esplicita indicazione contraria. Scritto e pubblicato da Share of Voice, un prodotto di Superstellar Sagl. Vendiamo rapporti sulla visibilità nell’IA; vale la pena tenere presente la nostra prospettiva commerciale.
Ha notato qualcosa da correggere? Ce lo segnali.