Statistica senza errori grossolani

1. Che cosa dice, e che cosa non dice, un numero

Un numero non è un fatto: è il risultato di una definizione, di una procedura di raccolta e di una scelta di aggregazione. Prima di usarlo servono tre risposte: che cosa è stato contato esattamente, chi è stato incluso e chi escluso, in quale momento. Cambiando una di queste tre voci lo stesso fenomeno produce cifre diverse, tutte corrette rispetto alla propria definizione.

Da qui nasce la regola più utile del lavoro con i dati: non confrontare mai due numeri prima di aver verificato che misurino la stessa cosa. La maggior parte degli errori pubblicati non nasce da calcoli sbagliati, ma da confronti fra grandezze definite in modo diverso, spesso separate da un solo dettaglio nella nota metodologica.

2. Il denominatore decide il significato

Una quota è un rapporto, e il rapporto è governato da ciò che sta sotto la linea. Duecento casi su mille unità registrate danno il venti per cento; gli stessi duecento casi su cinquemila unità potenzialmente interessate danno il quattro per cento. Nessuna delle due cifre è sbagliata: rispondono a domande diverse, e solo una risponde alla domanda iniziale.

I denominatori più insidiosi sono quelli impliciti. «Il trenta per cento delle risposte» non dice se la base sono le persone contattate, quelle che hanno risposto o quelle che hanno risposto a quella specifica domanda. Nelle tabelle amministrative il denominatore cambia spesso fra un anno e l’altro perché cambia il criterio di iscrizione: in quel caso la serie non è confrontabile senza una ricostruzione dichiarata.

3. Medie, mediane e forma della distribuzione

La media aritmetica riassume bene distribuzioni simmetriche e senza estremi. Quando pochi valori molto grandi convivono con molti valori piccoli, la media si sposta verso gli estremi e descrive una situazione che nessuna unità sperimenta realmente. La mediana, che divide la serie in due metà, resiste agli estremi e in questi casi è più informativa.

La regola operativa è mostrare almeno due indicatori: mediana e un intervallo, per esempio il primo e il terzo quartile, oppure media accompagnata dalla dispersione. Se lo spazio permette una sola cifra, la scelta va motivata nella nota di metodo. Una media senza indicazione della forma della distribuzione è un’affermazione incompleta, non un errore aritmetico.

4. Tassi grezzi e tassi standardizzati

Un tasso grezzo rapporta gli eventi alla popolazione complessiva. È semplice e spesso sufficiente, ma diventa fuorviante quando si confrontano territori con composizione molto diversa: un’area con popolazione più anziana avrà tassi maggiori per fenomeni legati all’età, senza che questo dica nulla sul fenomeno in sé. La standardizzazione ricalcola i tassi come se le popolazioni avessero la stessa struttura.

La standardizzazione richiede due dichiarazioni esplicite: la variabile usata per correggere e la popolazione di riferimento. Cambiando riferimento cambiano i valori, quindi due serie standardizzate su basi diverse non sono confrontabili. Le pubblicazioni di ISTAT e le tabelle di Eurostat indicano di norma quale standard hanno adottato: quel riferimento va riportato anche nel testo finale.

5. Variazioni percentuali e punti percentuali

Sono due misure diverse dello stesso scarto e vengono confuse continuamente. Se una quota passa dal venti al ventiquattro per cento, la differenza è di quattro punti percentuali; la variazione relativa è del venti per cento. Titolare «aumento del venti per cento» quando la quota è salita di quattro punti non è falso, ma sposta la percezione in modo sostanziale.

Un secondo effetto ignorato è l’asimmetria della base. Una diminuzione del venti per cento seguita da un aumento del venti per cento non riporta al valore iniziale, perché il secondo calcolo parte da una base più bassa: da 100 si scende a 80 e si risale a 96. Nelle serie con oscillazioni frequenti conviene mostrare i valori assoluti insieme alle variazioni.

6. Da dove nasce l’incertezza

Se osserviamo tutte le unità di un archivio, non c’è incertezza campionaria: c’è l’incertezza della registrazione, cioè ritardi, errori e criteri di iscrizione. Se osserviamo un sottoinsieme, si aggiunge la variabilità dovuta al caso: campioni diversi estratti dalla stessa popolazione danno risultati diversi, e il margine di errore quantifica quanto ampia sia quella oscillazione.

Il margine dipende da tre elementi: l’ampiezza del campione, la quota osservata e il livello di fiducia scelto. Cresce quando la quota si avvicina al cinquanta per cento, si riduce quando il campione aumenta, ma solo con la radice quadrata: per dimezzare il margine serve un campione quattro volte più grande. Tutto questo vale solo se la selezione è corretta.

Calcolatore: campione e margine di errore

Il calcolatore esegue una sola operazione aritmetica, quella scritta sotto i campi. Serve a vedere quanto si muove il margine quando cambiano l’ampiezza del campione, la quota osservata e il livello di fiducia. Non valuta la qualità della rilevazione, non corregge distorsioni di selezione, non tiene conto di popolazioni finite, stratificazioni o mancate risposte. Tutti i calcoli avvengono nel tuo browser: nessun dato viene inviato.

7. Leggere un margine di errore

Un margine di tre punti su una quota del quarantadue per cento significa che le quote comprese fra circa trentanove e circa quarantacinque per cento sono compatibili con l’osservazione, dato il livello di fiducia scelto. Non significa che il valore reale abbia una certa probabilità di stare in quell’intervallo: l’affermazione corretta riguarda la frequenza con cui la procedura, ripetuta, comprende il valore reale.

La conseguenza pratica è che il margine va scritto accanto al numero, non in una nota lontana, e va usato per decidere quali confronti si possono raccontare. Un livello di fiducia più alto non rende il dato migliore: allarga l’intervallo, cioè dichiara più prudenza a parità di informazione.

8. Confrontare due quote

Il confronto fra due quote osservate su campioni diversi richiede più attenzione del confronto con un valore fisso. La regola prudente: se gli intervalli si sovrappongono ampiamente, la differenza non può essere raccontata come reale; se non si sovrappongono, la differenza è compatibile con uno scarto effettivo, sempre con la prudenza dovuta a errori non campionari.

Nelle serie di rilevazioni ripetute conta anche la direzione: piccole variazioni in un’unica direzione per più rilevazioni consecutive sono più informative di un singolo salto. Un salto isolato, prima di diventare notizia, va confrontato con eventuali cambi di metodo, di campione o di formulazione delle domande.

9. Numeri piccoli e serie brevi

Con basi ridotte la percentuale diventa instabile: su venti unità ogni caso pesa cinque punti. In questi casi si mostrano i numeri assoluti e si rinuncia alla percentuale, oppure si aggrega su un periodo più lungo dichiarando l’aggregazione. Le classifiche costruite su basi piccole sono particolarmente fragili: l’ordine cambia con uno o due casi.

Anche le serie brevi vanno trattate con cautela: tre osservazioni non definiscono una tendenza, e il punto di partenza scelto può determinare il segno del risultato. Provare due o tre punti di partenza diversi è un controllo veloce: se il senso della conclusione cambia, la conclusione non regge e va riscritta come descrizione, non come tendenza.

10. Come scrivere l’incertezza

L’incertezza non si comunica con un avverbio. Le forme utili sono tre: l’intervallo esplicito accanto al valore, l’indicazione di ciò che il dato non copre, e la distinzione fra dato osservato e stima. Una frase come «fra 39 e 45 per cento, secondo una rilevazione su mille unità con margine di tre punti» informa più di qualsiasi cifra apparentemente precisa.

Va evitata la falsa precisione: due decimali su una stima con margine di tre punti non aggiungono informazione, la fingono. E va evitata la scomparsa del denominatore nel titolo, dove per ragioni di spazio si perde per prima l’informazione che rende il numero interpretabile.

Sequenza di controllo su qualsiasi cifra

1. DefinizioneChe cosa è stato contato, chi è incluso, in quale momento.
2. BaseQual è il denominatore e se è rimasto lo stesso nel tempo.
3. IndicatoreMedia o mediana, tasso grezzo o standardizzato, con motivazione.
4. ScartoVariazione relativa o punti percentuali, dichiarati esplicitamente.
5. IncertezzaMargine campionario, oppure limiti della registrazione.
6. RobustezzaRipetere con basi e punti di partenza diversi.
7. ScritturaNumero, unità, base e intervallo nella stessa frase.

Errori ricorrenti e correzione

Elenco di controllo prima di pubblicare una cifra

• La definizione della grandezza è scritta e coincide fra le fonti confrontate.
• Il denominatore è esplicito e stabile nel periodo osservato.
• L’indicatore scelto è adeguato alla forma della distribuzione.
• Variazioni relative e punti percentuali sono distinti nel testo.
• Il margine di errore, se pertinente, compare accanto al numero.
• I confronti reggono anche cambiando punto di partenza o base.
• Non ci sono decimali che simulano una precisione inesistente.
• La nota di metodo indica formula, esclusioni e limiti.

Tre domande sull’incertezza