AvvisoRisorsa editoriale indipendente e gratuita · nessun titolo di studio e nessun riconoscimento legale · nessuna garanzia di pubblicazione o di assunzione.
Inchiesta DatiDati pubblici e verifica
Dossier M-01

Dai dati aperti alla storia verificata

Dieci passaggi per portare un file scaricato da un catalogo pubblico fino a una frase che regge alla verifica: definizione della domanda, controllo di struttura, calcolo con denominatore dichiarato, riscontro esterno e nota di metodo.

Materiale di informazione generale. Non è consulenza legale né una garanzia che il dato descritto sia disponibile, completo o aggiornato nel tuo caso.

01

1. Trasformare la curiosità in una domanda misurabile

Una domanda utile contiene quattro elementi espliciti: la grandezza osservata, l’unità di misura, il periodo e il territorio. «Le attese sono aumentate» non è una domanda: non dice che cosa si conta, in quali unità, fra quali date, in quale ambito. «Quanti giorni mediani passano fra la presentazione di una pratica e la sua conclusione nei comuni capoluogo, fra il 2023 e il 2025» lo è, perché indica esattamente quale colonna serve e quale calcolo va fatto.

Scrivere la domanda in una riga serve anche a scoprire che spesso ne contiene tre. Quando compaiono due grandezze diverse, due periodi o due territori, va spezzata: ogni parte avrà la sua fonte e il suo margine. Il tempo speso in questa fase si recupera interamente più tardi, perché riduce il numero di file da scaricare e impedisce la ricerca casuale in cui si apre tutto ciò che sembra pertinente.

02

2. Trovare il file giusto nel catalogo

Il punto di partenza nazionale è dati.gov.it, che non è un archivio ma un catalogo: raccoglie le descrizioni dei dati pubblicati dalle amministrazioni e rimanda ai portali che li ospitano. Accanto esistono i cataloghi regionali e comunali, i portali tematici e, per il confronto europeo, le tabelle di Eurostat. ISTAT pubblica separatamente i propri archivi statistici, con strutture e definizioni proprie.

La differenza fra catalogo, raccolta e singolo file conta: la stessa denominazione può indicare una serie annuale composta da dodici file diversi, con colonne che cambiano fra un’annualità e l’altra. Prima di scaricare, conviene verificare quante versioni esistono, quale sia la più recente e se l’ente pubblichi anche un archivio storico: ricostruire una serie mescolando due strutture diverse è uno degli errori più frequenti e più difficili da scoprire dopo.

03

3. Leggere la scheda descrittiva prima del file

Ogni voce di catalogo ha una scheda con informazioni decisive: ente responsabile, data di primo rilascio e di ultimo aggiornamento, frequenza dichiarata, licenza di riuso, copertura temporale e territoriale, formato. La licenza va letta per prima: un dato accessibile non è automaticamente riutilizzabile, e l’obbligo di attribuzione va rispettato nella pubblicazione finale.

La frequenza dichiarata e la data reale di aggiornamento spesso non coincidono. Un file annunciato come mensile e fermo da otto mesi non è inutilizzabile, ma va raccontato per quello che è: una fotografia che si ferma a una certa data. Se la scheda contiene un riferimento alla nota metodologica, quella nota va letta prima di qualsiasi calcolo, perché di solito spiega chi entra e chi resta fuori dalla rilevazione.

04

4. Aprire il file senza rovinarlo

Il file scaricato va conservato intatto in una cartella separata e mai modificato: si lavora sempre su una copia. Con i file di testo separati da virgola o punto e virgola i primi problemi arrivano dall’apertura: un foglio di calcolo può trasformare codici numerici in numeri perdendo gli zeri iniziali, interpretare date in formato diverso e cambiare la codifica dei caratteri accentati.

Le contromisure sono semplici: importare specificando la codifica e il separatore, dichiarare come testo le colonne che contengono codici, controllare a occhio le prime e le ultime righe. Un secondo controllo utile è il numero di righe: se il file dichiara ventimila record e ne compaiono diciannovemila, l’importazione ha perso qualcosa, di solito su una riga con un separatore dentro un campo testuale.

05

5. Controllo di struttura, prima di ogni calcolo

Il controllo minimo riguarda sei punti: numero di righe e colonne, tipi di dato per colonna, formato delle date, unità di misura dichiarate, valori possibili nelle colonne categoriche, presenza di righe che non sono dati. Su ogni colonna categorica conviene contare i valori distinti: nomi di comune scritti in quattro modi diversi, sigle miste a denominazioni complete e spazi in eccesso emergono immediatamente.

Nelle colonne numeriche si guardano minimo, massimo e distribuzione grossolana. Un massimo assurdo indica di solito un errore di unità o una riga di totale finita fra i dati; un minimo negativo dove non dovrebbero esistere valori negativi indica un codice usato per segnalare l’assenza del dato. Questi codici convenzionali, se trattati come numeri, distruggono qualsiasi media.

06

6. Riconoscere i vuoti e le righe di totale

I valori mancanti non sono zeri. Un comune che non ha comunicato il dato è diverso da un comune con zero casi, e sommare i due produce un totale falso. La prima operazione è contare i vuoti per colonna e per gruppo: se i mancanti sono concentrati su un’area o un periodo, qualsiasi confronto territoriale o temporale risulta distorto e va dichiarato.

Le righe di totale nascoste sono l’altra insidia classica: molte tabelle amministrative includono righe di riepilogo con la stessa struttura dei dati, riconoscibili solo dall’etichetta. Se restano nel file, ogni somma è raddoppiata. Il controllo è immediato: sommare le righe di dettaglio e confrontare il risultato con il totale dichiarato dalla fonte. Se non coincidono, la differenza va spiegata prima di procedere, non arrotondata.

07

7. Calcolare la prima quota con il denominatore dichiarato

Il calcolo più comune è anche il più fragile: una quota. La domanda da porsi non è quante unità hanno una caratteristica, ma su quale insieme le si conta. Lo stesso numeratore rapportato alla popolazione residente, alle unità registrate o alle pratiche effettivamente trattate dà tre percentuali diverse, tutte tecnicamente corrette e non confrontabili fra loro.

La regola pratica è scrivere il denominatore nella stessa frase del risultato, anche quando appesantisce il testo. Quando si confrontano territori con dimensioni molto diverse, il numero assoluto e la quota vanno mostrati insieme: la quota rende comparabile, il valore assoluto ricorda quanto è solida la base. Per le popolazioni con struttura diversa per età serve un tasso standardizzato, spiegato nel dossier sulla statistica.

08

8. Cercare il riscontro esterno

Un risultato che dipende da un solo file resta fragile. Il riscontro può arrivare da una fonte diversa che misura la stessa grandezza con metodo autonomo, da una pubblicazione ufficiale che riporta il totale, o da un secondo calcolo che parte da dati grezzi differenti e arriva allo stesso ordine di grandezza. Due file pubblicati dallo stesso ente a partire dallo stesso archivio non sono un riscontro indipendente.

Quando il riscontro non coincide, la differenza è informazione: quasi sempre dipende da definizioni, date di estrazione o criteri di inclusione. Vale la pena cercare quale delle due fonti risponde davvero alla domanda iniziale, invece di cercare quale sia «giusta». Se nessuna delle due risponde con precisione, la domanda va riformulata.

Sequenza operativa dei dieci passaggi

  1. Formulare e circoscrivereDomanda in una riga con grandezza, unità, periodo e territorio.
  2. Individuare e scaricareCatalogo, scheda descrittiva, licenza, versione: copia intatta in archivio.
  3. Duplicare e importareLavoro su copia, codifica e separatore dichiarati, codici come testo.
  4. Controllare la strutturaRighe, colonne, tipi, valori distinti, minimi e massimi, vuoti, righe di totale.
  5. CalcolareNumeratore e denominatore espliciti, doppio calcolo con due strumenti.
  6. RiscontrareSeconda fonte o secondo metodo, spiegazione delle divergenze.
  7. ScrivereFrase con unità, base e limite; nota di metodo allegata.
09

9. Scegliere la forma del racconto

Non tutti i risultati diventano un grafico. Un valore singolo si comunica meglio come frase con il proprio contesto; due categorie si leggono bene in una tabella compatta; una serie nel tempo chiede una linea; il confronto fra molte unità chiede barre ordinate per valore, non per alfabeto. La scelta non è estetica: cambia ciò che chi legge nota per primo.

La forma va decisa dopo il calcolo, non prima. Decidere in anticipo di fare una mappa porta a cercare un dato territoriale anche quando la domanda non era territoriale, e a rappresentare valori assoluti su aree geografiche di dimensioni molto diverse, dove l’occhio legge la superficie e non il numero. Nel dubbio, la tabella è la forma più onesta.

10

10. Scrivere la nota di metodo

La nota di metodo è il testo che permette a un’altra persona di ripercorrere il lavoro. Contiene: fonte con ente, titolo del file e data di consultazione, periodo e copertura, operazioni di pulizia effettuate, formula usata, denominatore, esclusioni con motivazione, limiti riconosciuti. Non serve a mostrare competenza: serve a rendere possibile la contestazione, che è il modo in cui un lavoro si consolida.

Va scritta durante il lavoro, non ricostruita alla fine. Ogni volta che si modifica il file di lavoro si annota che cosa è stato cambiato e perché: dopo tre settimane nessuno ricorda se una riga è stata esclusa per un vuoto o per un valore anomalo. Questa disciplina è il contenuto del dossier sulla documentazione ed è la condizione della riproducibilità.

Formule ricorrenti in questo percorsoquota = numeratore ÷ denominatore × 100variazione percentuale = (valore nuovo − valore precedente) ÷ valore precedente × 100differenza fra quote = quota B − quota A (in punti percentuali)

Esempio con unità neutre: 180 pratiche concluse su 1.500 presentate danno una quota del 12 per cento; se l’anno successivo diventano 216 su 1.600, la quota sale al 13,5 per cento, cioè 1,5 punti percentuali in più e una variazione relativa del 12,5 per cento. Le tre cifre descrivono lo stesso fatto e non sono interscambiabili.

Tabella dei controlli obbligatori

Che cosa controllare, come e che cosa rivela
ControlloCome si esegueChe problema rivela
Conteggio righeConfronto fra righe dichiarate dalla fonte e righe importateImportazione incompleta o separatori dentro i campi
Valori distintiConteggio delle categorie per colonna testualeNomi scritti in modi diversi, sigle miste, spazi in eccesso
Minimi e massimiLettura degli estremi di ogni colonna numericaUnità sbagliate, codici di assenza trattati come numeri
Vuoti per gruppoConteggio dei mancanti per territorio e per periodoConfronti distorti da copertura incompleta
Somma contro totaleSomma delle righe di dettaglio confrontata col totale dichiaratoRighe di riepilogo rimaste fra i dati
Doppio calcoloStessa formula con due strumenti diversiErrori di formula, riferimenti spostati, arrotondamenti

Elenco di controllo prima di scrivere la frase

  • La domanda è ancora quella iniziale, oppure è stata riformulata e riscritta.
  • Il file originale è conservato intatto e le trasformazioni sono annotate.
  • I totali dichiarati dalla fonte coincidono con quelli ricalcolati.
  • Il denominatore è esplicito nella frase, non solo nella nota.
  • I valori mancanti sono contati e la loro distribuzione è conosciuta.
  • Esiste un riscontro indipendente o una spiegazione della sua assenza.
  • La licenza di riuso consente la pubblicazione prevista, con l’attribuzione richiesta.
  • La nota di metodo è scritta e può essere pubblicata insieme al testo.

Tre domande su questo percorso

Un dato pubblicato in un catalogo è automaticamente affidabile?

No. La pubblicazione dice che un ente ha reso disponibile un file, non che il file sia completo, aggiornato o coerente con altri. Vanno letti la scheda descrittiva, la data di aggiornamento e la nota metodologica, e vanno ricalcolati i totali dichiarati.

Posso pubblicare una quota calcolata su poche unità?

Tecnicamente sì, ma è fuorviante. Con basi piccole una singola unità sposta la percentuale di molti punti: conviene mostrare i numeri assoluti, dichiarare la base e rinunciare alla percentuale quando il denominatore è troppo ridotto per reggere il confronto.

Che cosa faccio se due fonti pubbliche danno numeri diversi?

Non si sceglie il numero più comodo. Si confrontano definizioni, periodi di riferimento, copertura territoriale e criteri di inclusione: nella maggior parte dei casi la differenza è spiegata da una di queste voci. Se la spiegazione non emerge, la divergenza va scritta.