In statistica e apprendimento automatico, il problema dei dati mancanti si verifica quando non è disponibile alcun valore per una variabile in un'osservazione. È un caso comune che può avere un effetto significativo sulle conclusioni che si possono trarre dai dati.
Il problema può sorgere a causa di risposte mancate: non vengono fornite informazioni su uno o più elementi o sull'intera unità (“oggetto”). Per alcuni elementi è più probabile generare una mancata risposta rispetto ad altri: ad esempio informazioni su questioni private come il reddito. L'attrito è un fenomeno che può verificarsi negli studi longitudinali, ad esempio quando si studia lo sviluppo di un soggetto e si ripetono le misurazioni dopo un certo periodo di tempo. Si ha un fenomeno di attrito quando i partecipanti abbandonano lo studio prima della sua conclusione e vengono a mancare una o più misurazioni.
Spesso il problema si verifica nelle ricerche in economia, sociologia e scienze politiche perché enti governativi o privati scelgono di non comunicare dati statistici importanti o non riescono a farlo, o perché l’informazione non è disponibile. A volte il problema è causato dal ricercatore, ad esempio quando la raccolta dati viene fatta in modo non appropriato o si fanno errori in fase di data entry.
Tali forme di mancanza assumono tipologie diverse, con differenti impatti sulla validità delle conclusioni della ricerca: mancanza completamente causale (Missing completely at random, MCAR), mancanza casuale (missing at random, MAR) e mancanza non casuale (missing not at random, MNAR). Dati mancanti possono essere trattati in modo simile ai dati censurati.
Tipologie Capire le ragioni per la mancanza di dati è importante per gestire correttamente i restanti dati. Se i valori mancano in modo completamente casuale, il campione di dati è probabilmente ancora rappresentativo della popolazione. Se invece i valori mancano in modo sistematico, la loro analisi potrebbe risultare distorta. Ad esempio, in uno studio sulla relazione tra QI e reddito, se i partecipanti con un QI superiore alla media tendono a saltare la domanda “Qual è il tuo stipendio?”, analisi che non tengano conto di questa mancanza casuale (modello MAR, citato più avanti) potrebbero erroneamente non riuscire a trovare una correlazione positiva tra QI e stipendio. A causa di questi problemi, gli esperti abitualmente raccomandano ai ricercatori di progettare gli studi in modo da ridurre al minimo la presenza di valori mancanti. È possibile utilizzare modelli grafici per descrivere in dettaglio il meccanismo alla base dei dati mancanti. Mancanza completamente casuale In un insieme di dati, i valori sono detti «mancanti in modo completamente casuale» (MCAR) se gli eventi che determinano la mancanza di un particolare dato sono indipendenti sia dalle variabili osservabili sia dai parametri non osservabili di interesse e si verificano in modo del tutto casuale. Quando i dati sono MCAR, analisi condotte su di essi non sono affette da distorsione; tuttavia, raramente i dati sono MCAR.
Nel caso MCAR, la mancanza di dati non è correlata ad alcuna variabile dello studio: pertanto, i partecipanti con dati completamente osservati costituiscono di fatto un campione casuale di tutti i partecipanti a cui è stato assegnato un determinato intervento. Con MCAR si presume che l'assegnazione casuale dei trattamenti sia preservata, ma nella pratica si tratta solitamente di un'ipotesi eccessivamente ottimistica.
Mancanza casuale Il fenomeno del «dati mancanti in modo non casuale» (MAR) si verifica quando i dati mancanti non sono casuali, ma possono essere interamente spiegati dalle variabili per le quali sono disponibili informazioni complete. Poiché il MAR è un presupposto impossibile da verificare statisticamente, ci si deve basare sostanzialmente sulla sua ragionevolezza. Un esempio è dato dal fatto che gli uomini sono meno propensi a compilare questionari sulla depressione, ma ciò non ha nulla a che vedere con il loro livello di depressione, una volta tenuto conto del fatto che si tratta di uomini. A seconda del metodo di analisi, questi dati possono comunque indurre un bias sui parametri analitici a causa della possibile assenza di dati in alcune celle (ad esempio, la categoria “uomini con livello di depressione molto elevato” potrebbe non presentare alcuna risposta). Tuttavia, se il parametro viene stimato con il metodo della massima verosimiglianza a informazione completa (Full Information Maximum Likelihood), il metodo MAR fornirà stime asintoticamente non distorte.
Mancanza non casuale Il concetto di «dati mancanti non casuali» (MNAR) (noto anche come «mancata risposta non ignorabile») si riferisce a dati che non sono né MAR né MCAR (ovvero, il valore della variabile mancante è correlato al motivo per cui è mancante). Per continuare con l'esempio precedente, ciò si verificherebbe se gli uomini non compilassero un questionario sulla depressione proprio a causa del loro livello di depressione.
È stato illustrato come la mancanza e/o la distorsione dei dati relativi alla demografia, alla sicurezza e alla salute pubblica possano costituire indicatori di possibili violazioni dei diritti umani di cui sono stati forniti diversi esempi ben documentati.
Mancanza strutturata Dati mancanti possono anche presentarsi in modi sottili che non trovano una spiegazione adeguata nella teoria classica. Si sta verificando sempre più spesso il caso di dati che potrebbero non essere MAR, ma i valori mancanti mostrano un'associazione o una struttura, sia esplicita che implicita. Tale fenomeno è stato definito «mancanza strutturata».
Il fenomeno della mancanza strutturata si verifica comunemente quando si combinano informazioni provenienti da più studi, ciascuno dei quali può distinguersi per il progetto e l'insieme delle misurazioni e, di conseguenza, contenere solo un sottoinsieme di variabili rispetto all'insieme delle modalità di misurazione. In queste situazioni, la mancanza di valori può essere correlata alle diverse metodologie di campionamento utilizzate per raccogliere i dati o riflettere le caratteristiche della popolazione di interesse più ampia e può quindi fornire informazioni utili. Ad esempio, in ambito sanitario, il fenomeno della mancanza strutturata è stata osservato come conseguenza della fusione di dati clinici, genomici e di imaging.
La presenza di mancanti strutturati può costituire un ostacolo all'uso efficace dei dati su larga scala, sia attraverso i metodi statistici classici che con gli attuali metodi di apprendimento automatico. Ad esempio, potrebbero esserci distorsioni intrinseche nelle ragioni per cui alcuni dati potrebbero mancare in determinati schemi, il che potrebbe avere implicazioni sull'equità predittiva dei modelli di apprendimento automatico. Inoltre, i metodi consolidati per la gestione dei dati mancanti, come l'imputazione, di solito non tengono conto della loro struttura e quindi è necessario lo sviluppo di nuove formulazioni per affrontare la mancanza strutturata in modo appropriato o efficace. Infine, la caratterizzazione della mancanza strutturata all'interno del quadro classico di MCAR, MAR e MNAR è un obiettivo attualmente in corso di investigazione.
Mancanza pianificata I dati mancanti possono anche essere una componente intenzionale del progetto dello studio. Nello specifico, la «mancanza pianificata» è una strategia di progettazione della ricerca, utilizzata nelle indagini tramite questionario, in cui alcuni dati vengono intenzionalmente omessi per i singoli intervistati (in genere somministrando a ciascun partecipante un sottoinsieme di domande selezionato in modo casuale) al fine di facilitare la compilazione ai partecipanti, pur conservando la capacità di stimare i parametri per l'insieme completo delle domande a livello di campione.
Tecniche di gestione I dati mancanti riducono la rappresentatività del campione e possono quindi distorcere le inferenze relative alla popolazione. In linea generale, esistono tre approcci principali per gestire i dati mancanti: l'«imputazione», in cui si inseriscono dei valori al posto dei dati mancanti, l'«omissione», in cui i campioni con dati non validi vengono scartati da ulteriori analisi, e l'«analisi», che consiste nell’applicare direttamente metodi non influenzati dai valori mancanti. Una panoramica sistematica dedicata alla prevenzione e alla gestione dei dati mancanti nella ricerca sugli esiti centrata sul paziente ha identificato dieci standard necessari per la prevenzione e la gestione dei dati mancanti. Questi includono standard relativi alla progettazione e alla conduzione dello studio, all'analisi e alla reportistica.
In alcune applicazioni pratiche, i ricercatori possono controllare il livello di dati mancanti e prevenirne la comparsa prima della raccolta dei dati. Ad esempio, nei questionari online spesso non è possibile saltare una domanda. È necessario rispondere a una domanda, altrimenti non è possibile passare a quella successiva. Pertanto, i valori mancanti dovuti al partecipante vengono eliminati da questo tipo di questionario, sebbene tale metodo possa non essere consentito da un comitato etico che supervisiona la ricerca. Nella ricerca tramite sondaggi, è comune compiere diversi tentativi per contattare ogni individuo del campione, spesso inviando lettere per cercare di persuadere coloro che hanno deciso di non partecipare a cambiare idea. Tuttavia, tali tecniche possono rivelarsi utili o controproducenti nel ridurre gli effetti inferenziali negativi dei dati mancanti, poiché le persone disposte a farsi convincere a partecipare dopo un iniziale rifiuto o un'assenza da casa sono probabilmente molto diverse da quelle che continueranno a rifiutare o a rimanere irraggiungibili nonostante ulteriori tentativi.
Nei casi in cui è probabile che si verifichino valori mancanti, si consiglia spesso al ricercatore di prevedere l'uso di metodi di analisi dei dati che siano robusti alla presenza di dati mancanti. Un'analisi è robusta quando si ha la certezza che violazioni lievi o moderate dei presupposti fondamentali della tecnica produrranno un bias minimo o nullo, ovvero una distorsione minima o nulla nelle conclusioni tratte riguardo alla popolazione.
Imputazione Alcune tecniche di analisi dei dati non sono robuste nei confronti dei valori mancanti e richiedono di “colmare” o imputare i dati mancanti. Rubin (1987) ha sostenuto che ripetere l'imputazione anche solo poche volte (cinque o meno) migliora enormemente la qualità della stima. Per molti scopi pratici, due o tre imputazioni catturano la maggior parte dell'efficienza relativa che si potrebbe ottenere con un numero maggiore di imputazioni. Tuttavia, un numero troppo esiguo di imputazioni può portare a una perdita sostanziale di potenza statistica (probabilità di identificare effetti), e alcuni studiosi raccomandano da 20 a 100 o più imputazioni. Qualsiasi analisi dei dati sottoposti a imputazione multipla deve essere ripetuta per ciascuno degli insiemi di dati imputati e, in alcuni casi, le statistiche relative devono essere combinate in modo relativamente complesso. L'imputazione multipla non viene applicata in alcune discipline specifiche, a causa della mancanza di formazione o malintesi al riguardo. Sono stati utilizzati anche metodi come la cancellazione per liste, ma si è riscontrato che questi introducono ulteriore bias. Ci si può affidare a guide specifiche che forniscono istruzioni dettagliate su come imputare i dati.
L'algoritmo EM è un approccio in cui vengono stimati (imputati) i valori delle statistiche che verrebbero calcolati se fosse disponibile l'insieme di dati completo, tenendo conto della distribuzione dei dati mancanti. In questo approccio, valori relativi a singoli dati mancanti non vengono solitamente imputati.
Interpolazione L'interpolazione è un metodo dell'analisi numerica utile a generare nuovi dati all'interno dell'intervallo di un insieme discreto di punti noti.