#Wikipedia fa davvero male alla salute?

PC_wikiE’ stata una delle principali notizie della settimana in ambito di salute: la scarsa affidabilità di Wikipedia è stata ripresa da tutti i mezzi di comunicazione, più o meno tradizionali, con titoli di grande impatto, ma a metà tra l’eccessivamente semplicistico e il fuorviante: Errore nove volte su dieci; errori nel 90% delle voci; 9 volte su 10 sbaglia; inaffidabile; troppi errori; tantissimi errori…
L’argomento sembra frivolo e non meritevole di un post, ma credo valga la pena approfondirlo per riflettere su come il clamore mediatico non sempre rispecchi l’affidabilità e la solidità di uno studio.

Occorre, dunque, entrare nel merito dello studio ampiamente ripreso dai media nazionali e internazionali.
L’articolo in questione è stato pubblicato sul Journal of the American Osteopathic Association e ha confrontato quanto riportato in Wikipedia per 10 patologie rispetto a quanto riportato nella letteratura scientifica.
La valutazione era stata effettuata da 10 revisori, scelti tra i medici che stavano svolgendo il loro internato in ospedale.
Il punto critico per poter valutare l’attendibilità di uno strumento è quale standard viene utilizzato come riferimento.
E qui le cose iniziano a complicarsi: il riferimento era UpToDate, una banca dati a pagamento che sintetizza i dati provenienti dalla letteratura scientifica per supportare il medico nella pratica clinica, ma… se questa non consentiva di trovare le informazioni necessarie il valutatore poteva avvalersi di Pubmed, Google Scholar o un altro motore di ricerca, a sua scelta. Nell’articolo non vi è traccia di quante volte il riferimento era UpToDate e quante lavori scientifici trovati nelle banche dati bibliografiche, nè quali fossero le altre fonti consultate e se fossero le stesse per entrambi i valutatori.
Questa rappresenta una lacuna importante: se il mio riferimento non riporta raccomandazioni basate su prove scientifiche, come posso affermare che Wikipedia “sbaglia”?

Un altro aspetto da sottolineare è la diversità di giudizio da parte dei valutatori. In parte è fisiologico e avviene in tutte le procedure di valutazione, ma occorre analizzare, anche con strumenti statistici, se questa difformità di vedute possa compromettere il risultato della valutazione. Difformità di vedute che non riguarda solo la concordanza tra quanto riportato in Wikipedia e nella fonte di riferimento, ma anche quali affermazioni dovessero essere sottoposte a verifica.
Per fare un esempio: nel valutare l’articolo di Wikipedia sulla depressione maggiore un revisore ha valutato un totale di 72 affermazioni, l’altro 172 (più del doppio). Per il primo c’era corrispondenza con lo standard di riferimento per il 78% delle affermazioni, per il secondo per il 55%.
Paradossalmente, secondo gli autori dello studio, dei 10 articoli valutati solo quello sulla “concussione” (trauma cranico) concordava con la fonte di riferimento, nonostante per uno dei due valutatori quasi la metà delle affermazioni non trovava corrispondenza. Al contrario, nel caso del diabete mellito la percentuale di affermazioni discrepanti era circa il 10% per entrambi i valutatori, ma questo articolo era classificato tra quelli non concordanti.

C’è poi da considerare che affermare che quanto riportato in Wikipedia non corrisponde a quanto contenuto in una fonte di riferimento non equivale necessariamente a stabilire che affidarsi a Wikipedia esponga a informazioni fuorvianti. Quanto sono rilevanti, per la salute di chi legge, le affermazioni che non trovano corrispondenza?

Wikipedia è affidabile oppure no? Nonostante l’ampia eco sulla stampa nazionale e internazionale, lo studio pubblicato sul Journal of the American Osteopathic Association non è in grado di fornire una risposta.

Infine, alcuni resoconti giornalistici concludono con l’invito ad affidarsi al proprio medico per i dubbi riguardanti salute e malattie. Raccomandazione sacrosanta e da osservare, ma se dovessimo paragonare le informazioni del medico con quelle delle fonti “basate sulle prove di efficacia” siamo certi che troveremmo una corrispondenza? E quale variabilità tra medici osserveremmo?

Aggiornamento del 3 giugno 2014: la dottoressa Luisa Dillner ha scritto un’analisi equilibrata sull’argomento sul Guardian di domenica 1 giugno: Is Wikipedia a reliable source for medical advice? Vale la pena leggerlo!

Aggiornamento del 18 giugno 2014: per chi fosse interessato, ho pubblicato un approfondimento “tecnico” riguardante l’analisi statistica effettuata nel lavoro di Hasty et al.

Annunci

5 pensieri su “#Wikipedia fa davvero male alla salute?

  1. E per giunta l’analisi statistica che gli autori dell’articolo originale fanno, è apparentemente approfondita, ma fondamentalmente errata; se ben capisco, confrontano i due revisori tra loro, e con un test per valutazioni prima-dopo…

    • L’articolosu JAOA è “lacunoso” e mancano molte informazioni utili per comprendere come è stata condotta l’analisi. Il test statistico utilizzato potrebbe essere pertinente: è un test che viene comunemente impiegato per dati “appaiati”, p.es. stessi soggetti valutati prima-dopo, oppure stessi campioni valutati con due differenti metodi analitici. Non è chiaro, però, come è stato applicato e su quali dati.

      • Mmmm.. appunto sul prima-dopo riflettevo: qual è qui il prima-dopo? E poi se guardi la tabella, vedi che i test sono stati fatti a gruppi di quattro, dove il fattore orizzontale è il reviewer, il fattore verticale è l’accordo con la peer-review. Mentre nel McNemar dovrebbero essere il prima e il dopo, rispettivamente. Nonsense. Ho provato a rifare i test, e ottengo le stesse probabilità. Inoltre sono trenta t-test, a tre a tre sugli stessi dati… Mah!

      • Ci sono molti aspetti non chiari. Il test di McNemar non può essere utilizzato con i dati riportati in tabella 3 (per come sono riportati nella tabella)…eppure sembrerebbe che sia stato fatto proprio così. :-\ Concordo, senza alcun senso… è proprio il caso di dire mah!

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...