By Michael W. Corrigan, EdD & Robert Whitaker , 2017 - traduzione a cura di Claudio Ajmone
Lancet Psychiatry , una rivista medica con sede nel Regno Unito, ha recentemente pubblicato uno studio intitolato Differenze di volume del cervello sottocorticale nei partecipanti con disturbo da deficit di attenzione e iperattività nei bambini e negli adulti: una mega-analisi trasversale. Secondo gli 82 autori del documento, lo studio fornisce prove definitive che gli individui con ADHD hanno cervelli alterati e più piccoli. Ma come rivela la seguente recensione dettagliata, lo studio non si avvicina a sostenere tali affermazioni.
Lo studio è afflitto da gravi carenze metodologiche, problemi di dati mancanti ed errori e omissioni di segnalazione statistica. La conclusione che gli individui con ADHD hanno cervelli più piccoli è contraddetta dai calcoli della "dimensione dell'effetto" che mostrano i volumi cerebrali individuali nell'ADHD e le coorti di controllo in gran parte sovrapposte. Gli autori hanno anche omesso di discutere il fatto che la coorte ADHD avesse punteggi di QI più alti. (Vedi l'aggiornamento dell'editore alla fine dell'articolo sui dati del QI.)
Nonostante questi passi falsi scientifici, lo studio ha fatto notizia in molti paesi del mondo. Yahoo News ha suggerito che lo studio stava "dimostrando la realtà" dell'ADHD. La Lancet Psychiatry dovrebbe immediatamente ritirare lo studio e i nuovi titoli dei media dovrebbero essere mandati in onda per informare i medici e i genitori dei veri risultati di questo studio, compresi i dati sul QI.
Le affermazioni e i titoli dello studio
Nello studio, Martine Hoogman e i suoi 81 coautori hanno condotto un'analisi secondaria dei dati delle scansioni MRI utilizzate per misurare i volumi del cervello in 1713 pazienti con diagnosi di ADHD e 1529 individui che non avevano questa diagnosi. Questi dati sono stati raccolti da 23 siti in tutto il mondo. Gli autori hanno scritto che il loro studio, "usando il più grande set di dati fino ad oggi", ha documentato che "i volumi di accumbens, amigdala, caudato, ippocampo, putamen e intracranico erano più piccoli negli individui con ADHD rispetto ai controlli" (p.1 ).
Ci sono molte affermazioni simili nel documento che suggeriscono che questo studio fornisce la prova che i volumi cerebrali più piccoli sono specifici per gli individui con una diagnosi di ADHD. Nella loro analisi, gli autori hanno anche affermato di aver studiato l'esposizione della coorte ADHD a farmaci stimolanti e di aver determinato che i farmaci non avevano alcun ruolo come possibile causa dei volumi più piccoli. "Noi . . . confutare gli effetti dei farmaci sul volume del cervello suggeriti da precedenti meta-analisi", hanno scritto (p. 1).
Questo è stato un ampio studio internazionale, finanziato dal National Institutes of Health. I loro risultati, hanno concluso gli autori, contenevano messaggi importanti per i medici: “I dati della nostra analisi ad alta potenza confermano che i pazienti con ADHD hanno un cervello alterato e quindi che l'ADHD è un disturbo del cervello. Questo messaggio è chiaro per i medici da trasmettere a genitori e pazienti, il che può aiutare a ridurre lo stigma che l'ADHD è solo un'etichetta per bambini difficili e causata da genitori incompetenti. Speriamo che questo lavoro contribuisca a una migliore comprensione dell'ADHD nel pubblico in generale” (p. 7).
I comunicati stampa inviati ai media riflettevano le conclusioni del giornale e i titoli riportati dai media, a loro volta, riassumevano accuratamente i comunicati stampa. Ecco un esempio di titoli:
Insieme, le affermazioni degli autori e i titoli dei media creano un potente messaggio pubblico. I genitori dei bambini così diagnosticati ora percepiranno che i loro figli hanno qualcosa che non va nel loro cervello. I bambini stessi capiranno che questo è vero e questa "conoscenza" definirà ulteriormente il loro senso di sé. Mentre Hoogman e colleghi hanno affermato che questa comprensione "ridurrà lo stigma dell'ADHD", è più probabile che sia vero il contrario. Aumenterà lo stigma, poiché informa il pubblico che il bambino con diagnosi di ADHD è anormale. Lo studio implica che i bambini con ADHD soffrono di un "cervello più piccolo" inferiore e che questo è vero per ogni bambino così diagnosticato.
Date le implicazioni delle affermazioni di questo studio, merita di essere analizzato attentamente. Lo studio supporta la conclusione che i bambini e gli adulti con ADHD hanno "cervelli alterati", come evidenziato da volumi più piccoli in diverse regioni del cervello? E gli autori hanno presentato dati che "confutano" in modo convincente studi precedenti che suggerivano che l'esposizione ai farmaci potrebbe essere una causa di volumi cerebrali più piccoli?
Per iniziare questa recensione, inizieremo con una scoperta sorprendente nascosta in un luogo insolito: l'appendice dello studio. Possiamo quindi immaginare come sarebbero potuti essere i titoli dei media se gli autori si fossero concentrati su questi dati.
Titolo alternativo: un ampio studio rileva che i bambini con ADHD hanno un QI più elevato!
Per scoprire questo risultato, devi spendere $ 31,50 per acquistare l'articolo, quindi fare una richiesta speciale a Lancet Psychiatry per inviarti l'appendice. Quindi scoprirai, alle pagine da 7 a 9 dell'appendice, una "Tabella 2" che fornisce i punteggi del QI sia per la coorte ADHD che per i controlli.
Sebbene ci fossero 23 siti clinici nello studio, solo 20 hanno riportato dati comparativi sul QI. In 16 dei 20, la coorte ADHD aveva in media un QI più alto rispetto al gruppo di controllo. Nelle altre quattro cliniche, i gruppi ADHD e di controllo avevano lo stesso QI medio (con i punteggi QI medi per entrambi i gruppi entro due punti l'uno dall'altro). Pertanto, in tutti e 20 i siti, il gruppo ADHD aveva un QI medio che era uguale o superiore al punteggio medio del QI per il gruppo di controllo.
Ora, il presupposto comune è che i bambini con ADHD, che soffrono di un "disturbo cerebrale", siano meno in grado di concentrarsi e concentrarsi a scuola, e quindi siano in qualche modo cognitivamente compromessi. Gli autori di questo studio hanno parlato di risultati che mostrano che l'ADHD è un disturbo del cervello. Ma se il punteggio medio del QI della coorte ADHD è superiore al punteggio medio per i controlli, non è necessario rivalutare questo presupposto di base? Se i partecipanti con ADHD hanno cervelli più piccoli che sono pieni di "strutture alterate", allora come mai sono intelligenti quanto, o addirittura più intelligenti, dei partecipanti al gruppo di controllo?
Gli autori, tuttavia, hanno scelto di seppellire i dati sul QI in un'appendice, che non è facilmente ottenibile. Anche dopo aver acquistato l’articolo, devi fare una richiesta speciale per ottenere l'appendice. Perché? E perché gli autori non hanno discusso i dati sul QI nel loro articolo o non li hanno utilizzati nelle loro analisi? Quando un'indagine scientifica porta a un risultato sorprendente che contraddice sostanzialmente l'affermazione principale dello studio, gli autori hanno il dovere, in termini di adesione ai valori etici che dovrebbero governare la scienza, a presentare quei risultati. Ma gli autori di questo studio non lo hanno fatto, e questa è una delle ragioni principali per cui lo studio deve essere ritirato.
In effetti, se i dati sul QI fossero stati promossi nell'abstract dello studio e ai media, il pubblico avrebbe ora una nuova discussione: è possibile che i bambini con diagnosi di ADHD siano più intelligenti della media? Forse stiamo drogando milioni di bambini brillanti perché sono più facilmente inclini alla noia e le scuole non forniscono loro ambienti di apprendimento stimolanti.
Gli autori affermano che il loro studio dovrebbe ridurre lo stigma dell'ADHD. Se fossero veramente interessati a ridurre lo stigma associato all'ADHD, riferire che i punteggi del QI dei bambini così diagnosticati erano uguali o superiori ai punteggi del QI per i controlli in tutti e 20 i siti lo avrebbero fatto.
Non hanno scoperto che i bambini con diagnosi di ADHD hanno volumi cerebrali più piccoli
Mentre la dichiarazione riassuntiva nello studio e il relativo comunicato stampa riportano risultati solidi e definitivi, che portano a titoli dei media che "Lo studio rileva che i cervelli dei malati di ADHD sono più piccoli", una revisione delle "dimensioni degli effetti" segnalate rivela che non hanno trovato tale cosa.
Quando il pubblico legge che uno studio ha dimostrato che i bambini con diagnosi di ADHD hanno volumi cerebrali più piccoli, la maggior parte delle persone assumerà naturalmente che questa sia una caratteristica che si trova in tutti i bambini così diagnosticati. Il presupposto è che i ricercatori debbano aver stabilito un volume "normale" (che sarebbe il volume cerebrale medio per un gruppo di controllo), e quindi aver determinato che la maggior parte, se non tutti, di quelli con diagnosi di ADHD hanno volumi cerebrali più piccoli rispetto alla norma.
Ma qui non era così.
In questo studio, gli autori hanno riunito i dati della scansione cerebrale MRI per i 3.242 partecipanti allo studio (che erano stati raccolti e archiviati nei 23 siti), e quindi hanno calcolato, per ciascuna coorte, i volumi intracranici medi e i volumi medi di cervello specifico regioni. Hanno riportato le differenze per ciascuno di questi confronti e la "dimensione dell'effetto" delle differenze. Questo è l'aspetto critico dei risultati da considerare e comprendere: le dimensioni degli effetti rivelano la vera forza dei risultati e quanta sovrapposizione c'è tra i singoli volumi cerebrali in entrambi i gruppi, e quindi stabiliscono la probabilità che un individuo nel gruppo ADHD abbia un volume cerebrale più piccolo di un individuo nel gruppo di controllo.
Ad esempio, gli autori hanno riportato una dimensione dell'effetto d di Cohen di .19 per le differenze nel volume medio di accumbens nei bambini sotto i 15 anni. Secondo gli autori, "l'accumbens, con il suo ruolo preminente nell'elaborazione della ricompensa, è fondamentale per la motivazione e disfunzione emotiva nei pazienti con ADHD” (p. 7). Le dimensioni dell'effetto d di Cohen vanno da zero a tre, quindi si ritiene che .19 rifletta un piccolo effetto. Eppure, in questo studio, per i giovani sotto i 15 anni, è stata la dimensione dell'effetto più grande di tutti i confronti del volume cerebrale che sono stati fatti. (Per saperne di più su cos'è una dimensione dell'effetto, accedi a questo articolo di Robert Coe: È la dimensione dell'effetto, stupido .) In particolare, su cosa significa questa dimensione dell'effetto di .19:
- Circa il 58% dei giovani ADHD in questo campione di convenienza aveva un volume accumbens inferiore alla media nel gruppo di controllo, mentre il 42% dei giovani ADHD aveva un volume accumbens superiorealla media nel gruppo di controllo.
- Inoltre, se conoscessi il volume accumbens di un bambino scelto a caso, avresti il 54% di possibilità di indovinare correttamente a quale delle due coorti - ADHD o controllo sano -apparteneva il bambino.
In breve, se lanciassi una moneta per indovinare a quale delle due coorti apparteneva il bambino, le tue probabilità di avere ragione sarebbero quasi le stesse. Il valore diagnostico di una risonanza magnetica cerebrale, sulla base dei risultati di questo studio, avrebbe di poco più valore predittivo del lancio di una moneta.
Ci sono modi per visualizzare la sovrapposizione di questi dati. Se tracciassi le misurazioni individuali di accumbens per tutti i 1.637 bambini di età inferiore ai 15 anni in questo studio e utilizzassi un punto rosso per contrassegnare i partecipanti con ADHD e un punto nero per contrassegnare i controlli, vedresti un miscuglio di punti rossi e neri. Ci sarebbe una percentuale leggermente più alta di punti rossi situati nella metà inferiore della scala e una percentuale leggermente più alta di punti neri nella metà superiore, ma potresti immediatamente vedere, dal miscuglio di punti, che "il piccolo volume del cervello ”non era una caratteristica distintiva degli individuiall'interno della coorte ADHD.
I volumi cerebrali individuali variavano notevolmente, e questo era vero per entrambe le coorti, e tutti i dati raccolti mostravano che c'era una possibilità leggermente maggiore che ogni singolo bambino con diagnosi di ADHD, rispetto a un bambino nella coorte di controllo, avesse una misurazione accumbens che è stata tracciata nella metà di volume inferiore del grafico. In effetti, se tracciassi una curva di distribuzione che tracciasse i singoli punteggi accumbens per i due gruppi, le due curve sarebbero solo leggermente sfalsate. Arrotondando la dimensione dell'effetto .19 fino a .2 a scopo illustrativo, puoi vedere che c'è una sovrapposizione del 92% tra le due curve.
Le dimensioni dell'effetto per gli altri sette confronti del volume cerebrale effettuati nei bambini di età inferiore ai 15 anni variavano da .01 a .18. Tutte le dimensioni dell'effetto erano piuttosto piccole. E con questa comprensione di ciò che le dimensioni dell'effetto rivelano, è facile vedere che i risultati, così come presentati nello studio e nei media, sono completamente fuorvianti. Gli autori hanno fatto sembrare che un bambino a cui è stato diagnosticato l'ADHD abbia un volume cerebrale più piccolo e che questa sia la caratteristica distintiva del disturbo, quando, in effetti, gli autori hanno scoperto che i volumi cerebrali individuali per i due gruppi in gran parte sovrapposti .
Con una dimensione dell'effetto d di Cohen di 0,1, come nel caso dei confronti del volume cerebrale del palladio nei bambini di età pari o inferiore a 15 anni, ci sarebbe una sovrapposizione del 96% tra i due gruppi.
Ora torniamo alla dichiarazione fatta da Hoogman e colleghi secondo cui il loro studio ha mostrato che i volumi del cervello sono "più piccoli negli individui con ADHD rispetto ai controlli". La Cohen d dimensioni effetto di una tale constatazione sarebbe 3, perché è una che implica dichiarazione che tutti quelli con ADHD hanno volumi inferiore al volume media dei controlli. In questo caso ci sarebbe solo una sovrapposizione del 13% tra le curve di distribuzione dei due gruppi.
L'errore scientifico nello studio è questo: non è possibile prendere dati che parlano di una differenza media nei volumi del cervello aggregato di piccole dimensioni e generalizzare tale differenza agli individui della coorte ADHD e presentarla, come Hoogman e i collaboratori lo hanno fatto, come caratteristica distintiva dell'ADHD.
L'effetto del farmaco
Come notato sopra, i risultati degli autori mostrano che c'erano piccole differenze nei volumi medi del cervello per i bambini con ADHD e il gruppo di controllo. Precedenti studi avevano suggerito che i farmaci per l'ADHD potevano ridurre i volumi del cervello, e quindi Hoogman e collaboratori hanno valutato se le piccole differenze nei volumi medi del cervello potessero essere dovute all'esposizione a tali psicostimolanti.
Per fare ciò, hanno confrontato i volumi medi del cervello di due gruppi nella coorte ADHD: 82 che hanno affermato di non aver mai usato farmaci stimolanti (naïve ai farmaci) e 637 che hanno affermato di "aver usato farmaci stimolanti da qualche parte nella loro vita per un periodo di più di quattro settimane” (esposizione a farmaci). Gli autori hanno riferito che non c'erano "differenze in nessuno dei volumi" tra i gruppi naïve ai farmaci e quelli esposti ai farmaci, e quindi hanno concluso che il loro studio "confutava" gli studi precedenti. (pag. 5)
Ma c'erano notevoli carenze nella loro esecuzione e nel resoconto di questa analisi. Nello specifico:
- Non hanno pubblicato i dati del volume medio per i due gruppi. Hanno semplicemente dichiarato che i volumi erano gli stessi.
- Non hanno riportato quanti dei pazienti naïve e ai quali erano stati esposti erano bambini e quanti erano adulti. Dato che era principalmente nei bambini di età inferiore ai 15 anni che c'erano differenze "statisticamente significative" nei volumi medi del cervello tra l'ADHD e i controlli, il loro sforzo per verificare se l'esposizione ai farmaci fosse un fattore in tali differenze avrebbe dovuto isolare l'uso di farmaci in quel gruppo di età .
- Non hanno fornito alcuna informazione relativa al dosaggio per il gruppo esposto ai farmaci, o informazioni su quanto tempo hanno assunto i farmaci. Se un trentenne avesse preso uno stimolante per quattro settimane da bambino, ci si poteva davvero aspettare che avesse un effetto a lungo termine sul volume del cervello? E più precisamente: c'erano differenze di volume tra i bambini "ADHD" che avevano assunto droghe per diversi anni e i bambini della coorte ADHD che non li avevano mai usati? Questo è il tipo di confronto che doveva essere fatto.
- C'è un gruppo mancante di pazienti in questo confronto. Ad un certo punto del loro articolo, gli autori hanno affermato di avere informazioni sull'uso di farmaci per 1254 dei 1713 partecipanti al gruppo ADHD. Eppure il loro confronto ha coinvolto solo 719 pazienti (82 più 637). Perché hanno escluso 545 pazienti (1254 meno 719) da questo confronto? [Vedi la nota a piè di pagina per una possibile spiegazione per questo.]
Senza dati più completi presentati e tali domande relative ai dati mancanti hanno risposto nelle sezioni metodi o risultati, non c'è modo di valutare se questo studio fornisce una "confutazione" delle preoccupazioni che i farmaci per l'ADHD possono ridurre i volumi del cervello nel tempo. Ci viene semplicemente chiesto di credere alla parola degli autori, e questo non è un esempio di come si convalida una scoperta scientifica per una questione controversa.
Anche i dati dei singoli siti smentiscono la conclusione dichiarata
Gli autori hanno riferito che "i volumi di accumbens, amigdala, caudato, ippocampo, putamen e intracranico erano più piccoli negli individui con ADHD rispetto ai controlli nella mega-analisi" (p. 1). Se questo è vero, i volumi cerebrali più piccoli dovrebbero apparire nei dati della maggior parte, se non di tutti, dei 21 siti che avevano un gruppo di controllo. Ma non è questo il caso.
Di seguito sono riportati i riepiloghi dei risultati dei singoli siti:
- Volumi accumbens medi: in4 siti, il volume per la coorte ADHD era maggiore di quello del controllo e in altri 6 siti, i volumi medi erano sostanzialmente della stessa dimensione.
- Volumi medi dell'amigdala: in 5 siti, il volume medio per la coorte ADHD era maggiore rispetto ai controlli e di uguale dimensione in altri 4.
- Volumi caudato medi: in5 siti, il volume medio per la coorte ADHD era maggiore rispetto ai controlli e di uguale dimensione in altri 2
- Volumi medi dell'ippocampo: in7 siti, il volume per la coorte ADHD era maggiore rispetto ai controlli e di uguale dimensione in altri 4.
- Volumi medi del putamen: in5 siti, il volume per la coorte ADHD era maggiore rispetto ai controlli e di uguale dimensione in 1 altro.
- Volumi intracranici medi: in5 siti, il volume per la coorte ADHD era maggiore rispetto ai controlli.
Il problema qui è ovvio. Se gli autori affermano che le regioni cerebrali più piccole sono una "anomalia" che definisce l'ADHD, allora tali differenze dovrebbero essere costantemente riscontrate nei volumi medi delle coorti ADHD in tutti i siti. Il fatto che ci fosse una tale variazione nei dati del volume medio è un motivo in più per vedere le conclusioni degli autori - che volumi cerebrali più piccoli sono una caratteristica distintiva dell'ADHD - come non supportato dai dati.
Immaginiamo infatti se ciascuno dei 21 siti (quelli con un gruppo di controllo) avesse pubblicato i propri dati in modo indipendente. La letteratura scientifica si sarebbe quindi riempita di un bagaglio decisamente misto di risultati. Alcuni siti avevano scoperto che i volumi medi per una particolare regione del cervello erano più grandi nelle coorti con ADHD, altri non avevano trovato differenze e altri ancora avevano trovato che le stesse regioni erano più piccole nelle coorti con ADHD. Nessuno guarderebbe risultati così sconcertanti e concluderebbe che questa letteratura ha confermato che i bambini con diagnosi di ADHD avevano "cervelli alterati" caratterizzati da volumi più piccoli in varie regioni del cervello.
Ma ancora una volta, questo rivela la scienza imperfetta - si potrebbe dire una scienza assurda - presente in questa "mega-analisi". Gli autori hanno utilizzato dati aggregati che hanno ignorato i risultati contrastanti nei singoli siti, eppure si presume che questi risultati aggregati siano rappresentativi di tutti i pazienti con ADHD nello studio. Ad esempio, gli autori riportano che la regione accumbens è più piccola nei pazienti con ADHD, quando in 10 su 21 siti, i volumi medi dei pazienti con ADHD erano gli stessi dei controlli o maggiori. Le coorti di ADHD in quei 10 siti non si adattano affatto alla scoperta "aggregata", eppure gli autori scrivono ancora che "gli individui con ADHD rispetto ai controlli" hanno accumbens più piccoli.
Lo studio è pieno di difetti scientifici
La diagnosi e l'assegnazione al problema di coorte
Per questo studio, viene spiegato e compreso che esiste un gruppo che ha l'ADHD e un gruppo di controllo che non lo ha. Ma dato che non esiste un marker biologico che possa essere utilizzato per fare questa diagnosi, come è stata fatta questa distinzione?
La sezione sui metodi nel documento pubblicato non fornisce alcuna informazione su questa domanda critica. Invece, gli autori scrivono semplicemente che "le procedure diagnostiche per ogni sito sono elencate in appendice" (p. 3). Quindi vai di nuovo alla Tabella 2 nell'appendice e scopri che non esisteva alcun metodo diagnostico standardizzato applicato in tutti i siti. Invece, questa distinzione critica - ADHD contro nessun ADHD - è stata fatta in modo casuale.
Innanzitutto, due dei 23 siti non avevano nemmeno un gruppo di controllo. Quindi è difficile capire perché le misurazioni dell'ADHD di questi due siti siano state incluse nei dati aggregati.
In secondo luogo, sembra che nessuno dei partecipanti ai gruppi di controllo nei restanti 21 siti abbia ricevuto una valutazione diagnostica per l'ADHD. Non è stato riportato alcun punteggio dei sintomi dell'ADHD per i controlli. I partecipanti etichettati come "controlli sani" - e quindi visti come non affetti da ADHD - apparentemente non sono mai stati testati per vedere se mostravano i comportamenti associati a questa diagnosi.
In terzo luogo, gli autori non hanno testato quasi un migliaio dei partecipanti alla coorte di controllo per determinare se fossero "sani". Hanno elencato 867 nella coorte di controllo come sconosciuti relativi a problemi di comorbilità come depressione, ansia e abuso di sostanze. Senza tali test, non sembrerebbe che questo gruppo "non ADHD" possa essere descritto come "controlli sani".
Esistono, infatti, informazioni molto limitate sui controlli. Perché questi individui avrebbero accettato di partecipare a questo studio? Sono stati reclutati tramite annunci che promettevano loro il pagamento? O erano pazienti delle cliniche che stavano facendo una risonanza magnetica per altri motivi medici? In appendice, gli autori hanno affermato che a 30 controlli è stata diagnosticata la depressione, 11 con ansia e 39 con disturbi da uso di sostanze. Ma con così poche informazioni complete fornite, è impossibile sapere quanto sia rappresentativo di "controlli sani" questo gruppo.
In quarto luogo, in sette dei 23 siti, non ci sono punteggi dei sintomi dell'ADHD elencati per la coorte dell'ADHD. Si può solo immaginare come sia stata fatta la diagnosi in quei siti. Gli autori avevano le registrazioni dei medici dei partecipanti? O si sono affidati all'autodiagnosi o all'autodichiarazione dei partecipanti di avere l'ADHD? Non c'è modo di saperlo.
In quinto luogo, anche quando sono stati riportati i punteggi di gravità dei sintomi, non vi era alcuna standardizzazione dello "strumento" utilizzato per valutare i sintomi o del sistema di classificazione utilizzato per fare la diagnosi (DSM IV o ICD 10). In altre parole, gli autori di una clinica in Brasile avrebbero potuto avere uno standard per la diagnosi dell'ADHD, e gli autori in Cina un secondo standard, e gli autori nel Regno Unito un terzo, e così via.
Tuttavia, nonostante questa mancanza di rigore diagnostico e metodologico, gli autori hanno comunque affermato che "le differenze cerebrali che abbiamo riportato non sono causate da disturbi in comorbidità, effetti dei farmaci o gravità dei sintomi dell'ADHD, ma sono esclusivamente correlate alla diagnosi di ADHD" (p. 7). Questa è una conclusione sconcertante da trarre, dato che una grande percentuale dei partecipanti non è stata testata per i disturbi in comorbidità, o per la gravità dei sintomi dell'ADHD o, nel caso dei controlli, anche per l'ADHD.
Il fatto che la gravità dei sintomi non mostrasse alcuna relazione con le differenze di volume del cervello ha anche presentato agli autori un ovvio enigma. In 16 siti, hanno teoricamente utilizzato la gravità dei sintomi per assegnare i partecipanti alla coorte ADHD e, se la coorte ADHD aveva volumi cerebrali più piccoli rispetto ai controlli, allora la gravità dei sintomi dovrebbe essere apparentemente collegata anche a volumi cerebrali più piccoli. Ma non è questo il caso. La spiegazione degli autori per questo risultato di confusione è piuttosto rivelatrice: "La mancata individuazione degli effetti dei punteggi dei sintomi potrebbe anche essere dovuta all'eterogeneità degli strumenti [diversi] utilizzati per le diverse coorti nel nostro studio o alla differenza nei valutatori (cioè medici, insegnanti e genitori)” (p. 8).
In altre parole, hanno spiegato questo risultato sconcertante suggerendo che i test utilizzati per valutare i sintomi dell'ADHD nei vari siti erano troppo diversi per fornire risultati significativi. Hanno anche suggerito che le diagnosi di ADHD sono state spesso fatte da adulti non qualificati, ad esempio genitori e insegnanti, che non hanno esperienza nell'uso del DSM o nel fare una diagnosi di ADHD (e non hanno nemmeno l'autorità legale per farlo).
Tuttavia, come ben sanno gli statistici, esiste un modo semplice per standardizzare i dati quando i test o le misurazioni dei dati sono diversi (come la mancanza di standardizzazione nella diagnosi dell'ADHD, come è avvenuto qui). Nell'analisi di regressione, questo è chiamato "centramento" e si ottiene facilmente convertendo i diversi dati in punteggi z. Ma gli autori di questo studio non hanno standardizzato i dati, anche se questa mancanza di standardizzazione potrebbe aver ostacolato i loro risultati.
Il problema dell'affidabilità della risonanza magnetica
C'è un senso geniale nelle scansioni MRI che porta a pensare che le misurazioni del volume cerebrale effettuate con questa tecnologia debbano essere molto precise. Il presupposto è che questa moderna tecnologia permetta agli autori di vedere nel cervello e distinguere con grande chiarezza una regione cerebrale da un'altra. Ma non era così in questo studio.
La prima preoccupazione in uno studio di risonanza magnetica multi-sito è che possono essere utilizzate diverse macchine per la risonanza magnetica, con diversi poteri di imaging, il che molto probabilmente era vero in questo studio. La seconda preoccupazione è che la soglia, il colore, il contrasto e le ordinate che un tecnico sceglie di utilizzare per una risonanza magnetica possono variare notevolmente da un sito all'altro. Le macchine utilizzate per visualizzare il cervello e misurare i volumi del cervello potrebbero non essere standardizzate per misurare la stessa cosa in modo coerente da un luogo all'altro .
In genere, per tenere conto di tali variazioni da sito a sito nelle misurazioni MRI, gli autori devono apportare modifiche che "normalizzino" i risultati. In questo studio, gli autori hanno riferito che "i dati per tutti i siti sono stati recentemente analizzati con metodi armonizzati". Tuttavia, la loro "armonizzazione" dei dati è consistita nel semplice controllo della versione del software utilizzata dalle macchine, che non tiene conto delle differenze nelle impostazioni di soglia, colore, contrasto e ordinate in ciascun sito.
Un rapido confronto dei risultati dei volumi in diversi siti rivela quanto fossero imprecisi i metodi di misurazione, anche dopo questo sforzo di armonizzazione. Ad esempio, presso la clinica ADHD-WUE di Wurzburg, in Germania, il volume cerebrale medio per la regione accumbens, per le due coorti insieme, era di 455,6 mm 3 . Nel frattempo, per la stessa regione del cervello presso la clinica MGH-ADHD di New York City, la media era di 814,8 mm 3 per le due coorti insieme. Questo era così anche se gli autori avevano aggiustato questi risultati per "età e sesso". Dobbiamo presumere che la regione accumbens nei bambini e negli adulti a New York sia del 55% più grande della stessa regione per bambini e adulti in Germania, o concludere che le misurazioni dei volumi del cervello in questo studio erano notevolmente imprecise.
Questo non era un problema isolato dalle misurazioni accumbens. La tabella 4 in appendice fornisce un resoconto dettagliato delle molte grandi variazioni nelle misurazioni del volume cerebrale nei 23 siti. In una clinica per ADHD a Londra, il volume cerebrale medio per l'amigdala era 1284,1 mm 3 . In una clinica di Dubai era di 1824,1 mm 3 . Le misurazioni sembrano essere molto esatte, con volumi riportati a un decimo di mm 3 , eppure la differenza lorda tra i volumi medi presso le cliniche per l'ADHD a Londra e Dubai è di ben 540 mm 3 .
Ma se le scansioni MRI non hanno prodotto misurazioni coerenti nei 23 siti, come possono tali misurazioni essere ritenute affidabili e, cosa più importante, valide? E con differenze così grandi nelle misurazioni del volume tra i siti, come possono gli autori affermare di aver trovato differenze significative nelle medie dei volumi aggregati delle due coorti, quando tali differenze medie erano così piccole?
Infatti, proprio come gli autori hanno riconosciuto la mancanza di standardizzazione nella diagnosi, hanno anche riconosciuto che "l'acquisizione di dati di imaging . . . differivano tra i siti, una limitazione che contribuisce all'eterogeneità tra i campioni” (p. 8). Di nuovo, si tratta di carenze metodologiche che dovrebbero portare i ricercatori ad astenersi dal fare affermazioni definitive di prova.
E ci sono ancora altri problemi
Ci sono molti altri problemi scientifici con questo studio che potrebbero essere identificati. Ma per mantenere questa critica di ragionevole durata, eccone solo alcune altre.
(1) Errori: in diversi casi, le statistiche non sembrano essere state riportate correttamente. Ad esempio, nella Tabella 3, che descrive in dettaglio le dimensioni dell'effetto d di Cohen piccole ma in qualche modo "robuste" per i giovani di età inferiore ai 15 anni, la differenza nei volumi medi accumbens del cervello per la coorte ADHD e i controlli è dichiarata significativa per la diagnosi con p = . 0001 e con un d . di Cohen dimensione dell'effetto di -.19. Tuttavia, l'intervallo di confidenza (CI) per la dimensione dell'effetto va da -.29 a .10. Se un risultato è significativo, il suo intervallo di confidenza di solito non attraversa lo zero passando da un numero negativo a un numero positivo. Ciò segnala un'incertezza sul fatto che il volume medio della regione accumbens sia più piccolo (numero negativo per la dimensione dell'effetto) o maggiore nella coorte ADHD (numero positivo per la dimensione dell'effetto). Inoltre, ci sono numerosi errori all'interno dell'appendice. Questi errori erano dovuti a errori di battitura, incomprensioni dei risultati o, peggio, risultati imprecisi riportati?
(2) Dati mancanti: come abbiamo discusso sopra, ci sono molti casi di dati mancanti: punteggi di gravità dei sintomi dell'ADHD mancanti in alcuni siti, nessun controllo in due siti, nessuna informazione sulle informazioni sulla comorbilità per quasi 1000 partecipanti alla coorte di controllo, e così via. I libri di testo mettono regolarmente in guardia su come tali dati mancanti possono portare a un'interpretazione errata dei risultati e a risultati imprecisi. Eppure sembrerebbe che il loro set di dati non sia stato pulito in modo appropriato per nessuna delle analisi che hanno eseguito.
(3) Omissioni: gli autori hanno dichiarato di aver eseguito più di 10 analisi per giungere alle conclusioni che hanno fatto. Ma nello studio pubblicato, presentano risultati limitati da meno di un terzo delle analisi. Senza i risultati di ciascuna analisi, non è possibile controllare completamente l'accuratezza dei risultati. Di solito, nel processo di revisione tra pari, tali omissioni sarebbero identificate e gli autori sarebbero indirizzati a fornire i dati che consentirebbero ai lettori di verificare e comprendere meglio i risultati dichiarati. Ciò non è accaduto in questo studio.
(4) Presupposti non soddisfatti: esistono più presupposti richiesti che devono essere soddisfatti affinché un ricercatore possa eseguire analisi inferenziali specifiche, come l'analisi di regressione che gli autori di questo studio affermano di aver eseguito. Per un'analisi di regressione, sono necessarie procedure di campionamento casuale, distribuzione normale del campione e verifica dell'affidabilità e della validità delle misurazioni al fine di garantire che i risultati non vengano interpretati erroneamente. Sembrerebbe che gli autori non abbiano soddisfatto nessuna delle ipotesi richieste necessarie per eseguire nessuna delle analisi 10-plus. Questo è un punto molto critico da considerare.
Ad esempio, l'affidabilità rappresenta una misura della coerenza con cui una valutazione misura la stessa cosa più e più volte. La ricerca documenta che meno affidabili sono le tue misurazioni, più è probabile che i risultati statistici del tuo studio vengano gonfiati. Questo può portare a quello che viene chiamato errore di tipo I, quando i tuoi risultati sembrano essere significativi ma in realtà non lo sono. Data la mancanza di affidabilità per la valutazione del volume cerebrale e dell'ADHD in questo studio, i risultati sono stati molto probabilmente gonfiati e riportati in modo impreciso. E dato che una valutazione non può essere valida se non è anche affidabile, allora gli autori non possono affermare con sicurezza di aver effettivamente misurato ciò che hanno affermato di aver misurato.
(5) Campione di convenienza non casuale: come accennato in precedenza, in un'analisi che cerca di fare affermazioni generalizzabili di "fatti" come fa questo studio, i partecipanti dovrebbero provenire da un "campionamento casuale" di una popolazione più ampia. Ad esempio, se metti i nomi di 250 pazienti con la stessa diagnosi in un cappello e disegnavi 25 nomi per lo studio, potresti dire di avere un campione rappresentativo della più ampia popolazione studiata. Questo "campionamento" consente ai ricercatori di sentirsi più a proprio agio nel generalizzare i loro risultati alla popolazione più ampia.
Ma non c'era alcun campionamento casuale in questo studio. Invece, i set di dati che sono stati raggruppati potrebbero essere meglio descritti come una raccolta di campioni di "convenienza". Un campione di convenienza rappresenta fondamentalmente un gruppo di persone facili da trovare, invece di essere rappresentativo del gruppo più ampio. Questo set di dati è costituito da scansioni MRI di individui che erano convenientemente clienti che avevano autorizzato l'utilizzo delle loro valutazioni nella ricerca o che, per qualche motivo sconosciuto, hanno accettato di partecipare allo studio.
Ci sono altri errori e omissioni di segnalazione statistica che potrebbero essere evidenziati. Ma basti dire che le carenze scientifiche di questo studio sono molte: un occultamento dei dati del QI; piccole dimensioni degli effetti che smentiscono qualsiasi scoperta che il piccolo volume del cervello sia una caratteristica distintiva dell'ADHD; una mancanza di dati presentati riguardo alla confusione dell'esposizione ai farmaci; nessuna coerenza dei risultati del volume medio tra i siti; nessun metodo standard per la valutazione diagnostica; strumenti di misurazione inaffidabili; nessun campionamento rappresentativo dei pazienti; e una notevole mancanza di informazioni sui casi e sui controlli.
Lancet Psychiatry: fai la cosa giusta
I media hanno riservato a questo studio una grande attenzione. Hanno presentato questo studio, scritto da un gruppo di autori che includeva molti che avevano stretti legami con aziende farmaceutiche che vendono farmaci per l'ADHD, come prova che l'ADHD è un disturbo del cervello e che i bambini così diagnosticati hanno cervelli più piccoli. Ma non è stata colpa dei media. I giornalisti stavano sostanzialmente ripetendo ciò che Lancet Psychiatry ha promosso ai media e ciò che gli autori hanno scritto nelle sezioni abstract e sommario del loro articolo pubblicato. I loro dati, hanno scritto gli autori, hanno confermato che i pazienti “con ADHD hanno un cervello alterato; quindi l'ADHD è un disturbo del cervello”.
Ma, come rivelano i risultati della dimensione dell'effetto, ciò non è vero. Le curve di distribuzione dei singoli volumi cerebrali nelle due coorti per lo più si sono sovrapposte (e ciò non tiene nemmeno conto dei molti problemi scientifici che forniscono motivo per mettere in dubbio la validità anche delle piccole differenze nei volumi medi che sono state riportate). In quanto tale, è gravemente fuorviante per gli autori presentare i loro risultati come prova definitiva che i singoli bambini con ADHD hanno cervelli più piccoli o soffrono di "cervelli alterati".
C'è anche questa domanda inquietante: perché gli autori hanno nascosto la scoperta che i giovani con ADHD avevano punteggi QI più alti in 16 dei 20 siti? Nascondere questa scoperta è, a suo modo, tanto eclatante quanto fingere che i dati del volume medio aggregato, con le sue piccole dimensioni dell'effetto, abbiano mostrato che gli individui con diagnosi di ADHD hanno un cervello più piccolo.
La pubblicazione di questo studio, con il suo messaggio di fondo che i bambini con ADHD hanno cervelli più piccoli, rende un grande disservizio a quei bambini e ai loro genitori, e in definitiva a tutta la società. In sostanza racconta una bugia, avvolta nella garza della scienza, su quei bambini. La Lancet Psychiatry deve ritirare questo studio e informare i media che è stato fatto.
Se sei d'accordo, firma la nostra petizione su change.org.
- Una possibile ragione per l'esclusione dei 545 pazienti, nell'indagine dei ricercatori se la piccola differenza nei volumi medi del cervello fosse dovuta al farmaco, è che il software di analisi che hanno usato ha eliminato tutti i dati per i partecipanti con dati mancanti relativi all’uso di stimolante. Se è così, i dati mancanti qui sono un segno che gli autori non hanno pulito adeguatamente il loro set di dati per tenere conto di questo problema in primo luogo. La mancata contabilizzazione dei dati mancanti aumenta notevolmente la possibilità di ciò che è noto come errore di tipo IInella segnalazione dei risultati. In altre parole, a causa della mancanza di dati che indebolivano l'analisi, avrebbero potuto presumere che gli stimolanti non mostrassero effetti significativi sulla dimensione del volume del cervello quando in realtà lo facevano i farmaci.
Aggiornamento del 24/04/2017: l'autore principale Martine Hoogman ha affermato che i punteggi del QI nell'articolo pubblicato erano errati, con questo errore da correggere in un Erratum pubblicato a maggio. La correzione dichiarerà che i punteggi del QI per l'ADHD e i controlli sono stati scambiati per errore nell'appendice e che i controlli in effetti avevano i punteggi del QI più alti.
Aggiornamento del 29/04/2017: Niall Boyce, redattore di Lancet Psychiatry , ha dichiarato a MIA che il giornale non ritirerà questo articolo.
Aggiornamento del 5/8/2017: Lancet Psychiatry ha pubblicato lettere che criticano l'articolo, la risposta degli autori e una correzione.
