Researchers loads PCR samples

Metà della scienza è falsa. Davvero?

in Scienza di

Gira da qualche tempo, sui vari siti di “controinformazione”, una sentenza che vuole scoraggiare la fiducia nella ricerca (specificatamente, quella biomedica): “metà della scienza è falsa”.

Detta così, è un macigno. Seguendo la logica dell’uomo comune, una cosa su due detto dalla scienza medica è falsa. Come fare a capire quindi cosa lo sia e cosa non lo sia, come orientarsi nel mare magnum di ricerche, notizie più o meno paurose, timori fondati, principi di precauzione e benefici del dubbio?

Come spesso accade in queste situazioni, il diavolo si nasconde nei dettagli. E quando dico “diavolo” intendo “propinatore di verità alternative basate su un’analisi approssimativa quando non volutamente farlocca”. Fuffari, pallonari, chiamateli come volete.

Andiamo un attimo a fare analisi del testo (sì, più o meno l’analisi che si faceva alle elementari), così da capire di cosa stiamo parlando. Utilizziamo la formulazione più diffusa: “metà della letteratura medica è falsa”.

controverso-magazine-scienzafalsa1

“Metà” è una misura dello stesso valore di “quanto basta”, “un pizzico” e “il giusto”, e viene regolata dalla spannometria, scienza statistica molto seguita dagli studiosi laureati alla Youtube University con Master in Ricerca Google. Metà di cosa? La letteratura medica non è un magma di informazioni slegate tra loro, in cui si possa accettarne o verificarne una senza che vi siano conseguenze sulle altre. Bisogna capire di cosa si vuole indicare “la metà”: se degli assunti fondamentali (e sarebbe molto grave) o se degli studi a corollario di una teoria. La struttura reticolare della conoscenza biomedica non può essere ignorata, mentre questo valore “un tanto al chilo” sembra essere disinteressato (o, ancor peggio, ignorare) tale natura.

Passando avanti, arriviamo a “falsa”. Parola chiave della proposizione, è utilissima per indirizzare il pensiero. Chi crederebbe mai ad una cosa falsa? Qui si posa la mina antiuomo, attenti a non metterci sopra il piede. Sapendo che “falsa” è il contrario di “vera”, istintivamente la nostra lettura è sbilanciata dal gioco del bicchiere mezzo vuoto o mezzo pieno: visti i toni della sentenza, quando leggiamo “falsa” pensiamo a ricerche e teorie che affermano esattamente il contrario della realtà delle cose: ci dicono che i vaccini non causano autismo (esempio preso a caso), ma se questo sta nella metà falsa?

Anche gli amici di BUTAC – Bufale un tanto al chilo ne hanno parlato, io insieme a voi  voglio riflettere su come è nata questa credenza.

L’11 Aprile 2015 Richard Horton, editor-in-chief (caporedattore) del Lancet, autorevole rivista medica inglese, presenta un editoriale dal titolo “Offline: What is medicine’s 5 sigma?”, in cui si esordisce con una certa cautela:“A lot of what is published is incorrect”. Questo articolo si rifà ad un paper del 2005, ad opera di John P.A. Ioannidis, professore alla Stanford University: “Why Most Published Research Findings Are False”.

Nei giorni scorsi Big Think, sito e contenitore di notizie, ha preso in mano la questione, analizzando sia le parole di Horton che il paper di Ioannidis. Il buon JDM, nel suo quarto d’ora d’aria, mi ha tradotto l’articolo di Big Think, in modo che potessi analizzarlo.

Horton, ed ancor prima di lui Ioannidis, individuano cinque punti critici che spingono a considerare non corrette una notevole parte delle ricerche.

  1. Le piccole dimensioni dei campioni
  2. Gli effetti minimali
  3. Le analisi non valide
  4. I conflitti di interesse
  5. L’ossessione della moda
  1. Quando all’Università studiai Statistica Psicometrica (primo indimenticabile esame, 18 sudatissimo), ciò che mi rimase impresso fu una frase (su tutto un esame, vedete voi): “i campioni iniziano a diventare statisticamente rilevanti oltre il numero di 36”. Ora, per fare ricerca medica si può pensare “che ci vuole a trovare una quarantina abbondante di soggetti?”. Magari fosse così facile: non puoi certo prendere per la strada il primo centinaio di passanti e sottoporli alla sperimentazione, altrimenti avrai dei campioni totalmente casuali ma non per questo sovrapponibili alla popolazione che vuoi studiare. Devi essere certo che non presentino condizioni che invalidino i test, e con questo si intendono patologie sottostanti, esami clinici fuori dalla norma e via dicendo. Infine ci sono certi studi (come ad esempio sulle malattie rare) in cui è oggettivamente difficile trovare un numero di soggetti minimo. Insomma, la scienza a volte deve aiutarsi con quello che ha. Ciò non toglie che studi con campioni ristretti possano dare indicazioni interessanti, magari da vagliare investendo in ricerche a più ampio respiro, e di per sé non li rende studi “sbagliati”, ma necessitanti di integrazione ed ampliamento atti a confermarli o smentirli.
  2. La scienza è fatta di effetti minimali, e qui siamo d’accordo: osservare piccole variazioni ha una profonda importanza quando queste sono sintomatiche di altre modificazioni, “indizi” che chi fa ricerca non può ignorare. Purtroppo non si può negare la tendenza a cercare di rendere significativi risultati che potrebbero non esserlo, anche per dare valore al proprio studio. Bisogna però comprendere quanto sia realmente fraudolento e quanto invece dipenda da errori di valutazione.
  3. Ottenere i dati grezzi di un esperimento è cosa relativamente semplice: svolgi il test e raccogli i risultati. Purtroppo nella maggior parte dei casi tali risultati non sono altro che numeri (spesso si parla di MOLTI numeri), e necessitano un’analisi per essere tradotti in prove a supporto o smentita di un impianto teorico. I passaggi di analisi necessitano di adottare delle misurazioni, affinché i dati grezzi abbiano un senso all’interno delle scale di valori (questo è molto sentito negli studi di psicologia, dove infatti le scale hanno una importante trattazione), e non è da escludere che in determinati casi vi possano essere degli errori di scala o, piuttosto, si scelga una determinata lettura affinché i valori rientrino nei parametri auspicati per validare la tesi. L’articolo indica come esemplificativo il caso dello studio di Bohannon sul cioccolato che fa perdere peso mostrando come l’uso di determinate misure in favore di altre avrebbero supportato la sua tesi.
  4. Questo punto mi ha sempre lasciato perplesso. Ora, posso comprendere la questione degli studi sul tabacco finanziati dalle produttrici di sigarette, ma si parla di tempi in cui non vi erano organismi di controllo esterni e la peer review non era frequente come oggi. Inoltre è un’affermazione molto generale e, se vogliamo, un filo complottista: può certamente accadere che una ricerca sia “indirizzata” da chi la finanzia ma, nei panni di un ricercatore, lo farei? Personalmente no, conoscendo l’esistenza delle revisioni, la necessità di riproduzione dell’esperimento ed il rischio di ritiro del paper: tanto lavoro per nulla, o addirittura per rischiare uno stigma da parte della comunità scientifica. Intendiamoci, sono rischi che qualcuno è disposto a correre pur di guadagnare qualcosa in più (Wakefield, inventore della falsa correlazione tra vaccini e autismo, era uno di questi): semplicemente non credo vi sia un numero così esagerato di disonesti.
  5. Questo è un effetto che comunemente si chiama “battere il ferro finché è caldo”, cioè sviluppare ricerche su temi che interessano maggiormente l’opinione pubblica. Ioannidis lo chiamò “fenomeno Proteo” (divinità greca capace di cambiare aspetto) e descrive il tentativo, una volta individuato un trend di ricerca, di produrre risultati che possano “far saltare il banco” in modo da mettersi in evidenza. Collegato a questo vi è il fenomeno della “maledizione del vincitore”, cioè la sovrastima dei risultati raggiunti per renderli più appetibili da riviste e pubblico.


Researchers loads PCR samples

C’è tanto da dire in definitiva, gli articoli prendono in considerazione molti problemi ma ne lasciano fuori altrettanti. Di positivo c’è che la scienza si auto-corregge, ha la capacità di analizzare sé stessa e metter da parte gli errori. Personalmente ritengo un’iperbole (ad esser buoni) il parlare di uno studio su due falso, più facilmente si può dire che vari studi possono soffrire di bias che li rendono non totalmente rispettosi dei criteri di scientificità pura, ma non per questo sono da cestinare in toto.

Anche i ricercatori sono uomini, con limiti e debolezze: svolgono un lavoro complesso per il quale sono spesso richieste competenze di altissimo livello raggiunte dopo anni di studio. Trovo comprensibile (non giustificabile) che si cada nella tentazione di “spingere” il proprio lavoro, con metodi anche al limite. La situazione contingente della ricerca è complessa e non rosea e poco si fa per migliorarla, tra tagli, vincoli e limitazioni.

Una risposta nasce in questi giorni: Research4life vede coinvolti enti di ricerca, ospedali, università, industrie, associazioni di pazienti ed organizzazioni no profit. Tutti uniti per fornire un’unica voce sulla ricerca biomedica in Italia. È una missione che trovo encomiabile, per diffondere la conoscenza scientifica e fornire risposte a tutti i livelli. Il loro primo atto è una petizione che intende portare all’attenzione della Commissione Europea la tutela del progresso scientifico e della salute in Italia: una priorità, troppo spesso dimenticata. Il mio consiglio è di firmare ed accertarsi che la sottoscrizione sia andata a buon fine: siate certi di aiutare la ricerca!

Commenti

commenti

In direzione dei 40, dopo una laurea in psicologia opero nel settore della disabilità. Controverso Magazine arriva per me nel momento giusto, dato che il mio ego necessitava di un contenitore ancora più ampio dei precedenti. Pertanto mi troverete qui a dialogare (ma anche a dilagare) sulle tematiche più disparate, che facilmente possono includere la ricerca scientifica, la divulgazione ed i complotti. Non disdegno questioni di attualità o argomenti più frivoli, che affronto comunque in modo quanto più possibile razionale e con quel filo di cinismo che mi rende lo zio alla lontana, un po’ stronzo ed egocentrico, che quasi tutti vorremmo avere.

Ultimi articoli di Scienza

Vai In cima