La scienza è in crisi: i ricercatori non sanno più riprodurre e confermare molti degli esperimenti moderni
“Non prendiamo neppure sul serio le nostre proprie osservazioni, né le accettiamo come osservazioni scientifiche, finché non le abbiamo ripetute e controllate”.
Karl Popper
Per la scienza un esperimento deve dare lo stesso risultato anche se condotto da persone diverse in luoghi differenti. Ma cosa succederebbe se di colpo ci rendessimo conto che la maggior parte degli esperimenti su cui ci si basa per sviluppare nuove ricerche e nuovi farmaci non fossero riproducibili?
Non è l’inizio di un libro di fantascienza, questa è la pura realtà. Recentemente Nature, una delle più prestigiose riviste scientifiche al mondo, ha pubblicato un articolo nel quale si è dimostrato come più del 70% delle ricerche scientifiche prese in esame avesse fallito i test di riproducibilità1; nonostante ciò sono state pubblicate, diffuse e citate da altri ricercatori come base delle loro nuove ricerche. Dei 1576 scienziati intervistati non solo più di due terzi ha provato e fallito nel riprodurre l’esperimento di un collega, ma più di metà di loro hanno fallito nel riprodurre i loro stessi esperimenti.
Prima di giudicare però bisognerebbe considerare che “con l’evoluzione della scienza diventa sempre più difficile replicare un esperimento perchè le tecniche e i reagenti sono sempre più sofisticati, dispendiosi in tempo per la loro preparazione e difficili da insegnare” , spiega Mina Bissel, una delle ricercatrici americane più premiate per le sue innovative ricerche in oncologia. La cosa migliore, continua la Bissel, “sarebbe quella di contattare direttamente il collega, se necessario incontrarsi e cercare assieme di capire come mai non si riesca a riprodurre l’esperimento. Risolvere quindi il problema amichevolmente”.
Anche l’industria farmaceutica si ferma di fronte alla non riproducibilità degli esperimenti
Nel 2011 Glenn Begley, ai tempi direttore del dipartimento di oncologia medica della Amgen, una delle più grosse multinazionali di biotecnologie, aveva deciso prima di procedere con nuovi e costosi esperimenti, di replicare i 53 lavori scientifici considerati come fondamentali su cui si sarebbero basate le future ricerche della Amgen in oncologia. Risultato? Non fu in grado di replicare 47 su 53, ossia l’89%3.
Se vogliamo scriverlo in altro modo possiamo dire che solo l’11% degli esperimenti scientifici considerati come pietre miliari in quel settore di ricerca, erano riproducibili.
“Rimasi scioccato – racconta Begley – si trattava di studi su cui si affidano tutte le industrie farmaceutiche per identificare nuovi target nello sviluppo di farmaci innovativi. Ma se tu stai per investire 1 milione, 2 milioni o 5 milioni scommettendo su un’osservazione hai bisogno di essere sicuro. Così abbiamo provato a riprodurre questi lavori pubblicati e ci siamo convinti che non puoi prendere più nulla per quello che sembra”
Per cercare di calmare le acque il premio Nobel Philip Sharp è intervenuto spiegando come “una cellula tumorale può rispondere in modi diversi a seconda delle differenti condizioni sperimentali. Penso che molta della variabilità nella riproducibilità possa venire da qui”.
Per escludere ogni tipo di errore nella riproduzione delle condizioni sperimentali, spesso dovuti a problemi di manualità o di utilizzo di specifici reagenti, Bagely ed il suo team le hanno provate tutte a partire dall’incontrare direttamente gli autori degli studi originali, racconta “abbiamo ripercorso i lavori pubblicati linea per linea, figura per figura, abbiamo rifatto gli esperimenti per 50 volte senza riuscire a riprodurre quei risultati. Alla fine l’autore originale ci ha detto che lo aveva ripetuto sei volte ma gli era riuscito una volta sola e poi ha pubblicato nell’articolo scientifico solo i dati relativi a quella volta sola.”
Così si stanno investendo soldi su fallimenti annunciati
Se un esperimento che riesce solo una volta vi venisse proposto come la base per investire milioni di dollari in ricerca e produrre un nuovo farmaco, voi investireste tutti quei soldi?
E’ la domanda che si sono posti Leonard Freedman del Global Biological Standard Institute di Washington, Iain Cockburn e Timothy Simcoe della Boston University School of Management. In una recente ricerca hanno stimato che ogni anno il governo americano spende 28 miliardi di dollari in lavori scientifici non riproducibili. “Non vogliamo dire – spiega Freedman – che siano soldi buttati, in qualche modo contribuiscono all’evoluzione della scienza, si può però dire con certezza che dal punto di vista economico il sistema attuale della ricerca scientifica è un sistema estremamente inefficiente” 5.
Non è forse un caso quindi che i primi a far emergere il problema della riproducibilità siano ricercatori che lavorano presso multinazionali, sicuramente più attenti al bilancio e alla resa dell’investimento. Forse è grazie a ciò che la lista degli illustri ricercatori che denunciano questo “corto circuito” è in continua crescita.
Il dott. il dott. Khusru Asadullah, alto dirigente della Bayer, ha dichiarato come i ricercatori della multinazionale tedesca non erano riusciti a replicare più del 65% degli esperimenti su cui stavano lavorando per portare avanti nuove ricerche3.
Anche il prof. George Robertson della Dalhouise University in Nova Scozia racconta di quando lavorava per l’azienda Merck sulle malattie neuro-degenerative e si erano accorti che molti lavori scientifici accademici non reggevano alla prova della riproducibilità4.
Alla ricerca delle cause di questa crisi della scienza
La scienza è in crisi: non lo si vuole ancora ammettere pubblicamente ma è tempo che si inizi a stimolare un dibattito.
Tra le cause di questa “crisi di riproducibilità” sicuramente ci sono le tematiche tecniche descritte dalla Bissel, ci sono però anche aspetti più umani quali il bisogno degli scienziati di pubblicare per far carriera e ricevere finanziamenti, a volte i loro stessi contratti di lavoro sono vincolati al numero di pubblicazioni che riescono a fare, come racconta Ferric Fang, dell’Università di Washington “il biglietto più sicuro per prendere un finanziamento o un lavoro è quello di venir pubblicato su una rivista scientifica di alto profilo. Questo è qualcosa di poco sano che può condurre gli scienziati a cercare notizie sensazionalistiche o in alcune volte ad assumere comportamenti disonesti“.
In maniera ancora più diretta interviene la professoressa Ken Kaitin, direttrice del Tufts Center for the Study of the Drug Develompment che afferma “Se puoi scrivere un articolo che possa essere pubblicato non ci pensi nemmeno al tema della riproducibilità, fai un’osservazione e vai avanti. Non c’è nessun incentivo per capire se l’osservazione originale fosse per caso sbagliata. “
Un Sistema, quello della ricerca accademica, che sta evidentemente trascinando la Scienza verso una crisi di identità e di credibilità. Nel 2009 il prof. Daniele Fanelli, dell’Università di Edimburgo, ha realizzato e pubblicato uno studio dal titolo emblematico: “Quanti scienziati falsificano i dati e fabbricano ad hoc le ricerche?” 6
Quasi il 14% degli scienziati intervistati ha affermato di conoscere colleghi che hanno totalmente inventato dei dati, ed il 34% ha affermato di aver appositamente selezionato i dati per far emergere i risultati che gli interessavano.
A giugno 2017 il prof. Jonathan Kimmelmann, direttore del Biomedical Ethics Unit presso la McGill University di Montreal ha pubblicato un nuovo studio che conferma questa crisi di riproducibilità e cerca di mettere il luce su alcune delle principali cause quali la variabilità dei materiali di laboratorio, problemi legati alla complessità delle procedure sperimentali, la scarsa organizzazione nel team di ricerca, e la poca capacità di analisi critica. 7
Né le università né le riviste scientifiche sono interessate agli studi di riproducibilità
E’ inoltre necessario considerare che il sistema accademico non premia per niente chi fa studi di riproducibilità, sono tempo e soldi buttati via dal punto di vista delle “performance produttive” del gruppo di ricerca.
Le stesse riviste scientifiche non sono un gran che interessate a pubblicare ricerche che dimostrano la non riproducibilità di un precedente lavoro pubblicato, preferiscono pubblicare ricerche innovative o risultati sorprendenti e così ecco com’è facile far sparire le notizie dei fallimenti delle repliche.
In ultima analisi bisogna tenere a mente che oggi ci sono ricerche tanto specifiche che solo pochi esperti le possono capire e valutare; in questo modo si sterilizza l’attività di peer review (ossia il lavoro di revisione dello studio scientifico da parte di esperti così da poter decidere se pubblicarlo, chiedere chiarimenti o respingerlo). In alcuni casi c’è il grosso rischio che le riviste scientifiche pubblicano quasi alla cieca, del tipo: non ho capito di cosa stai parlando però mi sembra tutto serio e ben fatto, tu hai una buona reputazione, quindi lo pubblico.
“Non per questo adesso bisogna pensare che tutti gli studi scientifici siano inaffidabili – afferma Andrea Pensotti, direttore dell’Interdisciplinary Life Science Institute – bisogna avere la forza di fare una seria autocritica nel mondo della scienza senza cadere nell’eccesso opposto della “caccia alle streghe” che porterebbe ad una grave crisi di credibilità non solo verso la popolazione generale ma anche verso gli stessi medici e tra colleghi ricercatori.”
La storia della Scienza ci ha sempre raccontato di un’evoluzione che passa attraverso grosse crisi: dalla messa in dubbio del sistema geocentrico fino all’introduzione della fisica quantistica. Il bello della scienza è sempre stato quello di saper mettersi in crisi ed uscirne più bella di prima e spesso queste grandi rivoluzioni non necessitano di grossi finanziamenti ma solo di genuini lampi di genio ed onestà.
“Mettere il dito nella piaga di questa crisi di credibilità è di vitale importanza per noi che lavoriamo sull’interdisciplinarità, la necessità di integrare diverse discipline richiede più che mai un chiaro confronto e fa emergere con maggior facilità eventuali incongruenze – spiega Andrea Pensotti in occasione del congresso mondiale di studi sulla Coscienza tenutosi a San Diego assieme al linguista Noam Chomsky – per anni la scienza si è concentrata sull’analisi dei “singoli pezzi” della natura, l’ha sezionata alla ricerca degli ingranaggi primordiali. E’ ora necessario riscoprire la capacità di collegare i singoli pezzi studiati e comprendere meglio il senso di quei processi che guidano l’organizzazione e l’evoluzione della materia vivente. Bisogna tornare alla semplificazione dei concetti, passare da una sintattica della vita ad una semantica della vita” .
Fonti:
1 – Nature – 1,500 scientists lift the lid on reproducibility – survey sheds light on the ‘crisis’ rocking research
(http://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970)
2 – Nature – Reproducibility: The risks of the replication drive
(http://www.nature.com/news/reproducibility-the-risks-of-the-replication-drive-1.14184)
3 – Nature – Believe it or not: how much can we rely on published data on potential drug targets?
https://www.nature.com/nrd/journal/v10/n9/full/nrd3439-c1.html
4 – Reuters – In cancer science, many “discoveries” don’t hold up
(http://www.reuters.com/article/us-science-cancer-idUSBRE82R12P20120328)
5 – Plos One – The Economics of Reproducibility in Preclinical Research
(http://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1002165)
6 – Plos One – How many scientists fabricate and falsify research? A systematic review and meta-analysis of survey data
(https://www.ncbi.nlm.nih.gov/pubmed/19478950)
7 – Plos One – Can cancer researchers accurately judge whether preclinical reports will reproduce?
(https://www.ncbi.nlm.nih.gov/pubmed/28662052)
