La cattiva scienza dei sensori da polso

L’articolo Accuracy in Wrist-Worn, Sensor-Based Measurements of Heart Rate and Energy Expenditure in a Diverse Cohort, pubblicato qualche giorno fa sul Journal of Personalized Medicine da Anna Shcherbina e coautori, sotto la guida del prof. Euan Ashley del Dipartimento di Medicina dell’Università di Stanford in California ha destato molto scalpore sul web.

Una veloce ricerca su Google con le parole chiave “stanford apple watch heart rate accuracy” produce oltre 1.000.000 (un milione!) di risultati, con in cima un articolo interessante su iMore e un altro articolo (discreto) su AppleInsider. Poi tanta fuffa ricopiata in fretta e furia, prevalentemente sui siti dedicate alle ultime notizie sul mondo Apple. In Italia ne ha scritto in modo originale QuickLoox, e per una volta non è male nemmeno l’articolo pubblicato da Repubblica.

Del resto è naturale che sia così, in fondo si parla di tecnologia e di salute e ci sono di mezzo Apple e Samsung, le due arcirivali del momento (i tempi della contrapposizione fra Apple e Microsoft sono passati da un pezzo).

Meno naturale è fidarsi ciecamente dei risultati e delle conclusioni dell’articolo citato. Perché la scelta degli autori di pubblicare un articolo di così alta risonanza sul Journal of Personalized Medicine desta parecchie perplessità, almeno in chi conosce un po’ i meccanismi dell’editoria scientifica.

– Il cardiologo Euan Ashley e il suo team nel corso della sperimentazione sui dispositivi da polso per il tracciamento della frequenza cardiaca e del consumo calorico (foto Università di Stanford).

Una casa editrice discussa

Il Journal of Personalized Medicine infatti è edito dal Multidisciplinary Digital Publishing Institute (MDPI), una casa editrice piuttosto discussa, basata in Cina ma con sede di facciata in Svizzera, il cui rigore scientifico è stato messo in dubbio più volte.

MDPI è diventata famosa qualche anno fa per aver pubblicato su una delle tante riviste del gruppo un articolo riguardante il paradosso australiano, in base al quale la riduzione del consumo di zucchero si accompagna in Australia ad un aumento dell’obesità (detto più tecnicamente, l’articolo afferma che c’è una correlazione negativa fra consumo di zucchero e obesità, quando uno aumenta l’altro diminuisce).

Tutte balle, naturalmente.

Balle come quelle pubblicate in un altro articolo sull’origine, l’evoluzione e la natura della vita, che mette insieme il micro e il macrocosmo, la gravità quantistica e le transizioni di fase dell’acqua, gli elementi chimici alla base della vita e le mutazioni del DNA. Una teoria del tutto basata sul nulla, un articolo di più di 100 pagine, ricevuto, letto, digerito ed accettato per la pubblicazione in meno di un mese, praticamente un record.¹

Ci sono dei segnali che indicano che MDPI negli ultimi anni abbia iniziato a cambiare rotta, ma non è facile scrollarsi di dosso un’impronta negativa, soprattutto quando si continua ad avere la pessima abitudine di invitare continuamente gli scienziati di tutto il mondo a pubblicare sulle loro riviste. Meglio: a pubblicare qualunque cosa sulle loro riviste, senza che ci sia spesso una vera relazione fra il settore di ricerca di chi viene invitato e il tema della rivista stessa.

Abbindolati?

Non voglio farla lunga su un tema così complesso e così lontano dall’esperienza comune. Però è naturale chiedersi perché mai gli autori dell’articolo di cui stiamo parlando che, non dimentichiamolo, provengono dall’università di Stanford, una delle università più prestigiose degli USA e del mondo (e non dalla IMT School for Advanced Studies di certi nostri ministri), abbiano deciso di pubblicare un articolo destinato a fare scalpore su una rivista minore come il Journal of Personalized Medicine,² piuttosto che su una rivista di una casa editrice più prestigiosa.

Delle due l’una: o gli autori si sono fatti abbindolare in buona fede dalle continue email provenienti da MDPI che invitano a pubblicare su qualcuna delle loro riviste (ne ho una buona collezione anch’io), oppure l’articolo è stato rifiutato da riviste di maggior calibro e gli autori sono stati costretti a scendere di livello, fino ad arrivare al Journal of Personalized Medicine, dove i controlli di qualità sono meno stringenti.

Non è necessario essere dei pivelli per farsi abbindolare (però aiuta). Gli inviti via email sono molto pressanti, il processo di pubblicazione sembra veloce, serio, professionale, le riviste sono nuove ma potenzialmente interessanti. Scoprire cosa c’è dietro – spesso un verminaio di bassi interessi economici che con la scienza hanno ben poco a che fare e che confinano con la truffa vera e propria – non è per niente facile, a meno che non si indaghi un po’ e che si sia anche fortunati.

Però qui si tratta di un gruppo di ricerca forte, guidato da un professore importante che ha pubblicato sulle migliori riviste di medicina, proveniente da una università di primissimo piano, non di ricercatori alle prime armi. Difficile credere che nessuno di loro conosca MDPI e le sue pratiche opache.

O rifiutati?

L’articolo di cui stiamo parlando non è il primo che analizza le prestazioni dei dispositivi da polso in campo biomedico. Ce ne sono almeno altri cinque pubblicati nell’ultimo anno, tutti su riviste di prestigio e uno perfino su JAMA, una delle riviste più importanti in assoluto in campo medico (gli articoli sono elencati nella bibliografia, in ordine di data di pubblicazione).

L’argomento è di moda, dovrebbe essere piuttosto facile pubblicare su una rivista di alto livello. Anzi, se si ha in mano qualcosa di buono, dovrebbe essere imperativo cercare di pubblicare su una rivista importante, sia per facilitare il proseguimento dell’attività, sia per aumentare il prestigio scientifico di chi ha collaborato allo studio.

E invece, niente JAMA, niente riviste prestigiose, solo un misero Journal of Personalized Medicine. Dove però l’articolo riceve una attenzione straordinaria da parte dei media, a differenza di tutti gli altri sullo stesso tema pubblicati in precedenza.

Ho letto l’articolo e francamente non mi sembra niente di che, il numero e la distribuzione statistica dei pazienti analizzati è piuttosto limitato, la procedura di misura è discutibile, l’analisi dei dati è presentata in modo confuso, tuttla la presentazione è poco chiara. Non mi stupirebbe affatto che fosse stato respinto da qualche rivista di prestigio. Magari da più di una.

Infatti basta scavare un po’ per accorgersene.

Cercando un po’ su Google si finisce sulla pagina personale di Anna Shcherbina sul sito dell’università di Stanford dove, in cima alla lista delle pubblicazioni, si trova il preprint, cioè la versione iniziale dell’articolo poi finito sul Journal of Personalized Medicine.

Il formato del preprint, che è la prima versione di un articolo inviata ad una rivista perché possa essere valutata, è molto simile a quello degli articoli pubblicati sulla nota rivista ad accesso aperto PLOS ONE, basta confrontare il PDF del preprint con la referenza numero 3 della bibliografia per rendersene conto.

Spicca in particolare il modo in cui è formattato l’abstract, che se non è specifico di PLOS ONE è comunque ben poco diffuso (infatti nella versione definitiva pubblicata sul Journal of Personalized Medicine l’abstract è riscritto in modo convenzionale).

Nel preprint mancano anche alcune parti presenti nella versione definitiva, ed altre sono state spostate dal Materiale Supplementare (una specie di appendice ormai molto di moda al testo vero e proprio) all’articolo vero e proprio, segno evidente dell’intervento di qualche referee non molto convinto dall’organizzazione e dalla presentazione del lavoro.

Il preprint è stato archiviato su bioRxiv (il servizio di preprint degli articoli di biologia analogo al primo e più noto arXiv usato dai fisici e dai matematici), a metà dicembre del 2016, cioè ben due mesi e mezzo prima della sottomissione al Journal of Personalized Medicine.

Mettere un preprint su bioRxiv (o arXiv) serve per distribuire in anticipo un articolo scientifico, superando le lungaggini e i tempi tecnici della pubblicazione ufficiale.

Ma sarebbe folle mettere online un preprint ben due mesi e mezzo prima della sottomissione dell’articolo ad una rivista scientifica. Mancando l’ombrello di ufficialità dato dalla sottomissione ad una rivista, qualcuno senza scrupoli (ce ne sono!) potrebbe scopiazzare i risultati della ricerca e pubblicarli autonomamente, senza che i veri autori possano far niente per dimostrare il plagio.

Da quanto detto, si può ipotizzare che gli autori abbiano mandato la ricerca prima a PLOS ONE, ricevendone un rifiuto, come succede fin troppo spesso agli articoli scientifici (ci sono riviste scientifiche che hanno percentuali di accettazione del 5-10%, e la maggior parte non va oltre il 30%). Invece di rivedere l’articolo (come sarebbe normale), hanno deciso di fare delle modifiche minime e di inviarlo al Journal of Personalized Medicine, che l’ha accettato e pubblicato in un battibaleno, infatti fra sottomissione ed accettazione dell’articolo sono passati appena due mesi, dal 27 febbraio al 4 maggio.³

Sono consapevole che processo di valutazione degli articoli scientifici non è esente da pecche, e che la pubblicazione su una rivista di primaria importanza non garantisce la qualità della ricerca. Ma è altrettanto vero che lo scarso, scarsissimo, controllo effettuato da riviste come il Journal of Personalized Medicine depone ancora meno bene circa il livello qualitativo del lavoro.

Conclusioni

Qual è la morale di tutto ciò?

Una più generale è che, in tempi di scienza champagne, quando tanti scienziati cercano più l’attenzione dei media che quella dei colleghi, non tutto quello che viene pubblicato in ambito scientifico ha necessariamente un valore (potrei fare esempi come la fusione fredda, il nono pianeta del sistema solare, certe particelle che appaiono e scompaiono).

L’altra più specifica è che, prima di fare ulteriori considerazioni sulla qualità (o meno) di dispositivi a cui affidare la nostra salute, io preferirei aspettare i risultati di altre indagini indipendenti e, si spera, più rigorose.

Bibliografia

[1] M.E. Rosenberger et al., 24 Hours of Sleep, Sedentary Behavior, and Physical Activity with Nine Wearable Devices, Medicine & Science in Sports & Exercise, vol. 48, num. 3, pag. 457 (Marzo 2016), doi: 10.1249/MSS.0000000000000778.

[2] D.W. Kaiser, R.A. Harrington, M.P. Turakhia, Wearable Fitness Trackers and Heart Disease, JAMA Cardiology, vol. 1, num. 2, pag. 239 (Maggio 2016), doi: 10.1001/jamacardio.2016.0354.

[3] M.P. Wallen et al., Accuracy of Heart Rate Watches: Implications for Weight Management, PLOS ONE, vol. 11, num. 5, pag. e0154420 (Maggio 2016), doi:10.1371/journal.pone.0154420.

[4] J.M. Jakicic et al., Effect of Wearable Technology Combined With a Lifestyle Intervention on Long-term Weight Loss: The IDEA Randomized Clinical Trial, JAMA, vol. 316, num. 11, pag. 1161 (Settembre 2016), doi:10.1001/jama.2016.12858.

[5] R. Wang et al., Accuracy of Wrist-Worn Heart Rate Monitors, JAMA Cardiology, vol. 2, num. 1 , pag. 104 (Gennaio 2017), doi: 10.1001/jamacardio.2016.3340.

1. Ci sarebbero altri esempi, come un articolo secondo il quale il riscaldamento globale della terra è molto meno intenso di quanto comunemente si pensi. Un articolo che può piacere al presidente degli Stati Uniti, ma che è stato duramente criticato dagli studiosi del clima, secondo i quali l’analisi dei dati e le conclusioni che ne vengono tratte sono fondamentalmente errate. ↩

2. Che il Journal of Personalized Medicine sia una rivista minore non lo dico io ma dei dati oggettivi, come il fatto che dei 127 articoli che ha pubblicato nei suoi sette anni di vita, appena 10 hanno ricevuto più di 10 citazioni. Opppure il fatto che il database Scimago non la elenchi fra le riviste scientifiche conosciute. Scopus, uno dei più importanti database di articoli scientifici (se un articolo non è su Scopus non conta niente), invece trova il Journal of Personalized Medicine ma, a differenza delle altre riviste del settore, non le assegna nessun indicatore statistico di qualità. ↩

3. Sulle riviste serie il processo di referaggio, cioè la valutazione della qualità tecnico-scientifica del manoscritto fatta in modo anonimo da altri scienziati che lavorano nello stesso campo di ricerca, ha bisogno di tempi molto più lunghi, se va bene 3-4 mesi, ma spesso anche molto di più. Troppa velocità significa troppo spesso che la valutazione del manoscritto è stata fatta alla carlona. ↩