Lettura critica di un articolo scientifico

Anna Cantarutti12, Giovanni Corrao12

1Centro di Ricerca Interuniversitario Healthcare Research & Pharmacoepidemiology, Università degli Studi di Milano-Bicocca, Milano; 2Dipartimento di Statistica e Metodi Quantitativi, Sezione di Biostatistica, Epidemiologia e Sanità Pubblica, Università degli Studi di Milano-Bicocca, Milano

DOI: 10.30682/ildia1903b

[protected]

Scarica l’articolo in formato PDF

Be careful while reading this article. My purpose is to persuade. To achieve this goal I must not only appeal to your intellect and seek your sympathy for my point of view but also diminish your natural reticence to believe all that you read. If I am successful, you should remain unaware of my intention to penetrate your critical guard.

Horton R. The rhetoric of research. BMJ 310: 985-988, 1995

Premessa

Nei primi 74 giorni del 2019, su PUBMED sono state registrate 11.909 e 3.667 pubblicazioni che riportano il sostantivo diabetes rispettivamente nel testo e/o nel titolo (161 e 47 articoli al giorno, quindi). Orientarsi nella sempre più affollata mole di informazioni pubblicate è un compito difficile.

Non solo perché leggere tutto è impossibile ma soprattutto perché, anche concentrandoci su uno specifico quesito clinico, è gioco forza che tanti più studi sono effettuati (e pubblicati) per darne risposta, tante più risposte tra loro inconsistenti vengono fornite. Questo accade concentrandoci su riviste molto citate e su studi di ottima qualità. Per il semplice motivo che l’errore è parte integrante della nostra scarsa capacità di misurare e trarre conclusioni universali da ciò che osserviamo.

Ma se estendiamo il nostro campo di osservazione all’incontrollabile mercato delle riviste open access la questione diventa drammatica. Per testare la qualità media del processo di revisione, alcuni anni fa un giornalista scientifico ha sottoposto un articolo chiaramente inventato e mal scritto a circa 300 riviste di questo tipo (1). Circa la metà ha accettato l’articolo praticamente senza correzioni, alcune addirittura dopo poche ore, ovviamente a condizione che arrivasse il lauto pagamento.

Tutto questo genera sconcerto, e una pericolosa e sempre più diffusa sfiducia nel metodo scientifico. Visto che non sentiamo la mancanza di tornare a un recente passato, quando le prove consistevano nell’opinione di un autorevole clinico, né tantomeno auspichiamo che la rete prenda il sopravvento sull’imperfetto metodo scientifico, un modo razionale per orientarci nella sempre più affollata mole di pubblicazioni, è quello di dotarci di alcuni strumenti per poter valutare la qualità di ciò che stiamo leggendo (2-3).

D’altra parte, dopo l’avvento e il consolidamento della evidence-based medicine, è sempre più importante per il medico sapere come orientarsi nella letteratura scientifica e adottare comportamenti coerenti con le prove che da essa emergono. Uno strumento utile è la lettura critica di un articolo scientifico, che può essere definita come “l’applicazione di regole oggettive a uno studio per valutarne la validità dei dati, la completezza, i metodi, le procedure, le conclusioni, il rispetto dei principi etici, l’indipendenza dei contenuti” (4). Purtroppo, tale argomento quasi mai viene insegnato all’Università e più o meno tutti hanno dovuto inventarsi autodidatti, a cominciare dalla preparazione della tesi per poi affinare nel tempo questa capacità.

Organizzazione di un articolo

“Niente ti fa sentire più stupido che leggere un articolo scientifico” dichiara su Science Magazine Adam Ruben (5), biologo con curriculum da ricercatore di tutto rispetto e brillante comunicatore scientifico. La barriera linguistica dell’inglese, gli ostacoli della statistica, la struttura da addetti ai lavori degli articoli, ma soprattutto la difficoltà di riconoscere con ragionevole sicurezza la loro qualità e utilità sono i principali ostacoli che allontanano i medici dalla necessità di aggiornarsi attraverso la lettura di riviste scientifiche. Eppure siamo stati abituati a leggere fin da piccoli, in fondo che cos’è un articolo scientifico se non un insieme di parole? Parole tuttavia strutturate in modo da metterci nelle condizioni non solo di cogliere il messaggio clinico di nostro interesse (come devo trattare i miei pazienti con certe caratteristiche?) ma di capire come quel messaggio è stato ottenuto. Solo in queste condizioni potremmo farci un’idea della qualità dello studio, e quindi del messaggio che lo studio stesso intende trasmettere.

Per tornare al titolo di questo articolo, noi riteniamo che sia poco produttivo leggere un articolo scientifico dall’inizio alla fine. È forse più produttivo procedere gradualmente in base al seguente schema strutturato con tre livelli in serie.

Primo, il titolo e l’abstract, sono spesso sufficienti per capire se l’articolo è di nostro interesse. In particolare, dal titolo (ovvero la descrizione sintetica del contenuto mediante un numero limitato di caratteri utilizzando termini in grado di essere catturati dai database e dai motori di ricerca) e dal riassunto (ovvero la sintesi del problema affrontato, dei metodi utilizzati, dei risultati ottenuti e del messaggio chiave che ne deriva) il lettore può decidere se continuare la lettura.

Il secondo livello, che potremmo definire della consistenza lungo l’intero testo, consiste nel leggere l’articolo in modo da valutare se la sequenza dei contenuti delle diverse sezioni sono tra loro concatenati. La struttura di un articolo scientifico, sintetizzata dall’acronimo anglosassone IMRAD (Introduction, Methods, Results and Discussion), facilita questo secondo livello di lettura perché consente agevolmente di trovare subito le informazioni che ci servono. In generale ciò che dobbiamo verificare è se:

  1. l’introduzione riporta (a) cosa non è stato sufficientemente chiarito del problema clinico che si sta considerando, (b) perché è importante fare chiarezza sull’argomento, e conseguentemente (c) quale/i obiettivo/i lo studio si pone;
  2. i metodi riferiscono in modo completo tutti gli elementi (disegno, criteri di eleggibilità ed esclusione, chiara definizione della cura e dell’esito di primario interesse, covariate, analisi statistica, numerosità campionaria) che consentano di valutarne la consistenza con gli obiettivi dello studio;
  3. i risultati sono descritti, tabulati e raffigurati in modo chiaro, trasparente e consistente con obiettivi e metodi;
  4. la discussione riferisce in modo trasparente (a) i risultati più rilevanti (richiamo alle sezioni 1(c) e 3), (b) confronto con la letteratura disponibile ed interpretazione di eventuali risultati inconsistenti (richiamo alle sezioni 1(a) e 2), (c) perché il lettore dovrebbe essere fiducioso della validità dei risultati (punti di forza, richiamo dalla sezione 2), (d) le criticità dello studio (fonti di incertezza casuale e sistematica che potrebbero invalidare il messaggio principale, richiamo alla sezione 2), e (e) il messaggio chiave dello studio. Il terzo livello che dovremmo intraprendere solo se dai livelli precedenti è emerso che l’articolo tocca un tema di nostro interesse e sembra riguardare uno studio ben fatto e presentato in modo lineare, riguarda l’approfondimento dei punti di nostro maggior interesse in modo da essere in grado di rispondere alle seguenti domande: cosa ho appreso dalla lettura dell’articolo? quanto ciò che ho appreso modificherà le mie decisioni cliniche?

 

COSA FARE

Lettura graduale dell’articolo

  • Leggi l’abstract → quali sono i risultati importanti e perché contano?
  • Leggi l’introduzione → quali sono le informazioni necessarie per capire l’articolo?
  • Qual è il quesito della ricerca?
  • Leggi i metodi → quali sono i dettagli necessari al fine di riprodurre l’articolo?
  • Leggi i risultati e la discussione → i risultati rispondono al quesito di ricerca? Come contribuiscono i nuovi risultati al corpo delle conoscenze scientifiche?

 

Leggi per individuare i punti principali e quelli secondari. Genera domande e sii consapevole di quanto hai appreso e quanto non hai capito.

  • Che tipo di articolo è? Potresti mettere in discussione la credibilità del lavoro?
  • Hai capito tutta la terminologia?
  • A quale domanda di ricerca l’articolo intende rispondere? Perché è importante?
  • La metodologia utilizzata supporta le analisi?
  • Quali sono i principali risultati?
  • I risultati sono supportati da evidenze convincenti?
  • Ci sono altre interpretazioni possibili dei risultati oltre a quella degli autori?

Ogni articolo che si rispetti si conclude specificando i conflitti di interesse e la bibliografia. Precisare i conflitti di interesse e quindi da dove derivano i fondi che hanno supportato la ricerca oggetto di studio, è essenziale poiché è noto ormai nella letteratura scientifica come gli studi supportati dalle case farmaceutiche portino sempre più spesso alla pubblicazione di esiti positivi sul farmaco o sul dispositivo medico in studio (bias di pubblicazione, cap. Alcune comuni insidie nella presentazione dei risultati). La bibliografia chiude definitivamente l’articolo scientifico. Sebbene spesso e volentieri questa non venga letta, essa risulta invece molto importante in quanto: a) raccoglie tutta la letteratura scientifica sulla quale gli autori si sono basati sia per supportare i loro risultati sia per supportare qualsiasi altra affermazione non dimostrata dai risultati stessi; e b) permette al lettore di approfondire e valutare la rilevanza degli articoli riportati. Infatti, se ci accorgiamo che gli autori riportano pubblicazioni su riviste di sola seconda fascia o ancor di più si autocitano ripetutamente, può essere considerato come un segnale che si tratti di lavori di scarsa rilevanza scientifica e/o che altri ricercatori non hanno condotto studi al riguardo e che si tratta presumibilmente di un’attività di ricerca svolta più per l’interesse del ricercatore che per il bene del malato.

ALCUNE COMUNI INSIDIE NELLA PRESENTAZIONE DEI RISULTATI

La lettura critica allena anche alla necessaria malizia per non prendere tutti i contenuti di un articolo per oro colato e riconoscere i molti trabocchetti che vi si annidano. I più comuni e importanti sono: la scelta di esiti poco rilevanti per il malato, le modalità di presentazione dei risultati che tendono a magnificare l’efficacia degli interventi studiati, le analisi a posteriori che non hanno alcuna attendibilità statistica, la mancata pubblicazione degli studi con esito negativo (bias di pubblicazione) e, in ultimo, le vere e proprie frodi scientifiche.

Rimandando all’articolo di Dri per un approfondito elenco delle insidie (6), preferiamo in questa sede discutere due aspetti che spesso caratterizzano ciò che viene pubblicato.

Il primo, è il comune vezzo di presentare i risultati in modo da attirare l’attenzione, piuttosto che mettere il lettore nella condizione di valutare l’entità dell’effetto indagato. Un esempio, assai noto, è l’articolo pubblicato nel 1987 relativo all’Helsinki HeartStudy (7). Lo studio riguardò 4.081 pazienti con dislipidemia randomizzati a ricevere gemfibrozil o placebo. Gli autori riportarono nell’abstract un’incidenza dell’end-point di interesse (malattia coronarica) del 27,3 per 1.000 trattati con gemfibrozil e del 41,1 per 1.000 assegnati al placebo, con una “riduzione nell’incidenza del 34%”. In realtà la riduzione del rischio assoluto è stata del (41,1 – 27,3 =) 13,8 per 1.000 (cioè 1,4%), mentre l’esito riportato riguarda la riduzione del rischio relativo ([1 – (27,3 / 41,1)] * 100 = 34%). Il punto è che riportare la riduzione del rischio relativo (34%) al posto del rischio assoluto (riduzione dell’13,8 per 1.000) ha un impatto completamente diverso nel lettore. In una survey successiva a questo studio fu chiesto a un campione di medici di esprimere una preferenza tra un farmaco (diciamo A) che aveva mostrato una riduzione del rischio relativo del 34% e un altro (diciamo farmaco B) che aveva mostrato una riduzione del rischio assoluto dell’1,4%. Più dell’80% dei medici arruolati nello studio avrebbe prescritto il farmaco A rispetto al farmaco B nonostante i due rischi siano in realtà identici (8).

Il secondo riguarda l’altrettanto comune abitudine a riportare i risultati di analisi per sottogruppi non pianificati nel disegno dello studio. È noto, che effettuare un’analisi statistica fissando a 0,05 l’errore di primo tipo (a), equivale ad accettare che, nel caso in cui due trattamenti nella realtà non differiscano, 5 studi su 100 evidenzieranno una differenza significativa (ovvero abbiamo una probabilità su 20 che il nostro studio fornisca un’evidenza statistica che i due trattamenti abbiano diversi effetti terapeutici, ovvero uno è migliore dell’altro). Considerato che in uno studio possono essere definiti innumerevoli sottogruppi (genere, età, etnia, centro di arruolamento, fumo, stadio di malattia, patologie concomitanti, ecc.), bisogna tenere presente che all’aumento delle analisi per sottogruppi effettuate cresce la probabilità che almeno una sia statisticamente significativa, anche se nessuna in realtà lo è (Tabella dei sottogruppi). Uno degli esempi più clamorosi di come i risultati dell’analisi per sottogruppi possano essere condizionati da fattori casuali è rappresentato dallo studio ISIS-2: gli autori riportano come divertente esempio di costrutto statistico da evitare, che nei pazienti con infarto miocardico acuto (IMA) l’aspirina riduce la mortalità a 5 settimane in tutti i pazienti tranne […] nei nati sotto il segno della Bilancia o dei Gemelli (9)! Ne deriva che bisognerebbe interpretare con estrema cautela i risultati specie se tali analisi non erano pianificate e/o se non vengono utilizzati adeguati metodi di correzione per confronti multipli.

Tabella dei sottogruppi

N. sottogruppi

Probabilità che almeno un risultato sia positivo (%)

1

5

2

10

5

23

10

40

25

72

50

92

100

99

Alcune considerazioni sulla gerarchia delle evidenze

È gioco forza che la lettura di un articolo scientifico debba considerare dal livello delle evidenze (prove) che l’articolo può offrire. Non tutti gli studi hanno il medesimo valore, non tutte le evidenze sono sullo stesso piano. Le prove, cioè, hanno una forza diversa a seconda del disegno di studio che è stato impiegato per ottenerle. Si parla di gerarchia delle prove o piramide delle prove di efficacia, dove le prove meno forti si collocano ai gradini più bassi della piramide (Figura piramide delle evidenze).

Ancora, rimandando all’articolo di Young et al. per un’approfondita descrizione critica della piramide (10), preferiamo in questa sede discutere due aspetti particolarmente controversi della gerarchia da essa rappresentati.

Innanzitutto, le meta-analisi e le revisioni sistematiche, pietre fondanti collocate all’apice della piramide delle evidenze costruita oltre 25 anni fa dall’Evidence-based Medicine Working Group, in quanto potenzialmente in grado di fornire la sintesi completa delle evidenze disponibili. Qualsiasi pietra, in una posizione così particolare, sarebbe però in precario equilibrio (https://pensiero.it/in-primo-piano/notizie/dobbiamo-riconsiderare-la-gerarchia-delle-evidenze). E difatti, a parte la progressiva perdita di credibilità delle revisioni sistematiche conseguente al loro utilizzo come strumenti di marketing (11), molti sono i limiti delle meta-analisi (12). Primo, questo approccio si riferisce alla problematica combinazione di studi mai identici e quindi potenzialmente eterogenei. Secondo, la meta-analisi non rappresenta una forma di ricerca originale. Molti esperti sostengono che un grande trial clinico randomizzato è sempre più affidabile e valido di una meta-analisi. In effetti, seppure le meta-analisi possano essere confermate da studi successivi, vi sono anche casi eclatanti di meta-analisi successivamente sconfessate da pertinenti grandi trial (13-20). Terzo, una meta-analisi basata su pochi studi, studi di scarsa qualità, o a rischio di bias di pubblicazione, è ovviamente a rischio di dare stime anche apparentemente precise, ma comunque inaccurate. Sulla stessa linea si colloca la critica che suggerisce che qualsiasi meta-analisi che includa studi di qualità sub-ottimale non li potrà mai correggere. Infine, le meta-analisi, anche se valide, danno stime dettagliate pertinenti ad un teorico paziente. Il secondo aspetto della gerarchia delle evidenze oggi piuttosto controverso è la collocazione degli studi osservazionali. Pur concordando sulla posizione preminente delle sperimentazioni cliniche controllate randomizzate (Randomized Clinical Trials, RCT), che, se rispondenti a precisi requisiti qualitativi, rappresentano lo standard per la valutazione comparativa di efficacia degli interventi sanitari, dall’altra questi studi comportano importanti limitazioni della generalizzabilità dei risultati in un contesto di normale pratica clinica. Fra i limiti degli RCT, vanno menzionati la frequente esclusione di fasce importanti di popolazione, quali ad esempio i soggetti anziani, o con multimorbosità. La tabella seguente chiaramente mostra che i pazienti visti nella pratica clinica della medicina primaria della Gran Bretagna (ma non ci aspettiamo una situazione diversa in Italia) raramente sono affetti da un’unica malattia (Tabella delle Comorbosità) (21).

Ad esempio, solo il 2,8% dei pazienti con scompenso non hanno altre condizioni tra quelle elencate, mentre ogni paziente con diabete ha in media altre 6,5 condizioni. Eppure i trial clinici su scompenso e diabete escludono i pazienti con altre malattie e trattamenti oltre a quelli in studio. Inoltre, gli RCT vengono di solito condotti in centri specializzati, in condizioni strettamente controllate, per massimizzare l’adesione alle terapie in studio. In aggiunta, la durata e le dimensioni del campione, generalmente limitate, rendono difficile l’identificazione di eventi avversi rari o a lungo termine. L’insieme di queste ragioni, spiega l’affermazione attribuita ad Archie Cochrane “Between measurements based on randomised controlled trials and benefit in the community there is a gulf which has been much under-estimated” (22). Ci sono voluti tuttavia quasi 60 anni affinché iniziasse un processo di rivalutazione degli studi osservazionali (o meglio non interventistici), ovvero degli studi in cui il ricercatore non interviene attivamente nella scelta dell’intervento terapeutico in studio, ma ne osserva l’effetto (23). Gli studi osservazionali possono fornire evidenze sulle cure mediche erogate nelle condizioni della normale pratica clinica (real-life) in termini di appropriatezza e aderenza alle raccomandazioni, e sui profili di sicurezza, efficacia (effectiveness) e costo-efficacia (24-26).

A fianco delle grosse potenzialità degli studi osservazionali, non si possono sottovalutare i limiti e le insidie insiti in questa tipologia di studi. Prima di tutto, l’assenza del processo di randomizzazione rende reale il problema del confondimento. In altri termini, quando si mettono a confronto gruppi di pazienti sottoposti a diversi trattamenti, la nostra capacità di valutare se gli effetti osservati siano dovuti ai diversi trattamenti oppure alle loro diverse indicazioni, o ancora a differenze nel profilo clinico, anagrafico o al setting sociale nel quale il paziente vive, non è semplice. Negli ultimi anni, tuttavia, la ricerca metodologica ha realizzato straordinari progressi con la messa a punto di metodi, algoritmi, disegni degli studi in grado di superare, o almeno affrontare razionalmente, le insidie della ricerca osservazionale, soprattutto quella basata sulle banche dati elettronici (27-30). Ed è su questi strumenti, ovvero sulla loro adozione per affrontare la vulnerabilità all’incertezza sistematica, e sulle cautele che vengono assunte nell’interpretazione dei risultati, che dovrebbe concentrarsi la nostra attenzione nella lettura di uno studio osservazionale.

Conclusioni

Sono disponibili numerose check-list che possono aiutarci e indirizzarci nella lettura critica di un articolo scientifico. Tra le più conosciute il Critical Appraisal Skills Programme (https://casp-uk.net/) tocca tutti i punti trattati in questo articolo e guida il lettore ad una valutazione il più possibile oggettiva dell’articolo scientifico. Il sistema GRADE (Grading of Recommendations Assessment Development and Evaluation: http://www.gradeworkinggroup.org/) integra la valutazione della qualità metodologica delle prove disponibili con altri aspetti quali la trasferibilità dell’intervento proposto, i benefici e i rischi attesi e la loro rilevanza, e le implicazioni organizzative, economiche, sociali e finanziarie. Infine, i sistemi CONSORT (Trasparent Reporting of Trials: http://www.consort-statement.org/), PRISMA (Preferred Reporting Items for SystematicReviews and Meta-Analyses: http://www.prisma-statement.org/) e STROBE (Strengthening the Reporting of Observational studies in Epidemiology: https://www.strobe-statement.org/index.php?id=strobe-home) sono utili strumenti per orientarsi rispettivamente nella lettura critica dei trial clinici, delle revisioni sistematiche/meta-analisi e negli studi osservazionali.

Una piccola guida riassuntiva sulla lettura “critica” di un articolo scientifico può essere così concepita: (a) le interpretazioni che gli AA danno del loro lavoro devono essere la conseguenza logica dei risultati dello studio: dovrebbero essere evitate conclusioni che non sono supportate dai risultati; (b) nel valutare i risultati e nel formulare le conclusioni, è necessario tenere in debita considerazione le debolezze dello studio:uno studio può raggiungere l’obiettività solo se è ammessa la possibilità di risultati errati o casuali; (c) l’inclusione di risultati “non significativi” contribuisce alla credibilità dello studio; “non significativo” non deve essere confuso con “nessuna associazione”; (d) i risultati significativi dovrebbero essere considerati dal punto di vista della plausibilità biologica e medica (31).

Bibliografia

  1. Bohannon J. Who’s Afraid of Peer Review? Science 342: 60-65, 2013.
  2. Bjork B, Roos A, Lauri M. Scientific journal publishing: yearly volume and open access availability. Information Research 14: paper 391, 2009.
  3. Glasziou P. Information overload: what’s behind it? Med J Aust 189: 84-85, 2008.
  4. Miser W. Finding truth from the medical literature: how to critically evaluate an article. Prim care Clin Office Pract 33(4): 839-862, 2006.
  5. Ruben A. How to read a scientific paper. Science Magazine. Jan 20, 2016.
  6. Dri P. La lettura critica dell’articolo scientifico. Zadig, 2016.
  7. Frick MH, Elo O, Haapa K, et al. Helsinki Heart Study: primary-prevention trial with gemfibrozil in middle-aged men with dyslipidemia. Safety of treatment, changes in risk factors, and incidence of coronary heart disease. N Engl J Med 317: 1237-1245, 1987.
  8. Bobbio M. Giuro di esercitare la medicina in libertà e indipendenza. Einaudi, Torino, 2004.
  9. Randomised trial of intravenous streptokinase, oral aspirin, both or neither among 17,187 cases of suspected acute myocardial infarction: ISIS-2. ISIS-2 (Second International Study of Infarct Survival) Collaborative Group. Lancet 2: 349-360, 1988.
  10. Young J, Solomon M. How to critical appraise an article. Nat Clin Pract Gastroenterol Hepatol 6: 82-91, 2009.
  11. Greenhalgh T, Howick J, Maskrey N. Evidence based medicine: a movement in crisis? BMJ 348: g3725, 2014.
  12. Biondi-Zoccai GG, D’Ascenzo F, Frati G, et al. Cosa ci insegnano le metanalisi: pregi e limiti. G ItalCardiol 16: 469-474, 2015.
  13. Biondi-Zoccai GG, Abbate A, Agostoni P, et al. Stenting versus surgical bypass grafting for coronary artery disease: systematic overview and meta-analysis of randomized trials. Ital Heart J 4: 271-280, 2003.
  14. Mohr FW, Morice MC, Kappetein AP, et al. Coronary artery bypass graft surgery versus percutaneous coronary intervention in patients with three-vessel disease and left main coronary disease: 5-year follow-up of the randomised, clinical SYNTAX trial. Lancet 381: 629-638, 2013.
  15. Agostoni P, Biondi-Zoccai GG, de Benedictis ML, et al. Radial versus femoral approach for percutaneous coronary diagnostic and interventional procedures; systematic overview and meta-analysis of randomized trials. J Am Coll Cardiol 44: 349-356, 2004.
  16. Jolly SS, Yusuf S, Cairns J, et al. RIVAL Trial Group. Radial versus femoral access for coronary angiography and intervention in patients with acute coronary syndromes (RIVAL): a randomised, parallel group, multicentre trial. Lancet 377: 1409-1420, 2011.
  17. Allman KC, Shaw LJ, Hachamovitch R, et al. Myocardial viability testing and impact of revascularization on prognosis in patients with coronary artery disease and left ventricular dysfunction: a meta-analysis. J Am Coll Cardiol 39: 1151-1158, 2002.
  18. Bonow RO, Maurer G, Lee KL, et al. STICH Trial Investigators. Myocardial viability and survival in ischemic left ventricular dysfunction. N Engl J Med 364: 1617-1625, 2011.
  19. Burzotta F, De Vita M, Gu YL, et al. Clinical impact of thrombectomy in acute ST-elevation myocardial infarction: an individual patient-data pooled analysis of 11 trials. Eur Heart J 30: 2193-2203, 2009.
  20. Fröbert O, Lagerqvist B, OlivecronaGK, et al. TASTE Trial. Thrombus aspiration during ST-segment elevation myocardial infarction. N Engl J Med 369: 1587-1597, 2013.
  21. Guthrie B, Payne K, Alderson P, et al. Adapting clinical guidelines to take account of multimorbidity. BMJ 345: e6341, 2012.
  22. Cochrane A. Effectiveness and efficiency: random reflection on health services. Nuffiled Provincial Trust, London, 1972.
  23. Last J. A dictionary of epidemiology. Oxford University Press, New York, 2001.
  24. Corrao G, Mancia G. Generating evidence from computerized healthcare utilization databases. Hypertension 65: 490-498, 2015.
  25. Corrao G, Cantarutti A. Building reliable evidence from real-world data: Needs, methods, cautiousness and recommendations. Pulm Pharmacol Ther 53: 61-67, 2018.
  26. Trifirò G, Gini R, Barone-Adesi F, et al. The Role of European Healthcare Databases for Post-Marketing Drug Effectiveness, Safety and Value Evaluation: Where Does Italy Stand? Drug Saf 42: 347-363, 2019.
  27. Berger ML, Mamdani M, Atkins D, et al. Good research practices for comparative effectiveness research: defining, reporting and interpreting nonrandomized studies of treatment effects using secondary data sources: The ISPOR Good Research Practices for Retrospective Database Analysis Task Force Report–Part I. Value in Health 12: 1044-1052, 2002.
  28. Cox E, Martin BC, Van Staa T, et al. Good research practices for comparative effectiveness research: approaches to mitigate bias and confounding in the design of nonrandomized studies of treatment effects using secondary data sources: The International Society for Pharmacoeconomics and Outcomes Research Good Research. Practices for retrospective database analysis task force report–Part II. Value Health 12: 1053-1061, 2009.
  29. Johnson ML, Crown W, Martin BC, et al. Good research practices for comparative effectiveness research: analytic methods to improve causal inference from nonrandomized studies of treatment effects using secondary data sources. The International Society For Pharmacoeconomics and Outcomes Research Good Research. Practices for retrospective database analysis task force report–Part III. Value Health 12: 1062-1073, 2009.
  30. Corrao G. Building reliable evidence from real-world data: methods, cautiousness and recommendations. Epidemiology Biostatistics Public Health 10: e8981-1-40, 2013.
  31. Du Prel J-P, Röhrig B, Blettner M. Critical Appraisal of Scientific Articles. Part 1 of a Series on Evaluation of Scientific Publications. Dtsch Arztebl Int 106: 100-105, 2009.

 

[/protected]