Indice Show
La systematic review (in versione italiana nota come revisione sistematica) è la più complessa tipologia di studio scientifico. Infatti, nei manuali di tutto il mondo, essa occupa il posto più in alto della piramide degli studi. Supera in complessità ed importanza i famosi e complessi studi RCT.
Systematic Review: cos’è
L’obiettivo di ogni systematic review è sintetizzare le informazioni provenienti da più studi e pervenire ad una visione complessiva dell’argomento di interesse. In modo molto semplice, possiamo pensare alla systematic review come allo “studio degli studi“.
Immagina ad esempio di voler capire quanto un nuovo farmaco X possa ridurre l’ipertensione nella popolazione anziana senza tuttavia presentare severi effetti collaterali.
Per avere un’idea della difficoltà ti invito a cercare su PubMed il termine “ipertensione”: potrai osservare molteplici lavori sul tema; scorrendo già i titoli avrai modo di scoprire che molti di essi sono addirittura relativi allo stesso identico trattamento farmacologico. Infine, se provi a leggere alcuni abstract, scoprirai che efficacia e tollerabilità sono i principali outcome. Tuttavia, i risultati dei lavori sono diversi ed in alcuni casi contrastanti.
Tutto ciò impedisce di poter avere una chiara e univoca percezione di efficacia e tollerabilità.
L’unico modo per poter definire chiaramente se un determinato farmaco X sia effettivamente efficace e con un buon profilo di sicurezza, è necessario sintetizzare le informazioni provenienti da diversi, ma similari studi e provare ad interpretarli.
Ma come è possibile sintetizzare ed interpretare notevoli quantità di informazioni nel modo più asettico e rigoroso?
Revisione narrativa
Fino agli inizi degli anni ’90, la revisione degli studi veniva condotta unicamente in modo narrativo. Per creare una revisione narrativa, si procede da insieme di studi che si considerano similari e comunque comparabili e si esegue un “riassunto”, ovviamente scientifico e commentato, in cui l’autore della revisione cerca di cogliere gli aspetti di ogni studio e di sintetizzare il trend generale tra tutti.
Ancora oggi alcuni argomenti necessitano di questo approccio: è ciò che è accaduto nei primi mesi dell’esplosione di Covid-19. I ricercatori hanno raggruppato in modo organico le informazioni provenienti dai vari lavori per cercare di comprendere cosa stesse accadendo.
Sfortunatamente, il metodo della revisione narrativa presenta delle limitazioni. Il principale difetto dell’approccio narrativo è la parzialità della sintesi. Due diversi autori possono focalizzare l’attenzione su aspetti diversi dei singoli studi e dunque dare risalto ai pregi/difetti di uno studio in modo diverso.
Come puoi tu stesso notare, l’approccio narrativo manca di fortissimo rigore. Innanzitutto è carente dal punto di vista della metodologia di ricerca e selezione degli studi perché non pone dei rigidi e condivisi parametri per definire gli studi da includere. Inoltre, la revisione narrativa manca di metodo circa valutazione di qualità di ogni singolo studio incluso e non ha un formato standard. Ed infine, non ha basi per fondare una sintesi quantitativa di molteplici studi (vedi meta-analisi).
Revisione sistematica
Dalla necessità di colmare i bias di una semplice revisione narrativa, è nata l’idea della revisione sistematica. Se il termine “revisione” richiama l’idea di rivedere (dal latino revidere), ossia analizzare nuovamente per modificare, approfondire e capire meglio, la parola “sistematica” è il fulcro del lavoro. Essa si riporta in modo diretto al concetto di procedere secondo un sistema seguendo un metodo rigoroso.
Due elementi essenziali: metodo e focus
Da questa prima disamina, si evince che la systematic review usa metodi chiari e pianificati a priori per identificare, selezionare, valutare e sintetizzare studi similari.
Inoltre, essa si differenzia da qualsiasi altro studio per la fortissima focalizzazione della specifica domanda di ricerca. Ad un primo esame, questo aspetto può apparire banale. Molti potrebbero infatti rispondere: “Ok, ma ogni studio è focalizzato!“.
Nel caso della systematic review, il tema della focalizzazione della domanda di ricerca è ancora più rilevante. Infatti, se pensi con maggiore attenzione a cosa significa “specifica domanda”, successivamente ti focalizzi sulla parola “specifica” e quindi provi a formulare una domanda nel tuo ambito di ricerca, ti rendi conto che non è semplice focalizzare la domanda della systematic review.
Riprendiamo l’esempio precedente dell’ipertensione. Quale può essere una domanda di ricerca focalizzata? Potremmo immaginare qualcosa tipo: Valutare l’efficacia del farmaco X rispetto al trattamento tradizionale nella popolazione anziana.
Sembrerebbe una classica domanda di ricerca, ma per una systematic review è molto povera, in quanto non consente di identificare gli studi da includere. Ad esempio: Cosa si intende per popolazione anziana e per trattamento tradizionale? Quale deve essere l’ambito di raccolta dati di ogni studio da includere (ospedali, case di riposo, ambulatori medici, …)? Qual è il tempo di minima osservazione per il farmaco X? E potrei continuare con le domande.
Da questo brevissimo e sommario esempio, si comprende che porre una generica domanda di ricerca e provare a selezionare più studi possibili (magari per impressionare la platea di stakeholders) non è una systematic review. Potremmo definirla come revisione narrativa o tradizionale, ma non risponde ad una specifica necessità. Volendo raccogliere molte informazioni, essa finisce molto spesso con non raccoglierne alcuna. Per renderela in chiave letteraria, mi riporto a Giosuè Carducci: “e sempre corsi e mai non giunsi il fine”.
Viceversa, porre una specifica domanda e focalizzarsi su di essa significa avere le basi per poter realmente selezionare e sintetizzare gli studi presenti in letteratura e trarne una tendenza univoca.
Step di una revisione sistematica
Dopo aver ben chiarito cosa rende speciale una systematic review, passiamo a comprendere come procedere. I passi necessari sono 10, ma tutti fondamentali per un buon lavoro.
1. Definisci il team di lavoro
Il primo passo rilevante per condurre una buona systematic review è quello di identificare un buon team. Condurre revisioni sistematiche “in solitario” significa non avere un contraddittorio capace di controllare il metodo di lavoro.
Inoltre, dopo aver eseguito ricerche e valutazioni degli studi in modo indipendente, è fondamentale quanto utile fare chiarezza su cosa includere in una revisione sistematica comparando i risultati di due diversi autori e discutendo i pareri discordanti, magari sotto la supervisione di un terzo.
Molto spesso la revisione sistematica è indirizzata a professionisti del settore di ricerca ed in alcuni casi ai pazienti, per cui avere un buon team consente di comprendere i diversi punti di vista di tutti i possibili stakeholders di una systematic review.
2. Sviluppa il protocollo
Benché possa apparire strano, anche nel caso della revisione sistematica hai bisogno di un protocollo di ricerca, esattamente come per qualsiasi altro studio di ricerca. La linea di guida di “come” farai “cosa” e “quando” è necessaria per tutto il team di ricerca. Perdere la bussola nella ricerca degli studi è molto più facile di quanto si immagini.
In questo caso il protocollo deve contenere i riferimento al modello PICO (o PECO nel caso in cui la systematic review riguardi una valutazione di tipo epidemiologico).
3. Raccogliere i dati
Sopra ho definito la systematic review come lo studio degli studi; ciò significa che anche essa contiene dati. Essi sono gli studi inclusi. Come ripeto spesso, i dati senza una logica di raccolta sono solo informazioni molto spesso anche inutili. Dunque il terzo passo è raccogliere i dati, ossia gli studi da includere, secondo uno schema organico ed ovviamente pianificato al momento della redazione del protocollo. In questa fase è fondamentale saper accedere ai database degli articoli e farlo in modo rigoroso, registrando tutti i passi.
4. Database: non solo PubMed
Il quarto aspetto sono i database per la ricerca e selezione degli studi. Chiariamo bene: adoro PubMed, ma non basta per una systematic review. Giusto per darti un’idea, quando esegui una revisione sistematica ci sono da controllare PubMed (mettiamolo per primo), EMBASE, ISI Web of Science, Scopus, Cochrane Central Register of Controlled Clinical Trials (CENTRAL) tra i principali. Più tutti quelli specifici per il tuo argomento, tipo PsychINFO o Drugs@FDA.
5. Selezionare gli studi
Insieme allo step precedente, la selezione degli studi è ciò che fa la differenza tra una revisione di qualità ed una revisione scadente. Scegliere quali studi inserire o escludere è uno dei passaggi cruciali. Gli autori devono leggere gli abstract, escludere gli studi ripetuti, leggere i full-text di quelli “papabili”, studiare quelli possibili fino ad arrivare a scegliere gli studi di interesse. Questa fase è una delle più dure. Anche perché per ogni studio che escludi serve sapere ed annotare perché lo escludi. Ricorda che è “sistematica”!
6. La valutazione dei bias
Come sempre accade nella ricerca scientifica: non esiste la perfezione, neanche negli studi pubblicati. Esistono studi di altissima qualità, ma vi sono anche delle pubblicazioni in cui la qualità non emerge perché gli autori non sono stati sufficientemente chiari nello spiegare l’approccio metodologico. Vi sono inoltre lavori nei quali sono presenti bias che non è stato possibile eliminare e che rappresentano limitazioni dei risultati.
Dunque, è fondamentale definire la qualità degli studi inclusi, assegnando un punteggio di qualità e eseguendo la “famigerata” valutazione dei risk of bias. La procedura è complessa, laboriosa e, ovviamente, rigorosissima.
7. Quanto incidono gli studi non pubblicati?
Ok pensavi di essere pronto per la fase di sintesi. Ancora no, c’è un rischio di bias da tenere in conto: gli studi non pubblicati. Gli studi non pubblicati (molto spesso sono quelli senza p-value significativo o chiusi nel cassetto di qualche ricercatore) fanno sì che l’effetto complessivo della revisione sia sotto- o sovrastimato. Giusto per info, i rischi di sovrastima o sottostima aumentano se la systematic review è seguita da meta-analisi.
Cosa fare dunque degli studi non pubblicati? Se non li trovi… beh non li hai trovati: come valutare qualitativamente ciò che non hai?
Il problema sorge quando hai reperito studi non pubblicati dalla cosiddetta “grey literature“? Includerli o meno? Cochrane consiglia: poiché si tratta di studi che non hanno superato la peer-review, tocca agli autori della systematic review diventare revisori e valutare lo studio.
8. Sintetizzare i risultati e valutare l’evidenza
La terzultima fase è composta da due elementi chiave: la sintesi degli studi e la valutazione dell’evidenza complessiva. La sintesi non è il puro e semplice riassunto di ogni studio. Si tratta di una presentazione rigorosa dei singoli lavori, in cui si descrivono i punti salienti degli studi, prevalentemente campioni, misure e risultati. Il tutto è di più facile lettura se corredato da tabelle redatte in modo molto accurato.
La valutazione dell’evidenza complessiva equivale alla discussione: cosa ricava l’autore dalle informazioni degli altri studi? Cosa abbiamo aggiunto di nuovo? Qual è l’evidenza complessiva che emerge? Quale strada ci viene indicata dai singoli lavori posti in un’unica grande valutazione?
Chi si occupa di questa parte non deve sottovalutare neanche un solo aspetto dei singoli studi e deve veramente concentrarsi per poter presentare una discussione organica, ben articolata e non banale. Inoltre chi scrive deve essere molto bravo nel sintetizzare senza annoiare e ripetere. Insomma, come tutte le discussioni, ci vuole un gran lavoro.
9. Revisione
Dopo aver scritto il report di tutto il lavoro, è sempre opportuno far leggere l’intero manoscritto ad un terzo: un esperto del settore, un revisore del testo, un soggetto estraneo al team con capacità di critica. Insomma, poiché la discussione potrebbe essere “Cicero pro domo sua“, per dirla alla Cicerone, allora è sempre consigliato far leggere il lavoro a qualcuno che “faccia le pulci” a tutto il testo. Ovviamente questo presuppone che gli autori siano disponibili a ricevere critiche. Ma, se può consolare, meglio una critica prima della submission. Una critica da parte dei referee è sempre la parte più difficile da affrontare… specialmente per il sistema nervoso!
10. Aggiornamento
Finita la revisione, passata la fase di sistemazione dopo la revisione interna, sei pronto a mandare alla rivista. No, ancora no, mi spiace. Sembra un pò gioco dell’oca, ma devi tornare al punto 3. Dai un’ultima occhiata alla letteratura: può darsi che da quando hai eseguito la scelta degli studi, qualche nuovo lavoro sia stato pubblicato. Beh, una revisione sistematica deve essere al passo coi tempi!
Fuori programma: undicesimo punto
Attendere pazientemente la risposta del journal scelto. Se ricevi la richiesta di major revisions, sii comunque contento, potevano rigettare a primo colpo. Nel caso di richieste per minor revisions, sta andando bene. Se il journal accetta senza richiedere nulla, ci sono due correnti di pensiero: la prima dice: “festeggia!”, mentre la seconda dice: “Rileggi il lavoro e vediamo come potevi farlo ancora meglio!“.
Conclusione
Eseguire una systematic review è un’esperienza da provare per qualsiasi ricercatore. Alla fine del lavoro si scopre di essere enormemente più ricchi non solo in termini di conoscenze acquisite, ma soprattutto in termini di metodologia e rigore logico. Non è una tipologia di studio da dare ai neofiti della ricerca, ma penso che dopo le prime pubblicazioni una systematic review aiuta a comprendere le direzioni di crescita. Quindi, se non ne hai mai condotta una, prova a cimentarti. E a coloro che sono già esperti di questo tipo di studi, consiglio di provare a farne altre, più dettagliate e più complesse. Il mondo della ricerca ha bisogno di acquisire nuova conoscenza!
Corsi Online per la ricerca scientifica by Mathsly Academy
Visita la nostra pagina dei corsi dedicati alla ricerca scientifica
