Indice Show
I funnel plot sono uno dei metodi statisticamente accettati per la valutazione dei publication bias. Determinare l’impatto di questa tipologia di bias sull’attendibilità dei dati di una meta-analisi è di vitale importanza per capire la portata dei risultati.
Ti starai chiedendo cosa c’entra un albero di natale con i funnel plot. Continua a leggere e scoprirai!
La meta-analisi è uno degli strumenti più performanti nell’ambito delle pubblicazioni scientifiche. Grazie alla capacità di condensare in poche informazioni una mole rilevante di dati provenienti da svariati studi, la meta-analisi riesce unitamente alla systematic review a dare forza alla sintesi delle informazioni scientifiche su un argomento.
Publication Bias
Gli studi scientifici possono essere affetti, in modo più o meno marcato, da bias. Nel caso delle meta-analisi, una delle tipologie più diffuse di bias è quella legata alle pubblicazioni effettivamente rintracciate ed incluse nell’analisi, effetto noto come publication bias o reporting bias.
Sebbene i moderni strumenti di ricerca abbiano aumentato la capacità di ciascuno nel ricercare articoli su un determinato argomento, la ricerca condotta non è mai completamente esauriente. Le banche dati forniscono una quantità impressionante di informazioni e di studi, ma mancano nel fornire informazioni circa una particolare categoria di studi: gli studi non pubblicati.
Origine dei publication bias
Gli studi che è possibile rintracciare sono sempre e solo quelli pubblicati su riviste scientifiche, manuali specializzati oppure presentati in meeting ed incontri. Insomma gli studi a disposizione per la meta-analisi sono sempre e solo quegli studi che hanno avuto qualche tipo di riconoscimento pubblico.
A fronte di questa mole di dati pubblici, molti altri studi scompaiono e sono accantonati nei cassetti degli ideatori. Specialmente quelli che non ottengono risultati statisticamente significativi.
Ne consegue pertanto che essendo la meta-analisi condotta essenzialmente su studi pubblicati, essa risente della mancanza degli studi non pubblicati. Questo si concretizza nel problema noto come publication bias, ossia bias prodotti dalla mancanza di tutte le pubblicazioni effettivamente condotte su un determinato argomento.
Publication bias: quanto è serio il problema
Sulla portata di questi bias molto è stato discusso. Qualche anno fa, una aspra contesa – per dirla al modo di Omero – è sorta proprio sui publication bias. Alcuni autori sostenevano che se qualcosa non è pubblicato, allora non può produrre bias in quanto manca di qualità tale da essere accettato dalla comunità scientifica.
Tale posizione è stata immediatamente contestata e smentita in quanto non è assolutamente provato il rapporto tra stato della pubblicazione e qualità dello studio. Si pensi ad esempio a tutti quei laureati che dopo aver eseguito un’ottima tesi di laurea non seguono un percorso accademico e di ricerca. Costoro non pubblicano il proprio lavoro e quindi uno studio mancherà alla meta-analisi!
La domanda che ci poniamo è: Come quantificare i publication bias del nostro studio se non sappiamo quanti studi non sono stati pubblicati?
La domanda somiglia un pò alla celebre affermazione del grande Totò: “Ma, dico, se i milanesi, a Milano, quando c’è la nebbia, non vedono, come si fa a vedere che c’è la nebbia a Milano?”
Non avendo un Mezzacapa a darci notizie, ricorriamo a procedure statistiche che ci consentono di conoscere e tener presente l’impatto degli studi non pubblicati sui risultati della nostra meta-analisi.
Cosa sono i funnel plot
La procedura più nota è quella relativa alla costruzione dei funnel plot. Il funnel plot è un grafico “ad imbuto” (funnel appunto). Per alcuni autori esso è anche definito Christmas Tree (ed ecco la nostra copertina per Natale) e ciò a seguito della sua forma appunto ad albero di Natale.
In termini tecnici, il funnel plot è un grafico in grado di mostrare la relazione tra la dimensione degli studi e l’effect size (vedi articolo su meta-analisi per la definizione).
Tradizionalmente, il funnel plot è tracciato plottando l’effect size sull’asse delle ascisse (asse x) ed la dimensione del campione o la varianza sull’asse delle ordinate (asse y).
Tuttavia, esistono alcune variazioni nella costruzione del funnel plot, molto in uso nei tempi recenti. Esse utilizzano l’errore standard al posto della dimensione del campione, così da distribuire in modo più ampio gli studi posti nella parte bassa del plot. Il vantaggio che ne deriva è una più facile lettura ed interpretazione del plot stesso.
Funnel plot analysis: come si legge
Gli studi con i campioni più ampi si trovano posizionati nella parte più alta del funnel plot e generalmente sono collocati intorno all’effect size medio. Gli studi con piccoli campioni si trovano nella parte inferiore del grafico e tendono a distribuirsi orizzontalmente.
Se la distribuzione degli studi è simmetrica, molto probabilmente la meta-analisi non presenta problemi di publication bias.
Segni di publication bias sono: asimmetria nella distribuzione degli studi, marcata distribuzione degli studi con campioni maggiori nella parte alta, degli studi con campioni più piccoli nella parte bassa, e mancanza di studi nella parte mediana e sopratutto non intorno all’effect size medio.
Quando è necessario tracciare i funnel plot
I funnel plot sono sempre necessari per qualsiasi meta-analisi. La mancanza di tale valutazione comporta una perdita di valore del lavoro condotto, anche quando non vi sono bias.
Per quanto accurato e preciso, uno studio senza funnel plot è come una regressione senza controlli post. Insomma è un risultato senza prova di attendibilità.
I funnel plot sono il primo step per cominciare ad indagare sui publication bias. Data la natura di grafico, l’interpretazione del funnel plot è altamente soggettiva. Si tratta prevalentemente di uno strumento esplorativo sul problema. Ogni analisi deve essere necessariamente accompagnata da ulteriori indagini di tipo quantitativo, quali Egger’s regression o trim and fill procedure.
Conclusione
Dopo aver scelto gli studi ed aver calcolato l’effect size e tracciato i forest plot, l’ultimo tassello del tuo studio quantitativo è l’analisi dei publication bias. La portata delle conclusioni del tuo lavoro sarà importante e degna di pubblicazione nella misura in cui sarai in grado di dimostrare di aver tenuto conto anche di questa tipologia di bias. Tra tanti studi che non vengono pubblicati, una meta-analisi ben fatta eviterà di produrre un altro studio non pubblicato.
