Dossier n. 268/2020 - L’impatto dei progetti di ricerca sanitaria finanziati dalla Regione Emilia-Romagna nel periodo 2007-2013

Misurare l'impatto della ricerca è un’attività importante sia per valutare i benefici degli investimenti dedicati alla ricerca sia per orientare la ricerca futura; tuttavia i modelli di riferimento ed i metodi di questa attività sono ancora in fase di sviluppo. Ad oggi sono disponibili vari strumenti, ma è ancora in corso un ampio dibattito sul modo più appropriato di utilizzarli.

Per valutare l’impatto di un programma regionale di finanziamento della ricerca sanitaria, nel presente lavoro è stato utilizzato un metodo ispirato al modello Payback Framework (Buxton and Hanney, 1996; Donovan and Hanney, 2011; Raftery et al., 2016), nella versione aggiornata dalla Canadian Academy of Health Sciences - CAHS (Canadian Academy of Health Sciences Report, 2009).

In particolare, si è voluto valutare l’impatto del programma di ricerca Regione-Università che nel periodo 2007-2014, ha impegnato in ricerca sanitaria oltre 60 milioni di Euro. Dei 148 progetti finanziati, 115 sono stati inclusi nella valutazione di impatto. Sono stati esclusi 27 progetti in quanto relativi a interventi formativi (e pertanto non riconducibili a ricerca vera e propria) e 6 progetti interrotti o che non hanno mai avviato le attività.

Come fonte di dati sono state utilizzate sia le relazioni scientifiche sia indagini ad hoc.

Sono stati quindi individuati specifici indicatori per i seguenti tre domini:

• la produzione e la diffusione della conoscenza (advancing knowledge)
• l’aumento della capacità del sistema di condurre ricerca di qualità (research capacity)
• il potenziamento della capacità degli stakeholder (decisori politici, pazienti, associazioni) di prendere decisioni informate sulla salute (informing decision making).

Le analisi, oltre che sul totale dei progetti, sono state condotte per tipologia di bando (ricerca innovativa, ricerca per il governo clinico, "giovani ricercatori ricerca biomedica" e "giovani ricercatori ricerca clinica") e per area tematica del progetto.

La produzione e la diffusione della conoscenza è stata misurata con indicatori bibliometrici.

In totale sono state prodotte 509 pubblicazioni, con un numero medio di pubblicazioni per progetto di 4,4. Il maggior numero di pubblicazioni per progetto si è avuto nei bandi di ricerca innovativa (11,8) ed il minimo nei bandi di ricerca per il governo clinico (0,7). L’analisi per area tematica vede una distribuzione molto disomogenea con aree nettamente prevalenti su altre, tuttavia, l’esiguo numero di progetti in alcune aree rende i dati di difficile interpretazione.

Un elemento interessante risulta essere il non trascurabile numero di pubblicazioni che sono collegate a più di un progetto: ciò potrebbe essere interpretabile positivamente con scambi e collaborazioni tra gruppi di ricerca; resta però il dubbio della citazione opportunistica, per aumentare fittiziamente il numero di pubblicazioni.

L’analisi citazionale sull’intera produzione scientifica mostra un valore di Field Weighted Citation Impact che si attesta a 2,2 (con intervallo di confidenza 1,79-2,65). Valori sopra a 1 sono migliori della media mondiale, il valore raggiunto è quindi da considerarsi buono. I progetti con un impatto maggiore sono quelli dei bandi di ricerca innovativa. Le aree tematiche dei progetti che hanno prodotto un maggior impatto citazionale sono: apparato cardiocircolatorio, medicina rigenerativa e diagnostica avanzata.

L’analisi delle collaborazioni nelle pubblicazioni mostra valori inferiori agli attesi, dato probabilmente spiegabile dalla natura regionale dei bandi.

L’aumento della capacità di ricerca è stato misurato con un indicatore composito che ha tenuto conto della acquisizione e formazione di personale, degli investimenti in tecnologie/infrastrutture, dell’accesso a ulteriori fondi. Sul totale dei 115 progetti, 78 (68%) hanno in qualche misura contribuito ad un miglioramento della research capacity, nella stragrande maggioranza dei casi attraverso investimenti in personale. Nella analisi per tipologia di bando risulta che la Ricerca innovativa e i progetti "Giovani ricercatori - ricerca biomedica" hanno contribuito maggiormente alla research capacity.

L’analisi dell’influenza dei progetti sui processi decisionali è stata condotta in base all’ampiezza geografica della ricaduta sulle decisioni prese: locale, regionale, nazionale o internazionale.

Il 58% dei progetti non ha avuto alcun impatto sui processi decisionali, con valori che vanno dal 46% nella ricerca innovativa all’86% nei "Giovani ricercatori - ricerca biomedica".

Sono evidenti anche diverse criticità: il 90% dei progetti ha accumulato ritardi nella conduzione; il 31% dei progetti non ha prodotto nessuna pubblicazione, il 32% non ha apportato nessun potenziamento del sistema in termini di research capacity e ben il 57% non ha prodotto nessun elemento utile a prendere decisioni (informing decision making). Tuttavia, il ridotto miglioramento della research capacity nei progetti clinici è in parte spiegabile con la natura stessa dei progetti che non prevedeva grandi investimenti in personale e/o infrastrutture.

In conclusione, possiamo affermare che i progetti finanziati hanno prodotto un numero limitato di pubblicazioni di buona qualità e hanno contribuito alla research capacity, specialmente per il fattore risorse umane. Limitato è stato invece il risultato in termini di informing decision making.

Dai dati emergono alcuni spunti che meritano di essere presi in considerazione per migliorare la performance di eventuali futuri programmi di finanziamento orientati al trasferimento dei risultati nella pratica clinica. In particolare, si raccomanda di:

• orientare maggiormente i futuri bandi alle esigenze di programmazione e di sviluppo per il miglioramento dell'assistenza e delle cure; ciò potrebbe favorire un maggior impatto sui processi decisionali
• formare i ricercatori sul valore dell’impatto della ricerca e sugli strumenti per la sua misura
• per fronteggiare il problema dei ritardi nella conduzione dei progetti, prevedere uno specifico gruppo di monitoraggio dei progetti che garantisca verifiche periodiche su stato di avvio, avanzamento, milestones e deliverable
• al fine di permettere un’analisi più tempestiva ed accurata dei prodotti della ricerca, prevedere un meccanismo strutturato ed informatizzato di monitoraggio dei prodotti dei progetti, disegnato sui domini del modello CHAS
• prevedere in modo sistematico momenti di verifica dell’impatto della ricerca anche dopo la conclusione dei progetti
• predisporre meccanismi per incentivare la pubblicazione e la diffusione dei risultati.