Valutazione della ricerca scientifica

Proposta di procedura di valutazione della ricerca scientifica in accordo con le linee guida del CIVR (Comitato per la Valutazione della Ricerca)

I. SCOPI E SPECIFICITA’ DELLE LINE GUIDA

In molti Paesi la ricerca è diventata oggetto di pubblico interesse e l’applicazione di strategie, procedure e strumenti è entrata nella prassi corrente. In Italia, invece, sia pure con lodevoli eccezioni, questa filosofia stenta ad affermarsi.
Il ritardo dell’Italia rispetto agli altri Paesi si è tradotto in una serie di lacune del sistema che rendono indispensabili interventi correttivi, quali:

• migliorare il collegamento istituzionale tra risultati della valutazione, selezione dei programmi e allocazione delle risorse,
• avviare procedure sistematiche di raffronto tra organismi di ricerca nazionali e internazionali,
• favorire la diffusione e la circolazione dei risultati della ricerca,
• finalizzare alla valutazione adeguate risorse umane e finanziarie.

Lo scopo del lavoro è proporre regole e procedure di riferimento per la valutazione del Sistema Nazionale della Ricerca (SNR) rivolte sia alla comunità scientifica, sia ad altri rilevanti interlocutori:

• i decisori politici, cui è affidata la responsabilità di individuare e destinare alla ricerca risorse adeguate. La particolare attenzione che all’ultimo decennio è stata dedicata allo sviluppo di modelli costi-risultati nell’ambito del settore della ricerca deriva, in buona parte, dal crescente divario tra le disponibilità finanziarie delle Amministrazioni Pubbliche, in evidente declino e i costi della ricerca in progressivo aumento;
• l’opinione pubblica.
  

II. LA VALUTAZIONE

A. Definizioni e presupposti

La valutazione della ricerca è un processo fondato sull’analisi critica di dati e informazioni, che conduce ad un giudizio di merito.
L’obiettività del processo presuppone:

• criteri e metodologie predefiniti,
• valutatori esterni alla struttura e non coinvolti nel progetto da valutare (nell’autovalutazione, invece, i requisiti dell’esercizio sono flessibili, i valutatori sono interni o, comunque, indicati dalla struttura che essi stessi dovranno valutare).

B. Tipologie

a. Valutazione formativa e prospettica

E’ condotta nella fase ex ante e durante lo sviluppo del progetto, per individuare e correggere eventuali elementi di criticità. Deve analizzare gli aspetti di seguito elencati:

1. Proposte

Devono riportare:

• una descrizione esauriente del piano di ricerca,
• elementi di autovalutazione sulla rilevanza del progetto, comprese le potenziali ricadute sul settore scientifico di riferimento,
• informazioni oggettive sul team di ricerca e sulle dotazioni tecnologiche.

2. Obiettivi

Devono essere chiari, coerenti con le finalità scientifiche complessive del progetto e compatibili con le disponibilità economiche.
In relazione agli obiettivi, saranno valutate:

• qualità,
• rilevanza,
• originalità e innovazione,
• fattibilità.

E’ opportuno che il proponente individui, già in questa fase, alcuni indicatori atti a verificare, in itinere, il livello di approssimazione agli obiettivi.

3. Produttività

E’ descritta in termini di presunto valore aggiunto del progetto, in relazione al ventaglio di prodotti previsti. I prodotti previsti devono essere coerenti con obiettivi, attività, tempi di realizzazione e investimenti programmati. Il processo di valutazione deve vagliare anche le possibili soluzioni alternative analizzando, per ciascuna di esse, vantaggi e svantaggi rispetto ai risultati previsti e alla loro priorità. Questo tipo di analisi è indispensabile per progetti di notevole portata economica.

4. Qualità

I principali elementi sui quali si fonda il giudizio di merito (peer review) sono:

• precisione e chiarezza del progetto,
• elementi di originalità e innovazione rispetto allo stato dell’arte del settore (con riferimenti nazionali ed internazionali),
• competenza documentata del proponente,
• chiarezza degli obiettivi e loro coerenza con i risultati previsti e con il piano finanziario,
• adeguatezza e rigore della metodologia,
• scansione temporale del progetto,
• ripartizione equilibrata di compiti e responsabilità tra i componenti del “team”, nel rispetto delle competenze.
  

5. Rilevanza

• Il giudizio si fonda essenzialmente sul contributo del progetto allo sviluppo del settore scientifico di riferimento. Altri elementi di giudizio sono:
• capacità del progetto di attivare reti nazionali ed internazionali di settore;
• possibilità di coinvolgere nuovi soggetti in attività di ricerca (soprattutto piccole e medie imprese).

6. Impatto economico e sociale

Nella fase ex ante, le metodologie adottate coinvolgono, prevalentemente, tecniche di stima (modelli, simulazioni, esercizi di previsione tecnologica), rendendo la valutazione dell’impatto assai complessa e comunque subordinata alle diverse tipologie della ricerca. (Nella ricerca fondamentale, le eventuali applicazioni pratiche sono, in genere, molto dilazionate nel tempo e non prevedibili).
L’analisi deve considerare:

• collaborazioni (in atto, da consolidare o da attivare),
• nuove strutture realizzate in collaborazione con il mondo produttivo e sociale,
• formazione e alta formazione,
• mobilità del personale da e verso il mondo produttivo,
• azioni di diffusione, divulgazione e trasferimento dei risultati.

7. Gestione delle risorse

Il giudizio si articola su due elementi essenziali:

• congruità e attendibilità della richiesta,
• raccordo (anche finanziario) con altri progetti realizzati o in corso di realizzazione.

b. Valutazione sommativa o retrospettiva

• Obiettivi raggiunti vs obiettivi previsti
• Produttività
• Qualità e rilevanza
• Outcome
• Impatto economico e sociale
• Gestione delle risorse
• Valore aggiunto rispetto a possibili alternative

C. Finalità

La valutazione della ricerca non deve essere percepita come un meccanismo burocratico o censorio, ma come preziosa opportunità per mettere a fuoco aspetti nevralgici della performance delle strutture di ricerca, quali:

• qualità e rilevanza della produzione scientifica,
• originalità e innovazione,
• internazionalizzazione,
• capacità di gestire le risorse (umane, tecnologiche e finanziarie).

L’organizzazione del processo per aree disciplinari raggiunge lo scopo di verificare lo spessore scientifico delle diverse aree e di consentire, nel loro ambito, l’individuazione di strutture, settori e discipline cui riservare, su basi oggettive e con massima trasparenza, risorse coerenti con il giudizio di merito acquisito.

Le ricadute potenziali per il Paese sono molteplici:

• nuove frontiere delle conoscenze;
• individuazione di strutture, aree e settori di ricerca in grado di affrontare e dare risposte adeguate a grandi temi sociali, quali occupazione, salute e ambiente;
• identificazione degli elementi di forza e di debolezza del SNR (Sistema Nazionale della Ricerca);
• indicazioni sui possibili interventi correttivi;
• indicazioni per la pianificazione strategica degli interventi a sostegno della ricerca.
  

Valorizzazione e confronto, nazionale ed internazionale, oltre a rappresentare utili strumenti per la programmazione, assumono il significato di forti elementi di motivazione per tutti gli addetti. Infine, la diffusione continua, su larga scala, di dati e informazioni sui risultati della valutazione, unitamente alla trasparenza del processo, rappresentano una irrinunciabile opportunità di vigilanza democratica sulla gestione delle risorse del Paese.

D. Metodologie

Non esiste un metodo unico di valutazione, ma differenti approcci qualitativi e quantitativi, potenzialmente applicabili ai vari contesti.
La scelta della metodologia esercita un forte impatto sulla credibilità dei risultati.
Ad esempio, metodologie eccessivamente complicate, che richiedono tempi di attuazione molto lunghi prima di giungere a conclusioni definitive, sono difficilmente utilizzabili per decisioni di politica scientifica.
I metodi quantitativi si fondono sul concetto di misurazione dell’impresa scientifica e dei risultati prodotti, cercando di rapportare tra di loro indicatori di input e output e tentando di individuare eventuali regolarità statistiche.
I metodi qualitativi, invece, si fondano prevalentemente sul giudizio di merito (peer review).
Entrambi i metodi non sono esenti da difetti: nel primo caso si aderisce a un sistema deterministico, che non è in grado di cogliere effetti imprevisti e casuali generati dai risultati della ricerca (che costituiscono l’essenza di molte scoperte scientifiche); nel secondo si configura il rischio della valutazione “personalistica”, con i perversi effetti di chiusura alle novità ad opera delle scuole di pensiero dominanti.

a. Giudizio di merito

Il giudizio di merito è un processo di valutazione della ricerca condotto da esperti esterni, che operano nel settore o in settori affini a quello in oggetto.
Il processo viene comunemente definito peer review, a sottolineare il concetto di pari autorità scientifica tra esperti e autori.

b. Criteri e indicatori

La valutazione della ricerca è un processo analitico che si fonda sull’applicazione di specifici criteri di riferimento. Ciascun criterio comprende una serie di indicatori che lo misurano secondo diverse prospettive. La dinamica temporale degli indicatori fornisce informazioni sugli sviluppi della ricerca e sugli eventuali correttivi da adottare. Il CIRV propone un modello flessibile di criteri e indicatori, trasferibile alle diverse tipologie della ricerca scientifica.

c. Autovalutazione

E’ finalizzata all’esame critico dell’organizzazione della struttura e della sua performance, in rapporto agli obiettivi programmati e in considerazione della pianificazione strategica e dei piani di attuazione.
Il processo si traduce nella relazione di autovalutazione, a cura dei responsabili della struttura.
Gli elementi che costituiscono, nell’insieme, la responsabilità di direzione e che devono essere oggetto specifico della relazione di autovalutazione, sono:

• la pianificazione strategica,
• il piano operativo,
• la gestione delle risorse.

E’ opportuno ricordare che la responsabilità di direzione riveste un ruolo primario a vari livelli trategico/organizzativi della struttura, quali:

• definizione della missione;
• pianificazione di obiettivi coerenti con la missione;
• destinazione di risorse adeguate al raggiungimento degli obiettivi pianificati;
• valutazione periodica dei risultati conseguiti e della efficienza e della efficacia dei processi sviluppati per il loro conseguimento;
• individuazione e adozione delle opportune misure correttive, in relazione alla continua revisione critica dei processi.

La valutazione prospettica e retrospettiva costituiscono parte integrante della relazione di autovalutazione.

d. Benchmarking

E’ un confronto di attività e processi della struttura in esame con le best practice di settore, per definire il posizionamento e le possibili strategie di miglioramento della struttura stessa.
Il processo deve coinvolgere, in primis, le varie strutture di ricerca del Paese (benchmarking competitivo), per giungere ad un rankinklist. Successivamente, in un’ottica di più ampio raggio, il confronto viene esteso all’esterno del Paese, ad altre strutture che hanno conseguito risultati di eccellenza nella medesima area scientifica.
La reale portata cognitiva del benchmarking scaturisce anche dalle “site visit”, nel corso delle quali le esperienze di successo possono essere più facilmente recepite, per essere successivamente diffuse. Dalle strutture posizionate all’apice delle rankinglist ci si attende piena disponibilità ad ospitare delegazioni di altri enti, interessati ad apprendere e riprodurre le condizioni di successo.

III. SISTEMA DI VALUTAZIONE

L’esercizio viene tenuto, di norma, con cadenza triennale ed è rivolto alla valutazione della performance scientifica di strutture e progetti speciali, finanziati dal MIUR nel triennio precedente.
Il Ministero dispone, con proprio decreto, l’organizzazione generale, l’articolazione temporale del processo di valutazione e la destinazione di adeguate risorse e strutture di supporto, mentre la realizzazione/implementazione del sistema di informatizzazione delle procedure è affidata al CINECA.

Organismi di valutazione

a. Comitato di Indirizzo per la valutazione della ricerca (CIUR)

Il CIUR è composto da 7 esperti nominati dal Governo e ha sede presso il MIUR.
I componenti eleggono al proprio interno il Presidente.
Il CIUR è assistito da uno staff tecnico, dispone di un badget e può ricorrere al supporto di esperti esterni, anche stranieri.
Al CIUR sono affidati i seguenti compiti:

• promuovere lo sviluppo della cultura della valutazione della ricerca,
• proporre linee guida per le parti interessate,
• organizzare l’intero processo di valutazione,
• programmare ed effettuare la valutazione di enti e progetti delle amministrazioni statali, previa intesa con le stesse,
• definire criteri e indirizzi per la costituzione, da parte degli enti di ricerca, di comitati interni di valutazione (CIV),
• definire i criteri per la composizione dei Panel di area e di progetto e sceglierne i componenti,
• valutare i dati conoscitivi trasmessi dalle strutture,
• valutare i rapporti dei comitati/nuclei di valutazione delle strutture,
• promuovere incontri periodici con i componenti dei Panel,
• valutare le relazioni e i rapporti dei Panel,
• promuovere eventuali audizioni con le parti interessate,
• produrre la relazione finale per singola struttura e progetto speciale,
• proporre modalità di collegamento tra risultati della valutazione e attribuzione delle risorse,
• proporre documenti di indirizzo sulla valutazione della ricerca,
• valutare l’efficacia degli interventi pubblici per la ricerca industriale,
• produrre relazioni periodiche (almeno triennali) di valutazione del SNR.

b. Panel di area e di progetto

I panel sono composti, di norma, da un minimo di 5 a un massimo di 9 esperti, in rappresentanza della comunità scientifica e hanno sede presso il MIUR. Per le aree o i progetti speciali caratterizzati da particolare eterogeneità disciplinare e/o numerosità dei prodotti o progetti da valutare, il CIUR, su proposta dei Panel e nel loro contesto operativo, può provvedere alla costituzione di sub-Panel, con specifiche competenze disciplinari. Analoghe procedure possono essere adottate, quando necessario, per la valutazione della ricerca interdisciplinare.
Criteri e indirizzi per la costituzione dei Panel e di eventuali sub-Panel sono affidati al CIVR, con il concorso di osservatori designati dalla comunità scientifica (CRUI, CUN, Enti di ricerca, Sistema della ricerca industriale, ecc.).

Il processo è articolato in 3 fasi:

• identificazione dei profili richiesti per i componenti dei Panel,
• richiesta di segnalazione di potenziali componenti,
• esame dei curricula e nomina dei componenti.

I componenti dei Panel eleggono al proprio interno il Presidente. I Panel si avvalgono di esperti, anche stranieri, sono assistiti da staff di supporto e dispongono di budget.
Agli esperti è affidato il compito di esprimere un giudizio di merito:

• sui prodotti selezionati dalle strutture (valutazione retrospettiva),
• sui prodotti speciali (valutazione prospettica e retrospettiva).
  

Ai Panel, integrati da eventuali sub-Panel, è affidato il compito di redigere il rapporto finale, con allegata ranking list:

• di area, a cura dei panel di area (Tabella 1),
• di progetto, a cura dei Panel di progetto.
  

Le aree di valutazione corrispondono alle 14 aree scientifico-disciplinari del comitato Universitario Nazionale (CUN), integrate da aree speciali, indicate dal CIVR all’inizio di ogni esercizio triennale.
Le aree speciali sono scelte in considerazione del prioritario valore aggiunto per il Paese e della loro coerenza con gli obiettivi previsti dal Programma Nazionale della Ricerca (PNR) e dai programmi di ricerca e sviluppo comunitari.
I progetti speciali di ricerca sono esclusivamente quelli previsti e finanziati dal PNR. Sono assimilate a progetti speciali le attività degli enti di ricerca con carattere di agenzia.

Tabella 1

Aree di Valutazione
01
Scienze matematiche e informatiche
02
Scienze fisiche
03
Scienze chimiche
04
Scienze della terra
05
Scienze biologiche
06
Scienze mediche
07
Scienze agrarie e veterinarie
08
Ingegneria civile ed architettura
09
Ingnegneria industriale e dell’informazione
10
Scienze dell’antichità, filologico-letterarie e storico-artistiche
11
Scienze storiche, filosofiche, pedagogiche e psicologiche
12
Scienze giuridiche
13
Scienze economiche e statistiche
14
Scienze politiche e sociali



Fonte: CIRV, organismo di valutazione del MIUR