Da Oggiscienza, 27 maggio 2016
Ogni forma di investimento richiede un’analisi dei costi richiesti e dei benefici che possono essere ottenuti. Ciò è possibile tramite un processo di valutazione in grado di stimare il raggiungimento di determinati obiettivi, e l’impatto a medio e lungo termine dell’attività su cui si vuole investire. Nell’ambito della ricerca, la valutazione ricopre un ruolo fondamentale poiché consente di organizzare e gestire gli investimenti in base ai risultati conseguiti e alle ricadute in termini di conoscenze, innovazione e applicazioni. Valutare la ricerca significa stabilire norme e criteri per misurare la quantità ed esprimere giudizi sulla qualità di una produzione scientifica.
Ma come si svolge, in pratica, questo processo?
“Ci sono due possibili approcci alla valutazione di un lavoro scientifico: quello qualitativo, che presuppone una critica costruttiva, e quello quantitativo, che si occupa di misurarne l’impatto tramite indicatori specifici” spiega a Oggiscienza Antonella De Robbio, coordinatore delle biblioteche del Polo Giuridico dell’Università degli Studi di Padova e membro del Gruppo di Lavoro Open Access della Commissione Biblioteche della CRUI. “Il primo è incentrato sulla revisione condotta da pari (peer-review e sue varianti) mentre il secondo si basa sul calcolo in termini numerici dell’impatto scientifico di una ricerca – sia in forma di articolo sia di brevetto – di un autore, di un gruppo di ricerca, di una rivista o anche di un intero Paese”.
Entrambi gli approcci rientrano nell’ambito della scientometria, una disciplina nata negli anni cinquanta grazie agli studi di John Derek de Solla Price, fisico e storico della scienza britannico. Altro pioniere di questo campo di studi fu il linguista, imprenditore e bibliotecario americano Eugene Garfield che, ispirato da un articolo di Vannevar Bush, sviluppò un sistema bibliografico per la letteratura scientifica che consentisse di valutarne l’importanza e la diffusione, il Science Citation Index (SCI), prodotto dall’Institute for scientific information (ISI) di Philadelphia, fondato nel 1960 dallo stesso Garfield. Nacque così l’impact factor (IF), un indice che misura il numero medio di citazioni ricevute in un particolare anno da articoli pubblicati in una rivista scientifica nei due anni (o cinque) precedenti, diviso per il totale del numero di articoli pubblicati negli stessi due/cinque anni. L’IF – indicatore di proprietà di Thompson Reuters – ha avuto un grande successo ed è tutt’ora molto usato, ma non è l’unico indicatore quantitativo del suo genere e la sua efficacia è stata messa più volte in discussione.
La progressiva industrializzazione della scienza e la sempre maggior disponibilità di banche dati online hanno consentito la nascita di un ramo della scientometria, la bibliometria, che utilizza tecniche matematiche e statistiche per analizzare i modelli di distribuzione delle pubblicazioni e l’impatto di un articolo o di un autore all’interno della comunità scientifica. Nello stesso tempo, si sono sviluppate diverse varianti di peer-review, da quella tradizionale a quella retroattiva, caratteristica degli overlay journal, fino alla social peer-review aperta tipica del web 2.0.
“Una valutazione efficace non si può basare solo sull’analisi bibliometrica, ma deve essere associata a uno o più metodi qualitativi” chiarisce De Robbio. “Il problema è che l’approccio qualitativo richiede sforzo, tempo e persone disponibili, e nell’ambito della ricerca viene svolto a costo zero. Nessuno paga un ricercatore che fa la peer-review a un altro lavoro. Poi però il risultato di quella revisione viene pubblicato su una rivista che nella maggior parte dei casi si farà pagare per dare accesso agli articoli”.
Di contro, gli indicatori bibliometrici non sono sempre applicabili e alcune comunità di ricerca hanno sollevato parecchie controversie.
“Si continua ad assegnare all’Impact Factor un ruolo principale, ma l’assunzione che a un’elevata frequenza di citazione corrisponda un’elevata qualità della rivista, sul piano concettuale ha scarso fondamento” precisa De Robbio. “Inoltre, una metrica basata su rivista, come l’IF, non è adatta a misurare la qualità di un singolo paper scientifico o l’impatto di un singolo scienziato. Per esempio per misurare l’impatto di un autore esiste un indicatore apposito, l’indice H, messo a punto nel 2005 dal matematico Jorge Hirsch e del quale esistono numerose varianti applicabili a differenti comunità. Senza contare che per certe discipline l’IF non solo è inadeguato, ma in alcuni casi addirittura inapplicabile, come nelle scienze umane e sociali, economiche, giuridiche, storiche”.
Nell’ambito della valutazione della qualità della ricerca (VQR) effettuata dall’ANVUR, l’IF è uno degli indici utilizzati, insieme ad altri generati da due dei principali database citazionali scientifici, Web of Science (WoS, evoluzione dell’ISI) e Scopus, di proprietà del gruppo editoriale Elsevier. In particolare, gli indici applicati nella VQR da alcuni dei GEV (Gruppi Esperti Valutazione), in modo differenziato a seconda del settore disciplinare, sono:
- 5YIF: Five-year Impact Factor (WoS)
- AIS: Article Influence Score (WoS)
- MCQ: Mathematical Citation Quotient (WoS)
- IPP: Impact per publication (Scopus)
- SJR: Scimago Journal Rank (Scopus)
- SNIP: Source Normalized Impact per Paper (Scopus)
Ci sono alcune aree disciplinari che non fanno riferimento a questi indicatori. Ciò è dovuto in alcuni casi alla mancanza di banche dati su cui applicare gli algoritmi bibliometrici, e in altri alla natura stessa delle discipline, i cui risultati vengono espressi sotto forma di monografie, cataloghi, mostre o, nel caso del diritto, da sentenze e relativi commenti
- Scienze dell’antichità, filologico-letterarie e storico-artistiche
- Scienze storiche, filosofiche e pedagogiche
- Scienze giuridiche
- Scienze politiche e sociali
Interessante è il caso dell’MCQ (Mathematical Citation Quotient), usato nelle scienze matematiche, per le quali le due basi di dati usate nelle altre discipline scientifiche non sono state ritenute sufficientemente rappresentative dagli esperti del ministero. “Una teoria matematica si sviluppa su tempi molto più lunghi e quindi non la si può valutare con gli stessi indicatori usati per misurare l’impatto di discipline come la medicina o la biologia, dove risultati di cinque anni prima vengono già considerati datati” spiega De Robbio. “E allora i matematici cos’hanno fatto? Si sono rimboccati le maniche e hanno sviluppato un loro indicatore, basandosi sul database internazionale MathSciNet, che raccoglie i contenuti di Mathematical Reviews, il repertorio pubblicato dalla American Mathematical Society. Sarebbe bello se altri gruppi di studiosi che si lamentano dell’uso di certi indicatori bibliometrici seguissero il loro esempio e provassero a svilupparsene uno specifico”.