Lettera aperta sulla valutazione della ricerca

nelle discipline economiche

Giacomo Becattini, Enrico Bellino, Pierangelo Garegnani, Giorgio Lunghini, Sergio Parrinello, Luigi Pasinetti, Pierluigi Porta, Piero Tani, Gianni Vaggi, Alessandro Vercelli.

Si stanno diffondendo in diversi contesti accademici italiani ed europei, soprattutto nell’ambito delle discipline economiche, sistemi di valutazione della ricerca basati su indicatori indiretti, che valutano i singoli contributi di ricerca in base alla rivista nella quale sono pubblicati, e quindi in maniera non direttamente dipendente dal loro contenuto e valore scientifico. La qualità di quest’ultima viene poi misurata da indicatori come l’Impact factor o attraverso la suddivisione delle riviste scientifiche in ‘fasce’, che riflettono diversi elementi, quali l’Impact factor stesso e altri, differenti, a seconda dei casi.
I vantaggi che vengono ascritti a tale modo di procedere sono diversi: per esempio la rapidità e la facilità di esprimere giudizi anche su lavori riguardanti argomenti di non stretta competenza del valutatore. Ma soprattutto si attribuisce a tali criteri un pregio di non arbitrarietà del giudizio.
In particolare su quest’ultimo punto dissentiamo totalmente. Il fatto che consideriamo più importante al riguardo è che quel tipo di valutazione penalizza in modo più o meno marcato tutti i contributi di ricerca che non si collocano nel flusso degli argomenti studiati e delle metodologie seguite dalla maggior parte degli studiosi al momento. I contributi che si occupano di argomenti meno frequentati, per non dire di quelli che criticano nelle sue premesse l’approccio di base seguito dalla maggioranza della ‘comunità scientifica internazionale’, o che seguono strade di ricerca alternative a tale approccio, non trovano praticamente spazio nelle riviste che più ‘pesano’ oggigiorno nelle valutazioni. La procedura di nomina dei referees non viene spesso neppure avviata; gli stessi direttori delle riviste suggeriscono a coloro che sottopongono i propri articoli di inviarli a riviste ‘più specializzate’. Una scelta legittima per una rivista; ma non vi è ragione per cui il merito di un ricercatore debba riflettere l’accordo con la linea editoriale delle riviste più ‘quotate’. Viene così attribuito ai direttori e ai referees di alcune riviste un potere di valutazione generale della ricerca che eccede la loro funzione naturale. Non per nulla quando l’Impact factor venne elaborato—per le necessità, ricordiamolo, dei bibliotecari—i loro inventori misero in guardia contro un suo utilizzo per la valutazione della ricerca.
Al potere che viene così gratuitamente attribuito a direttori e referees di riviste di decidere della carriera dei ricercatori si accompagnano poi conseguenze potenzialmente assai gravi per lo sviluppo della disciplina. Esse riguardano: a) la libertà della ricerca, poiché è ovvia la spinta che verrebbe così data ai giovani a dedicarsi ad argomenti che consentono la pubblicazione sulle riviste in questione, piuttosto che ai temi per cui si avrebbe uno spontaneo interesse; b) un conseguente incoraggiamento a conformarsi alle premesse condivise dalla maggioranza anche nella eventuale intenzione critica, e lo scoraggiamento al lavoro indipendente e realmente innovativo: l’opposto cioè degli effetti che una buona valutazione della ricerca dovrebbe avere; c) l’etica stessa della ricerca, per la spinta al conformismo intellettuale che ne discende, con il conseguente allontanamento dalla disciplina di chi è autenticamente interessato alla ricerca. Tra l’altro, essendo le riviste ‘quotate’ per lo più anglosassoni, vi è il pericolo di soffocare contributi originali suggeriti da tradizioni culturali diverse (Walras o Pareto, ad esempio, non trovarono certo porte spalancate in riviste ed editori di quei paesi, sempre aperti a stranieri sì, ma di tendenze culturali affini).
Non può poi essere dimenticato che l’accesso alle riviste più ‘quotate’ dipende, oltre che da una indubbia competenza nell’ambito degli indirizzi propri di tali riviste, anche dall’essere inseriti in una rete di conoscenze che dipendono più dalle capacità del ricercatore di coltivare rapporti, che dalle sue reali capacità di ricerca.
L’alternativa a tutto ciò deve essere qualificata, distinguendo la valutazione dell’operato di singoli docenti-ricercatori (di solito a fini concorsuali, a conferme e a chiamate) dalla valutazione di istituzioni, quali dipartimenti di atenei e centri di ricerca (di solito ai fini dell’assegnazione di risorse). Ci occuperemo qui di seguito del primo tipo di valutazione, limitandoci nella parte finale ad alcune riflessioni in merito al secondo.
Nel caso della valutazione di singoli ricercatori l’alternativa?sempre preferibile?è costituita dalla valutazione diretta dei contributi di ricerca attraverso la loro lettura effettiva da parte di chi deve valutare, accompagnata da un giudizio specifico su di essi. I problemi di ordine pratico della rapidità e della non congruenza dei lavori da valutare con le competenze dei valutatori sono risolvibili: i primi considerando il fatto che l’innegabile aumento degli studiosi da valutare implica un automatico allargamento dei potenziali valutatori e che il compito della selezione potrebbe essere in parte lasciato ai candidati, chiedendo loro di presentare un numero limitato di lavori; i secondi facendo ricorso a un ‘esperto’ individuato dal valutatore stesso, il cui giudizio dovrebbe essere reso pubblico assieme a quello del valutatore. Naturalmente questi potrà tener conto nella specifica sua valutazione anche del luogo di pubblicazione dei lavori di ricerca che è chiamato a giudicare, ma ciò è parte integrante di tale valutazione e non vi è ragione di richiederla o vincolarla con criteri imposti dall’esterno.
L’assunzione di responsabilità da parte di chi è chiamato a valutare, e la trasparenza del procedimento attraverso giudizi resi rapidamente pubblici (per esempio attraverso Internet), e da cui i valutatori possono essere essi stessi giudicati, rende in qualche modo difficile o penalizzante l’adozione di criteri arbitrari: ne dipende la reputazione dei valutatori.
Siamo naturalmente consapevoli degli abusi avvenuti in passato e li stigmatizziamo. Ci sembra d’altro lato illusorio pensare che questi abusi siano contrastabili con regole meccaniche. Essi hanno la loro radice nella struttura universitaria, nel degrado del rapporto maestro/allievo, nelle concentrazioni di potere che il sistema consente. Ostacolati nelle loro forme tradizionali gli abusi troverebbero facilmente altre forme come, ad esempio, la manipolazione dei risultati bibliometrici della cui possibilità e natura si è autorevolmente scritto. Gli abusi tradizionali sono generalmente espressione di potere individuale e quindi tendono a una certa indipendenza l’uno dall’altro: purtroppo essi condizionano negativamente l’esito di alcuni concorsi; ma l’automatismo delle soluzioni proposte sarebbe un rimedio peggiore del male, per le ragioni dette sopra. Tale discriminazione può ledere in modo difficilmente rimediabile lo sviluppo della disciplina, che come ogni scienza richiede la più ampia libertà di scelta degli argomenti e delle modalità con cui studiarli, specialmente in un periodo di diffuso disagio sullo stato complessivo della disciplina come quello che si registra ormai da diversi anni. Occorre di fatto prestare attenzione a che, dietro alla difesa di una troppo spesso autoreferenziale ‘serietà degli studi’, non si nasconda l’intenzione di favorire particolari orientamenti teorici o, peggio, particolari orientamenti di politica economica. Sappiamo tutti che l’economia è un campo scientifico assai disturbato dalla potenza degli interessi stessi che è chiamata a esaminare. Un’atmosfera di assoluta libertà intellettuale le è quindi indispensabile.
Considerazioni parzialmente diverse ci sembrano possibili per la valutazione delle istituzioni di ricerca (università, dipartimenti di atenei, centri di ricerca). Per tale scopo ci sembra comprensibile un parziale riferimento a indicatori bibliometrici, in quanto in tale ambito il giudizio specifico sui singoli ricercatori deve lasciare il posto a valutazioni medie. In tal caso il riferimento a indicatori bibliometrici appare meno dannoso, purché, naturalmente, tali indici siano privati di tendenziosità e includano oltre agli articoli su rivista altre pubblicazioni, come le monografie e i saggi inseriti in volumi collettanei di sicura serietà.(1)
Per concludere: molti sostenitori dell’Impact factor portano come esempio di buona ricerca quella che viene dagli Stati Uniti. Sembra appropriato citare una inchiesta promossa dalla nostra Società degli Economisti tra i responsabili del reclutamento nelle migliori Facoltà di Economia americane in merito all’uso dei criteri bibliometrici per valutare la ricerca.(2) Uno di essi, riflettendo peraltro il tenore delle rimanenti risposte, ha dichiarato ‘Francamente, se i lavori accademici venissero valutati in questo modo meccanico, gli Stati Uniti non sarebbero alla guida dell’attività scientifica’. E noi, dobbiamo proprio sentirci così diversi?

 

131 adesioni al 30/01/10