�Bibliotime�, anno XVII, numero 3 (novembre 2014)
------------------------------------------------------------------------
Precedente
Home
Successiva
Marialaura Vignocchi, Elena Giglia
/La valutazione della ricerca nelle 'Humanities and Social Sciences',
Roma, 17 novembre 2014/ * <#nota*>
Abstract
Research assessment in the Humanities and Social sciences is
particularly complex, due both to the peculiar patterns in scholarly
communication and the scarce coverage in bibliometric international
databases. ANVUR (National Agency for Research Evalutation) organized a
workshop inviting European speakers with innovative studies or projects
and Italian researchers who are organizing the forthcoming national
evaluation exercise. In this paper we seek to highlight common issues
and trends.
La valutazione della ricerca nell'area delle scienze umane e sociali
riveste un carattere di particolare delicatezza, in virt� sia della
eterogeneit� delle ricerche e della produzione scientifica, sia della
specificit� dei canali di comunicazione � la monografia su tutti � sia
della mancanza di dati oggettivi, a causa della scarsa copertura nelle
banche dati internazionali.
Ben consapevole di queste premesse, anche in vista delle prossime
scadenze valutative, l'ANVUR (Agenzia Nazionale di Valutazione
Universit� e Ricerca) ha organizzato un /workshop/ allo scopo di
condividere e discutere con docenti e societ� scientifiche studi e
tendenze in atto in ambito internazionale. [1 <#nota1>]
La chiave di lettura della giornata � stata la "specificit�", declinata
in interventi che, da diverse prospettive, hanno sottolineato come il
riconoscimento della specificit� stessa non significhi enfatizzarla ad
ogni costo fino a farla divenire un alibi per affermare che le aree
umanistiche non possono essere valutate. Non solo: le scienze umane e
sociali non devono essere viste come una "eccezione" nel panorama della
comunicazione scientifica, ma solo come un fenomeno particolarmente
complesso che merita studi approfonditi e soluzioni su misura.
Affrontare le scienze umane e sociali solo come "problematiche" rispetto
alle scienze esatte � del tutto riduttivo e impedisce di cogliere le
questioni reali.
Internazionalizzazione, qualit�, citazioni: quali misure?
La prima sessione, coordinata da Andrea Bonaccorsi del Direttivo ANVUR,
� stata dedicata agli studi pi� recenti sugli stili comunicativi, sulla
definizione di qualit� e sul processo di /peer review /nell'ambito delle
scienze umane e sociali. Il tratto comune a questi studi � l'approccio
dal basso, con interviste dirette e indagini con ricercatori delle
singole discipline. Le relazioni, di altissimo livello - i nomi di Henk
Moed, Thed Van Leeuwen, Sven Hug, Jochen Glaser non hanno bisogno di
presentazioni - hanno fatto emergere con chiarezza alcuni principi di fondo:
* ///le scienze umane e sociali non sono monolitiche/: alla nozione
diffusa che le scienze umane e sociali siano profondamente diverse
rispetto alle scienze esatte per canali di comunicazione, stili
citazionali, pratiche epistemiche, numero di autori, si aggiunge la
considerazione che anche all'interno delle singole aree delle stesse
scienze umane e sociali ci siano differenze profonde, per cui gli
strumenti di comunicazione di un filologo � monografia, edizione
critica � sono assai diversi da quelle di un sociologo o di uno
storico dell'arte. Risulta quindi difficile individuare misure
valide per tutti;
* ///la produzione � assai variegata e ogni tipologia di prodotto ha
un suo peso specifico in ogni area/: ferme restando le differenze
fra le aree, con la sociologia e l'economia in cui, per
assimilazione con scienze esatte, l'articolo su rivista sta
guadagnando importanza, lo studio di Jochen Glaser ha dimostrato
come ad esempio gli storici dell'arte - ma la percezione � diffusa
anche in altre discipline - demandino la diffusione di nuova
conoscenza alla monografia, la segnalazione di nuova conoscenza alle
recensioni, mentre ritengano non rilevante la pubblicazione di un
articolo su rivista e utilizzino i capitoli di libro solo - va detto
- per aggiungere prodotti al proprio /curriculum/. Chi ha un minimo
di esperienza con /panel/ di ricercatori delle diverse aree, magari
negli Osservatori per la Ricerca, sa che in altre aree invece il
capitolo di libro e l'articolo su rivista, cos� come il /proceeding/
in atti di convegno, sono gli strumenti principali di comunicazione.
Non si pu� quindi generalizzare nemmeno sulle tipologie di prodotto
e sugli eventuali pesi da assegnare;
* ///"internazionalizzazione" non significa scrivere in inglese n�
essere citato nelle banche dati internazionali/: questo concetto
fuorviante � stato da pi� parti criticato. Le scienze umane e
sociali sono per natura legate alle lingue nazionali - alcuni
concetti risultano addirittura intraducibili; molti ambiti di
ricerca sono strettamente locali - e qui Henk Moed ha proposto una
distinzione fondamentale fra il valore "accademico" di una ricerca e
il suo valore "culturale", che pu� essere di capitale importanza per
la comunit� locale cui � riferito. Il vero tratto internazionale si
riconosce nella composizione del comitato editoriale e scientifico,
nei coautoraggi, nel livello di prestigio e nella rilevanza che la
rivista assume per la comunit� degli studiosi della disciplina fuori
d'Italia, anche se scritta in italiano;
* ///salvaguardare la "biodiversit�"/: sia l'uso delle lingue
nazionali sia l'eterogeneit� degli strumenti di comunicazione, anche
se possono sembrare elementi di complessit� che rendono pi� arduo il
compito del valutatore, vanno salvaguardati perch� costituiscono la
ricchezza e la specificit�, come si diceva in apertura, delle
scienze umane e sociali. L'appiattimento verso strumenti quali
l'articolo su rivista e le citazioni solo perch� pi� facilmente
quantificabili snaturerebbero i paradigmi della comunicazione
scientifica in queste aree;
* ///la produzione umanistica � assente dalle banche dati
internazionali/: la copertura della miriade di tipologie di prodotti
nei quali si sostanzia la produzione scientifica umanistica trova
pochissimo spazio all'interno delle banche dati citazionali, in cui
l'inglese resta la lingua preponderante, anche se sia Scopus sia Web
of Science si stanno aprendo all'inclusione di libri e capitoli di
libro: Jochen Glaser ha dimostrato come, tuttora, la produzione di
storia dell'arte tedesca sia praticamente invisibile vuoi perch� in
lingua tedesca vuoi perch� prodotta in tipologie documentali non
considerate e indicizzate;
* ///le citazioni e le note hanno una funzione diversa/: se nelle
scienze esatte le note contengono riferimenti alla letteratura
conosciuta per creare lo sfondo dal quale emerge la nuova
conoscenza, nelle scienze umane le note servono pi� da contrappunto
al testo e spesso contengono solo una ulteriore dimostrazione
dell'idea sostenuta. Le citazioni in area umanistica sono un
riconoscimento agli studi precedenti e sono contenute gi� nel testo
del prodotto di ricerca, mentre nelle scienze esatte il
riconoscimento arriva a posteriori appunto sotto forma di citazione:
questo impone per� un ripensamento dei tradizionali strumenti
bibliometrici, proprio in virt� della diversa funzione della
citazione. Nelle scienze umane e sociali la mancanza di citazioni
successive non � indice quindi di scarso successo, ma di un diverso
modo di citare. Sarebbe necessario quindi concentrarsi sulla
citazione intratestuale intesa come uso delle fonti: � l'uso della
citazione che va studiato, con l'ausilio di /focus groups/ che
coinvolgano ricercatori di diverse discipline;
* ///la prospettiva � personale e autore e lettore non coincidono/: a
differenza delle scienze esatte, l'autore lavora da solo, la sua
tensione � sull'oggetto della ricerca, su cui d� un'interpretazione
personale e originale in un quadro di assoluto pluralismo di vedute;
gli altri lavori sono usati solo per delineare il contesto di
riferimento; di questo va tenuto conto sempre qualora si vogliano
utilizzare le citazioni per la valutazione. Va anche tenuto conto
del fatto che non sempre autore e lettore coincidono, come
dimostrano studi bibliometrici che Henk Moed ha utilizzato proprio
per evidenziare le specificit� delle scienze umane: dal raffronto
fra /downloads/ e citazioni emerge una forte correlazione nelle
scienze esatte (chi legge poi cita), mentre questo legame non � cos�
evidente nelle scienze umane;
* ///centralit� della peer review/: alla luce di tutto questo, la
/peer review/ sembra confermarsi come lo strumento pi� idoneo per
una valutazione efficace nelle scienze umane e sociali. Esistono
per� difficolt� oggettive derivanti dalla impossibilit� di
comparazione fra i giudizi e difficolt� legate alle discipline di
nicchia, con un numero ridotto di studiosi e quindi di esperti.
Sarebbe utile trovare opportuni accorgimenti che permettano di
ovviare anche a queste difficolt�.
Una segnalazione particolare merita lo studio di Sven Hug e Michael
Ochsner [2 <#nota2>] del Politecnico di Zurigo, che, constatata
l'inadeguatezza degli indicatori esistenti o il loro palese rifiuto da
parte degli umanisti, ha tentato di costruire un set di indicatori a
partire dalla definizione di criteri condivisi di "qualit�" di un
prodotto scientifico in area umanistica. Attraverso /focus groups/ che
hanno coinvolto ricercatori di diverse singole discipline sono stati
individuati come punto di partenza 19 "criteri" fondanti della qualit� e
loro 70 "aspetti"; � stato poi chiesto di individuare per ognuno dei
criteri un metodo di misurazione su cui costruire indicatori di tipo
quantitativo; in molti casi questo non � stato possibile. Il risultato
della ricerca � che molti degli aspetti della qualit� non sono
quantificabili n� misurabili: l'insegnamento da trarre � che non tutto
ci� che conta per una comunit� scientifica pu� essere espresso in numeri.
� stato sottolineato quindi come l'uso esclusivo di indicatori
quantitativi, che colgono solo una minima parte degli aspetti
riconosciuti di qualit�, sia pericoloso per la valutazione, perch� pu�
fornire risultati fuorvianti o del tutto parziali; decisamente da
preferirsi l'approccio qualitativo della /peer review/. I dati
quantitativi possono invece essere usati come corollario a un approccio
qualitativo nella /informed peer review/, fornendo quindi all'esperto
che legge il prodotto anche dati di contorno. L'invito �, infine, a
dichiarare apertamente quale aspetto si sta valutando e con quali strumenti.
L'importanza della trasparenza su fini, criteri, risultati � stato un
altro tratto comune della intera giornata, cos� come il monito a
considerare la valutazione un processo sempre /in fieri/, sempre
migliorabile e perfettibile. Un altro monito emerso durante il dibattito
� stato quello di approfondire gli effetti collaterali della
valutazione, quali le possibili distorsioni, lo studio dei soli
argomenti /mainstream/, i comportamenti adattivi.
Impact factor e /ranking/ di riviste ed editori: controversie e
nuovi approcci
La seconda sessione � stata dedicata al confronto con le realt� di altri
paesi europei per la condivisione di buone pratiche. Particolarmente
illuminante l'intervento di Nigel Vincent della Universit� di
Manchester, che illustrando i criteri del Research Excellence Framework
(REF) in atto in Gran Bretagna ha sottolineato come tutti i /panel/ di
esperti debbano evitare:
a) l'uso di dati bibliometrici e Impact Factor ove presente;
b) l'uso di ranking di riviste;
c) l'uso di ranking di sedi editoriali ed editori.
Come si legge al paragrafo 53 dei "Generic statement of assessment
criteria and working methods
":
53. No sub-panel will make use of journal impact factors, rankings or
lists, or the perceived standing of the publisher, in assessing the
quality of research outputs. [3 <#nota3>]
Nel documento viene sottolineato a pi� riprese come l'intero esercizio
di valutazione debba consistere in una "expert review" e i panel che
decidano di fare uso di dati citazionali devono giustificarne la
motivazione e possono utilizzarli solo come dati complementari. Il
/focus/ deve quindi essere sul singolo prodotto, valutato dall'esperto
in base al solo valore intrinseco.
� molto significativo notare come la Gran Bretagna, che ha una lunga
tradizione di esercizi di valutazione della ricerca e che in passato ha
utilizzato strumenti bibliometrici, si sia orientata verso la pura /peer
review/ in tutte le aree, anche nelle scienze esatte.
Non solo: quanto la Gran Bretagna sia all'avanguardia � dimostrato anche
dal requisito fissato per il prossimo REF post-2014, ovvero che tutti i
contributi su rivista presentati, per essere valutati, debbano essere
disponibili come postprint (o authors' accepted manuscript) in un
archivio Open Access. [4 <#nota4>] Si tratta del primo esempio di
politica nazionale che mette a sistema il cosiddetto "green Open
Access", ovvero il deposito in repository istituzionali dei prodotti di
ricerca, ovunque siano stati pubblicati, nella versione consentita
dall'editore per l'Open Access. Occorre ancora una volta sottolineare
come la politica non preveda in alcun modo la pubblicazione su riviste
Open Access, ma solo il deposito della versione finale di lavori
pubblicati su riviste trad