�Bibliotime�, anno XVII, numero 3 (novembre 2014)
------------------------------------------------------------------------
Precedente
Home
Successiva
Marialaura Vignocchi, Elena Giglia
/La valutazione della ricerca nelle 'Humanities and Social Sciences',
Roma, 17 novembre 2014/ * <#nota*>
Abstract
Research assessment in the Humanities and Social sciences is
particularly complex, due both to the peculiar patterns in scholarly
communication and the scarce coverage in bibliometric international
databases. ANVUR (National Agency for Research Evalutation) organized a
workshop inviting European speakers with innovative studies or projects
and Italian researchers who are organizing the forthcoming national
evaluation exercise. In this paper we seek to highlight common issues
and trends.
La valutazione della ricerca nell'area delle scienze umane e sociali
riveste un carattere di particolare delicatezza, in virt� sia della
eterogeneit� delle ricerche e della produzione scientifica, sia della
specificit� dei canali di comunicazione � la monografia su tutti � sia
della mancanza di dati oggettivi, a causa della scarsa copertura nelle
banche dati internazionali.
Ben consapevole di queste premesse, anche in vista delle prossime
scadenze valutative, l'ANVUR (Agenzia Nazionale di Valutazione
Universit� e Ricerca) ha organizzato un /workshop/ allo scopo di
condividere e discutere con docenti e societ� scientifiche studi e
tendenze in atto in ambito internazionale. [1 <#nota1>]
La chiave di lettura della giornata � stata la "specificit�", declinata
in interventi che, da diverse prospettive, hanno sottolineato come il
riconoscimento della specificit� stessa non significhi enfatizzarla ad
ogni costo fino a farla divenire un alibi per affermare che le aree
umanistiche non possono essere valutate. Non solo: le scienze umane e
sociali non devono essere viste come una "eccezione" nel panorama della
comunicazione scientifica, ma solo come un fenomeno particolarmente
complesso che merita studi approfonditi e soluzioni su misura.
Affrontare le scienze umane e sociali solo come "problematiche" rispetto
alle scienze esatte � del tutto riduttivo e impedisce di cogliere le
questioni reali.
Internazionalizzazione, qualit�, citazioni: quali misure?
La prima sessione, coordinata da Andrea Bonaccorsi del Direttivo ANVUR,
� stata dedicata agli studi pi� recenti sugli stili comunicativi, sulla
definizione di qualit� e sul processo di /peer review /nell'ambito delle
scienze umane e sociali. Il tratto comune a questi studi � l'approccio
dal basso, con interviste dirette e indagini con ricercatori delle
singole discipline. Le relazioni, di altissimo livello - i nomi di Henk
Moed, Thed Van Leeuwen, Sven Hug, Jochen Glaser non hanno bisogno di
presentazioni - hanno fatto emergere con chiarezza alcuni principi di fondo:
* ///le scienze umane e sociali non sono monolitiche/: alla nozione
diffusa che le scienze umane e sociali siano profondamente diverse
rispetto alle scienze esatte per canali di comunicazione, stili
citazionali, pratiche epistemiche, numero di autori, si aggiunge la
considerazione che anche all'interno delle singole aree delle stesse
scienze umane e sociali ci siano differenze profonde, per cui gli
strumenti di comunicazione di un filologo � monografia, edizione
critica � sono assai diversi da quelle di un sociologo o di uno
storico dell'arte. Risulta quindi difficile individuare misure
valide per tutti;
* ///la produzione � assai variegata e ogni tipologia di prodotto ha
un suo peso specifico in ogni area/: ferme restando le differenze
fra le aree, con la sociologia e l'economia in cui, per
assimilazione con scienze esatte, l'articolo su rivista sta
guadagnando importanza, lo studio di Jochen Glaser ha dimostrato
come ad esempio gli storici dell'arte - ma la percezione � diffusa
anche in altre discipline - demandino la diffusione di nuova
conoscenza alla monografia, la segnalazione di nuova conoscenza alle
recensioni, mentre ritengano non rilevante la pubblicazione di un
articolo su rivista e utilizzino i capitoli di libro solo - va detto
- per aggiungere prodotti al proprio /curriculum/. Chi ha un minimo
di esperienza con /panel/ di ricercatori delle diverse aree, magari
negli Osservatori per la Ricerca, sa che in altre aree invece il
capitolo di libro e l'articolo su rivista, cos� come il /proceeding/
in atti di convegno, sono gli strumenti principali di comunicazione.
Non si pu� quindi generalizzare nemmeno sulle tipologie di prodotto
e sugli eventuali pesi da assegnare;
* ///"internazionalizzazione" non significa scrivere in inglese n�
essere citato nelle banche dati internazionali/: questo concetto
fuorviante � stato da pi� parti criticato. Le scienze umane e
sociali sono per natura legate alle lingue nazionali - alcuni
concetti risultano addirittura intraducibili; molti ambiti di
ricerca sono strettamente locali - e qui Henk Moed ha proposto una
distinzione fondamentale fra il valore "accademico" di una ricerca e
il suo valore "culturale", che pu� essere di capitale importanza per
la comunit� locale cui � riferito. Il vero tratto internazionale si
riconosce nella composizione del comitato editoriale e scientifico,
nei coautoraggi, nel livello di prestigio e nella rilevanza che la
rivista assume per la comunit� degli studiosi della disciplina fuori
d'Italia, anche se scritta in italiano;
* ///salvaguardare la "biodiversit�"/: sia l'uso delle lingue
nazionali sia l'eterogeneit� degli strumenti di comunicazione, anche
se possono sembrare elementi di complessit� che rendono pi� arduo il
compito del valutatore, vanno salvaguardati perch� costituiscono la
ricchezza e la specificit�, come si diceva in apertura, delle
scienze umane e sociali. L'appiattimento verso strumenti quali
l'articolo su rivista e le citazioni solo perch� pi� facilmente
quantificabili snaturerebbero i paradigmi della comunicazione
scientifica in queste aree;
* ///la produzione umanistica � assente dalle banche dati
internazionali/: la copertura della miriade di tipologie di prodotti
nei quali si sostanzia la produzione scientifica umanistica trova
pochissimo spazio all'interno delle banche dati citazionali, in cui
l'inglese resta la lingua preponderante, anche se sia Scopus sia Web
of Science si stanno aprendo all'inclusione di libri e capitoli di
libro: Jochen Glaser ha dimostrato come, tuttora, la produzione di
storia dell'arte tedesca sia praticamente invisibile vuoi perch� in
lingua tedesca vuoi perch� prodotta in tipologie documentali non
considerate e indicizzate;
* ///le citazioni e le note hanno una funzione diversa/: se nelle
scienze esatte le note contengono riferimenti alla letteratura
conosciuta per creare lo sfondo dal quale emerge la nuova
conoscenza, nelle scienze umane le note servono pi� da contrappunto
al testo e spesso contengono solo una ulteriore dimostrazione
dell'idea sostenuta. Le citazioni in area umanistica sono un
riconoscimento agli studi precedenti e sono contenute gi� nel testo
del prodotto di ricerca, mentre nelle scienze esatte il
riconoscimento arriva a posteriori appunto sotto forma di citazione:
questo impone per� un ripensamento dei tradizionali strumenti
bibliometrici, proprio in virt� della diversa funzione della
citazione. Nelle scienze umane e sociali la mancanza di citazioni
successive non � indice quindi di scarso successo, ma di un diverso
modo di citare. Sarebbe necessario quindi concentrarsi sulla
citazione intratestuale intesa come uso delle fonti: � l'uso della
citazione che va studiato, con l'ausilio di /focus groups/ che
coinvolgano ricercatori di diverse discipline;
* ///la prospettiva � personale e autore e lettore non coincidono/: a
differenza delle scienze esatte, l'autore lavora da solo, la sua
tensione � sull'oggetto della ricerca, su cui d� un'interpretazione
personale e originale in un quadro di assoluto pluralismo di vedute;
gli altri lavori sono usati solo per delineare il contesto di
riferimento; di questo va tenuto conto sempre qualora si vogliano
utilizzare le citazioni per la valutazione. Va anche tenuto conto
del fatto che non sempre autore e lettore coincidono, come
dimostrano studi bibliometrici che Henk Moed ha utilizzato proprio
per evidenziare le specificit� delle scienze umane: dal raffronto
fra /downloads/ e citazioni emerge una forte correlazione nelle
scienze esatte (chi legge poi cita), mentre questo legame non � cos�
evidente nelle scienze umane;
* ///centralit� della peer review/: alla luce di tutto questo, la
/peer review/ sembra confermarsi come lo strumento pi� idoneo per
una valutazione efficace nelle scienze umane e sociali. Esistono
per� difficolt� oggettive derivanti dalla impossibilit� di
comparazione fra i giudizi e difficolt� legate alle discipline di
nicchia, con un numero ridotto di studiosi e quindi di esperti.
Sarebbe utile trovare opportuni accorgimenti che permettano di
ovviare anche a queste difficolt�.
Una segnalazione particolare merita lo studio di Sven Hug e Michael
Ochsner [2 <#nota2>] del Politecnico di Zurigo, che, constatata
l'inadeguatezza degli indicatori esistenti o il loro palese rifiuto da
parte degli umanisti, ha tentato di costruire un set di indicatori a
partire dalla definizione di criteri condivisi di "qualit�" di un
prodotto scientifico in area umanistica. Attraverso /focus groups/ che
hanno coinvolto ricercatori di diverse singole discipline sono stati
individuati come punto di partenza 19 "criteri" fondanti della qualit� e
loro 70 "aspetti"; � stato poi chiesto di individuare per ognuno dei
criteri un metodo di misurazione su cui costruire indicatori di tipo
quantitativo; in molti casi questo non � stato possibile. Il risultato
della ricerca � che molti degli aspetti della qualit� non sono
quantificabili n� misurabili: l'insegnamento da trarre � che non tutto
ci� che conta per una comunit� scientifica pu� essere espresso in numeri.
� stato sottolineato quindi come l'uso esclusivo di indicatori
quantitativi, che colgono solo una minima parte degli aspetti
riconosciuti di qualit�, sia pericoloso per la valutazione, perch� pu�
fornire risultati fuorvianti o del tutto parziali; decisamente da
preferirsi l'approccio qualitativo della /peer review/. I dati
quantitativi possono invece essere usati come corollario a un approccio
qualitativo nella /informed peer review/, fornendo quindi all'esperto
che legge il prodotto anche dati di contorno. L'invito �, infine, a
dichiarare apertamente quale aspetto si sta valutando e con quali strumenti.
L'importanza della trasparenza su fini, criteri, risultati � stato un
altro tratto comune della intera giornata, cos� come il monito a
considerare la valutazione un processo sempre /in fieri/, sempre
migliorabile e perfettibile. Un altro monito emerso durante il dibattito
� stato quello di approfondire gli effetti collaterali della
valutazione, quali le possibili distorsioni, lo studio dei soli
argomenti /mainstream/, i comportamenti adattivi.
Impact factor e /ranking/ di riviste ed editori: controversie e
nuovi approcci
La seconda sessione � stata dedicata al confronto con le realt� di altri
paesi europei per la condivisione di buone pratiche. Particolarmente
illuminante l'intervento di Nigel Vincent della Universit� di
Manchester, che illustrando i criteri del Research Excellence Framework
(REF) in atto in Gran Bretagna ha sottolineato come tutti i /panel/ di
esperti debbano evitare:
a) l'uso di dati bibliometrici e Impact Factor ove presente;
b) l'uso di ranking di riviste;
c) l'uso di ranking di sedi editoriali ed editori.
Come si legge al paragrafo 53 dei "Generic statement of assessment
criteria and working methods
":
53. No sub-panel will make use of journal impact factors, rankings or
lists, or the perceived standing of the publisher, in assessing the
quality of research outputs. [3 <#nota3>]
Nel documento viene sottolineato a pi� riprese come l'intero esercizio
di valutazione debba consistere in una "expert review" e i panel che
decidano di fare uso di dati citazionali devono giustificarne la
motivazione e possono utilizzarli solo come dati complementari. Il
/focus/ deve quindi essere sul singolo prodotto, valutato dall'esperto
in base al solo valore intrinseco.
� molto significativo notare come la Gran Bretagna, che ha una lunga
tradizione di esercizi di valutazione della ricerca e che in passato ha
utilizzato strumenti bibliometrici, si sia orientata verso la pura /peer
review/ in tutte le aree, anche nelle scienze esatte.
Non solo: quanto la Gran Bretagna sia all'avanguardia � dimostrato anche
dal requisito fissato per il prossimo REF post-2014, ovvero che tutti i
contributi su rivista presentati, per essere valutati, debbano essere
disponibili come postprint (o authors' accepted manuscript) in un
archivio Open Access. [4 <#nota4>] Si tratta del primo esempio di
politica nazionale che mette a sistema il cosiddetto "green Open
Access", ovvero il deposito in repository istituzionali dei prodotti di
ricerca, ovunque siano stati pubblicati, nella versione consentita
dall'editore per l'Open Access. Occorre ancora una volta sottolineare
come la politica non preveda in alcun modo la pubblicazione su riviste
Open Access, ma solo il deposito della versione finale di lavori
pubblicati su riviste tradizionali.
Il contesto francese � stato presentato da Ioana Galleron e Goeffrey
Wiliams, studiosi membri di EvalHum, un'associazione non-profit che si
prefigge di migliorare il riconoscimento, l'impatto e il finanziamento
della ricerca in ambito umanistico e delle scienze sociali mediante
l'elaborazione di procedure di valutazione pi� specifiche e adeguate. [5
<#nota5>] Dalla loro presentazione emerge l'esigenza in Francia di
chiarire meglio le finalit� della valutazione della ricerca e di
realizzare degli strumenti di raccolta dei dati pi� efficaci e stabili
che consentano di cominciare ad effettuare analisi precise.
Elea Gimenez Toledo ha presentato il progetto spagnolo /SPI: //Scholarly
Publishers Indicators/ per l'elaborazione
di indicatori utili alla valutazione di monografie nell'ambito delle
scienze umane e sociali. [6 <#nota6>] Gli indicatori, individuati
mediante un processo di indagine bottom-up che ha visto il
coinvolgimento di 11.000 ricercatori in un survey nazionale, sono per�
volti alla classificazione delle sedi editoriali per cui vale il monito
a non utilizzare il ranking in modo meccanicistico per la valutazione
dei prodotti.
Pi� innovativo il progetto di da Alesia Zuccala avviato nell'ambito di
Elsevier Bibliometrics Programme in collaborazione con OCLC-Worldcat [7
<#nota7>] sulla possibile valutazione delle monografie nell'ambito delle
scienze umane e sociali sulla base di indicatori che derivano dalle
recensioni pubblicate in rivista e dalle informazioni di "posseduto" nei
cataloghi di biblioteca (/libcitations/). [8 <#nota8>] L'analisi
bibliometrica ha dimostrato una correlazione positiva fra le citazioni
dei libri in /Scopus /[9 <#nota9>] e la presenza degli stessi volumi
nelle collezioni delle biblioteche. Zuccala ha inoltre presentato
un'interessante evoluzione del progetto che si prepone di estendere
l'analisi ai dati che derivano dalle citazioni delle monografie nei
social media in cui i lettori condividono le proprie recensioni,
suggerimenti e /rating/ dei volumi. L'analisi verr� condotta analizzando
i dati che derivano dal social network /Goodreads/
[10 <#nota10>] e verranno confrontati con
quelli ottenuti da /Scopus/ e /Worldcat/.
Durante il dibattito � stata segnalata l'idea della nascita di una
Public Library of Humanities
che
sta prendendo vita in area anglosassone, a partire da una conversazione
su Twitter fra studiosi delle scienze umane e sociali. [11 <#nota11>] In
analogia a PLoS (/Public Library of Science/) [12 <#nota12>] dovrebbe
trattarsi di una piattaforma per la pubblicazione/disseminazione di
lavori scientifici e l'adozione su larga scala delle /Altmetrics/
[13 <#nota13>], metriche alternative
basate sulla rilevazione dell'impatto delle pubblicazioni nei social
media, anche fra gli umanisti.
Verso la prossima VQR
Andrea Bonaccorsi ha tentato una rapida sintesi dei temi fin qui
ricordati, la specificit� /in primis/, e ha sottolineato l'attitudine
dell'ANVUR all'ascolto delle comunit� scientifiche, alla creazione di
fiducia reciproca fra i soggetti coinvolti, all'accettazione delle
controversie in un'ottica di dialogo costruttivo. Ha poi enunciato
alcuni elementi di metodo per una /peer review/ pi� efficace in vista
del futuro esercizio di valutazione, ovvero l'adozione di Linee Guida
per i revisori, l'obbligatoriet� di una scheda di giudizio da compilare
per accompagnare il voto finale, la valutazione degli esperti alla luce
del loro comportamento nella VQR precedente, la pubblicazione tempestiva
delle liste di esperti.
Anche sulle procedure relative alla scheda SUA-RD [14 <#nota14>], per
evitare l'adozione di misure quantitative pure in assenza di /peer
review/ - per tempi tecnici - si pensa a una nuova classificazione di
tipologie di prodotti, a una maggiore considerazione dello stato
editoriale della monografia - specificando se si tratta di opere
originali o riedizioni - all'adozione di identificativi univoci per gli
autori, quali /ORCID/ [15 <#nota15>], per dati pi�
coerenti. Sono infine state mostrate le proposte elaborate dal Gruppo di
lavoro Database e nuovi indicatori, ovvero lo studio di fattibilit� di
una banca dati delle pubblicazioni di area umanistica e sociale-
presentata alle societ� scientifiche lo scorso 20 gennaio a Roma [16
<#nota16>]- e le linee di ricerca aperte sui nuovi indicatori (per le
riviste Open Access, per l'analisi di /Google Scholar/ e dei suoi
limiti, per il potenziale uso delle /Altmetrics/).
Lavori in corso
Nella sessione pomeridiana, presieduta da Andrea Graziosi del Direttivo
ANVUR, si � dato largo spazio ai Gruppi di ricerca di recente creazione,
uno per ognuna delle 4 aree CUN interessate (10 e 11, 12, 13, 14): il
loro mandato � quello di suggerire nuovi percorsi e strumenti utili a
una valutazione che tenga conto della citata "specificit�".
In particolare, la ricca disamina di Vincenzo Militello, di area 12, ha
preso le mosse dalle problematiche pregiudiziali, di contenuto e di
rilevanza nei confronti del concetto stesso di valutazione per poi
passare in rassegna i possibili tipi di analisi, l'oggetto della
valutazione, il metro, la formalizzazione dei risultati con giudizi,
scale numeriche, punteggi e concludere con una proposta interessante,
ovvero che ogni docente fornisca, per la prossima VQR, non solo un
numero stabilito di suoi prodotti ma anche un numero doppio di revisioni
gratuite sugli altri lavori.
� seguita la presentazione delle sei proposte vincitrici del /Concorso
Pubblico di Idee di Ricerca/ bandito da ANVUR a luglio 2014 [17
<#nota17>], con l'obiettivo di favorire lo studio di indicatori per la
valutazione della ricerca nell'abito delle scienze umane e sociali. Le
proposte di ricerca presentate si dividono fra studi di possibili
indicatori per le monografie - in ambiti disciplinari specifici come le
scienze giuridiche o mediante l'analisi della distribuzione nei
cataloghi delle biblioteche (/libcitations/ o /library catalogues
analysis/) - e studi sulla coerenza e robustezza dei dati citazionali,
mediante il confronto fra basi di dati proprietarie commerciali e basi
proprietarie, ma aperte come /Google Scholar /[18 <#nota18>].
Le conclusioni hanno evidenziato i passi avanti compiuti nel dialogo con
le societ� scientifiche verso criteri di valutazione condivisi ed
efficaci, nella convinzione, espressa anche dalla scelta di Escher per
il logo del /workshop/, che la valutazione sia un processo complesso e
mai finito.
Marialaura Vignocchi, ASDD - Settore Gestione e sviluppo della
biblioteca digitale d'Ateneo - AlmaDL - Universit� di Bologna, e-mail:
marialaura.vignocchi@unibo.it
Elena Giglia, Direzione Sviluppo Organizzativo, Innovazione e Servizi
Bibliotecari - Universit� di Torino, e-mail: elena.giglia@unito.it
Note
[*]Twitter: #valhss_anvur2014,
.
[1] Le presentazioni del convegno /La valutazione della ricerca nelle
Humanities and Social Sciences/, Roma, 17 novembre 2014 saranno
pubblicate sul sito dell'ANVUR:
.
[2] Sven E. Hug - Michael Ochsner - Hans-Dieter Daniel, /Criteria for
assessing research quality in the humanities: a Delphi study among
scholars of English literature, German literature and art history/,
"Research Evaluation" 22 (2013), 5, p. 369-383.
[3] Ref2014, Research Excellence Framework, /Panel Criteria and Working
Methods/,//January, 2012,
.
[4] Higher Education Funding Council for England (HEFCE), Policy Guide -
Open Access research,
.
[5] EvalHum,/Promoting Humanities and Social Sciences Research/,
.
[6] /SPI: Scholarly Publishers Indicators: Books in Humanities and
Social Scienc/es .
[7] OCLC-Wolrdcat, .
[8] Alesia Zuccala - Raf Guns, /Comparing book citations in humanities
journals to library holdings: scholarly use versus perceived cultural
benefit/, in14th International Conference of the International Society
for Scientometrics and Informetric/s"/, Vienna, 2013, p. 353-360,
.
[9] Elsevier Scopus, .
[10] Goodreads, .
[11] Tim McCormick, /Public Library of Humanities: Envisioning a New
Open Access Platform, /in/Tim McCormick: design, reading, media, place,
/20 December 2012,
.
[blog post].
[12] PLOS, .
[13] Cfr. Altmetrics, /altmetrics: a manifesto/,
.
[14] Cfr. ANVUR, /Documenti AVA/ [Autovalutazione, Valutazione periodica
e Accreditamento],
.
[15] /ORCID/, .
[16] /Nuovi percorsi per la valutazione nelle aree umanistiche e
sociali: giornata di studi e consultazione, /Roma, 20 gennaio, 2014,
.
[17] ANVUR, /Concorso pubblico di idee di ricerca/, 16 luglio 2014,
.
[18] Google Scholar, .
�Bibliotime�, anno XVII, numero 3 (novembre 2014)
------------------------------------------------------------------------
Precedente
Home
Successiva
------------------------------------------------------------------------
URL: http://www.aib.it/aib/sezioni/emr/bibtime/num-xvii-3/vignocchi.htm