�Bibliotime�, anno XVII, numero 3 (novembre 2014) ------------------------------------------------------------------------ Precedente Home Successiva Marialaura Vignocchi, Elena Giglia /La valutazione della ricerca nelle 'Humanities and Social Sciences', Roma, 17 novembre 2014/ * <#nota*> Abstract Research assessment in the Humanities and Social sciences is particularly complex, due both to the peculiar patterns in scholarly communication and the scarce coverage in bibliometric international databases. ANVUR (National Agency for Research Evalutation) organized a workshop inviting European speakers with innovative studies or projects and Italian researchers who are organizing the forthcoming national evaluation exercise. In this paper we seek to highlight common issues and trends. La valutazione della ricerca nell'area delle scienze umane e sociali riveste un carattere di particolare delicatezza, in virt� sia della eterogeneit� delle ricerche e della produzione scientifica, sia della specificit� dei canali di comunicazione � la monografia su tutti � sia della mancanza di dati oggettivi, a causa della scarsa copertura nelle banche dati internazionali. Ben consapevole di queste premesse, anche in vista delle prossime scadenze valutative, l'ANVUR (Agenzia Nazionale di Valutazione Universit� e Ricerca) ha organizzato un /workshop/ allo scopo di condividere e discutere con docenti e societ� scientifiche studi e tendenze in atto in ambito internazionale. [1 <#nota1>] La chiave di lettura della giornata � stata la "specificit�", declinata in interventi che, da diverse prospettive, hanno sottolineato come il riconoscimento della specificit� stessa non significhi enfatizzarla ad ogni costo fino a farla divenire un alibi per affermare che le aree umanistiche non possono essere valutate. Non solo: le scienze umane e sociali non devono essere viste come una "eccezione" nel panorama della comunicazione scientifica, ma solo come un fenomeno particolarmente complesso che merita studi approfonditi e soluzioni su misura. Affrontare le scienze umane e sociali solo come "problematiche" rispetto alle scienze esatte � del tutto riduttivo e impedisce di cogliere le questioni reali. Internazionalizzazione, qualit�, citazioni: quali misure? La prima sessione, coordinata da Andrea Bonaccorsi del Direttivo ANVUR, � stata dedicata agli studi pi� recenti sugli stili comunicativi, sulla definizione di qualit� e sul processo di /peer review /nell'ambito delle scienze umane e sociali. Il tratto comune a questi studi � l'approccio dal basso, con interviste dirette e indagini con ricercatori delle singole discipline. Le relazioni, di altissimo livello - i nomi di Henk Moed, Thed Van Leeuwen, Sven Hug, Jochen Glaser non hanno bisogno di presentazioni - hanno fatto emergere con chiarezza alcuni principi di fondo: * ///le scienze umane e sociali non sono monolitiche/: alla nozione diffusa che le scienze umane e sociali siano profondamente diverse rispetto alle scienze esatte per canali di comunicazione, stili citazionali, pratiche epistemiche, numero di autori, si aggiunge la considerazione che anche all'interno delle singole aree delle stesse scienze umane e sociali ci siano differenze profonde, per cui gli strumenti di comunicazione di un filologo � monografia, edizione critica � sono assai diversi da quelle di un sociologo o di uno storico dell'arte. Risulta quindi difficile individuare misure valide per tutti; * ///la produzione � assai variegata e ogni tipologia di prodotto ha un suo peso specifico in ogni area/: ferme restando le differenze fra le aree, con la sociologia e l'economia in cui, per assimilazione con scienze esatte, l'articolo su rivista sta guadagnando importanza, lo studio di Jochen Glaser ha dimostrato come ad esempio gli storici dell'arte - ma la percezione � diffusa anche in altre discipline - demandino la diffusione di nuova conoscenza alla monografia, la segnalazione di nuova conoscenza alle recensioni, mentre ritengano non rilevante la pubblicazione di un articolo su rivista e utilizzino i capitoli di libro solo - va detto - per aggiungere prodotti al proprio /curriculum/. Chi ha un minimo di esperienza con /panel/ di ricercatori delle diverse aree, magari negli Osservatori per la Ricerca, sa che in altre aree invece il capitolo di libro e l'articolo su rivista, cos� come il /proceeding/ in atti di convegno, sono gli strumenti principali di comunicazione. Non si pu� quindi generalizzare nemmeno sulle tipologie di prodotto e sugli eventuali pesi da assegnare; * ///"internazionalizzazione" non significa scrivere in inglese n� essere citato nelle banche dati internazionali/: questo concetto fuorviante � stato da pi� parti criticato. Le scienze umane e sociali sono per natura legate alle lingue nazionali - alcuni concetti risultano addirittura intraducibili; molti ambiti di ricerca sono strettamente locali - e qui Henk Moed ha proposto una distinzione fondamentale fra il valore "accademico" di una ricerca e il suo valore "culturale", che pu� essere di capitale importanza per la comunit� locale cui � riferito. Il vero tratto internazionale si riconosce nella composizione del comitato editoriale e scientifico, nei coautoraggi, nel livello di prestigio e nella rilevanza che la rivista assume per la comunit� degli studiosi della disciplina fuori d'Italia, anche se scritta in italiano; * ///salvaguardare la "biodiversit�"/: sia l'uso delle lingue nazionali sia l'eterogeneit� degli strumenti di comunicazione, anche se possono sembrare elementi di complessit� che rendono pi� arduo il compito del valutatore, vanno salvaguardati perch� costituiscono la ricchezza e la specificit�, come si diceva in apertura, delle scienze umane e sociali. L'appiattimento verso strumenti quali l'articolo su rivista e le citazioni solo perch� pi� facilmente quantificabili snaturerebbero i paradigmi della comunicazione scientifica in queste aree; * ///la produzione umanistica � assente dalle banche dati internazionali/: la copertura della miriade di tipologie di prodotti nei quali si sostanzia la produzione scientifica umanistica trova pochissimo spazio all'interno delle banche dati citazionali, in cui l'inglese resta la lingua preponderante, anche se sia Scopus sia Web of Science si stanno aprendo all'inclusione di libri e capitoli di libro: Jochen Glaser ha dimostrato come, tuttora, la produzione di storia dell'arte tedesca sia praticamente invisibile vuoi perch� in lingua tedesca vuoi perch� prodotta in tipologie documentali non considerate e indicizzate; * ///le citazioni e le note hanno una funzione diversa/: se nelle scienze esatte le note contengono riferimenti alla letteratura conosciuta per creare lo sfondo dal quale emerge la nuova conoscenza, nelle scienze umane le note servono pi� da contrappunto al testo e spesso contengono solo una ulteriore dimostrazione dell'idea sostenuta. Le citazioni in area umanistica sono un riconoscimento agli studi precedenti e sono contenute gi� nel testo del prodotto di ricerca, mentre nelle scienze esatte il riconoscimento arriva a posteriori appunto sotto forma di citazione: questo impone per� un ripensamento dei tradizionali strumenti bibliometrici, proprio in virt� della diversa funzione della citazione. Nelle scienze umane e sociali la mancanza di citazioni successive non � indice quindi di scarso successo, ma di un diverso modo di citare. Sarebbe necessario quindi concentrarsi sulla citazione intratestuale intesa come uso delle fonti: � l'uso della citazione che va studiato, con l'ausilio di /focus groups/ che coinvolgano ricercatori di diverse discipline; * ///la prospettiva � personale e autore e lettore non coincidono/: a differenza delle scienze esatte, l'autore lavora da solo, la sua tensione � sull'oggetto della ricerca, su cui d� un'interpretazione personale e originale in un quadro di assoluto pluralismo di vedute; gli altri lavori sono usati solo per delineare il contesto di riferimento; di questo va tenuto conto sempre qualora si vogliano utilizzare le citazioni per la valutazione. Va anche tenuto conto del fatto che non sempre autore e lettore coincidono, come dimostrano studi bibliometrici che Henk Moed ha utilizzato proprio per evidenziare le specificit� delle scienze umane: dal raffronto fra /downloads/ e citazioni emerge una forte correlazione nelle scienze esatte (chi legge poi cita), mentre questo legame non � cos� evidente nelle scienze umane; * ///centralit� della peer review/: alla luce di tutto questo, la /peer review/ sembra confermarsi come lo strumento pi� idoneo per una valutazione efficace nelle scienze umane e sociali. Esistono per� difficolt� oggettive derivanti dalla impossibilit� di comparazione fra i giudizi e difficolt� legate alle discipline di nicchia, con un numero ridotto di studiosi e quindi di esperti. Sarebbe utile trovare opportuni accorgimenti che permettano di ovviare anche a queste difficolt�. Una segnalazione particolare merita lo studio di Sven Hug e Michael Ochsner [2 <#nota2>] del Politecnico di Zurigo, che, constatata l'inadeguatezza degli indicatori esistenti o il loro palese rifiuto da parte degli umanisti, ha tentato di costruire un set di indicatori a partire dalla definizione di criteri condivisi di "qualit�" di un prodotto scientifico in area umanistica. Attraverso /focus groups/ che hanno coinvolto ricercatori di diverse singole discipline sono stati individuati come punto di partenza 19 "criteri" fondanti della qualit� e loro 70 "aspetti"; � stato poi chiesto di individuare per ognuno dei criteri un metodo di misurazione su cui costruire indicatori di tipo quantitativo; in molti casi questo non � stato possibile. Il risultato della ricerca � che molti degli aspetti della qualit� non sono quantificabili n� misurabili: l'insegnamento da trarre � che non tutto ci� che conta per una comunit� scientifica pu� essere espresso in numeri. � stato sottolineato quindi come l'uso esclusivo di indicatori quantitativi, che colgono solo una minima parte degli aspetti riconosciuti di qualit�, sia pericoloso per la valutazione, perch� pu� fornire risultati fuorvianti o del tutto parziali; decisamente da preferirsi l'approccio qualitativo della /peer review/. I dati quantitativi possono invece essere usati come corollario a un approccio qualitativo nella /informed peer review/, fornendo quindi all'esperto che legge il prodotto anche dati di contorno. L'invito �, infine, a dichiarare apertamente quale aspetto si sta valutando e con quali strumenti. L'importanza della trasparenza su fini, criteri, risultati � stato un altro tratto comune della intera giornata, cos� come il monito a considerare la valutazione un processo sempre /in fieri/, sempre migliorabile e perfettibile. Un altro monito emerso durante il dibattito � stato quello di approfondire gli effetti collaterali della valutazione, quali le possibili distorsioni, lo studio dei soli argomenti /mainstream/, i comportamenti adattivi. Impact factor e /ranking/ di riviste ed editori: controversie e nuovi approcci La seconda sessione � stata dedicata al confronto con le realt� di altri paesi europei per la condivisione di buone pratiche. Particolarmente illuminante l'intervento di Nigel Vincent della Universit� di Manchester, che illustrando i criteri del Research Excellence Framework (REF) in atto in Gran Bretagna ha sottolineato come tutti i /panel/ di esperti debbano evitare: a) l'uso di dati bibliometrici e Impact Factor ove presente; b) l'uso di ranking di riviste; c) l'uso di ranking di sedi editoriali ed editori. Come si legge al paragrafo 53 dei "Generic statement of assessment criteria and working methods ": 53. No sub-panel will make use of journal impact factors, rankings or lists, or the perceived standing of the publisher, in assessing the quality of research outputs. [3 <#nota3>] Nel documento viene sottolineato a pi� riprese come l'intero esercizio di valutazione debba consistere in una "expert review" e i panel che decidano di fare uso di dati citazionali devono giustificarne la motivazione e possono utilizzarli solo come dati complementari. Il /focus/ deve quindi essere sul singolo prodotto, valutato dall'esperto in base al solo valore intrinseco. � molto significativo notare come la Gran Bretagna, che ha una lunga tradizione di esercizi di valutazione della ricerca e che in passato ha utilizzato strumenti bibliometrici, si sia orientata verso la pura /peer review/ in tutte le aree, anche nelle scienze esatte. Non solo: quanto la Gran Bretagna sia all'avanguardia � dimostrato anche dal requisito fissato per il prossimo REF post-2014, ovvero che tutti i contributi su rivista presentati, per essere valutati, debbano essere disponibili come postprint (o authors' accepted manuscript) in un archivio Open Access. [4 <#nota4>] Si tratta del primo esempio di politica nazionale che mette a sistema il cosiddetto "green Open Access", ovvero il deposito in repository istituzionali dei prodotti di ricerca, ovunque siano stati pubblicati, nella versione consentita dall'editore per l'Open Access. Occorre ancora una volta sottolineare come la politica non preveda in alcun modo la pubblicazione su riviste Open Access, ma solo il deposito della versione finale di lavori pubblicati su riviste tradizionali. Il contesto francese � stato presentato da Ioana Galleron e Goeffrey Wiliams, studiosi membri di EvalHum, un'associazione non-profit che si prefigge di migliorare il riconoscimento, l'impatto e il finanziamento della ricerca in ambito umanistico e delle scienze sociali mediante l'elaborazione di procedure di valutazione pi� specifiche e adeguate. [5 <#nota5>] Dalla loro presentazione emerge l'esigenza in Francia di chiarire meglio le finalit� della valutazione della ricerca e di realizzare degli strumenti di raccolta dei dati pi� efficaci e stabili che consentano di cominciare ad effettuare analisi precise. Elea Gimenez Toledo ha presentato il progetto spagnolo /SPI: //Scholarly Publishers Indicators/ per l'elaborazione di indicatori utili alla valutazione di monografie nell'ambito delle scienze umane e sociali. [6 <#nota6>] Gli indicatori, individuati mediante un processo di indagine bottom-up che ha visto il coinvolgimento di 11.000 ricercatori in un survey nazionale, sono per� volti alla classificazione delle sedi editoriali per cui vale il monito a non utilizzare il ranking in modo meccanicistico per la valutazione dei prodotti. Pi� innovativo il progetto di da Alesia Zuccala avviato nell'ambito di Elsevier Bibliometrics Programme in collaborazione con OCLC-Worldcat [7 <#nota7>] sulla possibile valutazione delle monografie nell'ambito delle scienze umane e sociali sulla base di indicatori che derivano dalle recensioni pubblicate in rivista e dalle informazioni di "posseduto" nei cataloghi di biblioteca (/libcitations/). [8 <#nota8>] L'analisi bibliometrica ha dimostrato una correlazione positiva fra le citazioni dei libri in /Scopus /[9 <#nota9>] e la presenza degli stessi volumi nelle collezioni delle biblioteche. Zuccala ha inoltre presentato un'interessante evoluzione del progetto che si prepone di estendere l'analisi ai dati che derivano dalle citazioni delle monografie nei social media in cui i lettori condividono le proprie recensioni, suggerimenti e /rating/ dei volumi. L'analisi verr� condotta analizzando i dati che derivano dal social network /Goodreads/ [10 <#nota10>] e verranno confrontati con quelli ottenuti da /Scopus/ e /Worldcat/. Durante il dibattito � stata segnalata l'idea della nascita di una Public Library of Humanities che sta prendendo vita in area anglosassone, a partire da una conversazione su Twitter fra studiosi delle scienze umane e sociali. [11 <#nota11>] In analogia a PLoS (/Public Library of Science/) [12 <#nota12>] dovrebbe trattarsi di una piattaforma per la pubblicazione/disseminazione di lavori scientifici e l'adozione su larga scala delle /Altmetrics/ [13 <#nota13>], metriche alternative basate sulla rilevazione dell'impatto delle pubblicazioni nei social media, anche fra gli umanisti. Verso la prossima VQR Andrea Bonaccorsi ha tentato una rapida sintesi dei temi fin qui ricordati, la specificit� /in primis/, e ha sottolineato l'attitudine dell'ANVUR all'ascolto delle comunit� scientifiche, alla creazione di fiducia reciproca fra i soggetti coinvolti, all'accettazione delle controversie in un'ottica di dialogo costruttivo. Ha poi enunciato alcuni elementi di metodo per una /peer review/ pi� efficace in vista del futuro esercizio di valutazione, ovvero l'adozione di Linee Guida per i revisori, l'obbligatoriet� di una scheda di giudizio da compilare per accompagnare il voto finale, la valutazione degli esperti alla luce del loro comportamento nella VQR precedente, la pubblicazione tempestiva delle liste di esperti. Anche sulle procedure relative alla scheda SUA-RD [14 <#nota14>], per evitare l'adozione di misure quantitative pure in assenza di /peer review/ - per tempi tecnici - si pensa a una nuova classificazione di tipologie di prodotti, a una maggiore considerazione dello stato editoriale della monografia - specificando se si tratta di opere originali o riedizioni - all'adozione di identificativi univoci per gli autori, quali /ORCID/ [15 <#nota15>], per dati pi� coerenti. Sono infine state mostrate le proposte elaborate dal Gruppo di lavoro Database e nuovi indicatori, ovvero lo studio di fattibilit� di una banca dati delle pubblicazioni di area umanistica e sociale- presentata alle societ� scientifiche lo scorso 20 gennaio a Roma [16 <#nota16>]- e le linee di ricerca aperte sui nuovi indicatori (per le riviste Open Access, per l'analisi di /Google Scholar/ e dei suoi limiti, per il potenziale uso delle /Altmetrics/). Lavori in corso Nella sessione pomeridiana, presieduta da Andrea Graziosi del Direttivo ANVUR, si � dato largo spazio ai Gruppi di ricerca di recente creazione, uno per ognuna delle 4 aree CUN interessate (10 e 11, 12, 13, 14): il loro mandato � quello di suggerire nuovi percorsi e strumenti utili a una valutazione che tenga conto della citata "specificit�". In particolare, la ricca disamina di Vincenzo Militello, di area 12, ha preso le mosse dalle problematiche pregiudiziali, di contenuto e di rilevanza nei confronti del concetto stesso di valutazione per poi passare in rassegna i possibili tipi di analisi, l'oggetto della valutazione, il metro, la formalizzazione dei risultati con giudizi, scale numeriche, punteggi e concludere con una proposta interessante, ovvero che ogni docente fornisca, per la prossima VQR, non solo un numero stabilito di suoi prodotti ma anche un numero doppio di revisioni gratuite sugli altri lavori. � seguita la presentazione delle sei proposte vincitrici del /Concorso Pubblico di Idee di Ricerca/ bandito da ANVUR a luglio 2014 [17 <#nota17>], con l'obiettivo di favorire lo studio di indicatori per la valutazione della ricerca nell'abito delle scienze umane e sociali. Le proposte di ricerca presentate si dividono fra studi di possibili indicatori per le monografie - in ambiti disciplinari specifici come le scienze giuridiche o mediante l'analisi della distribuzione nei cataloghi delle biblioteche (/libcitations/ o /library catalogues analysis/) - e studi sulla coerenza e robustezza dei dati citazionali, mediante il confronto fra basi di dati proprietarie commerciali e basi proprietarie, ma aperte come /Google Scholar /[18 <#nota18>]. Le conclusioni hanno evidenziato i passi avanti compiuti nel dialogo con le societ� scientifiche verso criteri di valutazione condivisi ed efficaci, nella convinzione, espressa anche dalla scelta di Escher per il logo del /workshop/, che la valutazione sia un processo complesso e mai finito. Marialaura Vignocchi, ASDD - Settore Gestione e sviluppo della biblioteca digitale d'Ateneo - AlmaDL - Universit� di Bologna, e-mail: marialaura.vignocchi@unibo.it Elena Giglia, Direzione Sviluppo Organizzativo, Innovazione e Servizi Bibliotecari - Universit� di Torino, e-mail: elena.giglia@unito.it Note [*]Twitter: #valhss_anvur2014, . [1] Le presentazioni del convegno /La valutazione della ricerca nelle Humanities and Social Sciences/, Roma, 17 novembre 2014 saranno pubblicate sul sito dell'ANVUR: . [2] Sven E. Hug - Michael Ochsner - Hans-Dieter Daniel, /Criteria for assessing research quality in the humanities: a Delphi study among scholars of English literature, German literature and art history/, "Research Evaluation" 22 (2013), 5, p. 369-383. [3] Ref2014, Research Excellence Framework, /Panel Criteria and Working Methods/,//January, 2012, . [4] Higher Education Funding Council for England (HEFCE), Policy Guide - Open Access research, . [5] EvalHum,/Promoting Humanities and Social Sciences Research/, . [6] /SPI: Scholarly Publishers Indicators: Books in Humanities and Social Scienc/es . [7] OCLC-Wolrdcat, . [8] Alesia Zuccala - Raf Guns, /Comparing book citations in humanities journals to library holdings: scholarly use versus perceived cultural benefit/, in14th International Conference of the International Society for Scientometrics and Informetric/s"/, Vienna, 2013, p. 353-360, . [9] Elsevier Scopus, . [10] Goodreads, . [11] Tim McCormick, /Public Library of Humanities: Envisioning a New Open Access Platform, /in/Tim McCormick: design, reading, media, place, /20 December 2012, . [blog post]. [12] PLOS, . [13] Cfr. Altmetrics, /altmetrics: a manifesto/, . [14] Cfr. ANVUR, /Documenti AVA/ [Autovalutazione, Valutazione periodica e Accreditamento], . [15] /ORCID/, . [16] /Nuovi percorsi per la valutazione nelle aree umanistiche e sociali: giornata di studi e consultazione, /Roma, 20 gennaio, 2014, . [17] ANVUR, /Concorso pubblico di idee di ricerca/, 16 luglio 2014, . [18] Google Scholar, . �Bibliotime�, anno XVII, numero 3 (novembre 2014) ------------------------------------------------------------------------ Precedente Home Successiva ------------------------------------------------------------------------ URL: http://www.aib.it/aib/sezioni/emr/bibtime/num-xvii-3/vignocchi.htm