Annonse

Annonse

06:01 - 31. januar 2014

Skjult forbedring?

Kvaliteten er ikke ofret på kvantitetens alter. Det norske tellekantsystemet kan være vårt beste håp.

«Bunnen er ikke blitt verre. Faktisk har den hevet seg over tid.»

FORSKNING

I «Publiser eller dø» i Morgenbladet 17. januar presenteres resultatene fra evalueringen av tellekantsystemet. Ifølge flere av de siterte forskerne, og forfatterne bak kronikken i samme nummer («Forskning viser: Alt og ingenting»), er slike systemer i ferd med å gå på bekostning av kvaliteten på forskningen.

Evalueringen viser at kvaliteten på forskningen vår ikke er blitt bedre. Mengden av publikasjoner har eksplodert, mens kvaliteten har derimot forblitt uendret.

Stabilt. Flatt. Det har ikke blitt verre, men det har heller ikke blitt bedre. Rapporten finner «ikke nogle tegn på positive ændringer».

Denne konklusjonen bygger på tre ulike indikatorer på gjennomslagskraft. Alle disse er basert på samme antakelse, nemlig at kvaliteten på en artikkel kan måles ved å telle hvor mange ganger artikkelen er sitert i andre forskningsartikler.

Det mest generelle bildet fremkommer ved å sette det gjennomsnittlige antallet siteringer norske artikler oppnår, opp mot det tilsvarende internasjonale tallet. Da ser vi at norske artikler er sitert litt over gjennomsnittlig ofte. Der var vi i 2004, og der er vi i dag. Dermed kan vi konkludere med at kvaliteten er stabil over tid.

Statssekretær Bjørn Haugstad kjøper ikke denne konklusjonen («Fornøyd med tellekantene»). «Når kvaliteten holder seg stabil mens man ‘fyller på fra bunnen’, betyr det at vi også har mobilisert i den andre enden, at flere av artiklene får mange siteringer.»

Enkelte måltall viser at publisering av norsk forskning har økt med over 80 prosent siden 2004, mens tallet for verden sett under ett er litt under 70 prosent. I tillegg publiserer tre ganger så mange forskere artikler i Norge i dag enn i 2004.

Evalueringen hevder at de dårligste forskerne har begynt å skrive. Indikatoren «ser ud til at have løftet mere i bunden end i toppen af systemet».

Gitt at det er sant at mange av de nylig aktiverte forskerne skriver artikler som siteres lite, følger det at de beste artiklene trekker opp gjennomsnittet ved å siteres enda mer. Med andre ord: Det stabile gjennomsnittet skjuler forbedringer på toppen. De beste må ha blitt bedre. Det er argumentet.

Dessverre gir de to andre indikatorene grunn til å tvile.

Evalueringen beskriver utviklingen på toppen og bunnen av fordelingen. Den ser på de beste artiklene i Norge, og sammenligner disse med de beste artiklene i verden. Om 10 prosent av norske artikler er blant de 10 prosent mest siterte artiklene i verden, så holder de beste norske forskerne samme nivå som andre. Norske forskere er faktisk ørlite overrepresentert blant verdens 10 prosent beste. Dette er enda et tegn på at kvaliteten er god.

Men: Denne indikatoren har også vært stabil siden 2004. Det har altså ikke blitt noen relativ økning i kvaliteten på de beste norske artiklene.

Det neste steget for å avgjøre om tallene skjuler en forbedring i toppen er å se på bunnen. Den tredje indikatoren teller hvor mange artikler som ikke blir sitert.

I 2000 gikk 25 prosent av de norske artiklene uten siteringer i sine fire første leveår. I 2009 var dette redusert til 15 prosent. Med færre null-siterte artikler kan vi slå fast at bunnen ikke er blitt verre. Faktisk har den hevet seg over tid.

Når toppen har holdt seg med den internasjonale utviklingen og bunnen har fått bedre tall, er kanskje den mest realistiske beskrivelsen at alle gjør det litt bedre.

Det er meget tvilsomt at siteringer avslører kvalitet, men det er ikke temaet her. Gitt at evalueringen har brukt disse indikatorene, er spørsmålet heller hva vi egentlig kan lese ut av dem.

Påstanden om at økningen i mengde trekker den samlede kvaliteten ned, og at det derfor må finnes en skjult forbedring i toppen, ser ut til å mangle grunnlag i empirien. Flere artikler blir publisert og en høyere andel blir sitert, gjennomgående.

Det norske systemet er godt styrt og kriteriene har vært stabile. Derfor er denne evalueringsrapporten viktig, også internasjonalt.

Evalueringen beviser ikke at kvalitet kan måles. Men den viser hva som skjer dersom vi stipulerer en målemetode, slik som siteringsrater. Vi ser at et slikt insentivsystem ikke nødvendigvis flytter oppmerksomheten fra kvalitet til kvantitet. Det gir ikke rapporten grunnlag for å konkludere med.

Det norske systemet og denne evalueringen viser en strategi for hvordan universiteter og forskere skal kunne holdes ansvarlige. All den tid oppdragsgiverne, politikerne, insisterer på å prøve å måle kvalitet, kan en justert versjon av den norske modellen være vårt beste alternativ.

Eventuelt kunne de bare ha tillit.

 

Curt Rice
Professor, Universitetet i Tromsø

Annonse

Mer fra Debatt