Kronikk

Vi bruker store ressurser til ingen nytte

Hvis det vil, kan Forskningsrådet raskt sørge for at norsk forskning blir mer pålitelig.

Mye av forskningen som blir publisert på konferanser og i vitenskapelige tidsskrift er vanskelig å reprodusere. Det betyr at uavhengige forskere ikke får det samme resultatet som forskerne som publiserte studiene i utgangspunktet. Løsningen kan være enkel: Forskningsrådet bør begynne å stille krav til reproduserbarhet for forskningen som finansieres. Da kommer endringer til å skje raskt. Dagens insentivordninger bidrar imidlertid ikke til å bedre reproduserbarheten. Tvert imot.

Det er ikke bare forskningsresultater innen psykologi, samfunnsfag og medisin som ikke er reproduserbare. Det gjelder all empirisk forskning, også naturfag, som fysikk og kjemi, men dog i mindre grad. Overraskende nok gjelder det også forskning innen datateknologi og informatikk, som er fagfelt hvor hovedtyngden av alle eksperimenter utføres helt og fullt på datamaskiner. Eksperimentene utføres gjennom å kjøre programmer som behandler digital data hvor resultatene av eksperimentene er ny digital data. Resultatene analyseres også på en datamaskin. Alt ligger med andre ord til rette for at resultatene skal være reproduserbare.

Utgangspunktet for å gjøre empiriske resultater reproduserbare, er god dokumentasjon av eksperimentene. Innen datateknologi og informatikk kan eksperimentet for eksempel være å teste ut om en bestemt metode innen kunstig intelligens kan lære å skille mellom katter og hunder ved å analysere 100 000 ulike bilder av hunder og katter. Problemet, eksperimentet og datamaterialet beskrives best ved å dele all informasjonen med andre forskere. Det enkleste er å legge ut forskningsartikkelen som beskriver eksperimentet, koden og data på internett.

Dette gjelder i stor grad for andre fagfelt også, der eksperimentene ikke helt og holdent utføres på datamaskiner: Mye, om ikke all, data er digital, og kan deles. Det samme gjelder analysen av dataene, som ofte gjøres i statistisk programvare, for eksempel Excel, og kan lagres som filer. Disse filene kan enkelt deles.

En av grunnene til at forskning er vanskelig å reprodusere, er at man ikke helt har kommet frem til hva det faktisk betyr å reprodusere resultater av empirisk forskning. Forskere er stort sett enige i at reproduserbarhet ikke er enten-eller, men finnes i ulike grader.

«Vi kan og må skjerpe oss.» Les intervju med Odd Erik Gundersen her.

Ved NTNU-Telenor AI Lab har vi forsket på hva reproduserbarhet er innen fagområdet kunstig intelligens. Vi fant at det er tre grader av reproduserbarhet, og at disse gradene av reproduserbarhet er basert på hvilken dokumentasjon som er tilgjengelig for uavhengige forskere.

Jo mer dokumentasjon uavhengige forskere har tilgang til, jo større tillit kan de ha til eksperimentet og dermed også resultatene. Dette gjør det også mindre arbeidskrevende å gjenta forsøket for å se om man får de samme resultatene.

For forskerne som publiserer det originale eksperimentet, betyr mer dokumentasjon mer arbeid. Et annet moment er at resultatene blir mer generelle om de blir reprodusert av uavhengige forskere som ikke har tilgang til all dokumentasjonen fra det originale forsøket. Dermed er mindre dokumentasjon å foretrekke for de originale forskerne, for det betyr mindre arbeid og mer generelle resultater.

Når forskere skal ansettes ved et universitet eller en forskningsinstitusjon, er kvaliteten på forskningen og antallet publiserte forskningsartikler viktige kriterier. Kvaliteten vurderes i praksis ofte ut fra hvor forskningsartiklene er publisert. Jo høyere kvalitet på de vitenskapelige tidsskriftene, jo bedre anses forskningen å være. En utfordring er at vitenskapelige tidsskrift i liten grad stiller krav til at forskningsresultatene skal være reproduserbare. Det betyr at det for forskere som ønsker faste stillinger er lurere å satse på å produsere mye forskning i gode vitenskapelige tidsskrifter heller enn reproduserbar forskning.

Så lenge det offentlige finansierer forskningen bør vi få igjen for det i form av åpen og reproduserbar forskning.

Det offentlige, som i stor grad finansierer forskning, har alle grunner til å forvente og kreve at forskningen som blir finansiert er reproduserbar. Forskning gir oss ny kunnskap, som anvendes i ny forskning eller som kommersialiseres i form av nye produkter, retningslinjer eller lignende. Hvis resultatene ikke er reproduserbare, kan beslutningene bli gale, og alt som baserer seg på disse har dermed ikke de forventede kvalitetene. Dette blir som regel oppdaget etter hvert, men det er tidkrevende. Store ressurser brukes til ingen nytte.

Ved å kreve reproduserbare forskningsresultater bruker vi ressursene bedre og kommer frem til ny kunnskap fortere. Dermed bør institusjonene som finansierer forskning, som for eksempel Norges forskningsråd, stille krav til at forskningen som finansieres skal være åpen. Det vil bety at forskningen må publiseres i tidsskrifter som er tilgjengelige for alle, men også at data som samles inn, og kode som benyttes i eksperimentet, både for å kjøre det og å analysere det, skal være åpent tilgjengelig for alle.

Ikke all forskning kan gjøres fullstendig åpen. Det kan være fordi den benytter persondata eller medisinske data, eller fordi programvaren er noens intellektuelle eiendom og inneholder forretningshemmeligheter. Dette kan, for eksempel, løses ved å stille ulike krav til reproduserbarhetsgrad til forskningen som utføres av industrien og til rene forskningsinstitusjoner.

Det er fortsatt mange åpne spørsmål rundt reproduserbarhet, men det finnes gode anbefalinger til hvordan man skal gjøre forskning reproduserbar. Ved NTNU-Telenor AI Lab samarbeider vi med andre ledende forskere innen kunstig intelligens for å definere et nytt rammeverk for reproduserbarhet. Våre anbefalinger blir publisert i AI Magazine i løpet av høsten.

Så lenge det offentlige finansierer forskningen bør vi få igjen for det i form av åpen og reproduserbar forskning. Ved å stille krav til reproduserbarheten i prosjekter som finansieres av det offentlige, vil kvaliteten til forskningen bli høyere og forskningen kan fortere avdekke ny og reell kunnskap.

Mer fra Kronikk