Av Leiv K. Sydnes, professor emeritus, Kjemisk institutt, Universitetet i Bergen
Publisert 23. februar 2023 kl. 09:37
I februarnummeret av Forskerforum hadde journalist Julia Loge en artikkel om fagfellevurdering. Den inneholder både feil og omtrentligheter og framstår som et godt eksempel på hvorfor fagfellevurdering er viktig. Jeg har derfor behov for å komme med noen kommentarer.
Fagfellevurdering er en gammel metode for kvalitetskontroll. For eksempel er lærlingordningen, som strekker seg mer enn tusen år tilbake i tid, tuftet på løpende fagfellevurdering. På 1700-tallet begynte ordningen forsiktig å gjøre seg gjeldende i vitenskapelige kretser, og selv så sent som på midten av 1950-tallet var fagfellevurdering av vitenskapelige manuskripter ikke så vanlig. Men i tiåret etter slo praksisen rot og etablerte seg raskt som norm. Lancet, som Loge nevner, var dermed ikke blant de raskeste til å få ordningen på plass.
Som navnet sier, krever fagfellevurdering at det fins kompetente fagfolk som kan ta på seg oppgaven. I så måte er eksemplet Einstein ikke godt, for hans ideer var så revolusjonerende at det knapt fantes andre som kunne vurdere dem. Da blir prosessen meningsløs å gjennomføre, men det er knapt en hemsko siden forskere av Einsteins kaliber sjelden dukker opp.
Da er tidsbruken ved ordningen et større aber. Jeg har vel brukt i snitt 100 timer årlig på fagfellevurdering i 35 år av min forskningskarriere. Av to grunner kaller jeg ikke dette dårlig tidsbruk. For det første har manuskriptene inneholdt mange interessante resultater som jeg har reflektert grundig over og lært mye av, altså en relevant forskningssyssel. Og for det andre har refusjoner og konstruktiv kritikk, ikke ramsalte tilbakemeldinger, bidratt til å hindre kvalitetssenkning på en del tidsskrifter på mitt fagfelt. Det har kommet alle leserne av disse tidsskriftene til gode, for de har sluppet å gruble over de feil og misforståelser min fagfellevurdering bidro til å få fjernet, noe som har spart forskersamfunnet totalt sett for mye mer tid enn jeg har brukt.
Loge sier nei, men jeg sier ja. Hun glemmer at vitenskapelig fagfellevurdering er todelt. Vurderingen før publisering er nok lite egnet til å avsløre regelrett juks (fraud) fordi forskningssvindel hovedsakelig blir utført av høyt kompetente forskere som vet hvordan jukset skal pakkes inn for ikke å bli oppdaget (Sudbø-saken). Derfor er fase to av fagfellevurderingen viktig. Den skjer etter publisering, når svindelkunnskapen blir brukt som basis for nye eksperimenter og ny teoriutvikling. Refereegruppen omfatter da alle forskere på fagfeltet det gjelder, og denne gruppen er naturligvis mye mer kompetent enn de 3-4 fagfellene som sto for vurderingen før publisering. Når svindelresultatene slik blir satt på prøve, vil de før eller senere bli oppdaget (Sudbø-saken fase 2). Da har svindleren kanskje tjent på det i mange år, mens forskersamfunnet har kastet bort arbeidsinnsats og ressurser og vil tape anseelse. Den eneste vinneren er fagfellevurderingen!
Igjen sier Loge nei med henvisning til at det finnes feil i artikler som kan være så grove at publikasjoner blir trukket tilbake. At det er feil i vitenskapelige arbeider, må ikke overraske noen; de er skrevet og kontrollert av mennesker, og vi gjør feil hele tiden. Derfor skal alt, også vitenskapelige verk, leses med sunn skepsis. Men det vi leser er publikasjonene etter at fagfeller og redaksjoner har saumfart manuskriptene og påpekt masse feil som har blitt rettet eller ført til refusjon av manuskriptet. Jeg har fagfellevurdert flere hundre manuskripter hittil i min karriere, og ikke ett har vært feilfritt; cirka 70 prosent har blitt godkjent etter revisjon, mens 30 prosent har blitt refusert. Jeg har også bare sjelden opplevd at egne arbeider har vært fullstendig feilfrie selv om «alt» har blitt gjort for å unngå feil. Så store mengder feil når aldri leserne takket være fagfellevurderingen.
Loge ønsker tydeligvis å slå et slag for preprints, men gjør det ved å insinuere at forskere ikke leser fagfellevurderte tidsskrifter og derfor ikke bryr seg om den kvalitetshevingen fagfellevurderingene tilfører faglitteraturen. Det er definitivt ikke riktig; forskere i hopetall leser tidsskrifter med referee-ordning nettopp på grunn av kvaliteten, men i tillegg leses det selvfølgelig også preprints, som oftest fra noen få forskere som er ledende på deres fagfelt og alltid publiserer pålitelig vitenskap. Jeg har enda til gode å treffe kolleger som bare leser preprints, men fysikere (hvilke?) gjør tydeligvis det, ifølge Loge.
Og så professor James Fraser ved University of California i San Francisco da, som nærmest lovprises for ikke å ha gjort en fagfellevurdering på årevis. Når han har den holdningen, hvorfor har han da belemret refereesystemet og selv bedt om å bli fagfellevurdert ved å sende et stort antall svære manuskripter til Nature, Science, Cell, PNAS, Protein Science etc.?
I stedet for å snakke ned fagfellevurderingsordningen, burde Loge heller bidra med idéer til hvordan den kan styrkes. Begynn gjerne med å reflektere over hvordan forskere i det hele tatt vurderer å publisere sine arbeider i et økende antall «open-access»-tidsskrifter som har så effektive fagfellevurderinger at de garanterer publisering innen to uker etter innsending. Fortsett så med hva som kan gjøres for å avdekke skjulte avtaler om gjensidig sitering for å blåse opp allslags indekser som kan komme til nytte ved søknader i ulike sammenhenger. Her er det behov for godt samspill mellom samvittighetsfulle refereer og kreative redaksjoner med tilgang på stor datakraft som kan utføre avansert mønstergjenkjenning. I tillegg kommer så skadene som COVID-pandemien påførte fagfellevurderingsordningen. Det er dokumentert at pandemien samlet sett svekket kvaliteten på fagfellevurderingen, ikke minst av COVID-relaterte manuskripter som i uforholdsmessig høy grad har blitt trukket tilbake (jfr. Retraction Watch).
For å bøte på dette og øke kvaliteten på alt som publiseres i vitenskapens navn, må fagfellevurderingen insentiveres. Å være referee bør forventes, dokumenteres og bidra til merittering når aktiviteten kommer over et visst nivå. Og så må forlagene honorere fagfellenes institusjoner på et nivå som reflekterer at fagfellevurderinger er viktige for å sikre at vitenskapen er pålitelig. Uten slike insentiver er jeg redd Loges fysikere og James Fraser får mange etterfølgere i en periode, inntil det blir klart at plutselig må alle forskere fungere som refereer for hver bidige publikasjon de leser. Det vil helt sikkert ta mer enn 12 timer per år som er den gjennomsnittlige tiden hver forsker i verden bruker på å fagfellevurdere forskning.
Det er i forskernes og vitenskapens interesse at fagfellevurderingen styrkes og blomstrer og ikke raderes.
Les også:
