De COVID-19-pandemie zag een explosie in publicatie van voorgedrukte artikelen, veel van auteurs die er nog nooit een hadden geproduceerd. Nu lijkt het erop dat een groot deel van deze wetenschappers deze praktijk waarschijnlijk zal voortzetten.

Een onderzoek gepubliceerd in PeerJ¹ ondervroegen onderzoekers die in 2020 preprints met betrekking tot COVID-19 of het virus SARS-CoV-2 hadden gepost op vier preprintservers: arXiv, bioRxiv, medRxiv en ChemRxiv. Van de 673 mensen die de enquête hebben ingevuld, had iets minder dan 58% hun preprints op de biomedische server medRxiv geplaatst; ongeveer 18% op arXiv, dat zich richt op wiskunde en natuurwetenschappen; 14% op de life-sciences-server bioRxiv; en 7% op ChemRxiv, een chemieopslagplaats.

Voor tweederde van de respondenten was dit de eerste keer dat zij een preprint publiceerden. Bijna 80% van hen zei dat ze van plan waren om in de toekomst voordrukken van ten minste enkele van hun papieren te plaatsen.

AI schrijft samenvattingen van preprints in de bioRxiv-proef

Een van de meest intrigerende bevindingen is het aantal respondenten dat suggestions heeft gekregen op hun preprints, zegt co-auteur Narmin Rzayeva, een scientometrieonderzoeker aan de Universiteit Leiden in Nederland. Drieënvijftig procent ontving commentaar van collega’s, waarvan meer dan de helft privé by way of gesloten kanalen zoals per e-mail of tijdens vergaderingen. Ongeveer 20% van de respondenten ontving commentaar op de preprintplatforms, die openbaar toegankelijk zijn.

“We hadden veel lagere cijfers verwacht”, zegt Rzayeva, omdat preprint-papieren doorgaans niet veel suggestions krijgen.

Vorig werk² ontdekte dat eind december 2021 slechts 8% van de preprints die op medRxiv waren geplaatst sinds de lancering medio 2019 on-line commentaar had ontvangen. Maar in dat onderzoek werden alleen publiekelijk geposte commentaren meegenomen.

De impression van suggestions

Suggestions vóór het afdrukken heeft impact, zij het ongelijkmatig. Van alle respondenten uit de enquête meldde slechts 1,9% dat ze grote wijzigingen hadden aangebracht in het resultatengedeelte van hun preprints als gevolg van suggestions. Daarentegen ontving 10,1% dergelijke veranderingen als reactie op peer evaluation uitgevoerd als onderdeel van conventionele tijdschriftpublicaties. Rzajeva vermoedt dat dit deels komt doordat auteurs zich verplicht voelen om veranderingen aan te brengen nadat ze suggestions hebben gekregen van peer reviewers van tijdschriften.

Van de respondenten die aangaven suggestions te hebben ontvangen op hun preprints, zei 21,2% dat ze substantiële wijzigingen hadden aangebracht in de discussie- en conclusiessecties. “Ik vind het behoorlijk opwindend en bemoedigend dat auteurs het aantal wijzigingen in hun preprints aanbrengen als reactie op preprint-commentaar”, zegt Jessica Polka, uitvoerend directeur van ASAPbio, een non-profitorganisatie in San Francisco, Californië, die bevordert innovatie in de levenswetenschappen.

Polka merkt op dat suggestions vóór druk vaak niet zo grondig is als een recensie in opdracht van een tijdschrift. Uit een analyse van de commentaren die zijn achtergelaten op bioRxiv-preprints die tussen mei 2015 en september 2019 zijn geplaatst, bleek dat slechts ongeveer 12% van de commentaren van niet-auteurs leek op die van conventionele peer evaluation³.

Australische financier komt terug op controversieel preprint-verbod

Polka moedigt onderzoekers aan om discussies over preprints aan te gaan. “Door peer evaluation in de open lucht uit te voeren, integreer je veel meer perspectieven dan wanneer je dit achter gesloten deuren zou doen”, zegt ze.

De preprint-ervaring lijkt positief te zijn geweest voor de respondenten van de enquête; 87% van hen zei dat ze hun artikel later hadden ingediend bij een peer-reviewed tijdschrift. Preprints mogen tijdschriftartikelen niet vervangen, zegt Rzayeva, maar moeten ze aanvullen en een integraal onderdeel worden van het publicatiesysteem.

Rekening houden met AI

Rzayeva erkent dat het onderzoek slechts vier servers omvatte, die goed waren voor ongeveer 55% van alle in 2020 gepubliceerde COVID-19-preprints. Zoals bij de meeste onderzoeken was er ook sprake van zelfselectie, wat betekent dat het aandeel individuen met bepaalde opvattingen overschat worden.

Anita Bandrowski, een informatiewetenschapper aan de Universiteit van Californië, San Diego, zegt dat het onderzoek belangrijk is, maar merkt op dat er geen rekening is gehouden met hulpmiddelen voor kunstmatige intelligentie (AI) die geautomatiseerde suggestions geven op preprints. Bandrowski maakte deel uit van een groep biologen en softwarespecialisten die een reeks geautomatiseerde instruments ontwikkeld die de nauwkeurigheid en reproduceerbaarheid van COVID-19-preprints meten en de resultaten op het sociale-mediaplatform X plaatsen.

Soortgelijke instruments zouden gemeengoed kunnen worden naarmate onderzoekers manieren overwegen om het snelgroeiende aantal preprints te beoordelen, en het zal belangrijk zijn om manieren te vinden om de resultaten te volgen, zegt Bandrowski. Ze voorspelt dat er “in de toekomst veel meer adoptie van preprints onder biologen zal plaatsvinden” als gevolg van het feit dat onderzoekers tijdens de pandemie hun tenen erin steken.

Polka is het daarmee eens. “De pandemie gaf ons inzicht in wat mogelijk is met preprints. Het is gewoon een kwestie van beleid aanpassen om dat potentieel te benutten.”