Een onderzoekstechnologiebedrijf heeft een nieuwe aanpak ontwikkeld om tijdschriftartikelen te helpen identificeren die afkomstig zijn uit papieren molens – bedrijven die nepstudies of onderzoeken van slechte kwaliteit produceren en auteurschappen verkopen.

De techniek, beschreven in een preprint die vorige maand op arXiv werd geplaatst¹, maakt gebruik van factoren zoals de combinatie van de auteurs van een artikel om verdachte onderzoeken te markeren. De ontwikkelaars van het in Londen gevestigde bedrijf Digital Science zeggen dat het kan helpen bij het identificeren van gevallen waarin onderzoekers mogelijk een artikel hebben gekocht.

Het nep-papierprobleem van de wetenschap: spraakmakende inspanningen zullen de papierfabrieken aanpakken

Eerdere pogingen om de producten van papierfabrieken op te sporen waren meestal gericht op het analyseren van de inhoud van de manuscripten. Eén on-line software zoekt bijvoorbeeld in papieren gemartelde zinnen — vreemde alternatieve zinswendingen voor bestaande terminologie die is geproduceerd door software program die is ontworpen om de detectie van plagiaat te voorkomen. Een ander hulpmiddel, dat wordt getest door de Worldwide Affiliation of Scientific, Technical, and Medical Publishers (STM), signaleert wanneer identieke manuscripten tegelijkertijd bij verschillende tijdschriften of uitgevers worden ingediend.

Een aanpak die in plaats daarvan de relaties tussen auteurs analyseert, zou waardevol kunnen zijn papierfabrieken worden beter in het produceren van overtuigende teksten, zegt Hylke Koers, chief data officer bij de STM, gevestigd in Utrecht, Nederland. “Dit is het soort signaal dat veel moeilijker te omzeilen of te verslaan is door slim gebruik van generatieve AI.”

Ongebruikelijke patronen

Papierfabrieken vormen een groeiend probleem voor uitgevers – volgens één schatting ongeveer 2% van alle gepubliceerde artikelen in 2022 leken op onderzoeken van papierfabrieken – en de afgelopen jaren hebben uitgevers dat ook gedaan de inspanningen om deze aan te pakken opgevoerd.

De artikelen die papierfabrieken produceren zijn niet alleen van slechte kwaliteit en bevatten vaak verzonnen gegevens en onzinnige tekst, maar worden ook vaak aangevuld met onderzoekers die auteurschap kopen op manuscripten die al zijn geaccepteerd voor publicatie. Sommige papierfabrieken beweren tienduizenden auteurschappen te hebben bemiddeld – ook in tijdschriften die zijn geïndexeerd in gerespecteerde databases, zoals Internet of Science en Scopus.

Dit kan ongebruikelijke patronen van co-auteurschap en netwerken van onderzoekers creëren die verschillen van die in legitiem onderzoek, zegt Simon Porter, vice-president voor analysis futures bij Digital Science.

De miljoenenhandel in papieren auteurs baart uitgevers zorgen

Onder normale omstandigheden “zou je gedrag verwachten waarbij een jonge onderzoeker met zijn begeleider publiceert, en iets later begint uit te breiden en met andere mensen gaat publiceren”, zegt Porter. “Je ziet een evolutie; het is geen willekeurig netwerk.”

Bij papierfabrieken is dit niet het geval. De technologie die Porter samen met Leslie McIntosh, vice-president voor onderzoeksintegriteit bij Digital Science, heeft ontwikkeld, zoekt naar developments die duiden op papierfabrieksactiviteit. Hiertoe behoren co-auteurnetwerken bestaande uit jonge onderzoekers die plotseling een piek in publicaties hebben, en artikelen met verschillende auteurs die geen publicatiegeschiedenis hebben of een verzameling medewerkers waarvan het onwaarschijnlijk is dat ze hebben samengewerkt, zoals auteurs uit verschillende locaties of niet-verwante disciplines.

Toen ze de resultaten van de nieuwe techniek vergeleken met die van de Problematische papierscreener, een software die zoekt naar gemartelde zinnen en andere waarschuwingssignalen, identificeerden Porter en McIntosh een aanzienlijke overlap. Ongeveer 10% van de auteurs werd rechtstreeks door beide instruments gemarkeerd, zo bleek uit hun onderzoek, en 72% van de auteurs in de dataset van ‘auteurnetwerken’ kan by way of co-auteurschap worden gekoppeld aan degenen in de dataset van ‘gemartelde zinnen’.

Technologie trucs

Hoewel de papierfabrieken snel zijn geëvolueerd, zodat er minder artikelen met gemartelde frasen worden gepubliceerd, denkt Porter dat de bedrijven het moeilijk zullen vinden om de markering door deze instruments te omzeilen en tegelijkertijd hun huidige bedrijfsmodel te behouden.

Digitale Wetenschap heeft plaatste de code die ten grondslag ligt aan de techniek on-lineen Porter zegt dat uitgevers er meteen mee aan de slag kunnen gaan.

Joris Van Rossum, programmadirecteur bij STM Options in Amsterdam, zegt dat zijn organisatie zal overwegen om de nieuwe technologie aan de oplossing toe te voegen STM-integriteitshub — een verzameling hulpmiddelen en hulpmiddelen die zijn ontworpen om uitgevers te helpen frauduleuze artikelen op te sporen.

AI intensiveert de strijd tegen ‘papierfabrieken’ die neponderzoek voortbrengen

Chris Graf, directeur onderzoeksintegriteit bij Springer Nature in Londen, zegt dat er obstakels blijven bestaan, vooral bij het maken van onderscheid tussen onderzoekers die een naam delen en het uitsluiten van auteurs die ten onrechte zijn gemarkeerd. “We hebben ontdekt dat er in deze context enkele uitdagingen kunnen zijn op het gebied van dataconsistentie, waardoor dit niet eenvoudig is”, zegt Graf. “Zeer briljante jonge onderzoekers met een lage clustercoëfficiënt zouden als vals-positieven kunnen verschijnen, wat duidelijk verre van ideaal is.” Maar hij voegt eraan toe: “Dat gezegd hebbende, onderzoeken we veel verschillende opties, en er is niets van tafel.” (Natuur‘s nieuwsteam is onafhankelijk van Springer Nature, de uitgever.)

Anna Abalkina, een socioloog aan de Vrije Universiteit van Berlijn die al jaren papierfabriekstudies volgt, zegt dat het een goed idee is om auteursnetwerken onder de loep te nemen. “Papierfabrieken kennen zeker afwijkingen in de samenwerking”, zegt ze.

Abalkina waarschuwt echter dat onze kennis van de bedrijfsmodellen en -processen van papierfabrieken beperkt is. Het is ook moeilijk te bewijzen dat een gepubliceerd onderzoek definitief het product is van een papierfabriek, merkt ze op, wat het moeilijk maakt om dat als reden voor intrekking te gebruiken.

Uiteindelijk zal “alle trucjes van het boekje nodig zijn om een ​​overtuigend filter voor papierfabrieken te kunnen bieden”, zegt Porter. “Het zal niet bij één techniek blijven.”