Een whitepaper over sneller en effectiever literatuur reviewen, met behulp van AI.
Het werk van systematische reviewers in academische literatuurstudies is tijdrovend, duur en repetitief. Het is tot nu toe lastig gebleken om hierbij effectieve hulp van de computer te krijgen. We hebben een tool ontwikkeld, op basis van AI-technologie, die assisteert bij het selecteren van relevante teksten: Selectical.
In dit whitepaper leggen we uit wat precies de uitdaging is van systematisch literatuuronderzoek in het medische domein en hoe Selectical hier een oplossing voor biedt we de problemen met automatisering hebben opgelost. Met Selectical kan 66% van het werk van reviewers bespaard worden, door gebruik te maken van nieuwe, realtime zelflerende AI-technologie. Het is hiermee mogelijk om in een fractie van de tijd alsnog meer dan 99% van relevante papers bij een studie te identificeren.
Het selecteren van wetenschappelijke artikelen die relevant zijn voor een specifieke studie is geen gemakkelijke opgave. Omdat in een literatuurreview alle relevante artikelen moeten worden gevonden moet elk afzonderlijk artikel (titel en abstract) goed bestudeerd worden. Dat kost per artikel gemiddeld enkele minuten. Voor een studie met duizenden potentiële papers kost dit meerdere werkdagen, mogelijk zelfs hele werkweken van hoogopgeleide onderzoekers.
Er zijn goede redenen waarom dit soort reviews nog niet machinaal gebeuren:
De inzet van Artificial Intelligence (AI) wordt door deze punten erg bemoeilijkt, o.a. omdat AI modellen vaak alleen effectief zijn als ze vooraf zijn getraind op vergelijkbare situaties. Het vereist een hele speciale soort AI-technologie om met de randvoorwaarden hierboven een werkend systeem te bouwen dat de menselijke taak van reviewen (deels) overneemt.
Selectical is een AI-gedreven tool die bij elke literatuurstudie automatisch leert wat relevante papers zijn op basis van wat de onderzoeker invoert. Na korte tijd neemt Selectical het grootste deel van het werk van het selecteren over. Zo wordt in 34% van de tijd meer dan 99% van alle relevante papers gevonden.
Selectical werkt in elke browser en is eenvoudig in gebruik:
Er zijn verschillende toepassingsmogelijkheden van Selectical binnen het review proces. Als ‘tweede reviewer’ bij een dubbele selectie (standaard bij systematisch literatuuronderzoek), als ‘controle tool’ en als ‘primaire selector’.
De geüploade artikelen worden ingelezen door Selectical. De beschikbare informatie (titel, abstract, Pubmed/Embase velden) wordt verwerkt en geoptimaliseerd om het zelflerend algoritme snel en efficiënt mee te laten werken. Deze opstartstap kost wat tijd en rekenkracht, maar vereist geen enkele input van reviewers na de initiële upload. Wanneer dit is afgerond kan de reviewer aan de slag met het labelen van artikelen.
Zodra het menselijke werk van artikelen selecteren is begonnen, begint ook de AI met leren. Aan de hand van de handelingen van de reviewer, wordt de AI getraind om het onderscheid te kunnen maken tussen artikelen die ‘relevant’, ‘niet relevant’ en als ‘twijfelgeval moeten worden gelabeld. Dit proces noemen we Active Learning. (Zie het kader voor een uitleg in meer detail waarom dit werkt.)
Uiteindelijk is de AI slim genoeg om van een groot aantal artikelen te bepalen of ze relevant zijn of niet, zonder dat de reviewer deze hoeft te bekijken.
Als we niet alle artikelen laten bekijken door de menselijke reviewer, hoe weten we dan zeker dat we alle relevante artikelen terugvinden? Die vraag is een van de belangrijkste redenen die dit tot een moeilijk probleem maakt. Selectical gebruikt een innovatieve strategie om deze ‘twijfel’ over ongeziene artikelen in te schatten en te kwantificeren. Als er uiteindelijk geen ‘meetbare twijfel’ meer is over de resterende artikelen, dan is de selectie afgerond en is de reviewer klaar om een export van alle resultaten te maken.
Bij active learning wordt een zelflerende Artificial Intelligence actief bijgestuurd door input van de gebruiker. De AI leert zogezegd door ‘af te kijken bij de mens’ hoe een taak uitgevoerd wordt.
Dit kan omdat het AI-algoritme een notie van zekerheid heeft bij de keuzes die gemaakt worden. De AI kan dus ‘zeker’ en ‘onzeker’ van z’n zaak zijn over een automatische beslissing.
In dit geval moet de AI leren wat relevante artikelen zijn en wat niet. Het werkt als volgt:
Door dit een aantal keer te herhalen (hoe vaak hangt af van het probleem in kwestie), kan de AI uiteindelijk met hoge zekerheid het werk van de mens overnemen.
We kunnen de resultaten van elke review waar Selectical assisteert beoordelen op twee criteria:
Voor de beoordeling van het criterium ‘Kwaliteit’ is het nodig een test te draaien waarbij alle research papers wel al eens door een menselijke reviewer zijn beoordeeld. We kunnen vervolgens simuleren wat er zou zijn gebeurd als dit proces door Selectical werd geassisteerd, en de resultaten vergelijken.
Om dit op een rigoureuze manier te testen is deze simulatie op verschillende datasets gedraaid met verschillende (willekeurige) initiële parameters. De resultaten zijn vervolgens gemiddeld. Het betroffen datasets van literatuur reviews met uiteenlopende onderwerpen (bijvoorbeeld een groot scala aan ziekten, maar ook over alcoholgebruik, of voeding en gezondheid ), sterk gefocust (bijvoorbeeld de effectiviteit van een bepaald vaccin) tot breed (het natuurlijk beloop van een ziekte), en datasets van verschillende omvang (100 tot ruim 7000 titels).
Voor het testen zijn 36 literatuurreviews ieder 25 keer gesimuleerd. Bij elkaar tellen deze reviews 80 duizend abstracts, waarvan tweeduizend ‘relevant’.
| Criterium | Resultaat |
|---|---|
| Hoeveelheid bespaard werk | 66% |
| Kwaliteit | 99.3% |
Volledige testresultaten inzien? Mail ons op hallo@wearelandscape.nl.
Het automatisch selecteren van research papers voor studies was lang een onneembare horde voor Artificial Intelligence. Maar Selectical kan met real-time zelflerende AI meer dan 99% van alle relevante artikelen terugvinden terwijl de werklast van de reviewer met 66% afneemt.
Uit simulaties en gebruikerservaringen blijkt dat Selectical voor zeer uiteenlopende soorten studies een bijzonder nuttige bijdrage kan leveren. En beter presteert dan bestaande tools met een vergelijkbaar doel.
Benieuwd naar de resultaten van Selectical op uw eigen literatuur reviews? We kunnen de werking van Selectical ook op jouw literatuurreviews toetsen door simulaties te draaien.