Semiautomatische validatie van predictiemodellen goed en snel alternatief

27-08-2019

Semiautomatische validatie van predictiemodellen met Evidencio, het eerste open platform voor online medische predictiemodellen ter wereld, is een goed alternatief voor handmatige validatie. Dat concluderen Cornelia van Steenbeek (IKNL, Universiteit Twente) en collega’s in een publicatie in BMC Medical Research Methodology. Een van de voordelen het Evidencio-model is dat hiermee het aantal gevalideerde predictiemodellen in de klinische praktijk sneller en gebruiksvriendelijker kan worden uitgebreid. Een ander pluspunt is dat er geen identificeerbare data nodig zijn, waardoor de privacy van patiënten maximaal is geborgd.

Klinische predictiemodellen worden niet routinematig gevalideerd. Om de validatieprocedures te vergemakkelijken heeft Evidencio een instrument ontwikkeld om dit proces gedeeltelijk te automatiseren. Het doel van deze studie was dan ook te evalueren of semiautomatische validatie een betrouwbare vervanging kan zijn voor handmatige validatie.

Opzet en resultaten

De onderzoekers selecteerden vier verschillende predictiemodellen die in Nederland gebruikt worden binnen de borstkankerzorg: CancerMath, INFLUENCE, Predicted Probability of Axillary Metastasis en PREDICT v.2.0. Gegevens van patiënten werden verkregen uit de Nederlandse Kankerregistratie (NKR) volgens de inclusiecriteria van de oorspronkelijke populatie.

Vervolgens werden de kalibratie (“hoe goed voorspelt het model de uitkomst”) en discriminatie (“hoe goed onderscheidt het model casussen van non-casussen”) vergeleken tussen semiautomatische en handmatige validatie. Uit de vergelijking blijkt dat de gegenereerde kalibratielijnen van alle modellen minimaal (niet klinisch relevant) verschilden tussen semiautomatische validatie en handmatige validatie. De discriminatie was identiek voor beide validatiemethoden.

Conclusie en aanbevelingen

Cornelia van Steenbeek en collega’s concluderen op basis van deze bevindingen dat semiautomatische validatie met Evidencio een goed alternatief is voor handmatige validatie om het aantal validaties te verhogen van in de klinische praktijk gebruikte predictiemodellen. Bovendien wordt semiautomatische validatie beschouwd als een gebruiksvriendelijk alternatief dat veel tijd kan besparen in vergelijking met handmatige validatie. De verwachting is dat met behulp van semiautomatische validatie meer predictiemodellen gevalideerd zullen gaan worden. Dit draagt bij aan accuratere voorspelling van de uitkomsten van behandelingen en dus betere aanbevelingen voor de behandeling van specifieke patiënten met borstkanker.

Doordat de onderzoekers diverse onderliggende modelstructuren evalueerden in deze studie, kunnen de resultaten van dit onderzoek gegeneraliseerd worden naar andere predictiemodellen. Dit betekent dat het hele vertaalproces van formules en onderliggende scripts naar andere datasets in een statistisch programma kan worden voorkomen. Daarmee wordt veel tijd bespaard, doordat ervaring met statische programma’s niet langer een vereiste is om een validatie te kunnen uitvoeren.

Privacy patiënten

Een ander belangrijk voordeel is het behoud van de privacy van alle geïncludeerde patiënten tijdens het validatieproces. Dit wordt bereikt door in de dataset uitsluitend die variabelen op te nemen die nodig zijn voor de validatie. In geen enkel predictiemodel is specifieke informatie van patiënten nodig die in hoge mate herleidbaar zijn. Op deze manier komt er geen identificeerbare informatie online beschikbaar. Een tweede voordeel is dat de gebruikte data alleen tijdelijk worden opgeslagen tijdens het validatieproces en achteraf door de gebruiker verwijderd kunnen worden, waardoor deze gegevens niet beschikbaar zijn voor anderen. De privacy van patiënten is dus geborgd en het validatieproces vindt op veilige wijze plaats.

volg ons: