Automatisk kategorisering af utilsigtede hændelser i Dansk Patientsikkerhedsdatabase

PrintPrint
Oplægsholder
Navn: 
Jakob Sig Hannibal
Stilling: 
Studerende
Firma/organisation: 
Københavns Universitet
Øvrige deltagere i projektet/initiativet
Navn: 
Ulrich Lichtenstein Andersen
Stilling: 
Overlæge, (lektor ved DIKU - specialevejleder)
E-mail: 
uan@sorano.net
Hovedbudskaber
Disse tre budskaber kan deltagerne forvente at få med hjem efter at have hørt indlægget.
1: 
At automatisk kategorisering viser god sensitivitet, specificitet og negativ prædiktiv værdi, men en middel positiv prædiktiv værdi
2: 
At den nuværende klassifikation har lav overensstemmelse med ”gold standard”
3: 
Perspektiver: Hvordan kan dette bruges i arbejdet med utilsigtede hændelser, og er der andre steder i sundhedsvæsenet det kunne være relevant?

Baggrund og motivation

Rapportering af utilsigtede hændelser er en del af kvalitetsarbejdet på regionalt og nationalt niveau i det danske sundhedsvæsen. Aggregering af disse hændelser skaber grundlag for den læring der er medvirkede til at forbedre sundhedsvæsenet, på tværs af sektorer og geografisk lokation. I Dansk Patientsikkerhedsdatabase klassificeres disse hændelser af risikomanagere, og patientsikkerhedskoordinatorer på de danske sygehuse, der er i alt 16 hovedgrupper i DPSD klassifikationen for de danske sygehuse. Ved sagsbehandlingen af alle hændelser sker der derfor en individuel vurdering af hændelsens kategori. Dette kan give anledning til misklassifikation af hændelserne. En automatisk klassifikation af hændelsesbeskrivelsen, vil kunne fjerne denne misklassifikation, øge datakvaliteten, samt spare tid og arbejde for de personer der anvender DPSD.

Beskrivelse

I forbindelse med specialearbejde er der udviklet en automatisk algoritme, som vha. tekst-mining automatisk kategoriserer utilsigtede hændelser. Algoritmen "læser" ordene i hændelsesbeskrivelsen, og leder efter såkaldte n-grams. For hver kategori er der udarbejdet en liste med n-grams. Hvis et n-gram fra listen findes i hændelsesbeskrivelsen, betyder det at den utilsigtede hændelse markeres med den givne kategori.

Algoritmen kan, i modsætning til den nuværende klassifikation i DPSD, markere flere kategorier for hver hændelse, idet utilsigtede hændelser, ofte viser sig at kunne høre under flere af kategorierne i DPSD.

I projektet er der foretaget en validering af den nuværende klassifikation i DPSD, samt af den automatiske kategoriseringsalgoritme. Valideringen var sat op som en sammenligning mellem ekspertens vurdering og algoritmen, samt mellem eksperten og DPSD klassifikationen. Eksperten har arbejdet med DPSD, og klassificering af utilsigtede hændelser i Region Hovedstaden i to år. Algoritmen blev testet på 900 tilfældigt udvalgte utilsigtede hændelser, hvoraf 9 blev ekskluderet pga. manglende tekst, eller fordi hændelsen var indberettet af en patient eller pårørende. De 900 hændelser stammede fra et træk i DPSD på ca. 40.000 UTH’er indberettet med lokation i de offentlige sygehuse i Danmark i 2016.

Styrelsen for Patientsikkerhed, bistod med udtræk af utilsigtede hændelser, samt med en vurdering af hvilke(n) kategori de utilsigtede hændelser hørte under i tvivlsspørgsmål. Der var tvivl om 80 af de 900 hændelser.

Resultaterne for den automatisk algoritme har vist en gennemsnitlig sensitivitet for alle 16 kategorier 59.5 %, samt en specificitet på 94.2 %. Gennemsnitlig positiv prædiktiv værdi er 48.1 %, og negativ prædiktiv værdi er 96.2 %. Især sensitiviteten viser en relativ stor variation imellem kategorierne, således er minimum 33.5 %, og maximum 91.3 %. Den automatiske algoritme tildelte i alt 1317 kategorier, og ekspertvurderingen tildelte 1052 kategorier til de 891 utilsigtede hændelser.

Resultaterne indikerer at tekst-mining kan anvendes som værktøj til automatisk kategorisering. Det kræver dog at algoritmen udvikles yderligere, og/eller suppleres med f.eks. en machine learning algoritme.

Perspektiverne på projektet er, at de data der ligger i DPSD kan forbedres, hvis databasen formåede at udnytte teknologi bedre, samt at kategoriseringen i DPSD med fordel kan ændres, for at øge den læring der kommer ud af systemet. Desuden er perspektiverne at tekst-mining er et værdifuldt redskab til at strukturere fritekst, som f.eks. vil kunne appliceres på patientfeedback, journalnotater, m.m. 

Indlægget

I indlægget gøres der rede for algoritmens opbygning, styrker og svagheder, samt fremtidig udvikling af algoritmen. Derudover vil den nuværende klassifikation blive gennemgået og diskuteret.