Steekproefcontrole

Olthof D.C., Luitse J.S.K., de Groot F.M.J., Goslings J.C.: A Dutch regional trauma registry: quality check of the registered data. In: BMJ Quality & Safety 22(9), 2013, p. 752-758. [Pubmed]

Inleiding
In toenemende mate wordt er binnen de gezondheidszorg gesproken over kwaliteitsindicatoren. Dit geldt niet alleen voor (klinische) zorg maar ook voor registraties, zoals die voor bepaalde vormen van kanker. Ook voor de traumaregistratie (TR) is een goede kwaliteit van de geregistreerde data van belang omdat we op basis daarvan uitspraken doen over de (kwaliteit van) traumahulpverlening. Daarnaast wordt de TR gebruikt voor onderzoeksdoeleinden, zowel door de Trauma Unit als door andere afdelingen binnen het ziekenhuis. In het kader van deze onderzoeksactiviteiten zijn ook validatiestudies belangrijk om te noemen (bijv. de validatie van de Emergency Trauma Score (EMTRAS). Tot slot wordt de zogenaamde W-statistiek bedreven met deze gegevens: een statistische methode waarbij de voorspelde overleving van traumapatiënten in onze regio wordt vergeleken met de daadwerkelijke overleving waarbij wordt bekeken hoe het cijfer zich verhoudt t.o.v. de referentiestandaard. Voor al deze onderzoeken is het natuurlijk zeer belangrijk dat de data kloppen!

Om een indruk te krijgen van de betrouwbaarheid van de geregistreerde data in de TR hebben wij, als eerste in Nederland, een steekproef genomen uit de registratie.

Methode
Wij hebben gekozen voor een 'aselecte steekproef zonder teruglegging', wat wil zeggen dat alle patiënten evenveel kans hadden om in de steekproef terecht te komen, maar er hoogstens één keer in konden komen. Met behulp van een steekproefcalculator hebben we de steekproefgrootte berekend. Hierbij hebben wij een steekproefmarge (oftewel betrouwbaarheid) van 5% gehanteerd bij een onbekende uitkomst en een studiepopulatie van 3184 patiënten. De studiepopulatie betreft het aantal patiënten dat in de tweede helft van 2011 is geregistreerd in de TR. Hierbij is gestratificeerd naar centrum en naar ernst van het letsel, met specifieke aandacht voor de multitraumapatiënten. De in totaal 343 patiënten (berekende steekproefgrootte) zijn opnieuw gescoord door een andere traumachirurg of datamanager dan degene die de patiënt de eerste keer had gescoord. Er zijn verschillende parameters bekeken, waarvan de Abbreviated Injury Scale (AIS) letselcodes en mortaliteit de belangrijkste waren. Na exclusie van 10 patiënten, waar onvoldoende data van beschikbaar was, bleven er 333 over voor data analyse.

Uniformiteit is uitgedrukt in het percentage overeenkomst tussen de scores van de twee traumachirurgen/datamanagers. Voor de binaire of nominale data hebben wij gebruik gemaakt van een Cohen's Kappa, voor de ordinale data van een gewogen Kappa en voor (semi)continue variabelen van de Intraclass Correlation Coëfficiënt. Voor het categoriseren van overeenkomst hebben wij de arbitraire indeling Landis & Koch toegepast waarbij er vijf categorieën zijn, oplopend van 'geringe' (0 - 0,20) tot 'bijna perfecte' (0,80 - 1) overeenkomst.

Resultaten
Allereerst hebben wij berekend wat de overeenkomst was tussen de scores van beide waarnemers voor de gehele patiéntengroep (n = 333) voor het aantal AIS letselcodes en de Injury Severity Score (ISS oftewel de letselernst). Overeenkomst voor het aantal afgegeven AIS codes was voldoende tot goed (ICC = 0,70; ruwe overeenkomst: 62%) en overeenkomst voor ISS was bijna perfect (ICC = 0,84; ruwe overeenkomst: 63%). In Figuur 1 is de ISS zoals geregistreerd in de TR uitgezet tegen de ISS volgens de tweede traumachirurg/datamanager in een scatterplot. Hierbij beeldt de stippellijn de overeenkomstlijn uit.
Overeenkomst voor de parameter mortaliteit kon gecategoriseerd worden als 'bijna perfect' met een Kappa van 0,82 en een ruwe overeenkomst van 99%.

Vervolgens hebben wij de data uitgesplitst naar de patiëntengroepen waarin beide waarnemers 1 AIS code hebben afgegeven en de patiëntengroep waarin beide waarnemers > 1 AIS code hebben afgegeven. De resultaten van de 129 patiënten waar beide waarnemers 1 code gescoord hebben is weergegeven in Figuur 2.

Overeenkomst voor de lichaamsregio waarin de AIS code zich bevond was bijna perfect (Cohen's Kappa = 0,91; ruwe overeenkomst: 96%). Ook de overeenkomst voor de ernst van het letsel en de daarmee samenhangende ISS was bijna perfect (respectievelijk gewogen Kappa = 0,88; ruwe overeenkomst: 91% en ICC = 0,90; ruwe overeenkomst: 92%).

In de 128 patiënten waarin beide waarnemers > 1 AIS code af hebben gegeven was de overeenkomst voor ISS bijna perfect (ICC = 0,86; ruwe overeenkomst: 52%). Daarnaast hebben wij de overeenkomst berekend tusen het totaal aantal AIS codes dat de waarnemers gecodeerd hadden, welke met een ICC van 0,56 (ruse overeenkomst: 60%) als 'redelijk' gecategoriseerd kan worden. Ook overeenkomst voor het aantal lichaamsregio's was 'redelijk' (Cohen's Kappa = 0,52; ruwe overeenkomst: 69%). Tot slot hebben wij de 88 patiënten geselecteerd waar de waarnemers hetzelfde aantal lichaamsregio's gecodeerd hebben en geanalyseerd welk percentage dit (inhoudelijk) dezelfde lichaamsregio waren. Stel dat beide waarnemers twee lichaamsregio's codeerden: was dit bij beide waarnemers de regio 'hoofd' en 'abdomen' of heeft de één 'hoofd' en 'abdomen' gescoord en de ander 'aangezicht' en 'extremiteiten'? In 83% van de 88 patiënten hadden beide waarnemers dezelfde lichaamsregio's gescoord.

Conclusie
Concluderend geldt voor de gehele groep dat er bijna perfecte overeenkomst was voor de parameters ISS en mortaliteit. De overeenkomst voor het aantal afgegeven AIS codes was voldoende tot goed. Wanneer beide waarnemers 1 AIS code scoorden was er bijna perfecte overeenkomst voor de variabelen lichaamsregio, ernst en ISS. Wanneer beide waarnemers > 1 AIS code scoorden is er ruimte voor verbetering voor het aantal AIS codes dat zij afgeven en het aantal lichaamsregio's welke aangedaan zijn. Voor de uitkomstmaat ISS was de overeenkomst bijna perfect.

TraumaNet AMC is het eerste traumacentrum in Nederland dat de resultaten van een dergelijke kwaliteitscheck op de geregistreerde data publiceert en de goede resultaten zijn geruststellend! Deze resultaten hadden natuurlijk niet behaald kunnen worden zonder de samen- en medewerking van alle partnerziekenhuizen in de regio van SpoedZorgNet!

Er moet een kanttekening geplaatst worden. De overeenkomst voor ISS voor de gehele groep en voor de patiëntengroep waarbij beide waarnemers > 1 AIS code hebben gescoord moet voorzichting geïnterpreteerd worden omdat de ruwe overeenkomst lager uitvalt dan de ICC waarde. Bij de overige parameters is de Kappa of de ICC waarde een conservatieve schatting t.o.v. de ruwe overeenkomst.

Deel deze pagina