Evidensbaseret medicin · K5-K6 · Udgave 1

Studier om enighed

To observatører kan være enige uden at have ret. Og et højt samlet reliabilitetstal kan skjule uenighed ved den grænse, hvor beslutningen træffes.

GPT-6 Sol · Extra High 17-22 min

Detaljegrad

Kort fortalt

Studier om enighed

Lær at skelne enighed fra rigtighed, vælge mål til kategoriske og numeriske vurderinger, regne og fortolke kappa, læse Bland-Altman-plots og vurdere, om et enighedsstudie kan bruges i klinikken.

Formålet

Afklar hvad enighed kan og ikke kan fortælle

Uenighed bliver til usikre beslutninger og støj i forskning

Standard

To klinikere kan give forskellige diagnoser eller scores til samme patient.

Variation i et målt udfald kan skjule en reel forskel mellem grupper.

I klinikken

Hvis en vurdering afgør behandling, visitation eller opfølgning, er det vigtigt at vide, om en anden kompetent observatør ville nå samme resultat. Uenighed er ikke automatisk en fejl hos den ene; spørg først om kriterier, tilgængelig information og situation var ens.

I et studie

Ustabil klassifikation ved inklusion kan placere patienter i forkert gruppe. Støj i et effektmål kan øge spredningen og gøre det sværere at påvise en faktisk forskel. Systematisk forskel mellem observatører kan derimod skævvride resultatet; flere deltagere fjerner ikke sådan en fejl.

Inter og intra svarer på to forskellige gentagelser

Standard

Interobservatør: to eller flere personer vurderer det samme.

Intraobservatør: samme person gentager sin vurdering.

Hold det observerede sammenligneligt

Ved interenighed sammenlignes forskellige observatører. Ved intraenighed sammenlignes gentagelser fra samme observatør. I begge tilfælde skal du vide, om patient, billede eller prøve faktisk var stabil mellem vurderingerne. Ved en ny patientkontakt kan ændring i tilstanden ligne observatørvariation.

Huskelsesbias er også muligt

En kort pause mellem gentagne billedvurderinger kan gøre det muligt at huske første svar. En lang pause mindsker hukommelse, men øger risikoen for ændrede færdigheder eller forhold. Blinding for tidligere svar og et begrundet tidsinterval gør intraresultatet lettere at tolke.

Enighed siger ikke i sig selv, om svaret er rigtigt

Standard

To observatører kan gentage samme forkerte vurdering.

Rigtighed kræver en relevant reference eller anden begrundelse for, hvad der er sandt.

En stabil forskydning er stadig en fejl

To vægte kan begge vise fem kilo for meget hver gang og være indbyrdes enige. Kalibrering mod en relevant reference belyser rigtighed; gentagne målinger belyser variation. Et enighedsstudie uden reference kan ikke alene vise, at en diagnose eller måling er korrekt.

Skeln også enighed fra reliabilitet

Absolut enighed handler om størrelsen af forskelle mellem vurderinger af samme person. Et reliabilitetsmål som ICC beskriver i højere grad, hvor godt personer kan adskilles i det undersøgte sample i forhold til målefejlen. Derfor kan et højt ICC sameksistere med klinisk relevante forskelle hos den enkelte.

Kategoriske data

Fra ens svar til en fortolkelig kappaværdi

Datatypen bestemmer, hvad enighed betyder

Standard

Nominale kategorier har ingen indbyrdes afstand; ordinale kategorier har rækkefølge.

Numeriske målinger skal vurderes på deres egen skala, ikke kun i kategorier.

Kategoriske vurderinger

Et ja/nej-svar eller en blodtype kan beskrives med en krydstabel, procent enighed og eventuelt kappa. Ved ordnede grader kan en vægtet kappa skelne mellem fejl på ét og flere trin. Skriv kategorierne ud; samme kappaværdi kan dække over meget forskellige slags uenighed.

Kontinuerte målinger

Ved en score, vægt eller blodtryksmåling er forskellen i den oprindelige enhed ofte det klinisk relevante. Et Bland-Altman-plot viser forskelle mod niveau, mens limits of agreement beskriver deres spredning. At gøre målingerne binære mister information og kan skjule uenighed tæt ved en beslutningsgrænse.

Kappa sammenholder den observerede enighed med forventningen fra marginalerne

Standard

Observeret enighed er andelen, hvor begge observatører gav samme kategori.

Cohen-kappa = (observeret − forventet enighed)/(1 − forventet enighed).

Regn et lille eksempel

To observatører vurderer 100 tilfælde: 30 kaldes positive af begge, 50 negative af begge, og i 20 tilfælde er de uenige (10 i hver retning). Observeret enighed er 80 %. Begge kalder 40 % positive, så forventet enighed ud fra marginalerne er 0,4×0,4 + 0,6×0,6 = 0,52. Kappa bliver (0,80−0,52)/(1−0,52)≈0,58. Tallene er konstruerede.

Hvad korrektionen ikke gør

Kappa trækker den enighed fra, som modellen forventer ud fra hver observatørs kategorifordeling. Det er ikke et mål for andelen korrekte diagnoser. Kappa 0 svarer til denne forventning, 1 til fuld enighed, og negative værdier til mindre enighed end forventet; se samtidig på den faktiske krydstabel.

En skæv fordeling kan give høj procent enighed og lav kappa

Standard

Hvis næsten alle er i samme kategori, forventes også meget enighed fra marginalerne.

Kappa bør ikke læses uden procent enighed og kategorifordeling.

Se hvad observatørerne faktisk var uenige om

Når et symptom næsten altid registreres som fraværende, kan observatørerne ofte være enige om “nej”, mens de få positive vurderinger er usikre. Den høje forventede enighed presser kappa ned. Se derfor også på enigheden for positive og negative kategorier hver for sig, hvis de har forskellige konsekvenser.

Sammenlign ikke tal på tværs af vilkårlige samples

Samme observatører kan få en anden kappa, hvis case-mix og kategorifordeling ændres. Et studie med tydeligt syge og helt raske er ikke automatisk relevant for grænsetilfælde i almen praksis. Lav kappa kan pege på et problem, men årsagen kræver tabellen og studiedesignet.

Vægtet kappa giver større vægt til større uenigheder

Standard

Brug vægtning, når kategorierne har en meningsfuld orden.

Oplys vægtene; en vægtet og en uvægtet kappa er ikke samme resultat.

Grad er ikke bare ja eller nej

Ved graderne ingen, mild, moderat og svær kan uenighed mellem mild og moderat være mindre alvorlig end uenighed mellem ingen og svær. Vægtet kappa tager højde for dette gennem på forhånd valgte vægte. Den konkrete vægtning er et metodevalg og bør fremgå, når resultater sammenlignes.

Læs delskalaen, ikke kun totalscoren

I en undervisningscase om depression var vægtet kappa 0,59 for nedtrykthed og 0,90 for vægttab. Det viser forskellig enighed om disse elementer i netop den patientgruppe. Det siger ikke, at vægttab er mere diagnostisk vigtigt, eller at begge elementer er målt rigtigt.

Numeriske data

Se forskellene mellem to målinger på den rigtige skala

Bland-Altman begynder med forskellen for hvert par

Standard

X-aksen viser de to målingers gennemsnit; y-aksen deres forskel.

Gennemsnittet af forskellene viser den gennemsnitlige forskydning.

Et regneeksempel fra forelæsningen

For ti parrede blodsukkermålinger måler apparat 1 i gennemsnit 3,7 mg/dL højere end apparat 2. Den gennemsnitlige forskel siger noget om systematisk forskydning, men ikke hvor langt enkeltmålinger kan ligge fra hinanden. Det kræver spredningen af de parrede forskelle.

Led efter mønstre

Forskelle, der stiger med måleniveauet, tyder på proportional forskydning; en tragtform tyder på, at variationen ændrer sig med niveauet. I begge tilfælde kan ét sæt vandrette grænser være misvisende. Et plot kan også afsløre enkelte usædvanlige målinger, som skal undersøges, ikke automatisk fjernes.

Limits of agreement er ikke et konfidensinterval

Standard

Omtrentlige 95 %-grænser: gennemsnitlig forskel ± 1,96 × SD for forskellene.

Et 95 %-konfidensinterval omkring middel-forskellen handler om usikkerhed på middelværdien.

Regn grænserne, men læs dem med forbehold

I blodsukkerøvelsen er forskellen i gennemsnit 3,7 mg/dL og SD cirka 1,25 mg/dL. Beregningen giver limits of agreement cirka 1,25 til 6,15 mg/dL. Under passende antagelser beskriver de, hvor omtrent 95 % af individuelle forskelle i den relevante population kan ligge. Ti par er dog for få til præcise grænser; øvelsen er ikke validering af apparaterne.

Spørg om bredden kan accepteres

Et snævert konfidensinterval om en gennemsnitlig forskel nær nul kan sameksistere med brede forskelle for den enkelte. Om apparater kan bruges i stedet for hinanden, afhænger af en på forhånd begrundet, klinisk acceptabel forskel. Uden den grænse kan et plot beskrives, men ikke erklæres “godt nok”.

Et højt ICC eller en høj korrelation er ikke nok

Standard

Korrelation kan være høj, selv om den ene observatør konsekvent scorer højere.

ICC afhænger også af, hvor forskellige patienterne er fra hinanden.

To forskellige perspektiver på numeriske data

ICC kan vise, at patienterne rangeres nogenlunde ens, men ændres med variationen mellem patienter. Bland-Altman giver forskellene i point, mmHg eller den enhed, beslutningen bruger. Læs derfor absolut forskel og reliabilitet sammen, især hvis vurderingen skal bruges på en enkelt patient.

Brug det mål, der svarer til anvendelsen

Et ICC for gennemsnittet af flere bedømmere er ikke det samme som et ICC for én bedømmer. Hvis daglig praksis kun har én vurdering, skal resultatet afspejle det. En Pearson-korrelation er heller ikke et mål for absolut enighed, fordi den ikke afslører en fast forskydning.

Kritisk vurdering

Undersøg hvordan enigheden blev opnået

En høj samlet enighed kan stadig give grænseproblemer

Standard

I en almen-praksis-case fik 42 patienter to vurderinger af en depressionsscore.

Samlet ICC var cirka 0,95; individuelle forskelle spændte omtrent fra −3,31 til +3,69 point.

Læs totalen sammen med forskellen

Studiet brugte 84 ratings af 42 patienter fra flere observatørpar. Der var ingen tydelig gennemsnitlig forskydning, men to bedømmere kunne være omtrent tre til fire point uenige om samme person. Det er relevant, når inklusion eller sværhedsgrad bestemmes af en pointgrænse; høj ICC gør ikke den konkrete klassifikation sikker.

Hvad blev faktisk vurderet?

Den ene observatør interviewede patienten; den anden bedømte en lydoptagelse. To visuelt vurderede elementer kunne derfor ikke indgå og totalscoren blev opregnet fra de øvrige. Casen undersøger især enighed om vurdering af det optagede interview, ikke fuld gentagelighed af to uafhængige, identiske patientinterviews.

Standardisering og træning kan gøre vurderinger mere ens

Standard

Brug fælles kriterier, ens information og træning med tilbagemelding.

Flere vurderinger kan hjælpe, men skjul ikke den oprindelige uenighed bag konsensus.

Arbejd på årsagen

Et struktureret interview, præcise scoringsregler og øvelse i vanskelige tilfælde kan reducere fortolkningsforskelle. Udstyr kan kalibreres, og vurderingsforhold kan standardiseres. Før- og eftermålinger kan vise, om indsatsen virkede i den relevante gruppe; forbedring bør ikke blot antages.

Konsensus er en procedure, ikke et uafhængigt fund

To observatører kan vurdere hver for sig og derefter drøfte uenigheder. Det kan forbedre den endelige klassifikation, men beregn enighed på de uafhængige første vurderinger. Hvis kun konsensusresultatet vises, kan man ikke se, hvor ofte metoden kræver drøftelse.

Et enighedsstudie skal ligne den vurdering, du vil bruge

Standard

Spørg om observatørerne havde samme objekt, information, instruktion og uafhængighed.

Spørg om patienter, observatører og vurderingsforhold ligner praksis.

Indre troværdighed

Var tilstanden stabil mellem vurderingerne? Kendte bedømmerne hinandens eller egne tidligere svar? Fik alle relevante vurderinger samme analyse, og hvad skete der med manglende eller uafklarede svar? En publiceret totalscore kan ikke reparere uens informationsgrundlag eller selektiv rapportering.

Overførbarhed

Se hvem der blev vurderet, hvor mange grænsetilfælde der var, og hvem observatørerne var. Er metoden afprøvet blandt erfarne specialister på udvalgte optagelser, skal den ikke uden videre overføres til mindre trænede klinikere i en travl konsultation. Rapportér kategorifordeling, tal i hver gruppe og usikkerhed.

Afventer faglig gennemgang.