Global sundhed og forebyggelse · K4 · Udgave 1
En intervention kan være gennemført, uden at den virker; den kan virke hos deltagere uden at ændre folkesundheden. Lær at holde de spørgsmål adskilt og bruge resultaterne til en beslutning.
Kort fortalt
Programteori, proces- og effektevaluering, befolkningsbetydning og X:IT som eksempel på skiftende resultater og implementering.
Før målingen
Evaluering er en systematisk vurdering af en indsats.
Afklar om svaret skal bruges til at fortsætte, ændre eller stoppe indsatsen.
En kommunal indsats kan vurderes på, om den nåede målgruppen, blev gennemført, ændrede adfærd og stod mål med ressourcerne. Det er forskellige spørgsmål. Formulér beslutningen, før du vælger data, tidspunkt og succeskriterium.
Beskriv hvorfor netop aktiviteterne forventes at føre til de ønskede udfald.
En virkningsmekanisme er en hypotese, der kan prøves, ikke et resultat.
Hvis undervisning skal forebygge rygning, må man forklare, hvordan indhold, deltagelse og omgivelser antages at ændre normer eller adfærd. Programteorien kobler målgruppe, aktiviteter, mekanismer, kontekst og udfald. Den peger på, hvilke led evalueringen skal undersøge.
Ressourcer og gennemførte aktiviteter er ikke det samme som et forbedret helbred.
Output måler levering; outcome måler den ændring, indsatsen søger.
En logisk model går fra behov og mål over ressourcer og intervention til leverede ydelser, kortsigtede ændringer og længerevarende udfald. Antal gennemførte undervisningstimer er output. Ændret rygeadfærd er et outcome. Sæt et målbart indikatorvalg på hvert relevant led.
Flere komponenter og lokale forhold kan påvirke både gennemførelse og effekt.
Samme model kan virke forskelligt på tværs af skoler eller kommuner.
Personalets tid, ledelsens opbakning, målgruppens behov og samtidige tiltag kan ændre indsatsens forløb. Dokumentér, hvad der var fælles, og hvad der varierede mellem stederne. Kontekst er ikke blot støj; den er nødvendig, når et resultat skal overføres.
Gennemførelsen
Procesevaluering undersøger levering, modtagelse og betingelser for indsatsen.
Den kan forklare et effektresultat, men kan ikke erstatte det.
Blev interventionen leveret som planlagt? Nåede den de tiltænkte deltagere? Hvordan blev den brugt og oplevet? Procesdata kan identificere barrierer og mekanismer og gøre en manglende effekt mere forståelig. At deltagere var tilfredse, er dog ikke dokumentation for forebyggende virkning.
Rækkevidde: hvem fik tilbuddet, og hvem deltog?
Gennemførelsesgrad: hvor meget af indsatsen blev faktisk leveret?
En skole kan gennemføre alle planlagte lektioner, men kun nå få elever. En anden kan nå næsten alle, men udelade centrale øvelser. Beskriv derfor både deltagelse, leveret dosis og overensstemmelse med kernekomponenterne. Ellers bliver et gennemsnitligt nulresultat vanskeligt at fortolke.
Spørgeskemaer og registre kan beskrive omfang og mønstre.
Interviews og observationer kan belyse brug, mekanismer og kontekst.
Tæl leverede sessioner og deltagere, hvis du vil kende dosis og rækkevidde. Tal med elever og lærere, hvis du vil forstå, hvorfor et materiale ikke blev anvendt. Sammenhold datakilderne med en tidslinje for indsatsen. Et enkelt positivt interview kan hverken erstatte en repræsentativ optælling eller en effektanalyse.
Resultatet
Et effektmål skal svare på interventionens formål.
Bedre viden eller høj tilfredshed er ikke automatisk bedre helbred.
Angiv hvilket udfald der betyder noget, hvornår det måles, og hvad en klinisk eller folkesundhedsmæssigt relevant forskel ville være. Kortsigtede mellemled kan være nyttige, men markér dem som mellemled. Effektevaluering spørger, om udfaldet ændrede sig i forhold til et rimeligt sammenligningsgrundlag.
Andre begivenheder og naturlig udvikling kan ændre udfaldet samtidigt.
En relevant kontrolgruppe styrker den kausale fortolkning.
Hvis rygefrekvens falder efter et undervisningsforløb, kan nationale trends eller andre lokale tiltag spille ind. Sammenligning med skoler uden indsatsen giver et bedre modfaktisk grundlag. Randomisering af skoler kan reducere systematiske forskelle ved start, men kræver analyse, der tager højde for klynger og frafald.
En odds ratio under 1 kan tale for lavere odds i interventionsgruppen.
Et konfidensinterval, der omfatter 1, giver ikke sikker evidens for en forskel på den valgte skala.
Ved første X:IT-opfølgning var justeret odds ratio for rygning 0,61 med 95 % konfidensinterval 0,45-0,82. Det understøtter lavere odds i interventionsgruppen, ikke påstanden om præcis 39 % færre rygere. Et andet udfald, en anden opfølgning eller en anden målestok kan give et andet svar.
En stærk individuel effekt kan få lille betydning, hvis næsten ingen nås.
Vurdér både rækkevidde, effekt, fordeling og mulighed for varig drift.
Et intensivt tilbud kan virke godt for få motiverede deltagere. Et bredere tiltag kan have mindre effekt pr. person, men nå flere. Sammenlign målgruppe og deltagere, absolut effekt, ressourceforbrug og om bestemte grupper systematisk ikke nås. Befolkningsbetydning kan ikke læses ud af effektmålet alene.
Anvendelse
Skoleindsatsen for 7.-9. klasse samlede røgfri skole, undervisning og forældreinddragelse.
Evalueringen sammenlignede skoler og undersøgte samtidig gennemførelsen.
Skoler blev fordelt til intervention eller kontrol. Elev- og lærerspørgeskemaer samt interviews beskrev både udfald og proces. At interventionen havde tre komponenter gør det muligt at spørge, om de blev leveret, men hovedsammenligningen viser ikke isoleret effekt af hver komponent.
Første opfølgning viste lavere odds for rygning med interventionen.
Anden opfølgning gav ikke sikker evidens for fortsat effekt.
Det første justerede estimat var OR 0,61 (95 % CI 0,45-0,82). Ved anden opfølgning var det ifølge forelæsningen OR 0,89 (0,63-1,24). Procesdata beskrev lavere implementering senere. Samlet peger det på en tidlig effekt, der ikke kunne påvises ved den senere måling; procesfundet er ikke et kausalt bevis for hvorfor.
Bevar den lovende mekanisme som hypotese, ikke som garanti.
Undersøg hvad der svigtede, justér leveringen og aftal ny effektmåling.
Beskriv først den tidlige effekt og usikkerheden ved anden opfølgning. Angiv derefter dokumenterede implementeringsproblemer, herunder vanskeligt undervisningsmateriale. Foreslå konkrete ændringer, mål om de leveres, og vurder efterfølgende rygeadfærd med relevant sammenligning. Undgå at erklære indsatsen enten endeligt virkningsløs eller varigt effektiv.
Afventer faglig gennemgang.