I denne artikkelen tar jeg for meg den fjerde av FIT-manualene, Documenting Change: A primer on measurement, analysis, and Reporting. Den beskriver hvordan man måler endring i det kliniske arbeidet og hvordan man bruker statistikk til å forstå tallene som kommer ut av målingene. 

Feedback-informerte tjenester (FIT) (oversatt fra engelsk Feedback-informed treatment) skal bidra til økt kvalitet og utbytte av behandling. The International Center for Clinical Excellence (ICCE) har utarbeidet en serie manualer som gir viktig informasjon om FIT som verktøy for tilbakemelding fra bruker til behandler i den daglige behandlingen - og om implementering av verktøyet i tjenestene. Manualene er elektroniske bøker som kan kjøpes enkeltvis i Scott D. Miller Ph.d.s nettbutikk. 

Etablere et utgangspunkt for forbedring

Nøyaktig måling krever i første omgang at behandlere etablerer et utgangspunkt, såkalt «baseline», som må defineres så tidlig som mulig i behandlingen. Ut fra dette kan de senere, gjennom bruk av tilbakemeldingsverktøyet FIT få svar på hvordan brukerne responderer på behandlingen som gis.

Dette utgangspunktet må valideres. Det vil si at behandlerne må undersøke om utgangspunktet er riktig og relevant å bruke som rettesnor for å forbedre og justere sin innsats overfor personen. Dette kan gjøres ved å sammenligne med kilder og data generert gjennom øvrige instrumenter som behandlerne bruker.  

Det er viktig at det i en enda tidligere fase er valgt et tilbakemeldingsverktøy som behandleren faktisk har tro på, og som fremstår som formålstjenlig. Er instrumentet for dyrt eller vanskelig å bruke, blir det ikke brukt konsekvent, viser erfaring. Dette vil videre hindre behandlerne i å identifisere dette sårt tiltrengte utgangspunktet, eller "baseline", for behandlingen til sine brukere. 

Det viktige valget av verktøy

For å kunne spore effekt og utvikling av behandling, samt relasjon mellom bruker og behandler, er det viktig å få kontinuerlig tilbakemelding - målinger gjøres i hvert møte med brukerne - og dette bør ikke kreve mye administrasjon. Derfor bør man unngå verktøy som har høy risiko for å generere rapporteringstretthet hos enten behandler eller bruker. Utfall bør måles raskt og kontinuerlig for at dette skal være klinisk nyttig. FIT er et verktøy som fremmer kort og konsistent administrering, som igjen øker gyldigheten av dataene som målingene gir. Gjennomførbarhet - begrensninger og muligheter - bør altså være en viktig del av vurderingen av hvilke instrumenter eller verktøy som tjener behandlerne i sitt søken etter kvalitetsutvikling. 

Gyldighet og troverdighet

Hvor gyldig og pålitelig instrumentet, verktøyet eller metoden er, er alltid viktig når man skal velge. Måler instrumentene det de faktisk skal måle? Dette er viktig enten vi snakker om relasjonen mellom bruker og behandler gjennom 'Session rating scale’ (SRS) eller brukerens opplevde endring gjennom 'Outcome Rating Scale' (ORS).

Et mål på gyldighet kan være at utfallet av ORS er rapportert å være et mål på det generelle subjektive velværet, slik at betydningen av hva som er det subjektive velværet må defineres, og deretter gjøres gyldig gjennom type spørsmål som: Vil ORS faktisk måle klientens subjektive følelse av velvære? Et annet viktig mål kan være hvordan utfall fra eksempelvis ORS henger sammen med utfall fra andre instrumenter som måler omtrent det samme. ORS har ofte blitt sammenlignet med Questionnaire-45.2 (OQ-45.2). Statistikken disse i mellom viser varierende grad av likhet eller samvariasjon. 

Pålitelighet eller troverdighet er også et svært viktig aspekt ved valg av instrument eller verktøy. Pålitelighet refererer ofte til styrken i sammenhengen mellom skår hos en bruker, sammenlignet med skår hos en annen bruker. Det som gjør dette komplisert er det faktum at en terapeutisk allianse er svært komplisert og sammensatt mellom behandler og bruker og vil kunne vurderes ulikt mellom de som innrapporterer. Å kjøre samme test flere ganger med like tidsintervaller er ofte hensiktsmessig, men vil i denne sammenheng gi en lav korrelasjon siden man forventer endring hos brukerne i et behandlingsløp - forutsatt at behandlingen har noen effekt på brukerens velvære. Den interne troverdigheten i instrumentet indikerer hvorvidt spørsmålene eller variablene henger sammen med hverandre og hvordan de sammen søker svar på den samme overordnede problemstilling - eksempelvis vurdering av terapeutisk allianse gjennom SRS. Her viser skalaene ORS og SRS svært tilfredsstillende skåre. 

Fremstilling av data og resultater

Manualen fremhever god grafisk fremstilling av datamaterialet. Over tid kan det bidra til å gjøre data nyttig og enklere å forstå for både behandlere og brukere. Ved riktig bruk av grafer ser man klart og tydelig 1) de dramatiske kliniske endringer i behandlingen 2) manglende endringer 3) små brister i alliansen mellom bruker og behandler og 4) avvik mellom det bruker innrapporterer og det vedkommende faktisk forteller under sesjonene. Riktig fremstilling og fortolkning kan skape gode diskusjoner mellom bruker og behandler om den videre prosess og mål med behandlingen. Det er en forutsetning at behandlerne kjenner godt til instrumentene og utfallsmålet  med bruk av disse. Jo bedre kjennskap, jo bedre i stand til å nyttiggjøre seg av de data som utspiller seg fra innrapporteringene. 

Å forstå effekter av behandling

Statistikk i denne sammenheng handler om å dokumentere størrelse på effekt av behandling ut i fra endring oppstått over en periode med en gitt behandling. Ofte blir slike effektstørrelser målt på gruppenivå - hvor man identifiserer endring i eksempelvis velvære (målt gjennom eksempelvis ORS) over en tidsperiode med behandling. Det viktig å påpeke at effektstørrelser også må ses i sammenheng med variasjoner og individuelle forskjeller i gruppen. Det anbefales videre å ha så mange "case" som mulig i statistiske beregninger for å gjøre effektstørrelsene mer robuste eller sannsynlige. En tommelfingerregel er at effektstørrelser av 30 case eller færre ofte gir ustabile eller upålitelige funn. Trendene viser at jo større problem brukerne har i starten av behandlingen, jo mer sannsynlig er det at brukerne har endret seg når behandlingen avsluttes. Motsatt ser man at jo bedre velvære brukerne har i starten av behandlingen, jo mindre endring identifiseres ved avslutning av behandling. Dette er åpenbart for mange. Så åpenbart at forskerne nå har etablert en ny type effektstørrelse som tar hensyn til den enkeltes alvorlighetsgrad ved oppstart av behandling. Dermed blir det enklere å avdekke faktisk effekt av behandling uavhengig av utgangspunkt eller "baseline". 

Quiz og FAQ

Som i de andre manualene i serien, har forfatterne lagt opp til en liten quiz. Denne består av totalt 10 spørsmål med ulike svaralternativer. Svarer man feil på noen spørsmål, er det enkelt å gå tilbake til den aktuelle delen i manualen for å lese seg opp på nytt. I tillegg er det lagt inn en egen seksjon med spørsmål som ofte stilles angående FIT. Disse har utfyllende og gode svar på problemstillingene.