Evaluering av tjenester har mange funksjoner, fra å påvise effekt av en måte å jobbe på til å oppfylle mål. Uten en godt planlagt strategi kan evalueringer være vanskelige å gjennomføre. Noen kan ha opplevd programevalueringer som brukte mye tid på både opplæring og gjennomføring, men som ikke ga nyttige resultater. Årsaker kan være at funnene aldri ble analysert eller bearbeidet godt nok.

Begrepet evaluering kan ha en negativ klang. I mange sammenhenger oppfattes det kun som en form for test på måloppnåelse. Men brukt riktig kan evalueringer gi økt forståelse av hvordan implementeringsprosesser fungerer, hvordan praksis endres, og gi nyttig kunnskap i forbedrings- og utviklingsprosesser.

• Artikkelen er hentet fra NAPHAs temahefte Et sted å bo - med rom for å leve, inspirasjon til boligsosialt arbeid

Får verdifull kunnskap

Organisasjoner som gjennomfører effektive evalueringer, får verdifull kunnskap om tjenesten og innsikt i hva som må forbedres. Evaluering er et viktig verktøy for å forstå hva som fungerer, og hva som ikke gjør det. Ved å satse på gode evalueringer kan tjenestene utvikles.

Evaluering er en aktivitet eller et sett med aktiviteter som gjør at enkeltpersoner og organisasjoner kan forstå, dokumentere og kommunisere virkningen av arbeidet de gjør. Evalueringer kan ha et rykte for å være altfor kompliserte og ikke se på de reelle og daglige behovene til verken ansatte eller deltakere.

Den beste evalueringen gir tilbakemeldinger om hva som går bra, dokumenterer suksesser og sørger for at man kontinuerlig kan arbeide med forbedringer. Evalueringer bør implementeres inn i arbeidet slik at det ikke gir en ekstra belastning eller stadig nye opplæringsrunder for ansatte og deltakere.

Kan utvikle både de ansatte og tjenestene

God evaluering gir også en mulighet for deltakerne til å gi tilbakemelding på de tjenestene de mottar, og til å benytte seg av informasjonen både til egen utvikling og til utvikling av tjenestene.

Sentrale spørsmål som stilles i evalueringer, er om:

• tjenesten følger grunnleggende prinsipp
• tjenesten har oppnådd de forventede resultatene

Nyttige prosesstiltak

For å undersøke om tjenesten følger grunnleggende prinsipper, kan en gjennomføre ulike prosesstiltak. Et eksempel er å gjennomføre en fidelity-skåring. Denne gjøres som regel av eksterne, eller enkeltpersoner kan gjennomgå opplæring i hvordan en slik skåring gjennomføres.

Når en skal undersøke om tjenesten oppnår forventede resultater, må en samle inn resultatmål. Gjennom prosesstiltak kan man få tilbakemeldinger på utvikling og hvordan tjenestene utføres, på en objektiv, strukturert måte. Prosesstiltak er en god måte å få frem både styrker og svakheter på. Slike tiltak vil også gi en pekepinn på om tjenester som jobber etter evidensbaserte modeller, er tro mot modellene.

En annet fordel er at ledelse og helsemyndigheter kan få et komparativt rammeverk for ulike strategier, noe som kan bidra til implementering av modeller, både lokalt og nasjonalt.

Gir målbare resultater

Resultatmål fanger opp tjenestens resultater. Alle tjenester har både kortsiktige og langsiktige mål, og i tillegg har både de som mottar tjenestene og de som leverer tjenestene, mål og ønsker.

Systematisering av mål og ønsker kan føre til utvikling av spesifikke tiltak. Et eksempel på et direkte resultat:

• At mottakere av en tjeneste kommer i arbeid etter at det har blitt ansatt en jobbspesialist.

Et eksempel på et indirekte resultat:

• At livskvaliteten til en mottaker av tjenestene øker etter at en god og trygg bolig har blitt sikret.

Noen resultater kan være konkrete, som for eksempel hvor lang tid en beboer har bodd i en bolig. Mens andre er mer subjektive, for eksempel hvor fornøyd tjenestemottakerne er med tjenestene.

Masse gevinster

Internt arbeid for å forbedre både prosess og resultat beskrives ofte som kvalitetssikring eller kvalitetsforbedring. Dette interne arbeidet gjenspeiler tanken om at regelmessig intern evaluering gir bedre tjenester, både for dem som mottar tjenestene, og for dem som yter tjenestene. Man oppnår mye ved å utvikle et internt kvalitetssikringssystem. Det gir mulighet til å:

• Identifisere styrker og svakheter i tjenesten
• Identifisere problemområder raskt, slik at løsninger kan utvikles
• Lage handlingsplaner for å forbedre tjenesten
• Anerkjenne medarbeidernes prestasjoner
• Gjør informasjon tilgjengelig, for eksempel for rapporter
• Hjelpe tjenestemottakerne til å nå sine mål

Gjør fidelity-målinger der det er mulig

Ledelsen bør regelmessig gjennomføre evaluering av tjenesten for å sikre at tjenesten opprettholder satte mål og prinsipper. Det finnes flere måter å gjennomføre slike evalueringer på. Her skal vi se nærmere på bruken av fidelity-skalaer.

Housing First er et eksempel hvor det er utviklet fidelity-målinger. Skalaen måler troskap på fem domener: (1) boligvalg og struktur; (2) separasjon av bolig og tjenester; (3) tjenestefilosofi; (4) tjenester som tilbys; og (5) programstruktur.

Det er viktig å merke seg at kvalitative evalueringsteknikker er nyttige for å gi bredere sammenheng og betydning for kvantitative målinger av troskap. Dette kan en ta hensyn til i planleggingen av denne delen av evalueringen.

Skalaen består av et visst antall dimensjoner samt indikatorer for hver dimensjon. Poengene for indikatorene er gjennomsnittlige, for å gi en poengsum for hver dimensjon, som deretter gir en total poengsum, eller skår, på fidelity-skalaen. Poengene på de ulike dimensjon vil vise hvor tjenesten jobber godt, og hvor det må gjøres forbedringer. 

Kilder

Graham, I.D., Straus, S.E. & Tetroe, J. (2013). Knowledge translation in health care: moving from evidence to practice. Chichester: Wiley-Blackwell.

Nichols, N. & Doberstein, C. ( 2016). Exploring effective systems responses to homelessness. The Canadian Observatory on Homeless Press.

Sverdrup, S. (2014). Evalueringer. Tilnærminger, modeller og eksempler. Gyldendal Akademisk

Lær mer:

• Housing-evidence-review-may-2018_0158263600.pdf (whatworkswellbeing.org)
• Evaluere – Helsedirektoratet
• Organisering og styring – KS