Dilemmaer rundt evaluering

Tilsynelatende er det enklere i privat virksomhet. Der forteller omsetning og bunnlinje om det går bra eller ikke, om virksomheten skaper gode resultater. I offentlig sektor er det ikke like lett. Hvordan måler man resultatoppnåelse i departementer, direktorater og andre etater?

Av Jan H.E.Wiese

Spørsmålet er aktuelt som aldri før, noe som ble svært tydelig under Evalueringskonferansen i forrige uke. Svarene kan åpenbart bidra til forbedringer av målinger - også i privat sektor. Resultatmålinger er et tema som opptar flere og flere, i alle bransjer og sektorer. Man ønsker økt produktivitet og bedre effekt av investeringer og tiltak. Men både i stor og liten skala er det vanskelig. Statlige etater sliter med å se effektene av investeringer - omtrent på samme måte som en HR avdeling kan ha problemer med å måle prestasjoner og resultater i den enkelte bedrift. Begrepet evaluering er mindre brukt i næringslivet enn i forvaltningen, men prinsippet er det samme. Man ønsker bedre målinger, mer kunnskap og return on investment på alle nivåer.

Evalueringsforeningen

Evalueringskonferansen er et tydelig tegn på økt interesse. Norsk Evalueringsforening er arrangør. Foreningen ble stiftet i 2009 av nærmere 70 spesielt interesserte fra ulike forsknings- og utdanningsinstitusjoner, offentlig forvaltning og private virksomheter. Formålet er erfaringsutveksling og diskusjon av evalueringsfaglige problemstillinger. Typiske temaer er:

Utviklingen innen evalueringsteori- og metode
Nyttiggjøring av evalueringsresultater
Forskning og faglig utvikling
Arbeide for at det etableres utdanningstilbud
Fungere som bindeledd til internasjonale evalueringssammenslutninger
Standarder for god evalueringspraksis

Oppdragsforskning

Evalueringer blir i de fleste tilfellene utført som oppdragsforskning. Frittstående institusjoner som for eksempel Nordlandsforskning, Fafo og universitetene utfører denne typen oppdrag. Konsulenter er også inne i dette markedet. Statens Senter for Økonomistyring har samlet nærmere 650 offentlige evalueringer som er utført på oppdrag fra statlige virksomheter de siste 15 årene. Du finner dem på www.Evalueringsportalen.no. Man har sortert fem evalueringsformer:

Forhåndsevalueringer,
Underveisevalueringer,
Etterevalueringer
Tidsuavhengige evalueringer
Samfunnsøkonomiske analyser

Flere initiativ

Evalueringskonferansen, Evalueringsportalen og Evalueringsforeningen bygger på inititativ fra Finansdepartementet. På nettstedet www.kunnskapsnettverk.no finner man dessuten EVA-forum som har tilsvarende faglig fokus. Hensikten den samme: strammere økonomisk styring, kontroll, bedre ressursutnyttelse og økt fokus på resultatoppnåelse.

Evaluering av evalueringene

Utvikling og forbedring er sentrale stikkord, åpenbart noe som også gjelder evalueringsoppdragene selv. Aktørene på forrige ukes konferanse søker mer kunnskap om kvalitet, og ikke minst forståelse for hvordan leveransene av evalueringer kan bli bedre. Man regner med at de i enda sterkere grad kan bidra til å definere forbedringspotensial og anbefalte tiltak. Men da må det først evalueringer til!

Dette behovet var tydelig definert i tittelen på det avsluttende foredraget: ”Evaluering av statlige evalueringer i Danmark”. Henrik Berg Rasmussen fra den danske Rigsrevisionen presenterte her en større anlagt metaundersøkelse gjort av hans egen etat i Danmark.

Anbefalingene går igjen

Man fant svakheter og likhetstrekk. Evalueringene i Danmark produserer i liten grad ny viten eller eksakt informasjon. Mange har et rutinemessig preg. De er gjennomgående langt mindre spesifikke og mer omtrentlig enn forventet.

- Noen anbefalte tiltak går igjen, fortalte Berg Rasmussen, forskningsinstitusjonene nevner vanligvis 4 eller 5:

Bedre samarbeid
Bedre planlegging
Bedre dokumentasjon
Bedre håndbøker og veiledninger
Bedre forankring og prosessforbedring

- Nå, siden dette er såpass gjennomgående, skulle vi nok kunne foreslå at våre etater gjør denne typen forbedringer først, så unngår man muligens noe av kostnadene til ytterligere evalueringer - var Berg Rasmussens nøkterne konklusjon til disse observasjonene.

Noe må først være på plass

Det er nærliggende å tro at samme konklusjon også vil gjelde for en eventuell analyse av de 650 norske evalueringene som ligger på Evalueringsportalen. Evalueringer og resultatmålinger i private virksomheter vil ofte også fortelle det samme. De grunnleggende elementene som skal til for å skape bedre resultater er ikke tilstede. Først når de er på plass, er det grunn til å foreta tyngre evalueringer.

Kunnskap som hindrer

Man måler og evaluerer, men basisforutsetningene er sjelden på plass. Det kan bety at hovedutfordringen egentlig er den som Gudmund Hernes nevnte under åpningen av Evalueringskonferansen: - For mye informasjon er i større grad et hinder for læring og utvikling, enn for lite.

Evalueringer og målinger gir normalt mye informasjon. Men, som den danske undersøkelsen viser, relevansen kan være så som så. Med økende fokus på måling og evaluering i dagens virksomheter, kan man risikere å ha for mye kunnskap. Man støter på det samme hinderet som Hernes nevnte. Kanskje bør man derfor heller måle og evaluere mindre, og ikke mer.

Det kan være mer effektivt å følge Berg Rasmussens råd og foreslå at våre etater gjør visse forbedringer først. Da unngår man ikke bare kostnadene til ytterligere evalueringer, som han er inne på, men også den forvirringen det kan skape å ha for mye informasjon.