Tillväxtverket

Utvärdera projektet löpande

Vilken metod för utvärdering som gäller för ert projekt anges i ert beslut om stöd. I det här avsnittet beskriver vi vilka krav som ställs på ert projekt utifrån detta.

Genomföra utvärderingsinsatser

Utvärdering handlar om att fånga och beskriva projektets genomförande, resultat och effekter i relation till planer och mål som finns på projekt- och programnivå.

I beslut om stöd framgår i vilken form ni ska genomföra utvärdering i ert projekt. Nästa steg är att genomföra utvärderingsinsatserna.

  • Egenutvärdering
  • Extern utvärdering
  • Löpande utvärdering

Egenutvärdering

Egenutvärdering innebär att ni i projektet själva utför utvärderingsinsatserna.

Denna form kan användas i mindre projekt, som ansöker om högst 3 miljoner kronor i EU-stöd. Det passar också projekt där projektorganisationen består av ett fåtal funktioner som ska genomföra ett fåtal insatser för att uppnå ett fåtal tydliga och mätbara resultat.

När ni planerar för att genomföra egenutvärdering ska ni:

  • Formulera utvärderingsfrågor
  • Välja utvärderingsmetoder
  • Upprätta en tidplan

Formulera utvärderingsfrågor

Utvärderingens viktigaste målgrupp är ni som driver projektet och er styrgrupp. Tänk igenom vilka frågor som är viktiga för er att få svar på under genomförandet av projektet.

Som ett stöd i att formulera utvärderingsfrågor bör ni läsa styckena för Projektlogik (P1) och Process (P2) i avsnittet om riktlinjer för utvärdering.

  • En central fråga för utvärderingen är om projektet fungerar så som ni tänkt er, eller händer det saker längs med vägen som gör att ni måste tänka om? Frågorna återfinns under P1: Projektlogiken.
  • Den hör ihop med P2: Processen som handlar om hur projektet förhåller sig till den omkringliggande miljön. Är projektets erbjudanden efterfrågade?

Välj utvärderingsmetoder

För att besvara era utvärderingsfrågor ska ni ta fram ett utvärderingsunderlag genom att använda någon form av utvärderingsmetod.

Som ett stöd i val av utvärderingsmetoder bör ni läsa styckena om Nyckelaktiviteter (N1), Nyckelpersoner (N2) och Nyckeltal (N3) i avsnittet om riktlinjer för utvärdering.

  • En utvärderingsmetod handlar om att dokumentera de aktiviteter som ni genomför - N1: Nyckelaktiviteter.
  • En annan metod är att intervjua personer som deltagit i aktiviteten och personer som står utanför projektet men som har insyn i det område där projektet försöker åstadkomma en förändring – N2: Nyckelpersoner.
  • En tredje metod går ut på att samla data och statistik som beskriver utvecklingen av från projektet och dess resultat – N3: Nyckeltal.

Tänk på att ett antal av aktivitetsindikatorerna kräver validering genom utvärdering. Tillväxtverket kommer i dessa fall att tillhandahålla enkäter som ni ska använda.

Genom att kombinera de olika utvärderingsmetoderna skapar ni ett utvärderingsunderlag som har goda förutsättningar att besvara utvärderingsfrågorna.

Upprätta en tidplan

Syftet med utvärdering är både att stödja projektet under genomförandet och fånga dess resultat.

Därför är det viktigt att fundera över när i tiden utvärderingsinsatser bör genomföras. Gör en tidplan för utvärderingsarbetet.

Tidplanen bör vara knuten till planerade aktiviteter kring lärande och P3:Public debate i Tillväxtverket riktlinjer för utvärdering.

Tidplanen bör även utgå från Tillväxtverkets krav på rapportering. Det gäller inte minst rapportering av de aktivitetsindikatorer som kräver validering genom utvärdering.

Extern utvärdering

Extern utvärdering innebär att projektet upphandlar utvärderingsarbetet från en extern aktör. Ni ska göra upphandlingen tidigt under projekttiden och utvärderingen ska sedan genomföras vid återkommande tillfällen under hela projekttiden.

Den här formen av utvärdering ska användas i mellanstora projekt som ansöker om 3–10 miljoner kronor i EU-stöd. Det passar också projekt som har en mer omfattande projektorganisation, med flera separata funktioner som genomför flera olika typer av insatser och där resultatet i betydande utsträckning är beroende av flera olika faktorer.

Upphandling av extern utvärdering

Ni ska göra upphandlingen av extern utvärdering tidigt under projekttiden och utvärderingen ska sedan genomföras vid återkommande tillfällen under hela projekttiden.

Upphandlingen ska ske enligt angivna regler för offentlig upphandling och andra inköp.

Utöver det har Tillväxtverket följande rekommendationer för upphandling av extern projektutvärdering.

Tydliggör beställningen
En bra upphandling kräver att ni som uppdragsgivare har gjort ett förarbete. Skriv ett upphandlingsunderlag där ni tydliggör beställningen.

Ange vad som ska utvärderas och formulera övergripande frågeställningar. Utvärderingens viktigaste målgrupp är ni som driver projektet och er styrgrupp. Tänk igenom vilka frågor som är viktiga för er att få svar på under genomförandet av projektet.

Ställ krav på anbudsgivaren att i sitt anbud beskriva hur de kommer att använda dessa frågor.

Hänvisa till Tillväxtverkets riktlinjer för utvärdering, se rubrikerna P1 och P2,

Anbudgivaren bör även ange vilka utvärderingsmetoder de avser att använda då de genomför uppdraget. Ställ krav på anbudsgivaren att i sitt anbud beskriva hur de kommer att använda metoderna.

Hänvisa till Tillväxtverkets riktlinjer för utvärdering, se rubrikerna N1, N2 och N3.

Tidplan för leveranser från utvärderaren
I upphandlingsunderlaget bör ni även ange en tidplan som tydliggör när ni förväntar er leveranser från utvärderaren.

Syftet med utvärdering är både att stödja projektet under genomförandet och fånga dess resultat. Därför är det viktigt att ni fundera över när i tiden ni bör genomföra utvärderingsinsatserna.

Tidplanen bör vara knuten till planerade aktiviteter kring lärande och Public debate (P3) i Tillväxtverket riktlinjer för utvärdering.

Tidplanen bör även utgå från Tillväxtverkets krav på rapportering. Det gäller särskilt rapportering av de aktivitetsindikatorer som kräver validering genom utvärdering samt leverans av slutrapporten från utvärderingen vid projektets avslut.

Rapportera resultat från utvärdering.

Ställ krav på utvärderaren att medverka i aktiviteter om lärandet
Utvärderingsuppdraget ska innehålla tid att medverka vid och rapportera till olika möten. I upphandlingen bör ni därför ställa krav på att utvärderaren ska delta vid:

  • Interna projektmöten, exempelvis styrgruppsmöten (minst 1 ggr/år)
  • Erfarenhetsutbyte och lärandemöten med andra utvärderare och/eller möten som Tillväxtverket arrangerar (1 ggr/år).

Vid dessa möten ska utvärderaren fritt kunna presentera sina resultat utan kompromisser eller störningar.

Ställ krav på erfarenhet och kompetens
Utvärderaren ska ha den kompetens som krävs för genomförande av uppdraget. Utvärderaren bör ha tidigare erfarenheter av utvärdering, gärna av strukturfondsprojekt.

Det är meriterande om de har tidigare erfarenheter från projektets sakområde. Det är också meriterande om de har specifik utbildning om utvärdering och har gått kurs i lärande utvärdering och följeforskning.

Rollen som utvärderare ställer stora krav på professionalitet för att göra opartiska bedömningar. Alla aktörer som deltar i utvärderingsaktiviteter ska följa principer och regler om jäv. Den externt upphandlade utvärderaren kan inte vara en av projektets egen personal eller ingå i projektets styrgrupp.

Utvärderingsinsatsen kan bedrivas av en person eller en grupp. Vid stora projekt med flera olika verksamhetsområden kan det vara en fördel att upphandla en grupp där olika personer kan stå för olika kompetenser som kan vara värdefulla för projektet.

Ange ett takpris
Enligt Tillväxtverkets rekommendation ska projekten avsätta 2 procent av sin budget för utvärdering. Ni bör utifrån det ange ett takpris i upphandlingen.

Löpande utvärdering

Löpande utvärdering innebär att projektet upphandlar en extern aktör som följer projektets genomförande på nära håll. Det ska användas i stora projekt som ansöker om 10 miljoner kronor eller mer i EU-stöd och där många olika funktioner måste samspela i genomförandet.

Den löpande utvärderingens viktigaste målgrupp är ni som driver projektet. Genom regelbunden kontakt med utvärderaren ska ni få löpande återkoppling på projektets utveckling och kunna förbättra och justera arbetet efter hand. Det kräver att ni som driver projektet etablerar rutiner och arbetsformer där utvärderingen får utrymme och fyller en tydlig funktion.

Upphandling av löpande utvärdering

Upphandling av en extern part ska ske enligt angivna regler för offentlig upphandling och andra inköp (länk till regler för upphandling).

Utöver det har Tillväxtverket följande rekommendationer för upphandling av löpande projektutvärdering.

Tydliggör beställningen
En bra upphandling kräver att ni som uppdraggivare har gjort ett förarbete. Skriv ett upphandlingsunderlag där ni tydliggör beställningen.

Ange vad som ska utvärderas och formulera övergripande frågeställningar. Utvärderingens viktigaste målgrupp är ni som driver projektet och er styrgrupp. Tänk igenom vilka frågor som är viktiga för er att få svar på under genomförandet av projektet. Säll krav på anbudsgivaren att i sitt anbud beskriva hur de kommer att använda frågorna.

Hänvisa till Tillväxtverkets riktlinjer för utvärdering, under styckena P1 och P2.

Anbudsgivaren bör även ange vilka utvärderingsmetoder de avser använda i genomförandet av uppdraget. Ställ krav på anbudsgivaren att i sitt anbud beskriva hur de kommer att använda metoderna.

Hänvisa till Tllväxtverkets riktlinjer för utvärdering, styckena N1, N2 och N3.

Tidplan för leveranser från utvärderare
I upphandlingsunderlaget bör ni även ange en tidplan som tydliggör när ni förväntar er leveranser från utvärderaren. Syftet med utvärdering är både att stödja projektet under genomförandet och fånga dess resultat. Det är därför viktigt att fundera över när i tiden utvärderingsinsatser bör genomföras.

Tidplanen bör vara knuten till planerade aktiviteter kring lärande och Public debate (P3) i Tillväxtverket riktlinjer för utvärdering.

Tidplanen bör även utgå från Tillväxtverkets krav på rapportering. Det gäller inte minst rapportering av de aktivitetsindikatorer som kräver validering genom utvärdering samt leverans av slutrapport från utvärderingen vid projektets avslut.

Ställ krav på att utvärderaren att medverka i aktiviteter om lärandet
I löpande utvärdering är det av central betydelse att utvärderaren avsätter tid för att delta i projektets verksamhet och rapportera till olika möten. I upphandlingen bör ni därför ställa krav på att utvärderaren ska delta vid:

Interna projektmöten, exempelvis styrgruppsmöten (minst 3 ggr/år)
Erfarenhetsutbyte och lärandemöten med andra utvärderare och/eller möten som Tillväxtverket arrangerar (minst 1 ggr/år).
Vid dessa möten ska utvärderaren fritt kunna presentera sina resultat utan kompromisser eller störningar.

Ställ krav på erfarenhet och kompetens
Utvärderaren ska ha den kompetens som krävs för genomförande av uppdraget. Utvärderaren bör ha tidigare erfarenheter av utvärdering, gärna av strukturfondsprojekt.

Det är meriterande om de har tidigare erfarenheter från projektets sakområde. Det är också meriterande om de har specifik utbildning gällande utvärdering och har gått kurs i lärande utvärdering och följeforskning.

Rollen som utvärderare ställer stora krav på professionalitet, inte minst när utvärdering sker löpande då utvärderaren behöver arbeta både nära projektet och distansera sig för att göra opartiska bedömningar. Alla aktörer som deltar i utvärderingsaktiviteter ska följa principer och regler om jäv. Den externt upphandlade utvärderaren kan inte vara en av projektets egen personal eller ingå i projektets styrgrupp.

Utvärderingsinsatsen kan bedrivas av en person eller en grupp. Vid stora projekt med flera olika verksamhetsområden kan det finnas en fördel i att upphandla en grupp där olika personer kan stå för olika kompetenser som kan vara värdefulla för projektet.

Ange ett takpris
Enligt Tillväxtverkets rekommendation ska projekten avsätta mellan 2-3 procent av sin budget för utvärdering. Utifrån det bör ni ange ett takpris i upphandlingen.

För att undvika en situation där konsulter anger underpris för att vinna upphandlingen bör ni ange en miniminivå för antalet offererade timmar. Om ni exempelvis räknar med en timkostnad på 1100 kr så innebär det att med ett takpris på 200 000 kr ska konsulten offerera minst 180 timmar, vilket bör anges i upphandlingsunderlaget.

Lärande

Som en del av utvärderingsinsatsen ska ni i projektet även planera för aktiviteter där ni tar till vara erfarenheter och sprider resultat.

När erfarenheter och resultat presenteras från utvärderingar och uppföljningar gäller det att veta vem som ansvarar för att ta emot erfarenheterna och resultaten.

Vilka beslut och/eller korrigeringar behöver fattas/vidtas utifrån de nyvunna kunskaperna? Vilka andra aktörer och eventuella målgrupper behöver involveras

Beskrivningen av lärandeinsatserna ska innehålla konkreta läraktiviteter. Det ska till exempel framgå vem/vilka som ska lära, vad de ska lära och hur det ska gå till.

I tidplanen för utvärdering bör ni beskriva när detta ska ske. Beskrivningen av lärandeinsatserna bör innehålla följande delar:

  • Hur erfarenheter från utvärdering ska återföras till projektet och spridas utanför projektet
  • Vem som tar emot erfarenheter, resultat och genomför eventuella korrigeringar
  • Vilka aktörer utanför projektet som behöver involvera
  • När i tiden ska lärandeaktiviteter genomföras kopplat till tidplanen för utvärdering

Rapportera utvärderingsinsatser

När ni genomför ert projekt ska ni löpande rapportera utfall och resultat av era utvärderingsinsatser till Tillväxtverket. Läs om kraven som ställs på den information som ni förväntas leverera i samband med varje ansökan om utbetalning.

I de fall projektet har upphandlat en extern eller löpande utvärdering ska utvärderaren, förutom att bidra med underlag till projektet rapportering under genomförandet, även lämna en specifik skriftlig slutrapport vid projekttidens slut

Rekommendationer för att rapportera utvärderingsinsatser

Övriga rapporteringskrav för ansökan om utbetalning 

Rapportera utvärderingsinsatserna i den fördjupade lägesrapporten

I den fördjupade lägesrapporten ska ni ange vilka utfall och resultat som har kommit fram i projektets utvärderingsinsatser. Det gäller specifikt de aktivitetsindikatorer som ska valideras genom projektutvärdering.

Ni ska även beskriva vilka framsteg som gjorts i förhållande till projektets målsättning och det specifika mål som projektet beviljats stöd inom.

I lägesrapporten ska ni ange vilka utfall och resultat som har framkommit i projektets utvärderingsinsatser. Det gäller bland annat de aktivitetsindikatorer som ska valideras genom projektutvärdering.

Ni ska även beskriva kopplingen till projektets målsättning och det specifika mål som projektet beviljats stöd inom. I den fördjupade lägesrapporten ska ni även redogöra för uppföljning, utvärdering och lärande. Exempelvis ska ni beskriva större informationsinsatser som utförts under året för att sprida information om projektet och dess eventuella resultat samt hur ni synliggjort EU:s medverkan i projektet.

Rapportera utvärderingsinsatserna i slutrapporten

I slutrapporten ska ni beskriva hur projektet har arbetat med uppföljning och utvärdering samt vilka aktiviteter som gjorts för att främja lärande och hur detta har påverkat projektets utfall och resultat. Mall för slutrapport

Det handlar om att beskriva hur aktiviteterna har lett till resultat som bidrar till att projektet når sina mål samt redogöra för oförutsedda resultat och effekter.

Ni ska även redogöra för vilka särskilda metoder och insatser som har genomförts för att följa upp och utvärdera projektet. Hur har utvärderingen använts för att bidra till/skapa ett lärande?

I slutrapporten ska ni också ange utfall på de aktivitetsindikatorer som ska valideras genom projektutvärdering.

Slutrapport från extern och löpande utvärdering

I de fall projektet har upphandlat en extern eller löpande utvärdering ska utvärderaren, förutom att bidra med underlag till projektet rapportering under genomförandet, även lämna en specifik skriftlig slutrapport vid projekttidens slut. Mallar för slutrapport för extern och löpande utvärdering

Rapporten ska redovisa hur utvärderingsinsatsen har bedrivits under projekttiden. I det ingår att beskriva vad som har framkommit i utvärderingen och hur det har förmedlats till projektet.

Rapporten ska även redogöra för vilka utvärderingsmetoder som har använts samt redogöra för hur utvärderingen har använts för att bidra till/skapa ett lärande. Rapporten kommer sedan att kunna tillhandahållas från Tillväxtverkets webbplats

PDF-version