Följ upp, utvärdera och arbeta med lärande

Alla projekt som finansieras av Europeiska regionala utvecklingsfonden ska följas upp och utvärderas kontinuerligt. Det är ni själva som ansvarar för att följa upp och utvärdera projektet.

Alla projekt som finansieras av Europeiska regionala utvecklingsfonden ska följas upp och utvärderas kontinuerligt. Det är ni själva som ansvarar för att följa upp och utvärdera projektet.

Ni kan antingen utföra arbetet själva eller anlita någon, beroende på hur stort och komplext projektet är.

Ni ska redan när ni ansöker om stöd beskriva hur ni planerar uppföljningen och utvärderingen. Ni ska också beskriva hur ni har tänkt ta tillvara och sprida utvärderingsresultaten, så att de bidrar till kunskapsutveckling och lärande.

När ni följer upp och utvärderar ert projekt blir det lättare att se hur ni kan utveckla och förbättra projektet medan det pågår, vilket gör det enklare för er att nå era mål. Det är också ett sätt för er att garantera att verksamheten bidrar till Europa 2020-strategins mål: en smart, hållbar och inkluderande tillväxt i Europa.

Ni ska också använda utvärderingsresultatet för att sprida kunskap och lära, både internt i projektet och när ni kommunicerar med era finansiärer, målgrupper och intressenter.

Skillnaden mellan uppföljning och utvärdering

Uppföljning och utvärdering liknar varandra på flera sätt. För verksamhet som finansieras av Europeiska regionala utvecklingsfonden gäller följande:

• Uppföljning handlar om vad projekten gör, alltså aktiviteterna och deras utfall.
• Utvärdering handlar om hur ni genomför projektet och vad aktiviteterna leder till på kort och lång sikt, alltså deras resultat och effekter.

Lärande genom uppföljning och utvärdering

Strukturfondernas främsta uppgift är inte att bedriva reguljär verksamhet utan att finansiera nyskapande projekt som leder till strukturomvandling mot smart, hållbar och inkluderande tillväxt i Europa.

Det enskilda projektet har begränsade möjligheter att påverka utvecklingen. Genom att sprida kunskap och erfarenheter från projektet kan det dock skapas ringar på vattnet som på sikt bidrar till förändringar även på strukturell nivå.

Väl underbyggd kunskap om vilka mervärden som genereras skapar även förutsättningar för styrning och utveckling av projektet i genomförandet. Därutöver finns ett legitimt krav från medborgare och näringsliv att få veta om de offentliga resurser som avsätts för genomförande bidrar till att de uppsatta målen uppfylls.

Därför är det viktigt att resultaten från projektens arbete med uppföljning och utvärdering kommer till användning och sprids. Redan i ansökan ska projekten översiktligt beskriva hur utvärderingsresultaten kommer att användas som underlag för lärande såväl internt som i kommunikation med externa parter.

Tillväxtverket utvärderar på programnivå

På projektnivå är det ni i projektet som ansvarar för att planera och genomföra utvärderingsinsatserna. På programnivå är det Tillväxtverket som ansvarar för att upphandla och genomföra utvärderingar.

Indikatorer, för att mäta och följa upp

En indikator är en variabel som ger kvantitativ information om programmens genomförande.

Indikatorer ger kvantitativ information om programmen

De används för att följa programmens genomförande, och dra slutsatser utifrån det. En indikator kan till exempel vara ett nyckeltal, ett resultatmått eller ett jämförelsetal.

• Varje indikator har ett målvärde och är kopplad till ett specifikt mål inom respektive insatsområde i de olika programmen. Målvärdet ska inte förväxlas med programmens mål, indikatorerna är bara just indikationer på att programmens mål kommer att nås.

Under programperioden 2014–2020 har EU-kommissionen beslutat att två typer av indikatorer ska användas: aktivitetsindikatorer och resultatindikatorer.

Aktivitetsindikatorer mäter aktiviteternas utfall

Aktivitetsindikatorer mäter utfallet av de aktiviteter ett projekt genomför för att nå målen i Europa 2020-strategin.

I er projektansökan ska ni beskriva projektets mål och projektets förväntade resultat. I samband med det ska ni ange en eller flera aktivitetsindikatorer som mäter utfallet av de aktiviteter ni ska genomföra i projektet. I ansökan ska ni också ange aktivitetsindikatorernas förväntade utfall.

Exempel på aktivitetsindikator: Antal nya företag som får stöd.

I vissa fall beskriver aktivitetsindikatorerna en förändring.

Exempel: Sysselsättningsökning i företag som får stöd

För att kunna rapportera utfall på en sådan indikator krävs det att projektet har genomfört en utvärderingsaktivitet – exempelvis enkäter eller intervjuer – som kan ligga till grund för rapporteringen.

Det program ert projekt ansöker om stöd från innefattar ett antal investeringsprioriteringar, som beskriver på vilket sätt regionen ska bidra till att uppnå målen i Europa 2020-strategin.

Varje investeringsprioritering har minst ett specifikt mål med tillhörande beskrivna aktiviteter som går att söka stöd till. Aktivitetsindikatorerna är kopplade till dessa investeringsprioriteringar, och mäter utfallet av de beskrivna aktiviteterna.

Mer om enskilda aktivitetsindikatorer

För mer information om de enskilda aktivitetsindikatorerna med definitioner och mätmetoder hittar ni i dokumentet Riktlinjer för indikatorer.

Resultatindikatorer visar resultat och förändring

Resultatindikatorer visar i vilken grad ett helt program har bidragit till förändring. Programskrivarna har själva valt de resultatindikatorer som passar bäst för programmet och för programmets specifika mål.

Resultatindikatorer mäts inte i de enskilda projekten, eftersom de är till för att mäta resultatet i hela regionen. När ni ansöker ska ni alltså inte ange några värden på resultatindikatorerna för ert projekt. Däremot ska projektet bidra till resultatindikatorernas målvärde på regional nivå. Läs därför i det program som är aktuellt för er vilka resultatindikatorer som ni ska bidra till.

Exempel på resultatindikator: Förändrad omsättning i små och medelstora företag.

Med hjälp av utvärderingen på programnivå analyserar Tillväxtverket hur regionalfondens insatser har bidragit till resultatindikatorernas utveckling i regionen.

Resultatindikatorerna bygger på tillförlitliga data som samlas in regelbundet och följs upp av expertmyndigheter som Statistiska centralbyrån, Energimyndigheten och Post-och telestyrelsen.

Statistiken finns för både regional och nationell nivå och går ofta även att jämföra med europeisk statistik. Resultatindikatorer påverkas dels av insatser som genomförs inom ramen för strukturfondsprogrammen, dels av andra faktorer som till exempel konjunkturutvecklingen.

Riktlinjer för utvärdering

Riktlinjerna för utvärdering består av sex punkter med tillhörande frågor.

Utvärderingen börjar med att den eller de som genomför utvärderingen samlar in information om projektets genomförande. Till sin hjälp har de frågorna under respektive punkt. Nästa steg är att gå igenom svaren och bedöma vilka resultat projektet har uppnått och hur de bidrar till att uppfylla målen.

P1: Projektlogik

Projektlogiken beskriver sambandet mellan projektets aktiviteter och dess mål.

• Hur är det tänkt att projektet ska nå sina mål?
• Vad grundar sig det antagandet på?
• Ligger de genomförda aktiviteterna i linje med projektlogiken?
• Har det skett något under projektets genomförande som gör att projektlogiken behöver förändras?
  

P2: Processen

Processen handlar om hur projektet ska ge avtryck i den lokala och regionala miljön.

• Vem eller vilka i det omkringliggande samhället kan ta vid där projektet slutar, föra resultaten vidare och bidra till långsiktiga effekter?

P3: Public debate

Public debate, handlar om att lära av och sprida projektets resultat.

• Hur använder projektet kommunikation och lärande för att nå målen?

N1: Nyckelaktiviteter

Nyckelaktiviteter är aktiviteter som för projektet framåt, mot målen.

• Vad har projektet gjort?
• Vilka dokumenterade utfall och resultat har det lett till?

N2: Nyckelpersoner

Nyckelpersoner är yrkespersoner och experter med insyn i det område där projektet försöker åstadkomma en förändring. Det kan vara interna personer, som deltar i projektet, eller externa personer, som står utanför projektet. Både intern och externa personer ska bidra i utvärderingen.

• Vad anser nyckelpersonerna om projektets förmåga att påverka?
• Vad tycker nyckelpersonerna om projektets faktiska bidrag till förändring?

N3: Nyckeltal

Nyckeltal är kvantitativ information och statistik som skapar underlag för kvalificerade bedömningar.

• Hur många eller hur stor andel av de som berörs av projektet anser att insatserna bidrar till att lösa de problem eller åstadkomma den utveckling som eftersträvas?

Rekommendationer för utvärdering

Vilken typ av utvärdering ni ska använda beror på projektets storlek och karaktär.

• Små projekt med en enkel projektorganisation och mätbara mål kan sköta utvärderingen själva inom projektet.
• Mellanstora projekt med en lite större projektorganisation och mål som beror på många faktorer ska anlita en extern aktör för utvärderingen.
• Stora projekt med många funktioner i organisationen och resultat som är svåra att mäta ska anlita en extern aktör för löpande utvärdering under hela projekttiden.

Egenutvärdering, projektet sköter utvärderingen internt

Egenutvärdering innebär att ni i projektet själva ansvarar för att utföra utvärderingsinsatserna.

Denna form kan användas i mindre projekt, som ansöker om högst 3 miljoner kronor i EU-stöd. Det passar också projekt där projektorganisationen består av ett fåtal funktioner som ska genomföra ett fåtal insatser för att uppnå ett fåtal tydliga och mätbara resultat.

Ni gör egenutvärderingen genom att sammanställa er egen dokumentation från till exempel era genomförda aktiviteter med informationen från de utvärderingsinsatser ni har genomfört (exempelvis intervjuer eller enkäter). Sedan bedömer ni era uppnådda resultat i förhållande till era mål.

Ni ska redovisa resultatet från egenutvärderingen i rapporteringen till Tillväxtverket. Där ska ni också beskriva hur ni har använt er av utvärderingsresultaten när det gäller lärande och utveckling av projektet samt extern kommunikation. Vid projektets slut ska ni beskriva utvärderingsarbetet mer ingående i projektets slutrapport.

Ni ska vara beredda att delta i aktiviteter för erfarenhetsutbyte och lärande utifrån utvärderingsinsatserna på programnivå eller programövergripande nivå.

Extern utvärdering, en extern aktör sköter utvärderingen

Extern utvärdering innebär att projektet upphandlar utvärderingsarbetet från en extern aktör.

Denna form ska användas i mellanstora projekt som ansöker om 3–10 miljoner kronor i EU-stöd om inte särskilda skäl föreligger. Det passar också projekt som har en mer omfattande projektorganisation, med flera separata funktioner som genomför flera olika typer av insatser och där resultatet i betydande utsträckning är beroende av flera olika faktorer.

Ni ska redovisa resultatet från den externa utvärderingen i rapporteringen till Tillväxtverket. Där ska ni också beskriva hur ni har använt er av utvärderingsresultaten när det gäller lärande och utveckling av projektet samt extern kommunikation. Vid projektets slut ska ni beskriva utvärderingsarbetet mer ingående i projektets slutrapport.

Den aktör som gör utvärderingen ska inte bara rapportera till projektet, utan också vara med och sprida utvärderingsresultaten. Aktören ska dessutom delta i aktiviteter som gynnar lärandet mellan andra projekt som också är finansierade av Regionala utvecklingsfonden. Lärandet ska ske på programnivå eller programövergripande nivå.

Projektet finansierar utvärderingen på egen hand. Därför ska ni ta med kostnaden för utvärderingen i ert förslag till budget när ni ansöker om stöd. Det brukar vara lagom att avsätta 2 procent av projektbudgeten till utvärderingsinsatser.

Löpande utvärdering, en extern aktör utvärderar löpande

Löpande utvärdering innebär att projektet upphandlar en extern aktör som löpande följer projektets genomförande på nära håll. Det ska användas i stora projekt som ansöker om 10 miljoner kronor eller mer i EU-stöd om inte särskilda skäl föreligger. Det passar också projekt som behöver löpande återkoppling på projektets utveckling för att kunna förbättra och justera arbetet efter hand.

Löpande extern utvärdering är särskilt relevant i projekt där många olika funktioner måste samspela i genomförandet och där det är svårt att mäta resultat och måluppfyllelse.

I årliga fördjupade lägesrapporter ska ni som stödmottagare bland annat redovisa resultatet av och åtgärderna utifrån vad som kommer fram i den löpande utvärderingen. Utvärderaren ska lämna rapporter om arbetet till er som stödmottagare minst en gång per halvår. Ni ska i er tur skicka vidare rapporterna till Tillväxtverket. Vid projektets slut ska utvärderaren ta fram en mer omfattande slutrapport från utvärderingsarbetet.

Den aktör som gör utvärderingen ska inte bara rapportera till projektet, utan också vara med och sprida utvärderingsresultaten. Aktören ska dessutom delta i aktiviteter som gynnar lärandet mellan andra projekt som också är finansierade av Regionala utvecklingsfonden. Lärandet ska ske på programnivå eller programövergripande nivå.

Projektet finansierar den löpande utvärderingen på egen hand. Därför ska ni ta med kostnaden för utvärderingen i ert förslag till budget när ni ansöker om stöd. Det brukar vara lagom att avsätta 2–3 procent av projektbudgeten till utvärderingsinsatser.