Seuranta ja itsearvioinnin merkitys

Transkriptio

1 Seuranta ja itsearvioinnin merkitys Janne Jalava Seurantapäällikkö, dosentti RAY/avustusosasto

2 Seuranta ei valvo vaan kehittää Seurannan tavoitteena on Auttaa löytämään ja levittämään hyviä käytäntöjä. Paneutua syvällisemmin juurruttamisen haasteisiin. Välttää uusimasta vähemmän onnistunutta tekemistä. Seurannan välineitä ovat Tuloksellisuus- ja vaikutusselvitys (osa vuosiselvitystä) Projektin loppuraportti Asuntojen ja asukasvalinnan selvitys Erillisselvitykset (valitut kohteet) Valvonta tekee kuluseurantaa ja laillisuusvalvontaa sekä seuraa kilpailuvaikutuksia. Selvityslomake on kehitetty yhteistyössä järjestöjen kanssa

3 Tuloksellisuus- ja vaikutusselvitykset kuinka usein? Vuosittain C projektit Joka toinen vuosi Ak toiminnot Käydään läpi tarpeen mukaan, valvonnan asia enemmän Yleisavustukset

4 TULOKSELLISUUS- JA VAIKUTUSSELVITYS (TVS) PROSESSINA TULOKSELLISUUS JA VAIKUTUSSELVITYS ANALYYSI KÄYNTI JÄRJESTÖSSÄ SEURANTA JA KEHITTÄMIS RAPORTTI KOMMENTIT JÄRJESTÖLLE/ EI TARVETTA KOMMENTEILLE

5 Tuloksellisuus ja vaikutusselvityksen rakenne Kohteen perustiedot (esitäytetty verkkoasioinnissa) Kuusi kysymysosiota: 1. Arvio tavoitteiden saavuttamisesta ja toimintaan liittyvistä kehittämistarpeista 2. Toiminnan määrää ja laajuutta kuvaavat tiedot Kerätyn tiedon koostaminen ja raportointi: 3. Työntekijöiden näkökulma 4. Vapaaehtoistoimijoiden näkökulma 5. Osallistuja/kohderyhmänäkökulma 6. Yhteistyökumppaneiden näkökulma Avustusosasto, Vaikuttavaa! -kiertue

6 Itsearviointi mistä kyse? Järjestön itse, omana toimintana, toteuttamaa arviointia, jonka avulla saadaan selville toimijoiden näkemykset mm. toimintaan liittyvistä kehittämistarpeista, tärkeinä pidetyistä asioista, toiminnan vahvuuksista sekä aikaansaaduista tuloksista ja kehityksestä. Väline organisaatioiden, (kuten RAY:ltä avustusta saavien järjestöjen) toiminnan ja yksittäisten työntekijöiden tekemän työn kehittämiseen sekä suunnitteluun. Parhaimmillaan helppoa, yksinkertaista ja palkitsevaa. Kyse ei missään nimessä ole arvostelusta, syyllisten etsinnästä tai sormella osoittelusta

7 Itsearviointi mistä kyse? RAY ei suosita käyttämään mitään yksittäistä tapaa tai mallia tehdä itsearviointi. Mikään malli ei ole RAY:n näkökulmasta katsottuna myöskään arvokkaampi kuin toinen. Mikäli järjestöllänne on jo käytössä toimiva itsearviointimalli, on suositeltavaa hyödyntää myös jatkossa sitä. Oleellista on, että itsearviointi vastaa järjestön omiin tarpeisiin ja tuottaa tietoa toiminnan kehittämisen tueksi sekä toiminnalla aikaansaaduista tuloksista ja vaikutuksista

8 Missä järjestökenttä menee?

9 Arvioinnin tila järjestöissä Keväällä 2011 RAY teetti kyselyn arvioinnin tilasta järjestöjen keskuudessa. Kysely osoitettiin vuosina 2009 ja 2010 RAY:ltä projektiavustusta saaneille järjestöille (n=545). Ulkopuolelle rajattiin järjestöt, jotka olivat saaneet RAY:ltä vain investointiavustusta. Kyselyyn vastasi yhteensä 420 järjestöä vastausprosentin ollessa noin 77 %. Kyseessä ensimmäinen kerta, kun täysin vastaavanlainen tutkimus toteutetaan. Koskela T. (2012). Kehittämishankkeiden arvioinnin tila. Motiivit ja arviointitiedon hyödyntäminen sosiaali- ja terveysalojen järjestöissä. Avustustoiminnan raportteja 28. RAY

10 Arvioinnin tila järjestöissä -yhteenvetoa Arviointikäytännöt ovat hyvin vaihtelevia ja yhteinen kehittämishankkeiden arviointikulttuuri puuttuu sosiaali- ja terveysalan järjestöjen keskuudesta. Noin kolmannes järjestöistä ei ole toteuttanut lainkaan omien kehittämishankkeiden arviointeja vuosien välisenä aikana. Arvioinnin mahdollisuuksia hanketoiminnan kehittämisessä ei ole sisäistetty kuin osassa järjestöjä. Läheskään kaikissa järjestöissä ei ole riittävästi osaamista toteuttaa arviointia itse tai tilata hanketta koskeva ulkoinen arviointi. Arviointiin suhtaudutaan varsin positiivisesti järjestöjen keskuudessa. Resurssien ja osaamisen puute arviointiin liittyen ovat ilmeisiä varsinkin pienempien järjestöjen keskuudessa. Itsearviointien toteuttaminen kehittämishankkeissa on ollut selvästi yleisempää kuin ulkoisten arviointien tilaaminen

11 Arvioinnin tila järjestöissä -yhteenvetoa Vain pienessä osassa järjestöjä kehittämishankkeiden itsearvioinnit ja ulkoiset arvioinnit nähdään toisiaan tukevina välineinä hanketoiminnan kehittämisessä. Kehittämishankkeiden arvioinnit ovat tarjonneet aidosti välineitä toiminnan kehittämiseen järjestöissä. Alle 5 % järjestöistä on tilannut RAY:n yleisavustuksella ja noin kymmenesosa RAY:n kohdennetulla toiminta-avustuksella rahoitetun toiminnan ulkoisen arvioinnin vuosien välisenä aikana. Alle neljännes järjestöistä on toteuttanut RAY:n yleisavustuksella rahoitetun ja hieman alle puolet RAY:n kohdennetulla toimintaavustuksella rahoitetun toiminnan itsearvioinnin

12 Vastaajien näkemykset kehittämishankkeiden itsearvioinneissa kohdatuista ongelmista (vastausten lkm.)* *Avovastaukset koodattu ja luokiteltu numeraaliseen muotoon

13 Itsearvioinnin suunnittelu on tärkeää!

14 Itsearvioinnin suunnittelu (1/3) 1. Täsmennä ja rajaa itsearvioinnin kohde. Oleellista on rajata, kohdistuuko itsearviointi yksittäiseen projektiin, kohdennetulla tai yleisavustukselle rahoitettuun toimintaan vai esimerkiksi koko järjestön toimintaan. 2. Suunnitelmaa tehtäessä on oleellista käydä keskustelua ja tarkentaa kaikille osapuolille, miksi itsearviointia tehdään ja mitä sillä tavoitellaan. 3. Arviointisuunnitelmaan on myös hyvä tarkentaa ja kirjata toiminnan/projektin tavoitteet ja kohderyhmät arvioitavaan muotoon. 4. Arviointisuunnitelma laadittaessa on tärkeä pohtia ja päättää, mitä asioita arvioidaan (=arviointikohteet). Oleellinen kysymys on, minkä arvioiminen vie toimintaa tai projektia eteenpäin?

15 Itsearvioinnin suunnittelu (2/3) 5. Osana arviointisuunnitelman laadintaa tulee pohtia ja päättää, millaista tietoa ja keneltä tarvitaan toiminnan kehittämisen tueksi. Numeraalinen arvio vs. laadullinen arvio vai sekä että 6. Tämän jälkeen on oleellista keskustella ja päättää, miten tieto kerätään itsearvioinnin toteuttamiseksi. Vaihtoehtoisia ja tehokkaita menetelmiä ovat mm. kyselyt (joko sähköiset tai lomakekyselyt) ja keskustelutilaisuudet/työpajat. Kyselyn voi toteuttaa myös sähköpostikyselynä. 7. Seuraavaksi tulee päättää itsearvioinnin aikataulu. Milloin tieto kerätään ja analysoidaan? Miten usein itsearviointi on perusteltua toteuttaa? Ajankohdan tulisi kytkeytyä luontevasti järjestön/projektin omaan vuosikelloon, jotta itsearviointi tukee mahdollisimman hyvin toiminnan kehittämistä

16 Itsearvioinnin suunnittelu (3/3) 8. Oleellista on myös päättää vastuista ja kirjata ne arviointisuunnitelmaan. Kuka tai mikä tahon vastaa tiedon keräämisestä? Kuka vastaa kerätyn tiedon analysoinnista ja yhteenvedon tekemisestä? Keitä kutsutaan mukaan mahdolliseen itsearviointityöpajaan? 9. Resursointi on oleellinen osa suunnitelmaa. Itsearvioinnin säännölliseen toteuttamiseen keskeisesti vaikuttava tekijä on käytössä oleva aika. Suunnitelmaa tehtäessä tulee arvioida, miten paljon kunkin työvaiheen toteuttaminen vaatii työaikaa ja kenellä on mahdollisuus toteuttaa ne. 10. Arviointisuunnitelmaa laadittaessa on hyvä ennakoida, missä yhteyksissä ja kenelle tuloksista tiedotetaan. 11. Arviointisuunnitelmaa ja sen tarkoituksenmukaisuutta on perusteltua tarkastella säännöllisin väliajoin, esimerkiksi vuosittain

17 Yhteenveto/muistilista Tee itsearviointisuunnitelma, sitouta henkilöstö mukaan! Valitse toiminnan luonnetta ja tarpeita vastaava itsearviointimalli ja muokkaa sitä tarvittaessa Itsearviointi on väline oman toiminnan kehittämiseen. Hyödynnä tietoa myös vuosi- /toimintakertomuksissa sekä raportoinnissa rahoittajalle. Tee itsearviointia säännöllisesti. Kyse on hyvin arkisesta asiasta. Itsearviointi edellyttää osallistujilta kykyä asettaa oma toiminta kriittisen tarkastelun kohteeksi. Oleellista on, että itsearviointien tuloksista keskustellaan avoimesti, tuloksia käsitellään toimijoiden ja yhteistyökumppaneiden kanssa ja toimintaa kehitetään esille nousseiden havaintojen pohjalta. Itsearviointi päättyy johtopäätösten tekemiseen ja kehittämiskohteiden valintaan. Valitkaa korkeintaan 2-3 kehittämiskohdetta seuraavalle tarkastelukaudelle. Itsearvioinnin tulos voi olla sekin, että koulutuksen todetaan sujuvan järjestön tarpeisiin nähden riittävän hyvin, jolloin laajamittaista kehittämistyötä ei edes tarvita, vaan voimavarat kannattaa käyttää johonkin muuhun. Esimiehet/toiminnasta vastuussa olevat henkilöt (esimerkiksi projektipäälliköt) vastaavat siitä, että yhteisesti sovittuihin kehittämiskohteisiin kiinnitetään huomiota konkreettisten toimenpiteiden avulla