Laadunhallintajärjestelmien kehittäminen arviointitulosten pohjalta

Transkriptio

1 Työseminaari arvioinnista kehittämiseen Laadunhallintajärjestelmien kehittäminen arviointitulosten pohjalta Opetusneuvos Leena Koski

2 Perustietoja Työseminaari arvioinnista kehittämiseen Survette- kyselyyn linkki lähetettiin 189:lle ammatillisen koulutuksen järjestäjälle. Näistä 5 jäi pois tilanteen muuttumisen takia. Ministeriö linjasi, ettei kotitalousopetuksen osalta tarvitse vastata kyselyyn. Kyselyyn vastasi 168 koulutuksen järjestäjää. Arvioinnin pohjana on koulutuksen järjestäjien tekemät itsearvioinnit, taustatiedot ja ulkoiset arviointikäynnit ja näiden pohjalta tehty määrällinen ja laadullinen analyysi. Ryhmätöiden pohjana on kansallisten tulosten lisäksi Vaasan tilaisuuteen osallistuvien koulutuksen järjestäjien tulokset.

3 Työseminaari arvioinnista kehittämiseen alue 4.8 alue 5 alue 6 alue alue 2 alue 3 alue 4.1 alue 4.7 alue 4.2 alue 4.6 alue 4.3 alue 4.5 alue 4.4 kaikki järjestäjät hyväksytty raja

4 Työseminaari arvioinnista kehittämiseen Hyväksytty raja OKM:n laatutyöryhmä asetti kunkin arviointikohdan osalta. Laatutyöryhmän määrittämä hyväksytty raja vaihteli arviointialueittain ja -kohdittain. Arviointialueilla laatukulttuuri- ja laadunhallinnan kokonaisuus, strateginen johtaminen ja toiminnan ohjaus, arviointi-, palaute- ja tulostieto ja parantaminen hyväksytty raja oli asetettu muita arviointialueita alhaisemmalla tasolle.

5 Työseminaari arvioinnista kehittämiseen Teemakohtaiset kriteerikeskiarvot vs. tavoitetaso

6 Teemakohtaiset kriteereiden suhteelliset alitukset/ylitykset (%)

7 Työseminaari arvioinnista kehittämiseen Hyväksytyn rajan ylittäminen ja alittaminen 100% 90% 80% 70% 71% 60% 50% 40% 30% 29% 20% 10% 0% hyväksytty raja alitettu (N=49) hyväksytty raja ylitetty (N=119)

8 Keskeiset tulokset Työseminaari arvioinnista kehittämiseen Suurella osalla ammatillisen koulutuksen järjestäjistä on toimiva, laatuvaatimukset täyttävä laadunhallintajärjestelmä (71 %) on toimiva laadunhallintajärjestelmä arvioinnissa käytettyjen kriteereiden ja arviointiin määritetyn toimivalle laadunhallintajärjestelmälle asetettujen vaatimusten mukaan tarkasteluna osa koulutuksen järjestäjistä oli oman arviointinsa mukaan melko lähellä arvioinnissa asetettua hyväksyttyä rajaa (n = 33). Keskeisimmät vahvuudet: Strategisen johtamisen ja toiminnan ohjauksen arviointialueen vahvuudet liittyivät strategiaprosessin hallintaan ja henkilöstön osallistamiseen siihen sekä laadunhallinnan integroitumiseen strategisen johtamisen ja toiminnan ohjauksen osaksi. Johdon sitoutumisen merkitys pitkäaikaiseen laadunhallintaa edistävään työhön korostuu. Parantamisen arviointialueen vahvuuksia ovat mm. seuranta-, arviointi- ja tulostietojen hyödyntämiseen, hanke- ja projektitoimintaan ja verkostoyhteistyöhön sekä toisilta oppimisen käytänteisiin liittyvät toiminnot. Erityisopetuksen kehittämis-, ohjaus- ja palvelut tehtävien laadunvarmistuksen vahvuuksia ovat asiakaslähtöisyys ja monipuolisen tiedon hyödyntäminen toiminnan jatkuvassa parantamisessa.

9 Koulutuksen järjestäjien jakautuminen sen mukaan, kuinka suuri osuus järjestäjäkohtaisista arviointikohdista ylitti hyväksytyn rajan 100% Työseminaari arvioinnista kehittämiseen 90% 80% 70% 71% 60% 50% 40% 30% 20% 21% 10% 8% 0% alle 60%:ssa kohteista hyväksytty raja ylittynyt %:ssa kohteista hyväksytty raja ylittynyt yli 80 %:ssa kohteista hyväksytty raja ylittynyt

10 Työseminaari arvioinnista kehittämiseen Teemakohtaiset kriteerikeskiarvot vs. kansallinen hyväksytyt rajat

11 Työseminaari arvioinnista kehittämiseen Hyväksytyn rajan ylittäneiden ja alittaneiden koulutuksen järjestäjien profiilit arviointialueittain alue 1 alue 2 alue 3 alue 4.1 alue 4.2 alue 4.3 alue 4.4 alue 4.5 alue 4.6 alue 4.7 alue 4.8 alue 5 alue 6 hyväksytty raja alitettu (N=49) hyväksytty raja ylitetty (N=119)

12 Keskeiset tulokset Työseminaari arvioinnista kehittämiseen Laadunhallintajärjestelmissä on koulutuksen järjestäjien välisiä eroja monialaisten ja opiskelijamäärältään suurten kuntayhtymien laadunhallintajärjestelmät olivat keskimäärin muita järjestäjiä toimivammat, oppilaitostyypeittäin tarkasteluna toimivimmat laadunhallintajärjestelmät ovat keskimäärin ammatillisten oppilaitosten lisäksi erikoisoppilaitoksissa, kehittämistarpeet korostuvat opiskelijamäärältään pienillä koulutuksen järjestäjillä, joskin pienuus ei tulosten mukaan ole toimivan laadunhallintajärjestelmän puuttumisen mitta, hyväksytyn rajan ylittäminen näytti pienentävän ylittäneiden ryhmään kuuluvien koulutuksen järjestäjien välisiä eroja, hyväksytyn rajan alittaneiden väliset erot suuremmat kuin rajan ylittäneiden väliset erot, ISO-, CAF- ja/tai EFQM- viitekehystä käyttäneiden koulutuksen järjestäjien (n=123) väliset erot ovat pienemmät kuin muita laadunhallinnan viitekehyksiä tai menetelmiä käyttäneillä koulutuksen järjestäjillä, tilastollisesti merkitseviä eroja oli vain systemaattisen laadunhallintatyön keston perusteella.

13 Osuus järjestäjistä (%) Työseminaari arvioinnista kehittämiseen Hyväksytyn rajan ylittäneiden ja alittaneiden koulutuksen järjestäjien suhteelliset osuudet 35% 30% 30% 25% 24% 20% 20% 15% 10% 10% 7% 5% 1% 2% 4% 2% 0% Poikkeama hyväksytystä rajasta (%)

14 Keskeiset tulokset Työseminaari arvioinnista kehittämiseen Laadunhallinnan pitkäjänteisen kehittämisen ja arvioinnin merkitys on suuri taustamuuttuja-analyysin mukaan ainoa koulutuksen järjestäjien välisiä eroja tilastollisesti selittävä tekijä liittyy laadunhallinnan kehittämisen kestoon. systemaattisen laadunhallinnan merkityksen korostuminen (mm. KESU) kriteerien laadintaprosessi oli vuorovaikutteinen ja niitä pilotointiin verkostoitumisen tukeminen mm. rahoittamalla alueellisia verkostoja yli 6 vuotta laadunhallintaa kehittäneillä järjestäjillä kyseiset järjestelmät olivat tilastollisesti paremmat kuin vähemmän aikaa järjestelmäänsä kehittäneillä järjestäjillä. laadunhallinnan kehittäminen ja saattaminen hyvälle tasolle vaatii usean vuoden tavoitteellisen työn.

15 Työseminaari arvioinnista kehittämiseen Hyväksytyn rajan ylittyminen systemaattisen laadunhallinnan keston mukaan 100% 90% 89% 88% 80% 70% 63% 60% 50% 40% 37% 30% 20% 10% 0% alle 3 vuotta (N=41) 3-5 vuotta (N=32) 6-10 vuotta (N=28) yli 10 vuotta (N=67)

16 Työseminaari arvioinnista kehittämiseen Strateginen johtaminen ja toiminnan ohjaus 2.11 Kestävä kehitys osana laadunhallintajärjestelmää arvioitu keskimäärin huonoimmaksi ko. arviointialueen kohdista (kriteereistä9 kriteeri Kokonaisarvio ka 3,06 3,27 2,89 2,83 2,80 2,99 3,38 3,13 3,25 2,89 2,76 3,10 3,08 3,02 Leena Koski

17 Kestävä kehitys systemaattisen laadunhallintatyön keston mukaan Työseminaari arvioinnista kehittämiseen Systemaattista laadunhallintatyötä (ka sisältää kokonaisarvion) 2.10 ka 2.11 ka alle 6 vuotta 2,61 2,42 6 vuotta tai yli 3,10 3,02

18 Keskeiset tulokset/ Kehittämishaasteet Työseminaari arvioinnista kehittämiseen Melko suurella osalla koulutuksen järjestäjistä ei ole toimivia oman toiminnan arviointikäytänteitä. Arviointi-, palaute- ja tulostietoja koskevalla arviointialueella korostuvat erilaiset tyytyväisyyskyselyt ja seurantatiedot, mutta arviointeja ja auditointeja sekä arviointituloksiin liittyvää viestintää koskevat käytänteet eivät ole kovin laajasti systemaattisia. Arviointi-, palaute- ja tulostietoja koskevan osaalueen kehittämistarpeet korostuvat muita arviointialueita enemmän taustamuuttujittain erilaisissa yksiköissä. Laatukulttuurin ja laadunhallinnan kokonaisuuden kehittämiskohteet liittyvät laadunhallintajärjestelmän dokumentointiin ja järjestelmän sähköistämiseen ja tietojärjestelmiin, eri toimintayksiköiden menettelytapojen yhdenmukaistamiseen sekä eri tahojen, kuten henkilöstön, opiskelijoiden, kumppaneiden ja sidosryhmien osallistamiseen laadunhallintaan ja sen jatkuvaan parantamiseen. Myös eri tahojen laadunhallinta- ja arviointiosaamisen varmistaminen on keskeinen kehittämiskohde.

19 Keskeiset tulokset/kehittämiskohteet Laadullisen analyysin mukaan perustehtävien ja niitä tukevien toimintojen laadunhallinnan kehittämistarpeet liittyvät hyväksytyn rajan ylittäneiden ja alittaneiden osalta mm. seuraaviin asioihin: asiakkaiden tarpeiden huomioon ottamiseen menettelytapojen pedagogisten linjausten, opetussuunnitelmien ja henkilökohtaistamista koskevien suunnitelmien laadintaan, prosessien tavoitteiden asettamiseen, prosessien kuvaamiseen, dokumentointiin ja yhtenäisten laadunhallinnan menettelytapojen luomiseen eri prosesseille, prosesseja koskevien yhtenäisten menettelytapojen juurruttamiseen toimintayksiköihin ja kaikkiin koulutuksiin, laadunhallinnan menettelytapojen ja toimintaperiaatteiden yhtenäistämiseen kaikkien perustehtävien osalta ja niiden toteutumisen varmistamiseen eri toimintayksiköissä ja toiminnoissa, arviointi-, palaute- ja tulostiedon kattavuuteen ja tulosten analysointiin, arviointi-, palaute- ja tulostiedon ja muun tarvittavan tiedon sekä hanketoiminnan hyödyntämiseen jatkuvien parantamis- ja kehittämismenettelyjen perustana ja Innovatiivisten ratkaisujen edistämiseen. Työseminaari arvioinnista kehittämiseen

20 Työseminaari arvioinnista kehittämiseen Kaikki ammatillisen koulutuksen järjestäjät 3. Henkilöstö ja muut koulutuksen toimijat Kokonaisarvioiden ka.

21 Kehittämisehdotukset koulutuksen järjestäjille Ammatillisen koulutuksen järjestäjät asettavat tavoitteet laadunhallintajärjestelmänsä kehittämiselle tekemäänsä itsearviointiin ja muihin tuloksiin perustuen OKM suositteli kehittämissuunnitelman laatimista Seurantamenettely Toimintaympäristön muutosten huomioon ottaminen Työseminaari arvioinnista kehittämiseen varmistavat laadunhallinnan ja laatukulttuurin jatkuvan kehittymisen varmistavat, että laadunhallintajärjestelmä kattaa kaikki toiminnot ja kehittävät osana laatukulttuuriaan menettelytapoja, joilla varmistetaan eri prosessien ja toimintayksikköjen toimintojen yhdensuuntaisuus, varmistavat johdon, henkilöstön ja opiskelijoiden laadunhallintaosaamisen, eri tahojen kuten opiskelijoiden, työelämän, kumppaneiden ja muiden sidosryhmien osallistumisen laadunhallintaan ja sen kehittämiseen sekä vahvistavat koko organisaation oppimista tukevaa toimintakulttuuria ja hyvistä käytänteistä ja muista organisaatioista oppimista,

22 EQAVET- laatuympyrä Määrittele päämäärät ja tavoitteet Päämäärät ja suunnittelu Tarkistus Palaute ja muutosten tekeminen Menetelmät Toteutus Koherentti päämäärien kanssa Arviointi Tiedon keruu ja käsittely ja tuloksista keskustelu

23 Kehittämisehdotukset koulutuksen järjestäjille Ammatillisen koulutuksen järjestäjät (jatkuu) Työseminaari arvioinnista kehittämiseen kehittävät arviointijärjestelmän ja laativat omiin tavoitteisiinsa perustuvan arviointisuunnitelman, kehittävät arviointiosaamista ja arviointimenetelmiä sekä varmistavat arviointisuunnitelman toteutumisen käytännössä ja turvaavat arvioinnin jatkuvan kehittämisen ja varmistavat, että heillä on kokonaisvaltainen käsitys parantamis- ja kehittämistarpeista ja menettelytavat jatkuvaan parantamiseen ja kehittämiseen ja niiden toteutumisen seurantaan.

24 Työseminaari arvioinnista kehittämiseen Laatustrategian toimeenpano ja yhteyspiste (OPH) Kansallinen kehittämisen tuki arviointitulosten hyödyntämiseen Vuoden 2015 laatustrategian tuki valtionavustusten tavoitteena on tukea koulutuksen järjestäjien verkostoissa tapahtuvaa laadunhallinnan kehittämistä. Arvioinnin tulokset esitellään OKM:n laaturyhmälle, joka valmistelee esityksen tulosten pohjalta jatkotoimenpiteistä ottaen huomioon uudet koulutuspoliittiset linjaukset. Laaturyhmä valmistelee esityksen järjestelmästä, jolla koulutuksen järjestäjiä tuetaan ja kannustetaan laadunhallinnan jatkuvaan kehittämiseen muuttuvassa toimintaympäristössä.

25 Ajankohtaista laadunhallinnasta Työseminaari arvioinnista kehittämiseen Laatustrategian tuki 2014 valtionavustusten päätöstilaisuus oli (OPH ja LARK-verkosto), MERCURIA, Kauppiaitten Kauppaoppilaitoksessa Materiaali on OPH:n laadunhallinnan tuki- sivustolla.