Koulutusviennissä “vaikuttavuus” on usein se asia, jota ostajat kysyvät ensimmäisenä – ja jonka todentaminen on käytännössä vaikeinta. Hyväkin ratkaisu voi jäädä myymättä tai skaalautumatta, jos näyttö jää yleiselle tasolle (esim. “oppijat olivat tyytyväisiä”) eikä vastaa ostajan päätöksentekoa (esim. “paransiko tämä oppimistuloksia, valmistumista tai työllistymistä – ja millä kustannuksella?”).

Tässä osiossa käydään läpi:
1. miksi mittarit jäävät usein epäselviksi,
2. miten dataa kerätään eettisesti ja vertailukelpoisesti, sekä
3. mitä ostajat tyypillisesti edellyttävät näytöiksi.

1) Miksi mittarit jäävät usein epäselviksi?

Yleisimmät syyt epäselville mittareille

• Vaikuttavuus sekoittuu toimintaan: mitataan tekemistä (koulutuspäiviä, osallistujia) eikä muutosta (osaaminen, käytös, tulokset).
• Eri toimijat tarkoittavat eri asioita: rahoittaja puhuu taloudesta, koulutuksen järjestäjä oppimistuloksista, HR tuottavuudesta, opettajat pedagogiikasta.
• Tavoitteet eivät ole mitattavia: “parannetaan laatua” ilman tarkennusta mikä laatu, millä mittarilla, mihin mennessä.
• Aikajänne on väärä: vaikutus näkyy vasta 6–24 kuukauden päästä, mutta hankkeessa mitataan vain heti koulutuksen jälkeen.
• Mittaus tehdään liian myöhään: mittarit määritellään vasta toteutuksen lopussa, jolloin baseline (lähtötaso) puuttuu.
• Kustannus ja kyvykkyys aliarvioidaan: dataan tarvitaan omistaja, prosessi, järjestelmät ja osaaminen.

Selkeyttävä perusjaottelu: 4 Mittaritasoa

Kun mittarit tuntuvat sekavilta, jäsennä ne neljään tasoon:

1. Panokset (Inputs): raha, aika, henkilöstö, sisällöt, teknologia
2. Tuotokset (Outputs): osallistujamäärät, toteutukset, läpäisy, käyttöaste
3. Tulokset (Outcomes): osaamisen kasvu, opettajien toimintatapojen muutos, oppimisen laatu
4. Vaikutukset (Impacts): oppimistulokset järjestelmätasolla, valmistuminen, työllistyminen, tuottavuus, hyvinvointi, yhdenvertaisuus

Koulutusviennissä ostajat arvostavat usein eniten tasoja 3–4, mutta myynti tarvitsee myös tasot 1–2 selkeänä “todisteketjuna”.

2) Hyvä mittaristo: Mitä mitataan ja miten valitaan?

Aloita päätöksentekokysymyksestä

Hyvä mittari vastaa aina johonkin päätökseen. Kysy:

• Mihin päätökseen ostaja käyttää tätä näyttöä?
  • osto / jatkohankinta
  • laajennus uusiin kouluihin/alueille
  • rahoituksen jatko
  • sopimuksen tulosperusteisuus (outcome-based)

Kun päätös on selvä, mittarit valitaan sen mukaan.

Muodosta “todisteketju” (Theory of change)

Kirjaa lyhyesti:

• ongelma, jonka ratkaiset
• kohderyhmä
• mekanismi: miksi ratkaisu tuottaa muutosta
• oletukset ja riskit
• odotettu muutos ja aikajänne

Tämä auttaa välttämään mittareita, jotka eivät liity ratkaisun ydintavoitteeseen.

Valitse pieni “ydinmittaristo” + Lisämittarit

Käytännössä skaalaus kärsii, jos mittareita on liikaa. Suositus:

• 3–6 ydinmittaria, jotka ovat aina mukana (vertailukelpoisuus)
• lisämittarit, joita käytetään maakohtaisesti tai asiakkaan tarpeen mukaan

Hyvä ydinmittari täyttää kriteerit:

• ymmärrettävä myös ei-pedagogiselle ostajalle
• realistinen kerätä ja raportoida
• muutokselle herkkä (näkyy 3–12 kk sisällä)
• mahdollistaa vertailun (ennen–jälkeen tai verrokki)

3) Mitä ostajat edellyttävät näytöiksi? Ostajat eivät aina vaadi “tutkimusta” – Mutta vaativat uskottavuutta

Tyypilliset todistetyypit, “kevyestä” “vahvimpaan”:

1. Käyttö- ja toteutusdata
   • todiste siitä, että ratkaisu on oikeasti käytössä ja toteutuu suunnitellusti
2. Ennen–jälkeen mittaus (pre–post)
   • osoittaa muutoksen, mutta ei vielä varmuutta syy-seuraussuhteesta
3. Verrokkiasetelma (quasi-experimental)
   • esim. verrataan kouluihin/ryhmiin, jotka eivät vielä ota ratkaisua käyttöön
4. Satunnaistettu koe (RCT)
   • vahvin kausaalinäyttö, mutta kallis ja usein hidas
5. Laadullinen näyttö (mixed methods)
   • haastattelut, fokusryhmät ja havainnot selittävät miksi vaikutus syntyi tai ei syntynyt

Moni ostaja hyväksyy tason 2–3, jos:

• mittarit ovat relevantteja heidän tavoitteilleen
• toteutus on dokumentoitu hyvin
• raportointi on läpinäkyvää (mitä mitattiin, miten, keneltä puuttuu dataa)

Ostajien tyypilliset lisäkysymykset

• Skaalautuvuus: toimiiko eri alueilla ja eri oppijaryhmissä?
• Kustannukset ja resurssit: mitä tämä vaatii meiltä (aika, henkilöstö, lisenssit)?
• Riskit: mitä jos tulokset eivät parane – miten reagoidaan?
• Sopimusmittarit: mihin tuloksiin laskutus tai jatko sidotaan?
• Auditointikelpoisuus: voiko ulkopuolinen tarkistaa datan ja menetelmät?

---

4) Eettinen ja vertailukelpoinen datankeruu käytännössä

Eettisen keruun periaatteet (minimi)

• Tarkoitussidonnaisuus: kerää vain se data, jota tarvitset päätöksentekoon.
• Läpinäkyvyys: kerro, mitä kerätään, mihin käytetään ja kauanko säilytetään.
• Suostumus ja oikeus kieltäytyä: erityisen tärkeää alaikäisten ja haavoittuvien ryhmien kanssa.
• Tietoturva: rajaa pääsy, suojaa siirto ja säilytys, minimoi henkilötiedot.
• Haittojen minimointi: mittaaminen ei saa kuormittaa kohtuuttomasti koulua/oppijoita.

Kansainvälisessä toimituksessa huomioi aina sekä paikallinen lainsäädäntö että oman organisaation periaatteet. Eri maissa suostumuskäytännöt ja oppilasdatan käsittely voivat poiketa merkittävästi.

Vertailukelpoisuus: Mitä se edellyttää?

Vertailukelpoinen data syntyy, kun nämä ovat kunnossa:

• Selkeä mittarin määritelmä: mitä “osaaminen” tässä tarkoittaa?
• Yhdenmukainen toteutus: sama testiaika, ohjeistus ja pisteytys
• Baseline (lähtötaso): ilman sitä et tiedä muutosta
• Riittävä otos ja kattavuus: kuinka moni jäi mittaamatta ja miksi?
• Dokumentointi: muutokset mittareissa, käännökset, paikalliset sovitukset

Mittareiden lokalisaatio: Sama asia, Eri kulttuuri

Kun viet mittareita maasta toiseen:

• käännä ja takaisinkäännä keskeiset kyselyt ja rubriikit
• testaa kulttuurinen sopivuus (esim. “itsearviointi” voi käyttäytyä eri tavoin)
• varmista mittarin invarianssi ainakin perusperiaatteiden tasolla: mittaako se samaa ilmiötä?

---

5) Käytännön mittaussuunnitelma (malli)

Alla on selkeä malli, jota voit käyttää asiakaskohtaisessa projektissa.

A. Määrittele

• kohderyhmä (keneltä mitataan)
• päätavoite (1–2 kpl)
• ydinmittarit (3–6 kpl)
• mittausajankohdat (esim. T0 ennen, T1 3 kk, T2 9 kk)

B. Kerää data kolmesta lähteestä (triangulaatio)

• Oppija: testi, tehtävät, kysely (esim. motivaatio, itsevarmuus)
• Opettaja / toteuttaja: rubriikki, päiväkirja, portfoliot, coaching
• Järjestelmä / organisaatio: läsnäolo, läpäisy, arvosanat, käyttödata, kustannukset

C. Varmista laatu

• ohjeistus ja koulutus mittaajille
• automaattiset tarkistukset (puuttuva data, outlierit)
• audit trail: kuka teki mitä ja milloin

D. Raportoi niin, Että ostaja voi käyttää tietoa

Raportissa kannattaa aina olla:

• mitä tehtiin (toimenpiteet)
• kenelle ja missä (konteksti)
• mitä muuttui (ydinmittarit)
• miksi se todennäköisesti muuttui (todisteketju + laadullinen selitys)
• mitä suosittelemme seuraavaksi (skaalaus tai korjausliikkeet)

---

6) Tyypilliset sudenkuopat (ja miten vältät ne)

• Pelkkä tyytyväisyyskysely
  • Ratkaisu: lisää vähintään pre–post osaamismittaus tai toteutusfidelity + oppimistulosindikaattori.
• Liikaa mittareita, liian vähän käyttöä
  • Ratkaisu: ydinmittaristo + 1 sivun mittaripassi (määritelmä, keruutapa, omistaja).
• Data kerätään, mutta ei omisteta
  • Ratkaisu: nimeä vastuurooli (esim. Impact Lead) ja raportoinnin rytmi.
• Tuloksia ei voi verrata maiden välillä
  • Ratkaisu: standardoi minimi (ydinmittarit, ajankohdat, ohjeet) ja dokumentoi lokalisaatio.
• Eettisyys ja luottamus jäävät sivuun
  • Ratkaisu: datan minimointi, selkeä viestintä, turvalliset prosessit ja paikallisten käytäntöjen kunnioitus.

---

7) Lopputulos, Jota tavoittelet: “Vaikuttavuus on myyntikelpoista ja skaalautuvaa”

Kun mittaaminen on kunnossa, syntyy kolme kilpailuetua:

• Uskottavuus ostajalle: päätös helpottuu, riskit pienenevät.
• Parempi toimituskyky: tiedät, mikä toimii ja missä olosuhteissa.
• Skaalautuva yhteistyö: yhteinen kieli kumppaneiden kanssa (mittarit, data, raportointi).

Tavoitetila tässä kurssin luvussa: jokaisella ratkaisulla on selkeä, eettinen ja vertailukelpoinen tapa osoittaa vaikuttavuus – ja se on kytketty suoraan ostajan päätöksentekoon.