7.5.2021
Sattuneesta syystä ALTE:n symposiumin sisällöt keskittyivät pitkälti etäarviointiin sekä opetusteknologian hyödyntämiseen ja tekoälyn tuomiin mahdollisuuksiin. #ALTEdigital2021
Digitaalisuuden mahdollisuudet ja karikot
Nick Saville pohti avausesitelmässään, voisivatko etäopetus, -oppiminen ja -arviointi olla paitsi erilaista myös jollain tapaa parempaa opetusta, oppimista ja arviointia. Aluksi teknologia saattaa korvata jotain aiemmin olemassa ollutta, mutta ajan mittaan se toivottavasti alkaa täydentää ja muokata vanhaa toimintatapaa, kunnes lopulta tulee koko (etä)opetuksen ja -opiskelun uudelleenmäärittelyn hetki.
Ajatukseni juoksivat eteenpäin: entäpä minun työni, miten opetusteknologia ja tekoäly liittyvät kielitaidon arviointiin? Aikuisten maahanmuuttajien kielitaidon arviointikeskus Testipistekin on vuosien myötä siirtynyt paperitesteistä pitkälti sähköisin apuvälinein suoritettaviin testeihin ja koronan myötä myös etätestaukseen. Voisiko kone jonain päiväni tehdä minun työni?
Digi vs. paperi käytännön tasolla
Ruohonjuuritason havaintojeni mukaan joitakin testiin tulevia asiakkaita tekniikka ja tietokoneet hermostuttavat, mutta useammin ajanmukainen teknologia motivoi osallistumaan ja yrittämään vastaamista. Joidenkin kohdalla osallistuminen saattaa valitettavasti jäädä melko näennäiseksi klikkailuksi: vähintään puoli tuntia vaativa testi saatetaan juosta läpi kymmenessä minuutissa.
Paperitesteihin suhtauduttiin mielestäni jossain määrin vastahakoisemmin ja ne jätettiin helpommin kesken, jolloin lopputulos saattoi olla luotettavampi, koska vastaaminen loppui yhtä aikaa osaamisen kanssa.
Automaattinen vastausten arviointi
Testinlaatijan kannalta raskaasti tekniikkaan nojaava testaus saattaa joskus jäädä aiempaa suppeammaksi. Resurssit voivat rajoittaa esimerkiksi ymmärtämistaitojen testeissä käytettäviä tehtävätyyppejä, jos on valittava sitä, mitä kone osaa arvioida itsenäisesti.
Mekaaniset monivalintatehtävät onnistuvat koneelta, mutta jo suppeat avokysymykset vaativat ihmistä arvioimaan: kielenoppijoiden testissä kaikkia oikeaksi hyväksyttäviä vastauksia on haastavaa syöttää ohjelmaan, etenkin morfologisesti kompleksisessa suomen kielessä. Ehkä pitäisi kuitenkin yrittää, sillä automaattinen arviointi mahdollistaa myös mukautuvat testit, joissa algoritmit valitsevat uudet testikysymykset edellisten vastausprosentin mukaan. Hyvästi ylipitkät testit ja liian helpot/vaikeat kysymykset!
Suomen kieli ja digitaalinen tekstinymmärrys
Tuottamistaidoissa automaattista arviointia ei suomen kielellä tietääkseni vielä ole käytössä. Tutkimushankkeita onneksi on: olen itsekin pienesti mukana ulkopuolisena asiantuntijana Helsingin ja Jyväskylän yliopistojen sekä Aalto yliopiston yhteisessä DigiTala-hankkeessa, jossa kehitetään puheen automaattista arviointia. Matkaa edes sujuvaan kirjoituksen tai puheen tunnistamiseen arvioinnista puhumattakaan on vielä rutkasti, kuten jokainen chattirobottien tai automaattivastaajien kanssa paininut hyvin tietää!
Suurissa maailman kielissä kuten englannissa kielitaidon eri osa-alueita voidaan kuitenkin jo arvioida automaattisesti, ja käytössä on humanistin näkökulmasta mitä eksoottisinta tekniikkaa kuten silmänliikkeentunnistusta. ALTE:n symposiumissa oli äärimmäisen kiehtovaa kuunnella symposiumin toisen pääpuhujan Paula Butteryn esitystä siitä, kuinka tietokonetta opetetaan arvioimaan kirjoitettua kieltä.
Muita hyötyjä
Automaattisella arvioinnilla on monia etuja jo mainittujen mukautuvien testien lisäksi se antaa välitöntä yksinkertaista palautetta, josta oppijat tutkimusten mukaan pitävät, säästää arvioijan aikaa olennaisempiin tehtäviin kuten yksilöllisemmän palautteen antamiseen, täydentää erehtyväistä inhimillistä arviointia sekä etsii ratkaisua arvioijien ollessa erimielisiä. Automaattinen arviointi helpottaa myös yksityiskohtaisen datan keräämistä, mikä puolestaan hyödyttää muun muassa opetuksen kehittämistä.
Automaattisuus voidaan valjastaa ohjaamaan
Etenkin yhdessä käytössä automaattiselle arvioinnille olisi mielestäni heti paikkansa: oppimista tukevassa arvioinnissa. Mukautuvat oppimateriaalit ja automaattinen palaute olisivat hyödyksi oppijalle.
Esimerkiksi kielitaidon itsearviointiin tarkoitettu Dialang-ohjelma pyytää osallistujaa arvioimaan omaa suoriutumistaan erilaisissa kielenkäyttötilanteissa ja mukauttaa ”testikysymykset” osallistujan taidon perusteella. Lopuksi ohjelma antaa palautetta osaamisesta ja kielitaitotason.
Tämäntapaisen tai vaikkapa yliopistojen kielikeskusten käyttämien ”seulontatestien” avulla osallistuja pystyisi etsimään itselleen sopivan tasoisen kielikurssin – sikäli kun käyttäjän omat tekniset taidot ja ylläpitäjän kapasiteetti riittävät ohjelman käyttöön.
Algoritmi on hyvä renki, mutta isännäksi siitä ei ole
Olen siis pikemminkin innokas kuin huolestunut. Algoritmit auttaisivat minua tekemään työni entistäkin paremmin ja antaisivat mahdollisuuden keskittyä olennaiseen. Enkä usko, että kone potkaisee minua pois palkkalistoilta: esimerkiksi lähtötason arvioinnissa ja koulutukseen ohjaamisessa arviointi on paljon muutakin kuin mekaanista suoritusten pisteytystä tai taitotasoarviointia. Muita huomioon otettavia asioita ovat muun muassa kielen opiskelutausta ja omat oppimiskokemukset, muiden kielten osaaminen, koulutustausta, toisinaan työhistoriakin ja tietysti asiakkaan omat tulevaisuudensuunnitelmat ja toiveet. Tällaista kokonaisvaltaista harkintaa ei kone pystyisi tekemään, koska asian eri puolia ei voi pisteyttää tai laittaa tärkeysjärjestykseen.
Onko sinulla kokemuksia automaattisesta kielitaidon arvioinnista, tai mitä ajatuksia aihe sinussa herättää?
Elina Stordell on kielitaidon arvioinnin ja suomi toisena kielenä -opetuksen asiantuntija Taitotalossa ja Testipisteessä. Häntä kiinnostaa etenkin laadukas ja luotettava kielitaidon arviointi sekä kielitaidon merkitys yhteiskunnassa. Vapaa-aikanaan hän lukee liikaa dekkareita ja syö liikaa salmiakkia.
Testipiste on Suomen suurin aikuisten maahanmuuttajien kielitaidon arviointikeskus. Palvelua ylläpidetään neljän pääkaupunkiseudun aikuisoppilaitoksen yhteistyönä. Koordinaattorina toimii Axxell Monikulttuurisuuskeskus ja kumppaneina CareeriaPlus, Eiran aikuislukio ja Taitotalo.
