Tutkijat esittävät tavan mitata mallien virheitä vaihtoehtoisissa tulevaisuuksissa

Uusi tekoälytutkimus pureutuu ongelmaan, jota harvoin tarkastellaan: miten hyvin tulevaisuutta ennustavat mallit todella toimivat, kun maailma ei menekään juuri niin kuin ennuste oletti. Emily Howerton ja Justin Lessler tarkastelevat niin sanottuja kontrafaktuaalisia skenaarioita – "mitä jos" -harjoituksia, joissa arvioidaan, mitä tapahtuisi, jos jokin päätös tehtäisiin tai jätettäisiin tekemättä. Tällaisia skenaarioita käytetään laajasti esimerkiksi politiikan, terveydenhuollon ja ilmastotoimien suunnittelussa. Silti mallien tuottamia skenaarioprojektioita arvioidaan harvoin jälkikäteen. Kun ennuste eroaa todellisuudesta, syitä on kaksi: joko todellinen kehitys poikkeaa käytetystä skenaariosta tai itse malli on ollut väärin kalibroitu eli systemaattisesti pielessä. Tutkijat korostavat, että mallin kalibrointivirhe on olennaisin, kun arvioidaan, kannattaako mallia ylipäätään käyttää päätöksenteossa. Sen selvittäminen on kuitenkin hankalaa, koska se edellyttää virheen arviointia maailmoissa, joita ei koskaan tapahtunut – juuri näissä vaihtoehtoisissa tulevaisuuksissa. Artikkelissa esitellään ja vertaillaan kolmea eri lähestymistapaa tällaisen kontrafaktuaalisen virheen arvioimiseen. Menetelmien hyötyjä ja rajoituksia testataan simulaatiokokeessa, jossa tutkijat voivat kontrolloidusti verrata mallin tuottamia skenaarioita "todelliseen" kehitykseen simuloidussa ympäristössä. Työn lopuksi Howerton ja Lessler antavat suosituksia siitä, miten kontrafaktuaalista virhettä kannattaa käytännössä arvioida ja millaiset skenaarion suunnittelun osat ovat sen kannalta kriittisiä. Tavoitteena on tehdä skenaariomalleista läpinäkyvämpiä ja hyödyllisempiä päätöksenteon tukena. Lähde: Assessing model error in counterfactual worlds, ArXiv (AI).