Uusi arviointikehys etsii, milloin tekstistä kuvan tekevät mallit alkavat tuottaa epäluotettavaa tai vinoutunutta sisältöä

Tutkijaryhmä on esitellyt uuden tavan arvioida tekstistä kuvan tuottavien generatiivisten mallien luotettavuutta, oikeudenmukaisuutta ja monimuotoisuutta. Aihe on noussut keskeiseksi, koska tällaiset mallit pystyvät tuottamaan erittäin tarkkoja, käyttäjän ohjaamia kuvia, mutta niiden käyttäytyminen voi olla myös arvaamatonta – ja siten altista väärinkäytölle. Artikkelin taustalla on havainto, että mallien tuottamia luokka- tai käsite-esityksiä voidaan joissain tilanteissa ”vääntää” haluttuun suuntaan. Toisin sanoen tietyt syötteet voivat laukaista epäluotettavaa toimintaa tai vinoutumia siinä, miten malli esittää ihmisiä, asioita tai käsitteitä. Tutkijat nostavat esiin, että tämä on paitsi tekninen myös yhteiskunnallinen kysymys: jos mallit eivät kohtele eri ryhmiä tai käsitteitä tasapuolisesti, seuraukset voivat näkyä esimerkiksi siinä, millaisia kuvia ihmisistä ja ilmiöistä ylipäätään on helppoa tuottaa. Ehdotettu arviointikehys tarkastelee mallin toimintaa sen niin sanotussa upotusavaruudessa, eli sisäisessä esitystavassa, jolla malli muuntaa tekstikehotteet numeerisiksi kuvauksiksi. Luotettavuutta mitataan analysoimalla, miten mallin tuottama sisältö muuttuu, kun näitä sisäisiä esityksiä häiritään joko laajasti (globaalit häiriöt) tai paikallisesti (paikalliset häiriöt). Tavoitteena on tunnistaa syötteet, jotka herkästi johtavat epäluotettavaan tai puolueelliseen lopputulokseen. Tekijöiden mukaan oikeudenmukaisuus ja monimuotoisuus eivät ole vain eettisiä lisävaatimuksia, vaan olennainen osa ”vankkaa” ja luotettavaa mallikäyttäytymistä. Kehys pyrkii tarjoamaan aiempaa syvemmän näkymän siihen, milloin ja miksi mallit horjuvat näissä perusvaatimuksissa. Lähde: On the fairness, diversity and reliability of text-to-image generative models, Artificial Intelligence Review.