Suuret kielimallit eivät vielä ole riittävän luotettavia laboratorion turvallisuustehtäviin

Tutkijat ovat kehittäneet uuden testikokonaisuuden, jolla mitataan, kuinka hyvin suuret kielimallit ja kuvaa ja tekstiä yhdistävät kielimallit selviytyvät tieteellisten laboratorioiden turvallisuusriskeihin liittyvistä tehtävistä. Tekoälyä käytetään jo tutkimuksessa esimerkiksi kokeiden suunnittelun tukena ja työvaiheiden ohjeistamisessa, mutta samalla kasvaa riski, että käyttäjät luottavat liikaa järjestelmiin, jotka voivat vaikuttaa ymmärtävän tilanteen, vaikka todellista ymmärrystä ei ole. Nature Machine Intelligence -lehdessä julkaistu työ esittelee LabSafety Bench -nimisen vertailutestin. Se arvioi malleja kolmessa keskeisessä osa-alueessa: vaarojen tunnistamisessa, riskien arvioinnissa ja seurausten ennustamisessa. Aineisto on laaja: 765 monivalintakysymystä ja 404 realistista laboratorioskenaariota, joista muodostuu yhteensä 3 128 avointa tehtävää. Testillä arvioitiin 19 edistynyttä mallia, mukaan lukien sekä pelkkään tekstiin perustuvia suuria kielimalleja että malleja, jotka pystyvät hyödyntämään myös kuvia. Kokonaiskuva oli karu: nykyiset mallit ovat yhä kaukana siitä luotettavuudesta, jota turvallinen laboratorion käyttö edellyttäisi. Tulokset korostavat, että vaikka tekoäly voi olla hyödyllinen apuväline tutkimustyössä, sen tuottamia ohjeita ja arvioita ei voi sellaisenaan pitää turvallisina laboratoriotilanteissa. Uusi vertailutesti tarjoaa tavan mitata ja seurata sitä, paraneeko mallien kyky tunnistaa vaaratilanteita ja arvioida niiden riskejä ennen kuin tekoälyä integroidaan yhä tiiviimmin laboratorioiden arkeen. Lähde: Benchmarking large language models on safety risks in scientific laboratories, Nature Machine Intelligence.