Suuret kielimallit yrittävät korvata koetestattavat ihmiset psykologisissa mittauksissa

Uusi tutkimus selvittää, voisiko suuri kielimalli (large language model) korvata osan perinteisestä ihmiskokeilusta, kun kehitetään psykologisia kyselyitä ja testejä. Psykometristen asteikkojen, kuten persoonallisuus- tai hyvinvointimittarien, rakentaminen vaatii yleensä suuria otoksia, useita testauskierroksia ja paljon resursseja. Nyt tutkijat kokeilevat, voidaanko osa tästä työstä tehdä tietokoneella niin sanotusti in silico, eli keinotekoisesti simuloitujen vastaajien avulla. Ajatuksena on pyytää suurta kielimallia “esittämään” tietyn demografisen profiilin omaavaa ihmistä, joka vastaa testin kysymyksiin. Näin syntyisi synteettinen vastausjoukko, jota voisi käyttää kokeiluvaiheessa ennen varsinaista tiedonkeruuta oikeiden ihmisten kanssa. Cirka 300 henkilön aineistolla tehdyissä neljässä etukäteen rekisteröidyssä tutkimuksessa tarkasteltiin, pystyvätkö tällaiset kielimallin tuottamat vastausjoukot toistamaan ihmisten vastausten piilevät rakenteet ja mittausominaisuudet. Kahdessa ensimmäisessä osatutkimuksessa verrattiin mallin tuottamaa dataa kahden jo validoidun psykometrisen asteikon oikeisiin vastausaineistoihin. Kahdessa myöhemmässä osatutkimuksessa rakennettiin kokonaan uusia asteikkoja eksploratiivisen faktorianalyysin avulla pelkästään simuloidun datan pohjalta, ja sen jälkeen tarkasteltiin, yleistyvätkö löydetyt rakenteet uusiin, myöhemmin kerättäviin aineistoihin. Tutkimus ei vielä korvaa perinteistä psykologista testausta, mutta se kartoittaa, missä määrin synteettinen väestödata voisi nopeuttaa ja halventaa alkuvaiheen asteikkokehitystä. Jos piilevät rakenteet ja mittaustarkkuus toistuvat luotettavasti, suurista kielimalleista voi tulla uusi työkalu psykologisten mittareiden suunnittelussa. Lähde: In Silico Development of Psychometric Scales: Feasibility of Representative Population Data Simulation with LLMs, ArXiv (AI).