Uusi menetelmä jakaa ansion oikeudenmukaisesti tekoälyhaun lähteiden kesken

Uusi MaxShapley-menetelmä pyrkii ratkaisemaan, miten generatiivisten hakukoneiden tuottamien vastausten ansio voidaan jakaa oikeudenmukaisesti eri tietolähteiden kesken. Kun hakukone ei enää vain listaa linkkejä, vaan suuri kielimalli kokoaa vastauksen useista dokumenteista, nousee esiin kysymys siitä, kenelle ja kuinka paljon lähteille pitäisi maksaa. Taustalla on taloustieteestä tuttu Shapley-arvo, joka kuvaa, kuinka paljon kukin pelaaja – tässä tapauksessa yksittäinen dokumentti – kontribuoi yhteiseen lopputulokseen. Shapley-arvojen tarkka laskeminen on kuitenkin käytännössä hyvin kallista, koska laskenta-aika kasvaa räjähdysmäisesti lähteiden määrän mukana. MaxShapley on erikoistapaus Shapley-arvosta, joka hyödyntää niin sanottua hajotettavaa maksimi–summa-hyötyfunktiota. Tämän ansiosta lähteiden panos voidaan laskea lineaarisessa ajassa suhteessa dokumenttien määrään, eli laskenta nopeutuu dramaattisesti verrattuna perinteiseen Shapley-lähestymistapaan. Menetelmä on suunniteltu erityisesti tekoälyhakuihin, jotka käyttävät noutoon perustuvaa tekstintuotantoa (retrieval-augmented generation): ensin haetaan useita asiakirjoja, sitten kielimalli yhdistää niistä vastauksen. MaxShapleyä testattiin kolmella monivaiheisella kysymys–vastausaineistolla, jotka tunnetaan nimillä HotPotQA, MuSiQUE ja MS MARCO. Näissä tehtävissä vastauksen löytäminen edellyttää useiden eri lähteiden yhdistämistä, mikä tekee niistä luontevan testialustan lähteiden kontribuution mittaamiselle. Tutkimus osoittaa, että on mahdollista kehittää laskennallisesti tehokas menetelmä, joka ottaa vakavasti sisällöntuottajien panoksen generatiivisissa hakukoneissa. Tällaiset mekanismit voivat olla keskeisiä, jos halutaan rakentaa kestävä taloudellinen malli tekoälyyn perustuvalle haulle. Lähde: MaxShapley: Towards Incentive-compatible Generative Search with Fair Context Attribution, ArXiv (AI).