Еjpl istraživački tim napravio je veliki korak napred u razvoju vještačke inteligencije novim sistemom koji olakšava komunikaciju sa glasovnim asistentima tako što može preciznije da razumije šta korisnik vidi na ekranu i u kom kontekstu se nalazi.
ReALM koristi velike jezičke modele za rješavanje složenih problema identifikacije referenci na ekranu, pretvarajući ih u zadatak modeliranja jezika. Ova inovacija dozvoljava sistemu značajna poboljšanja u performansama u poređenju sa postojećim metodama, čime se olakšava razumijevanje konteksta od strane glasovnih asistenata i omogućava korisnicima da postavljaju pitanja vezana za ono što vide na svom ekranu.
Jedna od ključnih inovacija ReALM-a je sposobnost rekonstrukcije vizuelnog prikaza ekrana kroz tekstualnu reprezentaciju, što uključuje parsiranje entiteta na ekranu i njihove lokacije. Ovo omogućava da se fino podešavanje jezičkih modela specifično za razumijevanje referenci, čime se postižu bolje performanse u odnosu na postojeće modele, uključujući i GPT-4.
Ovo istraživanje pokazuje potencijal specijalizovanih jezičkih modela za obavljanje zadataka poput rješavanja referenci u realnim sistemima, gdje je upotreba velikih modela ograničena zbog zahtjeva za brzinom ili računarskim resursima. Еjpl svojim radom na ovom polju signalizira nastavak investicija u razvoj Siri i drugih proizvoda, čineći ih sposobnijim za razumijevanje konteksta i pružanje prirodnijih interakcija.
Uprkos ovom napretku, istraživači upozoravaju na ograničenja, kao što su izazovi u obradi kompleksnijih vizuelnih referenci, što može zahtijevati integraciju tehnika iz računarske vizije i multimodalnih pristupa.
Еjpl se nalazi u AI trci, gdje se suočava sa jakom konkurencijom od strane vodećih tehnoloških kompanija. Uprkos svojoj poznatoj tajnovitosti, najave o novim AI inicijativama i proizvodima ukazuju na to da kompanija intenzivno radi na širenju svojih AI kapaciteta, uključujući potencijalno predstavljanje novih modela i AI funkcija na svojoj godišnjoj "WWDC" konferenciji.
