ReALM. Revoliucinis kalbos modelis iš Apple? | Dirbtinis intelektas versle #121

Kas yra ReALM?

ReALM reiškia “Nuorodų sprendimas kaip kalbos modeliavimas”, tai novatoriškas sprendimas, sukurtas „Apple“ tyrėjų. Tai naujas kalbos modelis (Didelis kalbos modelis, LLM), kuris traktuoja nuorodų atpažinimo problemą kaip užduotį kalbos modeliavimo srityje.

ReALM efektyviai paverčia įvairių tipų kontekstą į tekstinę reprezentaciją, kurią vėliau apdoroja kaip kalbos užduotį. Tai gali apimti:

• pokalbiai – tokie kaip tekstiniai pranešimai, balso komandos asistentui ar el. laiškai,
• elementai ekrane – pavyzdžiui, nuotraukos, kalendorius, oro prognozės widgetas ar programos ir procesai, veikiantys fone.

Kuo ReALM skiriasi nuo kitų nuorodų atpažinimo modelių? Pirmiausia, požiūris – vietoj to, kad remtųsi vaizdų apdorojimu, ReALM veikia teksto srityje. Tai daro jį daug lengvesnį ir efektyvesnį, kas turėtų leisti jam veikti tiesiogiai mobiliuosiuose įrenginiuose, išlaikant vartotojų privatumą.

Kuo ReALM geresnis už GPT-4?

„Apple“ tyrimų komanda palygino ReALM su galingiausiais kalbos modeliais, esančiais rinkoje šiandien – GPT-3.5 ir GPT-4 iš „OpenAI“. Rezultatai buvo įspūdingi. Nuorodų atpažinimo užduotyse mažiausias ReALM variantas pasiekė tikslumą, lygų GPT-4! Didesni ReALM modeliai netgi pranoko GPT-4 atpažindami nuorodas į elementus, rodomus ekrane (http://arxiv.org/abs/2403.20329).

Ką paaiškina šis pranašumas? Pirmiausia, ReALM puikiai veikia su srities specifiniais užklausimais, tokiais kaip tie, kurie susiję su išmaniaisiais namų prietaisais. Tai yra todėl, kad ReALM demonstruoja gilesnį konteksto supratimą, tikslindamas modelį srities specifiniams duomenims.

Be to, skirtingai nuo GPT-4, kuris daugiausia mokosi iš realių objektų vaizdų, ReALM puikiai atpažįsta tekstinius elementus ir programų vartotojo sąsajos komponentus. Ir būtent sąsajos supratimas yra kritiškai svarbus sklandžiam balso asistentų bendravimui su šiandien naudojamomis programomis.

Šaltinis: DALL·E 3, užklausa: Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

Ar tai tikroviškų intelektualių asistentų eros pradžia?

Iš tiesų, ReALM integracija su Siri galėtų atverti visai naują skyrių žmogaus ir kompiuterio sąveikoje. Su ReALM, Siri galės suprasti komandas, kurios apima nuorodas į elementus, rodomus išmaniojo telefono ekrane, taip pat procesus ir programas, veikiančias fone. Bet kada ši galimybė bus prieinama vartotojams? Tai dar nežinoma.

Mes likome su spekuliacijomis, remdamiesi modelio techninėmis galimybėmis. Taigi, kaip galėtų veikti ReALM varoma Siri? Pavyzdžiui, jei naršote verslo sąrašų svetainėje ir matote įmonę, kuria domitės, galėtumėte tiesiog pasakyti Siri: “Paskambinkite šiai įmonei”, o asistentas – naudodamas ReALM konteksto analizei – suras nurodytos įmonės telefono numerį ir inicijuos skambutį. Jums net nereikės tiksliai paaiškinti, kurią įmonę turite omenyje.

A tai tik pradžia ReALM galimybių. Komandos, tokios kaip „Paleisk paskutinę grojaraštį“, leistų intuityviai valdyti multimedijos programas ir išmaniuosius namų prietaisus. ReALM taip pat galėtų leisti Siri suprasti pokalbių kontekstą ir komandų istoriją, kad asistentas reaguotų atitinkamai į ankstesnius vartotojo prašymus. Tai žingsnis link intelektualių agentų, priartinantis mus ne tiek prie dirbtinio intelekto, kuris supranta mūsų užklausas, kiek prie tokio, kuris sugeba vykdyti komandas.

Ir tai tik pradžia, ką ReALM gali padaryti. Komandos, tokios kaip “paleisk paskutinę grojaraštį”, leistų intuityviai valdyti multimedijos programas ir išmaniuosius namų prietaisus. ReALM taip pat galėtų leisti Siri suprasti pokalbių kontekstą ir komandų istoriją, kad asistentas reaguotų atitinkamai į ankstesnius vartotojo prašymus. Tai žingsnis link intelektualių agentų, priartinantis mus ne tiek prie dirbtinio intelekto, kuris supranta mūsų užklausas, kiek prie tokio, kuris sugeba vykdyti komandas.

Deja, „Android“ įrenginių vartotojai turės palaukti. Šiuo metu nėra informacijos apie „Google“ planus pridėti „Gemini“ galimybes prie „Google Assistant“. „Google Gemini“ programa „Android“ įrenginiams buvo sukurta (https://play.google.com/store/apps/details?id=com.google.android.apps.bard&hl=en_US), tačiau ji dar nėra prieinama už JAV ribų.

Šaltinis: Google Play (https://play.google.com/store/apps/details?id=com.google.android.apps.bard&hl=en_US)

Santrauka

ReALM yra „Apple“ novatoriškas požiūris į konteksto atpažinimo problemos sprendimą balso asistentams. Vietoj to, kad remtųsi vaizdų apdorojimu, šis kalbos modelis paverčia skirtingus kontekstų tipus į tekstinę reprezentaciją, kurią vėliau apdoroja kalbos užduotyje. Šis požiūris užtikrina ne tik didelį atpažinimo tikslumą, bet ir galimybę veikti mobiliuosiuose įrenginiuose, išlaikant vartotojų privatumą.

Leidimas Siri pasiekti ReALM gali suteikti natūralesnes ir kontekstines balso sąveikas, svarbus žingsnis link tikrų intelektualių asistentų. Su ReALM, Siri galės iš karto reaguoti į komandas, susijusias su ekrano elementais, programomis ir fono procesais. Vienas dalykas yra aiškus – kontekstinio suvokimo gerinimas asistentuose yra raktas į tikrų intelektualių ir natūralių balso sąveikų kūrimą, o ReALM neabejotinai yra svarbus žingsnis šia linkme.

Jei jums patinka mūsų turinys, prisijunkite prie mūsų užimtų bičių bendruomenės Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok.