Google Genie — generatyvinis dirbtinio intelekto modelis, kuris kuria visiškai interaktyvias pasaulius iš vaizdų | AI versle #123

Kas yra Google Genie?

Google Genie (https://sites.google.com/view/genie-2024/) yra pagrindinis pasaulio modelis, sukurtas DeepMind. Tai generatyvus AI modelis, apmokytas daugiau nei 30 000 valandų viešai prieinamo 2D platforminių žaidimų vaizdo medžiagos. Jo pagrindinė savybė yra gebėjimas generuoti visiškai interaktyvias, žaidžiamas aplinkas tiesiai iš vienos nuotraukos, nuotraukų ir net ranka pieštų eskizų.

Šaltinis: Genie: Generatyvios interaktyvios aplinkos (https://arxiv.org/abs/2402.15391)

Kaip tai įmanoma? Genie naudoja nesupervizuotą mokymosi techniką, kad įgytų gebėjimą tiksliai valdyti aplinką remiantis tik vaizdo medžiaga. Žmogaus veiksmų žymėjimas nėra būtinas. Naudodamas specialų veiksmų kodavimo modulį, jis fiksuoja subtilius pokyčius tarp nuoseklių vaizdo kadrų ir juos priskiria vidinėms judėjimo reprezentacijoms, tokioms kaip šuolis ar sukimas į kairę. Dinamikos modelis tada generuoja kitą kadrą sekoje remdamasis koduotais veiksmais.

Kaip rezultatas, Genie gali kurti visiškai valdomas, interaktyvias žaidimų aplinkas iš bet kokių vizualinių duomenų. Kiekvienas žaidėjo judesys generuoja naują, unikalų kadrą realiu laiku, sukuriant sklandžią, žaidžiamą sesiją. Tai tikrai didelė inovacija, leidžianti mums kurti visą interaktyvią pasaulį iš vaizdų ar teksto.

Kodėl Genie yra novatoriškas?

Genie inovacija slypi kelių pagrindinių elementų derinyje viename modelyje:

• generatyvūs vaizdo modeliai, tokie kaip Phenaki (https://phenaki.video/), TECO (https://wilson1yan.github.io/teco/) arba maskvit (https://arxiv.org/abs/2206.11894), kurie gali prognozuoti būsimus sekoje esančius kadrus remiantis įvesties kadrais ir tekstu, tačiau nesuteikia aktyvios kontrolės galimybių,
• pasaulio modeliai, kurie orientuojasi į būsimų aplinkos būsenų prognozavimą remiantis agento veiksmais, tačiau reikalauja žmonių pateiktų duomenų,
• nesupervizuotas mokymasis, leidžiantis Genie mokytis tiek aplinkos dinamikos, tiek veiksmų erdvės tik iš žalių vaizdo duomenų, be žmogaus veiksmų etikečių.

Nors kiekviena iš šių sričių buvo tiriama anksčiau, Genie yra pirmasis modelis, kuris jas sujungia, kad išmoktų valdomas aplinkas tiesiai iš vaizdo medžiagos. Šis precedento neturintis požiūris į modelių mokymą be žmogaus priežiūros yra pagrindinė Genie inovacija. Tai atveria duris naudoti didžiulį vaizdo kiekį, prieinamą internete, kaip mokymo šaltinį AI modeliams, ir pašalina kliūtis, susijusias su ribotu etiketėmis pažymėtų duomenų prieinamumu.

Generatyvių vaizdo modelių, pasaulio modelių ir nesupervizuoto mokymosi derinys viename sprendime reiškia esminį pažangą dirbtinio intelekto plėtroje. Genie demonstruoja, kad pažangūs AI sistemos gali mokytis sudėtingų elgsenų ir aplinkų tiesiai iš struktūrizuotų duomenų, be rankinio žymėjimo. Tai yra svarbus žingsnis link tikro dirbtinio bendro intelekto (AGI) pasiekimo.

Šaltinis: Google Genie (https://sites.google.com/view/genie-2024/)

Galimi Google Genie taikymai

Google Genie galimybės toli gražu neapsiriboja vaizdo žaidimų generavimu. Šis novatoriškas AI modelis gali rasti taikymą daugelyje sričių:

• įrankis animatoriams – tiesiog įkelkite vaizdą, eskizą ar trumpą teksto aprašymą, ir Genie sukurs nuoseklią animaciją,
• neribotas mokymo šaltinis AI agentams – su gebėjimu generalizuoti visiškai naujose srityse, Genie siūlo begalinį iššūkių baseiną, kuriame ateities AI sistemos gali mokytis. Įvairovės trūkumas mokymo aplinkose iki šiol buvo viena iš pagrindinių kliūčių kuriant bendrus AI agentus,
• fizinės simuliacijos robotikai – tyrimai parodė, kad Genie sugeba ne tik valdyti virtualius robotus, bet ir realizuoti deformuojamų objektų fizines savybes. Tai gali turėti didžiulį poveikį robotikos ir fizinių simuliacijų plėtrai,
• taikymai kūrybinėse industrijose – Genie gali palengvinti interaktyvių meno instaliacijų, virtualių parodų ar filmų kūrimą. Tiesiog įkelkite eskizą, ir modelis sukurs visiškai valdomą 3D pasaulį, paruoštą tyrinėjimui.

Tačiau šios technologijos galimi iššūkiai ir apribojimai neturėtų būti ignoruojami. Dabartiniame plėtros etape Genie geriausiai veikia siauriose srityse, tokiose kaip 2D platforminiai žaidimai. Išplėtimas į sudėtingesnes 3D aplinkas reikalauja papildomų tyrimų ir optimizavimo. Be to, kyla rizika, kad ši technologija gali būti piktnaudžiaujama kuriant žalingą ar pavojingą turinį. Todėl labai svarbu sukurti tvirtą etinį ir teisinį pagrindą, kuris reguliuotų tokių AI modelių plėtrą ir naudojimą.

Šaltinis: Google Genie (https://sites.google.com/view/genie-2024/)

Santrauka

Leidžiant kurti visiškai interaktyvias aplinkas tiesiai iš vizualinių duomenų, be poreikio rankiniu būdu žymėti veiksmus, Google Genie atstovauja tikram proveržiui generatyviame dirbtiniame intelekte. Šis pagrindinis pasaulio modelis suteikia galimybę išreikšti vaizdus žaidžiamų virtualių realybių forma, kurias gali tyrinėti ir valdyti žmogus ar AI agentas.

Genie potencialas yra milžiniškas – nuo įrankių žaidimų kūrėjams, iki neriboto mokymo duomenų šaltinio AI, iki fizinių simuliacijų robotikai. Tai taip pat svarbus žingsnis link AGI. Kai tokie modeliai kaip Genie toliau vystosi, riba tarp realaus ir virtualaus pasaulio tampa vis labiau skysta.

Jei jums patinka mūsų turinys, prisijunkite prie mūsų užimtų bičių bendruomenės Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok.