Multimodalinė dirbtinio intelekto sistema. Nauji dirbtinio intelekto naudojimo būdai versle | DI versle #21

Kas yra multimodalinė dirbtinio intelekto sistema?

Multimodalinė dirbtinio intelekto sistema yra labai pažangi dirbtinio intelekto forma, kuri imituoja žmogaus gebėjimą interpretuoti pasaulį naudojant turinį ir duomenis iš skirtingų pojūčių. Kaip žmonės supranta tekstą, vaizdus ir garsus, multimodalinė dirbtinio intelekto sistema integruoja šiuos skirtingus duomenų tipus, kad suprastų kontekstą ir sudėtingą informaciją. Pavyzdžiui, versle tai gali leisti geriau suprasti klientų nuomones analizuojant tiek tai, ką jie sako, tiek kaip jie tai išreiškia per balso toną ar veido išraišką.

Tradiciškai dirbtinio intelekto sistemos yra unimodalinės, tai reiškia, kad jos specializuojasi viename duomenų tipe, pavyzdžiui, tekste ar vaizduose. Jos gali greitai apdoroti didelius duomenų kiekius ir pastebėti modelius, kurių žmogaus intelektas negali atpažinti. Tačiau jos turi rimtų apribojimų. Jos yra nejautrios kontekstui ir mažiau geba spręsti neįprastas ir dviprasmiškas situacijas.

Štai kodėl multimodalinė dirbtinio intelekto sistema žengia žingsnį toliau, integruodama modalumus. Tai leidžia giliau suprasti ir kurti daug įdomesnius tarpusavio veiksmus tarp žmonių ir dirbtinio intelekto.

Ką gali multimodalinė dirbtinio intelekto sistema?

Šiandien sukurti dirbtinio intelekto modeliai naudoja šiuos modalumų poras:

• nuo teksto iki vaizdo – tokia multimodalinė dirbtinio intelekto sistema gali kurti vaizdus remiantis tekstiniais nurodymais; tai yra pagrindinė žinomo Midjourney, OpenAI sukurtos DALL-E 3, prieinamos naršyklėje kaip Bing Image Creator, pažangios Stable Diffusion ar jauniausio įrankio šeimoje, Ideogram, galimybė, kuris ne tik supranta tekstinius nurodymus, bet taip pat gali įdėti tekstą į vaizdą:


Šaltinis: Ideogram (https://ideogram.ai)

Multimodalinės dirbtinio intelekto modeliai taip pat sugeba sekti tekstinius nurodymus ir vaizdą, kuriuo jie „įkvėpti“, tuo pačiu metu. Jie siūlo dar įdomesnius, tiksliau apibrėžtus rezultatus ir sukurtų vaizdų variacijas. Tai labai naudinga, jei norite gauti šiek tiek kitokią grafiką ar reklamą, arba pridėti ar pašalinti vieną elementą, pavyzdžiui, kavos puodelį:



Šaltinis: Ideogram (https://ideogram.ai)

• Nuotraukos į tekstą – dirbtinis intelektas gali padaryti daug daugiau nei tik atpažinti ir versti tekstą, matomą vaizde, arba rasti panašų produktą. Jis taip pat gali apibūdinti vaizdą žodžiais – kaip tai daro Midjourney, kai įvedate /describe komandą, Google Bard ir Salesforce modelis (pagrindinė funkcija – kurti automatizuotus produktų ir vaizdų aprašymus elektroninės prekybos svetainėse,


Šaltinis: HuggingFace.co (https://huggingface.co/tasks/image-to-text)

• nuo balso iki teksto – multimodalinė dirbtinio intelekto sistema taip pat leidžia naudoti balso komandas Google Bard, tačiau geriausiai tai veikia Bing Chat, taip pat ChatGPT, dėka puikios Whisper API, kuri sugeba atpažinti ir įrašyti kalbą kartu su skyrybos ženklais keliomis kalbomis, kas, be kita ko, gali labai palengvinti tarptautinių klientų aptarnavimo centrų darbą, taip pat paruošti greitą susitikimų transkripciją ir verslo pokalbių vertimą į kitas kalbas realiu laiku,
• nuo teksto iki balso – ElevenLabs įrankis leidžia mums bet kokį pasirinktą tekstą paversti realistiškai skambančiu pasakymu, ir net „balso klonavimą“, kurio metu galime išmokyti dirbtinį intelektą jo garsą ir išraišką, kad sukurtume bet kokio teksto įrašą užsienio kalba rinkodarai ar pristatymams užsienio investuotojams, pavyzdžiui,
• nuo teksto iki vaizdo – tekstą į vaizdą su kalbančiu avataru galima paversti D-ID, Colossyan ir Synthesia įrankiuose, tarp kitų,
• nuo vaizdo iki vaizdo – vaizdų, įskaitant muzikinius vaizdo įrašus, generavimas iš vaizdų ir tekstinių nurodymų jau šiandien yra įmanomas naudojant Kaiber, o Meta netrukus paskelbs Make-A-Video įrankio išleidimą,
• vaizdas ir 3D modelis – tai ypač perspektyvi multimodalinės dirbtinio intelekto sritis, kuria domisi Meta ir Nvidia, leidžianti kurti realistiškus avatarus iš nuotraukų, taip pat kurti 3D modelius objektų ir produktų, naudojant Masterpiece Studio (https://masterpiecestudio.com/masterpiece-studio-pro), NeROIC (https://zfkuang.github.io/NeROIC/), 3DFY (https://3dfy.ai/), su kuriais, pavyzdžiui, dvimatį prototipinį produktą galima grąžinti į kamerą su kita puse, greita 3D vizualizacija gali būti sukurta iš baldų eskizo arba net tekstinio aprašymo:


Šaltinis: NeROIC (https://zfkuang.github.io/NeROIC/resources/material.png)

• nuo vaizdo iki judėjimo erdvėje – šis modalumas leidžia multimodaliniam dirbtiniam intelektui pasiekti už ekranų į daiktų interneto (IoT), autonominių transporto priemonių ir robotikos sritį, kur prietaisai gali atlikti tikslius veiksmus, dėka pažangios vaizdų atpažinimo ir gebėjimo reaguoti į aplinkos pokyčius.

Taip pat vykdomi eksperimentai su multimodaliniu dirbtiniu intelektu, verčiančiu muziką į vaizdus, pavyzdžiui (https://huggingface.co/spaces/fffiloni/Music-To-Image), tačiau pažvelkime atidžiau į multimodalinio dirbtinio intelekto verslo taikymus. Taigi, kaip multimodalumo klausimas pasireiškia populiariausiuose dirbtinio intelekto pokalbių robotuose, ChatGPT ir Google Bard?

Multimodalumas Google Bard, BingChat ir ChatGPT

Google Bard gali apibūdinti paprastus vaizdus ir nuo 2023 m. liepos mėn. yra aprūpintas balso komunikacija, kai jis pasirodė Europoje. Nepaisant kintamos vaizdų atpažinimo rezultatų kokybės, tai iki šiol buvo viena iš stiprybių, skiriančių „Google“ sprendimą nuo ChatGPT.

BingChat, dėka DALL-E 3 naudojimo, gali generuoti vaizdus remiantis tekstiniais ar balso nurodymais. Nors jis negali žodžiais apibūdinti vartotojo pridėtų vaizdų, jis gali juos modifikuoti arba naudoti kaip įkvėpimą naujų vaizdų kūrimui.

2023 m. spalio mėn. OpenAI taip pat pradėjo diegti naujas balso ir vaizdo funkcijas ChatGPT Plus, mokamo įrankio versijoje. Jos leidžia turėti balso pokalbį arba parodyti ChatGPT vaizdą, kad jis žinotų, ko klausi, nereikalinga tiksliai apibūdinti žodžiais.

Pavyzdžiui, galite nufotografuoti paminklą keliaudami ir turėti gyvą pokalbį apie tai, kas jame įdomaus. Arba nufotografuoti savo šaldytuvo vidų, kad sužinotumėte, ką galite paruošti vakarienei su turimais ingredientais, ir paprašyti žingsnis po žingsnio recepto.

3 multimodalinio dirbtinio intelekto taikymai versle

Vaizdų aprašymas gali padėti, pavyzdžiui, paruošti prekių inventorizaciją remiantis vaizdo stebėjimo kamerų duomenimis arba identifikuoti trūkstamus produktus parduotuvės lentynose. Objektų manipuliavimas gali būti naudojamas trūkstamų prekių, identifikuotų ankstesniame etape, papildymui. Bet kaip multimodaliniai pokalbių robotai gali būti naudojami versle? Štai trys pavyzdžiai:

1. Klientų aptarnavimas: Multimodalinė pokalbių sistema, įdiegta internetinėje parduotuvėje, gali tarnauti kaip pažangus klientų aptarnavimo asistentas, kuris ne tik atsako į tekstinius klausimus, bet ir supranta vaizdus bei klausimus, užduodamus balsu. Pavyzdžiui, klientas gali nufotografuoti sugadintą produktą ir atsiųsti jį pokalbių robotui, kuris padės identifikuoti problemą ir pasiūlys tinkamą sprendimą.
2. Socialinių tinklų analizė: Multimodalinė dirbtinio intelekto sistema gali analizuoti socialinių tinklų įrašus, kuriuose yra tiek teksto, tiek vaizdų ir net vaizdo įrašų, kad suprastų, ką klientai sako apie įmonę ir jos produktus. Tai gali padėti įmonei geriau suprasti klientų atsiliepimus ir greičiau reaguoti į jų poreikius.
3. Mokymas ir plėtra: ChatGPT gali būti naudojamas darbuotojų mokymui. Pavyzdžiui, jis gali vykdyti interaktyvias mokymo sesijas, kurios apima tiek tekstą, tiek vaizdus, kad padėtų darbuotojams geriau suprasti sudėtingus konceptus.

Multimodalinio dirbtinio intelekto ateitis versle

Puikus ateities multimodalinio dirbtinio intelekto pavyzdys yra įmonės verslo procesų optimizavimas. Pavyzdžiui, dirbtinio intelekto sistema galėtų analizuoti duomenis iš įvairių šaltinių, tokių kaip pardavimų duomenys, klientų duomenys ir socialinių tinklų duomenys, kad identifikuotų sritis, kuriose reikia tobulinti, ir pasiūlytų galimus sprendimus.

Kitas pavyzdys yra multimodalinio dirbtinio intelekto naudojimas logistikos organizavimui. Sujungiant GPS duomenis, sandėlio būseną, perskaitytą iš kameros, ir pristatymo duomenis, siekiant optimizuoti logistikos procesus ir sumažinti verslo išlaidas.

Daugelis šių funkcijų jau šiandien taikomos sudėtingose sistemose, tokiose kaip autonominiai automobiliai ir išmanieji miestai. Tačiau jos dar nebuvo taikomos tokiu mastu mažesniuose verslo kontekstuose.

Santrauka

Multimodalumas, arba gebėjimas apdoroti kelis duomenų tipus, tokius kaip tekstas, vaizdai ir garsas, skatina gilesnį kontekstinį supratimą ir geresnį tarpusavio sąveiką tarp žmonių ir dirbtinio intelekto sistemų.

Atviras klausimas lieka, kokios naujos modalumų kombinacijos gali atsirasti artimiausiu metu? Pavyzdžiui, ar bus galima sujungti teksto analizę su kūno kalba, kad dirbtinis intelektas galėtų numatyti klientų poreikius, analizuodamas jų veido išraiškas ir gestus? Tokia inovacija atveria naujas verslo perspektyvas, padedant patenkinti nuolat kintančius klientų lūkesčius.

Jei jums patinka mūsų turinys, prisijunkite prie mūsų užimtų bičių bendruomenės Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok.