Një ekip në Universitetin e Tokios ka zbuluar Alter3, një robot humanoid që mund të kryejë lëvizje duke përdorur GPT-4 Large Language Model (LLM). Alter3 përdor mjetin më të fundit Hap AI për të marrë në mënyrë dinamike poza të ndryshme, nga një pozë selfie deri tek fantazma, të gjitha pa pasur nevojë për hyrje të programuara paraprakisht në bazën e të dhënave.
“Përgjigja e Alter3 ndaj përmbajtjes bisedore duke përdorur shprehjet e fytyrës dhe gjestet është një përparim i rëndësishëm në robotikën humanoide që përshtatet lehtësisht me androidët e tjerë me ndryshime minimale”, thanë studiuesit.
Në fushën e integrimit të LLM me robotët, fokusi është në përmirësimin e komunikimit bazë dhe modelimin e përgjigjeve realiste. Studiuesit po hulumtojnë gjithashtu në aftësitë e LLM për të mundësuar robotët të kuptojnë dhe të ekzekutojnë udhëzime komplekse, duke rritur kështu funksionalitetin e tyre.
Tradicionalisht, menaxhimi i nivelit të ulët punon është i lidhur me harduerin dhe qëndron jashtë fushëveprimit të korporatave LLM. Kjo krijon vështirësi për menaxhimin e drejtpërdrejtë të punëve të bazuara në LLM. Për të zgjidhur këtë problem, ekipi japonez ka zhvilluar një metodë për konvertimin e shprehjeve të lëvizjeve njerëzore në kod të kuptueshëm për Android. Kjo do të thotë që roboti mund të gjenerojë në mënyrë të pavarur sekuenca veprimesh me kalimin e kohës pa pasur nevojë që zhvilluesit të programojnë individualisht secilën pjesë të trupit.
Gjatë ndërveprimit, një person mund të japë komanda Alter3 të tilla si "Bëni një selfie me iPhone tuaj". Më pas, roboti fillon një sërë kërkesash për GPT-4 për të marrë udhëzime mbi hapat e nevojshëm. GPT-4 do ta përkthejë këtë në kodin Python që lejon punën të "kuptojë" dhe të kryejë lëvizjet e nevojshme. Kjo risi lejon Alter3 të lëvizë pjesën e sipërme të trupit të tij, ndërsa pjesa e poshtme e trupit të tij mbetet e palëvizshme, e ngjitur në mbajtëse.
Alter3 është përsëritja e tretë në serinë e robotëve humanoidë të Alter që nga viti 2016, me 43 aktivizues përgjegjës për shprehjet e fytyrës dhe lëvizjet e gjymtyrëve të mundësuar nga ajri i kompresuar. Ky konfigurim ofron një gamë të gjerë gjestesh shprehëse. Roboti nuk mund të ecë, por mund të imitojë lëvizjet tipike të ecjes dhe vrapimit.
Alter3 demonstroi gjithashtu aftësinë për të kopjuar pozat njerëzore duke përdorur kamerën dhe kornizën OpenPose. Roboti rregullon nyjet e tij në pozicionet e vëzhguara dhe ruan imitimet e suksesshme për përdorim të mëvonshëm. Ndërveprimi me një njeri çoi në qëndrime më të larmishme, duke mbështetur idenë se lëvizjet e ndryshme vijnë nga imitimi i njeriut, ngjashëm me mënyrën se si të porsalindurit mësojnë përmes imitimit.
Përpara LLM-së, studiuesit duhej të kontrollonin me kujdes të 43 aktivizuesit për të rikrijuar pozën e një personi ose për të simuluar një sjellje, si p.sh. servirja e çajit ose luajtja e shahut. Kjo kërkonte rregullime të shumta manuale, por AI ndihmoi në çlirimin e ekipit nga kjo rutinë. “Ne presim që Alter3 të angazhohet në mënyrë efektive në dialog duke shfaqur shprehje të fytyrës dhe gjeste që lidhen me kontekstin. Ajo demonstroi aftësinë për të pasqyruar emocionet, për shembull, për të treguar trishtim ose lumturi si përgjigje, duke ndarë emocionet me ne," thonë studiuesit.
Lexoni gjithashtu: