Platformat Meta në ngjarjen vjetore Meta Connect në Kaliforni prezantuar disa veçori të reja të AI për aplikacionet e saj të njohura Facebook, Instagram dhe WhatsApp, por risia më mbresëlënëse nga gjigandi i teknologjisë mund të ketë kaluar pa u vënë re nga shumë njerëz. Po flasim për modelin Llama 2 Long AI.
Një ekip studiuesish nga kompania Meta publikoi disi në heshtje një artikull në të cilin ata prezantuan një model të ri të inteligjencës artificiale, Llama 2 Long, i aftë për të gjeneruar përgjigje koherente dhe përkatëse për pyetjet e gjata të përdoruesve. Më së shumti, thonë ata, ai tejkalon disa nga konkurrentët më të mirë në industri.
Llama 2 Long është një zgjerim flaka 2, një model i AI me burim të hapur Meta i lëshuar gjatë verës që mund të mësojë nga një shumëllojshmëri burimesh të dhënash dhe të kryejë një sërë detyrash si kodimi, matematika, të kuptuarit e gjuhës dhe më shumë. Megjithatë, Llama 2 Long u trajnua për më shumë të dhëna që përmbajnë tekste më të gjata dhe ky algoritëm u modifikua për të trajtuar sekuenca më të gjata informacioni. Kjo e lejon atë të tejkalojë GPT-3.5 Turbo dhe Claude 2 të OpenAI, të cilat kanë kufizime në sasinë e kontekstit që mund të përdorin për të gjeneruar përgjigje.
Hulumtuesit Meta përdori versione të ndryshme të Llama 2 - nga 7 miliardë në 70 miliardë parametra, pra vlera që modeli i AI mund të ndryshojë duke mësuar nga të dhënat. Ata shtuan 400 miliardë argumente të tjera (njësi teksti) të dhënash që përmbanin tekste më të gjata se grupi i të dhënave origjinale të modelit. Ata gjithashtu modifikuan pak arkitekturën e modelit të AI duke përdorur teknikën Rotary Position Embedding (RoPE) në mënyrë që modeli të gjenerojë përgjigje të sakta dhe të dobishme duke përdorur më pak informacion dhe memorie sesa metodat e tjera.
Ekipi përdori të mësuarit përforcues nga reagimet njerëzore (RLHF), një metodë ku modeli i AI shpërblehet për përgjigjet e sakta dhe korrigjohet nga vlerësuesit njerëzorë, dhe të dhënat sintetike gjenerohen nga vetë biseda Llama 2. për të përmirësuar performancën e tij në detyra të ndryshme .
Gazeta pretendon se modeli mund të gjenerojë përgjigje me cilësi të lartë ndaj kërkesave të përdoruesve deri në 200 karaktere të gjata, ekuivalente me rreth 40 faqe tekst. Studiuesit thonë se Llama 2 Long është një hap drejt krijimit të modeleve më të përgjithshme dhe të gjithanshme të AI që mund të plotësojnë nevojat komplekse dhe të ndryshme të përdoruesve. Ata gjithashtu njohin implikimet e mundshme etike dhe sociale të modeleve të tilla dhe bëjnë thirrje për kërkime dhe dialog të mëtejshëm se si t'i përdorin ato në mënyrë të përgjegjshme dhe të dobishme.
Lexoni gjithashtu: