Meta'ning flagman AI modeli 16 000 Nvidia H100 GPU-dan foydalangan holda 15 trillion tokendan olingan ma'lumotlarga o'rgatilgan. U 405 milliard parametrga ega, bu atama muammoni hal qilish ko'nikmalarini tavsiflash uchun ishlatiladi. Qiymat qanchalik baland bo'lsa, shuncha yaxshi deb ishoniladi. Tizim kod yozish, asosiy matematik savollarga javob berish yoki hujjatlarni umumlashtirish kabi bir qator vazifalarni bajarishi mumkin.

"Llama 3.1 405B eng yaxshi yopiq manba modellari bilan raqobatlashadigan tengsiz moslashuvchanlik, boshqaruv va zamonaviy imkoniyatlarga ega bo'lgan o'ziga xos sinfga kiradi", deyiladi e'londa.

Llama 3.1 405B faqat matn bilan ishlashi mumkin. Ishlab chiquvchilar multimodallik bilan tajriba o'tkazmoqdalar, ammo hali tasvirlar, videolar yoki nutqlar bilan ishlash uchun ommaviy modellar mavjud emas.

Meta’ning yangi AI tizimi oldingi tizimlarga qaraganda kattaroq kontekst oynasiga ega – 128 000 ta token, bu taxminan 50 betlik kitobga teng. Kattaroq kontekst ilgari muhokama qilingan mavzularni unutmasdan suhbatni uzoqroq davom ettirish qobiliyatini anglatadi.

Llama 3.1 405B ishlashi uchun kuchli uskuna talab qilinadi. Flagman neyron tarmog'i bilan bir qatorda Meta ikkita kichik Llama 3.1 8B va Llama 3.1 70B modellarini taqdim etdi. Ular, shuningdek, 128 000 tokenli kontekst oynasiga ega.