Обновлено 09.07.2024 Новости #Meta

ИИ в кармане: Meta представила модель для смартфонов

Meta AI* разработала компактную ИИ-модель под названием MobileLLM. Несмотря на меньшее количество параметров, она демонстрирует такую же эффективность, как и другие модели ИИ, что делает ее подходящей для смартфонов с меньшей вычислительной мощностью.

Исследовательская группа (в нее входили сотрудники Meta Reality Labs, PyTorch и исследовательского подразделения Meta AI FAIR*) сосредоточилась на оптимизации моделей с менее чем одним миллиардом параметров. Это лишь малая часть размера таких моделей, как GPT-4, которая, по оценкам, содержит более триллиона параметров.

В отличие от GPT-4, MobileLLM достигает высокой производительности благодаря уникальным технологическим решениям. Среди них — акцент на глубине модели, совместное использование вложений, групповой запрос и мгновенное распределение веса по блокам. Эти улучшения позволили MobileLLM превзойти предыдущие модели на 2,7% – 4,3% по стандартным рабочим нагрузкам.

MobileLLM появилась спустя несколько месяцев после того, как Microsoft разработала аналогичную модель ИИ – Phi-3-mini.

 

 * Деятельность Meta (руководящая компания Instagram и Facebook) запрещена в России.  

Свежие новости