Meta AI* разработала компактную ИИ-модель под названием MobileLLM. Несмотря на меньшее количество параметров, она демонстрирует такую же эффективность, как и другие модели ИИ, что делает ее подходящей для смартфонов с меньшей вычислительной мощностью.
Исследовательская группа (в нее входили сотрудники Meta Reality Labs, PyTorch и исследовательского подразделения Meta AI FAIR*) сосредоточилась на оптимизации моделей с менее чем одним миллиардом параметров. Это лишь малая часть размера таких моделей, как GPT-4, которая, по оценкам, содержит более триллиона параметров.
В отличие от GPT-4, MobileLLM достигает высокой производительности благодаря уникальным технологическим решениям. Среди них — акцент на глубине модели, совместное использование вложений, групповой запрос и мгновенное распределение веса по блокам. Эти улучшения позволили MobileLLM превзойти предыдущие модели на 2,7% – 4,3% по стандартным рабочим нагрузкам.
MobileLLM появилась спустя несколько месяцев после того, как Microsoft разработала аналогичную модель ИИ – Phi-3-mini.
* Деятельность Meta (руководящая компания Instagram и Facebook) запрещена в России.
