Новая модель test time training от Nvidia

Компания Nvidia вместе с учеными из Стэнфорда создали новую AI-модель под названием Test-Time Training (TTT), которая умеет делать минутные видео с сюжетом по текстовому описанию. Они уже поделились кодом этой модели в открытом доступе.

Чтобы показать, на что способна нейросеть, команда обучила ее на 50 часах серий «Тома и Джерри» и попросила сгенерировать новые эпизоды. Исследователи давали AI подробные сценарии в текстовом виде, и модель превращала их в анимацию.

Важный момент: все видео были сгенерированы с первой попытки, без дополнительных правок.

Создатели признают, что в роликах еще есть визуальные дефекты, но объясняют это тем, что использовали сравнительно небольшую модель (5 млрд параметров). Они планируют в будущем выпустить улучшенную версию, которая сможет создавать более длинные и качественные видео, когда появится больше вычислительных ресурсов.

Мнения уже разделились: одни люди считают, что AI-анимация сильно уступает оригинальным мультфильмам по качеству персонажей и юмора, а другие видят в этой технологии будущее индустрии анимации.