🚀Новинка от Meta FAIR: сегодня мы представляем Seamless Interaction — исследовательский проект, посвященный моделированию межличностной динамики. Проект включает в себя семейство аудиовизуальных поведенческих моделей, разработанных в сотрудничестве с лабораторией Codec Avatars + Core AI lab, которые преобразовывают речь между двумя людьми в разнообразные, выразительные жесты всего тела и активное поведение слушания, позволяя создавать полностью воплощенные аватары в 2D и 3D. Эти модели имеют потенциал для создания более естественных, интерактивных виртуальных агентов, которые могут участвовать в социальных взаимодействиях, подобных человеческим, в различных условиях. Подробнее:

Мы также публично выпускаем Набор Данных о Бесшовном Взаимодействии, в котором участвуют более 4000 участников и более 4000 часов взаимодействий, что делает его крупнейшим известным видеоданными своего рода. Этот набор данных позволяет нашим аудиовизуальным поведенческим моделям понимать и генерировать социальные поведения, похожие на человеческие, и представляет собой важный шаг к пониманию и моделированию того, как люди общаются и ведут себя, когда они вместе. Мы делимся им здесь, чтобы помочь исследовательскому сообществу продвинуть свою работу:

Еще одна вещь... вы также можете ознакомиться с этим техническим отчетом, в котором подробно описывается наша методология создания моделей движения на основе набора данных, а также рамки оценки для этого типа модели:

Перейдите на наш блог, чтобы узнать полную историю: