Авторы: Иван, Александр Лекомцев Редактура: Давид Свитов
Летом состоится ежегодная конференция SIGGRAPH, посвященная инновациям в области 3D CV. Именно на SIGGRAPH каждый год формируется будущее трехмерной графики: крупнейшие компании показывают лучшие разработки и последние технологии в области. (одни только инженеры NVIDIA подали на конференцию больше 15 работ!) Многие участники уже поделились своими публикациями для конференции в соц. сетях, а в нашей статье мы коротко описали самые интересные из них.
Тема: AI для индустрии видеоигр.
Абстракт: Обученная (по двухмерным видеоиграм в теннис + с соблюдением законов физики) 3D-модель человека, играющего в теннис.
Описание: Подход основан на иерахических моделях. Они разделяют две части: высокоуровневое планирование действий игрока и низкоуровневую имитацию движений. Для обучения взяли огромный датасет двухмерных видео с разных камер.
Система смогла изучить разные техники и виды ударов без их явной разметки. Смоделированные теннисисты могут точно отбивать мяч в заданные позиции на виртуальном корте и даже играть в длительные розыгрыши с другими персонажами. Применять можно в играх, VR и даже для тренировок теннисистов.
Тема: Аватары.
Абстракт: Фотореалистичный 3D-аватар головы человека по одной фотке с реалтайм рендером на ПК.
Описание: Статья предлагает подход по созданию фотореалистичного 3D-аватара головы человека по одной фотографии с real-time рендером на ПК (порядка 24 fps), что открывает новые возможности для AR/VR областей и видеоконференций.
Пример генерации сцены по одной фотографии (источник)
Основная идея в использовании мощного EG3D гана для генерации триплетного представления сцены и обучении сетки точному воспроизводству результатов гана (некая разновидность дистилляции, но с фишками). Из интересностей:
Тема: Аватары.
Абстракт: Реалистичные аватары в реальном времени. Лицо, руки и остальное тело моделируются отдельно. Также отдельными нейронными сетями определяется геометрия тела и цвета.