Автор: Давид Свитов
В этой статье мы разберём историю и перспективы такого волнующего явления, как Метавёрс. Обсудим, какие технологии нужны для его появления, а также их текущий уровень развития. В частности рассмотрим недавние статьи с топовых конференций из области 3D Computer Vision, где были предложены алгоритмы и методы, приближающие Метавёрс.
Статья состоит из трёх блоков. Их можно читать по отдельности в зависимости от вашего интереса к каждому из них:
Само понятие “Метавселенная” довольно размыто — это всё, что можно описать как “расширенная вселенная”. А дальше каждый имеет в виду здесь что-то своё в зависимости от того, чем он торгует. У одного это такая социальная сеть, у другого — дополненная реальность, у третьего — что-то вроде игры. Мне больше всего нравится её интерпретация как социальной сети. В любом случае “Метавселенная” — такой новый мир, где люди могут взаимодействовать, сидя на диване.
Сама идея существовала довольно долго в виде фантастических романов и абстрактных концепций виртуального мира. Но, скорее всего, уже нашему поколению удастся прикоснуться к Метавёрсу. Да, можно долго спорить, построит ли Цукерберг новый Метафейсбук, но Метавёрс в каком-то “народном” формате (Метавёрс от Фортнайт, прости господи) мы точно застанем. Это тоже своего рода Метавёрс — сейчас школьники накупят VR очков, и можно будет считать, что он случился 🙂
Рисунок 1. Выступление модного молодёжного музыкального исполнителя в Метавёрсе от Epic Games, также широко известной, как Fortnite
Конечно, концертами реперов в Фортнайте Метавёрс не ограничится. Хотя и это очень важный аспект социальной жизни, без которого никак нельзя. Ещё есть мнение, что такой новый способ взаимодействия людей поможет развить другие области нашей жизни. Сделать образование нагляднее и интереснее. Открыть мир более доступным образом. Создать смелые шедевры, если ты художник.
Отдельно выделяется задача telepresence — возможность виртуального участия в важном совещании, на съезде гаражного кооператива или свидании. При этом вы в большей степени будете вовлечены в процесс в сравнении с разглядыванием собеседника в окошке зума. Если собеседников несколько — это особенно удобно. Тогда мы легко переключаем своё внимание между ними, с одной стороны, они помогают себе более раскованной жестикуляцией — с другой. Добавим сюда тот факт, что сейчас активно ведётся работа над всевозможными костюмами обратной связи и другими устройствами. Поэтому в прекрасном будущем для получения ободряющего похлопывания по плечу от боса не обязательно нужно будет выходить из дома.
Для наступления прекрасного будущего сначала нужно подготовить технологический фундамент. С целью появления Метавёрса уже проделана серьезная работа в области 3DCV и компьютерной графики, но впереди ещё больше новых и интересных задач. Об этом мы подробно поговорим в следующем блоке. Не будем забывать о полезном вкладе наших коллег — сетевых инженеров, электронщиков, сисадминов и даже блокчейн-инженеров (деньги нам в Метавёрсе нужны). В нашей статье мы обсудим исключительно 3DCV-шную часть, а перед остальными снимаем шляпу 😊
Про окружение
Мы не будем погружаться глубоко в историю компьютерной графики, но отметим, что до недавнего времени картинку в играх и фильмах представляли как набор трёхмерных полигонов с текстурами. Да, этот метод позволил Кемерону нарисовать Аватара, но он очень дорогой и времязатратный. И если речь идёт про отрисовку в реальном времени — здесь мы ограничены в фотореализме, который можем выжать из такого представления.
Рисунок 2. Слева: рендеринг одного кадра в течение 2 месяцев. Справа: 15 FPS
NeRF
Выходом из наклёвывающегося тупика стали неявные представления в графике. Основная идея: описать сцену или объект некоторыми векторами признаков / запечь в весах нейронки. Затем такую нейронку можно использовать для фотореалистичной отрисовки объектов с новых ракурсов или с новой анимацией.