Платформа NVIDIA Omniverse и ее особенности

Время на прочтение: 3 мин

Последнее время можно наблюдать как идеология виртуального мира выходит за рамки обычного и привычного его понимания обществом, переходя на совершенного иной уровень восприятия и значимости, формирование концепции метавселенной и попытки ее внедрения в существующую реальность, в процессы различных отраслей экономики.

Под метавселенной («Metaverse») понимается масштабируемая сеть взаимосвязанных виртуальных миров для взаимодействия в реальном времени, где люди могут работать, общаться, вести бизнес, играть и многое другое. Для полного погружения пользователя в виртуальный мир метавселенной используются технологии виртуализации (AR, VR, тактильные датчики и т.д.).

Ключевыми игроками ИТ-индустрии уже несколько лет активно ведется работа по созданию собственной метавселенной и определенные результаты в данном направлении видны довольно отчетливо. Решений, заявленных как метавсленная, на текущий момент, представлено много, однако, по-настоящему крупной пока не существует. Среди наиболее известных здесь можно выделить следующие:

  1. Mesh (от Microsoft, дата выхода – 2021 г.). Платформа для взаимодействия между пользователями в «смешанной реальности» с помощью виртуальных аватаров или голограмм.
  2. Meta Horizon Worlds (от Meta (ex-Facebook1Признана экстремистской на территории РФ ), дата выхода – 2021 г.). Виртуальная среда для общения с друзьями, знакомства с новыми людьми, игры, посещения мероприятий.
  3. Xi Rang (от Baidu, дата выхода – 2021 г.). Платформа создает виртуальную планету в форме ленты Мебиуса, на которой участники могут войти в систему с помощью своих аватаров. Участники смогут видеть, слушать и взаимодействовать с другими людьми с помощью ПК, смартфонов и других переносимых устройств.

Отдельное место в гонке за превосходство по освоению метавселенной занимает NVIDIA. В 2020 г. компания анонсировала выход платформы для создания приложений метавселенной и работы с ними – NVIDIA Omniverse.

NVIDIA Omniverse – модульная и масштабируемая платформа разработки, с помощью которой пользователи могут создавать собственные 3D-конвейеры, цифровых двойников и моделировать виртуальные миры. Основанная на формате Universal Scene Description2Universal Scene Description (USD) — это открытая и расширяемая экосистема для описания, компоновки, моделирования и совместной работы в 3D-мирах (USD) Omniverse позволяет пользователям добиться максимальной совместимости в рамках различных экосистем программного обеспечения для 3D-моделирования.

Платформа предоставляет набор инструментов, с помощью которых можно с высокой точностью воспроизводить симуляцию объектов, физических и технологических процессов, например: создание завода, обучение ИИ, игры и т.д. Кроме того, посредством компонента Nucleus NVIDIA Omniverse дает возможность пользователям одновременно проводить совместную работу в реальном времени над созданием и изменением 3D-контента. Также, Omniverse стремится к универсальному взаимодействию между различными приложениями и поставщиками экосистемы 3D-инструментов и приложений.

В основе технической реализации платформы NVIDIA Omniverse лежат не только сервисы, коннекторы и web-интерфейс, но и специализированные приложения, с помощью которых и выполняется создание метавселенной и обработка поступающих данных. В настоящее время представлено 10 таких приложений:

NVIDIA Omniverse Audio2Face – приложение, которое на основе данных, полученных после распознавания аудиодорожки нейронной сетью, анимирует 3D-персонажи, может управлять их эмоциями.

NVIDIA Omniverse Code – это универсальное приложение, которое служит интегрированной средой разработки, позволяющей разработчикам и опытным пользователям создавать собственные универсальные расширения, приложения или микросервисы.

NVIDIA Omniverse Create – приложение для создания крупномасштабных миров и построения сцен для процессов на основе формата USD. Пользователи могут создавать сложные, физически точные модели и 3D-сцены в режиме реального времени совместно с другими членами команды.

Omniverse XR – приложение для пространственных вычислений, посредством которого можно интерактивно собирать и освещать сцены Omniverse, а также перемещаться по ним в режиме реального времени индивидуально или совместно с командой. Представлена в бета-версии.

NVIDIA DRIVE Sim – это набор инструментов искусственного интеллекта, который позволяет использовать реальные данные в моделировании, что значительно повышает реалистичность и ускоряет производство. NRE превращает собранные видеоданные в интерактивные 3D-тестовые среды где разработчики могут изменять сценарии, добавлять синтетические объекты и применять рандомизацию для создания еще более сложных сцен.

NVIDIA Isaac Sim – масштабируемое приложение для моделирования робототехники и инструмент генерации синтетических данных, обеспечивающий фотореалистичные, физически точные виртуальные среды.

NVIDIA Omniverse Kaolin App – это интерактивное приложение, которое позволяет проверять 3D-наборы данных, взаимодействовать с визуализациями 3D-результатами модели во время обучения нейронной сети и отображать синтетические наборы данных. 

NVIDIA Omniverse Machinima – приложение, которое позволяет пользователям совместно и в реальном времени анимировать персонажи вместе с их окружением и управлять ими внутри виртуальных миров. Представлена в бета-версии.

RTX Remix – платформа, с помощью которой можно записывать игровые ассеты, создавать ремастеры игр на RTX с трассировкой лучей и DLSS.

Omniverse View – это приложение, позволяющее пользователям проводить совместную оценку фотореалистичных 3D-проектов, анализировать сцены, созданные в Omniverse Create.

Платформа является достаточно мощным рабочим программным продуктом с большим количеством наборов инструментов и пресетов объектов различных видов, обладающих свойствами реальных объектов. Но компания на этом не останавливается и продолжает набирать обороты в совершенствовании платформы, в т.ч. коррелируя ее с технологиями искусственного интеллекта и RTX с акцентом применения в транспортной отрасли.

NVIDIA Omniverse все больше находит свое применение, уже порядка 700 компаний в той или иной степени используют ее в своей профессиональной деятельности. На одном из заводов BMW создан цифровой двойник способный моделировать масштабное производство и функционирующий полностью в режиме реального времени. Компания Ericsson, создала цифрового двойника уровня города, для моделирования воздействие окружающей среды и объектов на сети 5G в целях обеспечения наилучшей производительности и покрытия. На выставке CES 2023 Mercedes-Benz озвучил желание оцифровки своего производственного процесса, используя платформу NVIDIA Omniverse. Использование цифровых двойников дает возможность компаниям минимизировать издержки при планировании производственного процесса, проводить настройку процессов более эффективно.

  • 1
    Признана экстремистской на территории РФ
  • 2
    Universal Scene Description (USD) — это открытая и расширяемая экосистема для описания, компоновки, моделирования и совместной работы в 3D-мирах