Команда исследователей Apple разработала новую платформу для рендеринга 3D-сцен с высоким разрешением, известную как LGTM (меньше гауссов, текстура больше). Эта структура устраняет неэффективность существующих методов 3D Gaussian Splatting с прямой связью, которые не справляются с высокими разрешениями.
По мере увеличения разрешения традиционные методы прямой связи становятся непомерно дорогостоящими, что затрудняет возможность создания 3D-сцен высокого разрешения. LGTM стремится расширить возможности существующих систем, отделив геометрическую сложность от разрешения рендеринга, позволяя упростить геометрию при добавлении детальных текстур.
Платформа LGTM основана на ранее установленных методах прямой связи путем наложения прогнозов текстур поверх геометрических структур. Исследователи обучили модель, используя изображения с низким разрешением, проверенные на основе реальных данных с высоким разрешением, гарантируя, что сгенерированная геометрия останется точной. Кроме того, вторая сеть, ориентированная на детализированные текстуры изображений с высоким разрешением, позволяет системе получать визуально насыщенные результаты.
Это нововведение может существенно повлиять на гарнитуру Apple Vision Pro, которая имеет дисплеи общим размером около 23 миллионов пикселей. Современные методы прямой связи сталкиваются с ограничениями при таких высоких разрешениях, что приводит к узким местам в вычислениях при быстром и точном создании сцен. LGTM может обеспечить более плавную работу и более четкое изображение в приложениях, требующих рендеринга сцен с высоким разрешением.
Внедряя LGTM, Apple может предоставить пользователям более захватывающую среду и улучшенные возможности сквозной передачи, одновременно снижая требования к обработке. На странице проекта LGTM предлагаются демонстрационные методы, такие как NoPoSplat, DepthSplat и Flash3D, демонстрирующие улучшенные результаты по сравнению с предыдущими методами.
Примеры видеороликов и изображений из проекта иллюстрируют способность LGTM предоставлять более подробную информацию и результаты, близкие к реальным с высоким разрешением, демонстрируя его потенциальные преимущества в практическом применении.
<час />
