Генераторы 3D-моделей от OpenAI Point-E могут стать следующей инновацией, которая взорвет область ИИ. Point-E, система машинного обучения, которая генерирует 3D-объект из текстовой подсказки, на этой неделе стала общедоступной компанией OpenAI.
Статья, которая была опубликована вместе с кодовая база утверждает, что Point-E может создавать 3D-модели на одном графическом процессоре Nvidia V100 за одну-две минуты.
В обычном понимании OpenAI Point-E не создает 3D-объекты. Вместо этого он создает облака точек, которые представляют собой дискретные наборы точек данных в пространстве, отражающие трехмерные формы; отсюда и игривая аббревиатура. С вычислительной точки зрения облака точек создавать проще, но в настоящее время они являются основным недостатком OpenAI Point-E, поскольку они не могут фиксировать детализированную форму или текстуру объекта.
Команда OpenAI Point-E обучила дополнительную систему ИИ для преобразования облаков в сетки, чтобы обойти это ограничение. Однако в отчете они отмечают, что модель иногда пропускает определенные детали элемента, что приводит к блочным или деформированным формам.
OpenAI Point-E может создавать 3D-модели за считанные секунды
OpenAI Point-E состоит из двух моделей: модели преобразования текста в изображение и модели преобразования изображения в 3D в дополнение к модели создания сетки, которая является автономной моделью. Модель преобразования текста в изображение была обучена на помеченных изображениях, чтобы понять взаимосвязь между словами и визуальными понятиями, во многом подобно системам генеративного искусства, таким как DALL-E 2 и Stable Diffusion от OpenAI. С другой стороны, модель преобразования изображения в 3D была обучена эффективному переводу между ними путем подачи набора фотографий в сочетании с 3D-объектами.
Модель E с преобразованием текста в изображение создает синтетический визуализированный элемент из текстовой подсказки, такой как «3D-печатная шестерня, одиночная шестерня, 3 дюйма в диаметре и полдюйма толщиной», и подает ее на изображение. -3D модель, которая создает облако точек.
По словам исследователей OpenAI, OpenAI Point-E может генерировать цветные облака точек, которые обычно соответствуют словесным подсказкам, после обучения моделей на наборе данных из «нескольких миллионов» 3D-объектов и связанных с ними метаданных. Это не безупречно; иногда модель Point-image-to-3D E не может интерпретировать изображение из модели text-to-image, что приводит к форме, не соответствующей текстовой подсказке. Тем не менее, команда OpenAI утверждает, что это на несколько порядков быстрее, чем предыдущее состояние искусства.
«Хотя наш метод дает худшие результаты в этой оценке, чем самые современные методы, он дает образцы за небольшую долю времени»,
«Это может сделать его более практичным для определенных приложений или позволить обнаруживать более качественные 3D-объекты».
-команда OpenAI
OpenAI Point-E может стать мощным инструментом для разработки проектов
Каковы именно приложения OpenAI Point E? Однако, по словам исследователей OpenAI, облака точек, созданные Point-E, могут использоваться для создания реальных объектов, например, с помощью 3D-печати. После того, как система немного усовершенствуется, она может также найти применение в процессах производства игр и анимации благодаря добавлению модели преобразования сетки.
Хотя это может быть самый последний бизнес, вышедший на рынок создания 3D-объектов, OpenAI ни в коем случае не первый, как было сказано ранее. Более развитая версия Dream Fields, генеративной 3D-технологии, которую Google представила еще в 2021 году, была выпущена ранее в этом году под названием DreamFusion.
DreamFusion, в отличие от Dream Fields, не требует предварительной подготовки. Поэтому он может создавать 3D-модели объектов без 3D-данных. В то время как генераторы 2D-графики в настоящее время находятся в центре внимания, искусственный интеллект, синтезирующий модели, может стать следующим крупным прорывом в промышленности. 3D-модели часто используются в областях науки, дизайна интерьера, архитектуры, кино и телевидения. Инженеры используют модели в качестве проектов нового оборудования, транспортных средств и сооружений, а архитектурные бюро используют их для демонстрации предлагаемых зданий и ландшафтов.
Source: OpenAI Point-E создает 3D-модели с помощью искусственного интеллекта