OpenAI представила открытую ИИ-платформу Shap-E для преобразования текста в 3D-модель. Пока она находится на ранней стадии разработки, а в будущем может быть полезна архитекторам, дизайнерам и разработчикам игр.
Исследователи показали, как Shap-E генерирует объекты по запросам «дорожный конус», «стул, похожий на дерево» и «самолёт, похожий на банан».
Ранее OpenAI показала модель Point-E, которая генерировала облака точек для 3D-объектов по текстовым подсказкам. Она состоит из двух моделей: преобразования текста в изображение и преобразования изображения в 3D. Модель преобразования текста в изображение, аналогичная системам генеративного искусства, таким как DALL-E 2 и Stable Diffusion, была обучена на помеченных картинках, чтобы понять ассоциации между словами и визуальными понятиями. Модель преобразования изображения в 3D обучали на наборе изображений, соединённых метками с объёмными объектами.
Shap-E же создаёт уже готовые объекты, а для генерации ей требуется 13 секунд.
OpenAI продолжает улучшать платформу с помощью других программ для 3D-генерации. Код платформы и документация доступны всем желающим на GitHub.
Источник новости: habr.com
