Seed3D 1.0 – нов софтуер на ByteDance, компанията майка на TikTok – е нещо повече от обикновен генератор на модели. Този инструмент може да превърне едно 2D изображение в пълноценен 3D модел от симулационен клас – с детайлна геометрия, фотореалистични текстури и физически правдоподобни материали за рендериране (PBR).
Приложението е изградено върху все по-популярната архитектура Diffusion Transformer, обучена върху огромни набори от данни. ByteDance твърди, че Seed3D 1.0 превъзхожда конкурентите си както с отворен, така и със затворен код по качество на текстурата и геометрична точност.
Подобен резултат от преобразуването се постига само с 1,5 милиарда параметъра, което позволява на Seed3D да конкурира дори по-големи модели като Hunyuan3D 2.1, използващи 3 милиарда параметъра.
Seed3D комбинира мултимодален дифузионен картограф и стратегия за генериране стъпка по стъпка. Процесът започва с анализ на изображението чрез използване на модел на визуален език за извличане на обектни и пространствени сигнали.
След това приложението генерира отделни 3D модели, които впоследствие се сглобяват в цялостна сцена. Това позволява мащабиране на проектите от един стол до детайлен офис или дори градски пейзаж.
Вместо да използва стандартни текстури, Seed3D 1.0 генерира материали, които са съвместими с изгледа и поддържат последователност от всички ъгли, осигурявайки както реализъм, така и структурна точност за използване на ниво симулация.
Резултатите от работата на приложението не са само за изследователски цели: моделите, създадени в Seed3D, могат да бъдат директно интегрирани в симулационни платформи като Isaac Sim за обучение на изкуствен интелект.
Официална страница: Seed3D
