Институтът INSAIT, който е част от Софийския университет “Св. Климент Охридски”, създаде съвместно с водещи международни научни институции SceneSplat-49k – най-голямата публично достъпна колекция от висококачествени и сложни 3D сцени във формат Gaussian Splatting, както и SceneSplat-Benchmark, цялостна платформа за оценка на модели за Language Gaussian Splatting.
SceneSplat-49k включва 48 856 реконструирани сцени от реалния свят, обхващащи както закрити, така и открити пространства, като 12 061 от тях са обогатени с езикови характеристики.
Създаването на набора от данни е резултат от значителен човешки труд и изчислителни ресурси в размер на 861 GPU-дни, което гарантира високо ниво на реализъм и разнообразие.
Language Gaussian Splatting позволява на системите с изкуствен интелект да взаимодействат с 3D среди чрез естествен език и да разбират пространствени и семантични отношения директно в три измерения.
До момента развитието на такива системи беше ограничено, поради липсата на мащабни, висококачествени 3D данни и стандартизирани методи за оценка.
SceneSplat-Benchmark адресира този проблем, като въвежда значително по-реалистични и предизвикателни условия за оценяване. Той обхваща 1 060 сцени и 325 семантични класа и позволява директна оценка на моделите в 3D среда, вместо чрез 2D проекции, което осигурява по-точна и надеждна оценка на разбирането на сцени на ниво пространство.
Проектът е резултат от съвместната работа на INSAIT, Амстердамския университет, ETH Цюрих (Лаборатория по компютърно зрение), Нанкинския университет по аеронавтика и астронавтика, Университета „Джонс Хопкинс“, Университета в Пиза и Университета в Тренто.
Инициативата представлява важна стъпка към развитието на следващото поколение 3D системи за изкуствен интелект с приложения в роботиката, виртуалната и добавената реалност и естественото взаимодействие между хора и машини.
