Tworzenie realistycznych kształtów 3D w AI
Poprawka uwzględniająca braki w obecnym modelowaniu usprawnia tworzenie realistycznych kształtów 3D przez sztuczną inteligencję
Tworzenie realistycznych modeli 3D do zastosowań takich jak wirtualna rzeczywistość, produkcja filmowa i inżynieria jest wyzwaniem, często wymagającym prostej i uciążliwiej metody prób i błędów. Podczas gdy generatywna sztuczna inteligencja zrewolucjonizowała tworzenie obrazów 2D, tworzenie realistycznych kształtów 3D było trudniejsze. Pomimo postępów, takich jak Score Distillation, istniejące techniki generowania 3D często zawodzą, co skutkuje rozmytymi lub kreskówkowymi modelami.
Aby sprostać wyzwaniom związanym z generowaniem wysokiej jakości kształtów 3D, naukowcy z MIT zbadali podstawową mechanikę generatywnej sztucznej inteligencji. Kierowany przez Artema Lukoianova zespół zidentyfikował podstawowe problemy z destylacją wyników, które utrudniały jakość modeli 3D.
Naukowcy, w tym eksperci z MIT, Toyota Research Institute i Meta, odkryli niedopasowanie między formułami matematycznymi używanymi do generowania 2D i 3D. W szczególności, proces Score Distillation wprowadza losowy szum do modelu 3D, co skutkuje rozmytymi i niezadowalającymi kształtami.
Modele dyfuzyjne, takie jak DALL-E, są biegłe w tworzeniu realistycznych obrazów 2D z losowego szumu. Jednak mają trudności z modelami 3D ze względu na ograniczone dane treningowe 3D. Score Distillation Sampling (SDS) został zaprojektowany w celu rozwiązania tego problemu poprzez połączenie wielu perspektyw 2D w spójną reprezentację 3D. Proces ten polega na udoskonalaniu początkowego losowego kształtu poprzez hałaśliwe iteracje, aż do utworzenia pożądanego modelu 3D.
Wyzwanie polega na złożonym obliczeniowo wzorze, który poprzednie wersje SDS przybliżały losowym szumem, co prowadziło do słabych wyników. Zamiast rozwiązywać złożone równanie bezpośrednio, naukowcy z MIT opracowali technikę aproksymacji, która wnioskuje o brakującym członie poprzez analizę bieżącego renderowania kształtu 3D. Ta korekta znacznie poprawiła ostateczny wynik, dając w rezultacie ostre i realistyczne modele 3D.
Naukowcy udoskonalili również inne parametry, aby zwiększyć rozdzielczość obrazu i poprawić jakość kształtu 3D – wszystko to bez kosztownego przekwalifikowania. „W ten sposób, zgodnie z przewidywaniami analizy przedstawionej w artykule, generowane są kształty 3D, które wyglądają ostro i realistycznie” – dodał Lukoianov.
Metoda zespołu wykorzystuje wstępnie wytrenowane modele dyfuzji, unikając kosztów opracowywania nowych modeli od podstaw. Jest to znacząca przewaga nad podejściami, które wymagają intensywnego treningu, co może być kosztowne zarówno pod względem czasu, jak i mocy obliczeniowej.
Podejście zespołu MIT podkreśla szerszy trend w badaniach nad sztuczną inteligencją: optymalizację istniejących narzędzi zamiast odkrywania koła na nowo. Dostosowując modele generowania obrazu, takie jak DALL-E, do projektowania 3D, rozszerzyli zastosowanie generatywnej sztucznej inteligencji na nowe dziedziny.
Ich praca ma szerokie zastosowanie, od uczynienia modelowania 3D bardziej dostępnym dla projektantów po umożliwienie zautomatyzowanych procesów projektowania wizualizacji architektonicznych. Lukoianov podkreślił: „Teraz wiemy, dokąd powinniśmy zmierzać, co pozwala nam znaleźć bardziej wydajne rozwiązania, które są szybsze i wyższej jakości”.
Pomimo postępów, nadal istnieją ograniczenia. Metoda opiera się na wstępnie wytrenowanych modelach, co oznacza, że dziedziczy uprzedzenia i niedociągnięcia, w tym halucynacje, w których sztuczna inteligencja generuje nierealistyczne funkcje. Ulepszenie podstawowych modeli będzie miało kluczowe znaczenie dla dalszej poprawy jakości kształtów 3D.
Naukowcy badają również, w jaki sposób te spostrzeżenia mogą poprawić pokrewne dziedziny, takie jak edycja obrazu. Ulepszenie technik generowania 3D może prowadzić do lepszych możliwości generatywnej sztucznej inteligencji w różnych kreatywnych i praktycznych zastosowaniach.
Szymon Ślubowski
