Kolażowa rewolucja z udziałem AI
W dziedzinie sztuki cyfrowej dokonano przełomu dzięki badaniom przeprowadzonym przez zespół z Seoul National University. Naukowcy ci opracowali model sztucznej inteligencji (AI), który za pomocą uczenia przez wzmacnianie (reinforcement learning, RL) jest w stanie tworzyć kolaż artystyczny. Ich praca została zaprezentowana na konferencji ICCV 2023.
Kolaż, będący sztuką łączenia różnych materiałów w celu stworzenia nowego dzieła, wymaga wysokiego poziomu artystycznej wrażliwości. Naukowcy zastanawiali się, jak wyglądałyby kolaże stworzone przez sztuczną inteligencję. Chociaż istniejące narzędzia generowania obrazów AI, takie jak DALL-E czy StableDiffusion, które potrafią tworzyć ich imitacje, to jednak celem badaczy było nauczenie AI tworzenia „prawdziwych” kolaży, poprzez wykonywanie rzeczywistych kroków tworzenia takiego dzieła.
Wcześniejsze badania nad generowaniem obrazów malarskich za pomocą AI wykorzystywały uczenie przez wzmacnianie, aby nauczyć sztuczną inteligencję malowania w sposób podobny do ludzkiego. Naukowcy postanowili zastosować podobne podejście do tworzenia kolaży. Głównym celem ich ostatniego projektu było nauczenie AI tworzenia kolaży, które jak najbardziej przypominają wybrane obrazy (np. obrazy, fotografie), poprzez rozrywanie i przyklejanie różnych materiałów.
Model uczenia wzmacniającego wymagał, aby sztuczna inteligencja „zrozumiała”, czym jest kolaż i jak go skutecznie tworzyć. Ponieważ uczenie przez wzmacnianie opiera się na wielokrotnych próbach i błędach, model musiał zdobywać doświadczenie, wchodząc w interakcję z płótnem i tworząc rzeczywiste kolaże. Początkowo umiejętności modelu były bardzo ograniczone, ale z czasem, znacząco się poprawiły.
Podczas treningu, modelowi podawano losowo wybrane obrazy, a jego zadaniem było stworzenie kolażu na białym płótnie. W każdym kroku sztuczna inteligencja wybierała losowy materiał spośród dostępnych opcji i decydowała, jak go wyciąć, rozdrobnić i przykleić do płótna. Aby ułatwić proces, zespół opracował zróżnicowane płótno dla kolażu, pozwalające modelowi na łatwiejsze śledzenie dynamiki kolażu. Dzięki temu możliwe było zastosowanie modelowego uczenia wzmacniającego, co znacznie poprawiło wydajność.
Ważną zaletą było to, że nie wymagało to żadnych próbek kolażu ani danych demonstracyjnych, ponieważ AI była szkolona przy użyciu przykładów materiałów i obrazów docelowych. Materiały i obrazy te są znacznie łatwiejsze do zebrania niż oryginalne dzieła sztuki.
Ocenianie jakości kolaży wyprodukowanych przez model sztucznej inteligencji jest wyzwaniem, ponieważ sztuka jest wysoce subiektywna. Badacze przeprowadzili początkowo badanie z udziałem użytkowników, prosząc różnych uczestników o podzielenie się swoimi opiniami i uwagami na temat kolaży stworzonych przez AI. Do bardziej obiektywnej oceny zdecydowali się użyć CLIP, dużego wstępnie wytrenowanego modelu wizji-języka.
Wyniki badania użytkowników i oceny opartej na CLIP były podobne. W obu tych testach nowy model okazał się lepszy od innych modeli do generowania kolaży. Model ten może wkrótce zostać dalej rozwinięty i przetestowany, aby umożliwić tworzenie kolaży w niestandardowych stylach przy użyciu szerszego zakresu obrazów i materiałów. Praca zespołu badawczego może również zainspirować rozwój dodatkowych narzędzi AI do generowania różnych rodzajów dzieł sztuki.
Szymon Ślubowski
