Ekonomiczny sposób transmisji danych 3D

Nowy kierunek transmisji danych może całkowicie zmienić sposób, w jaki doświadczamy rzeczywistości rozszerzonej (AR) i wirtualnej (VR).

Naukowcy z NYU Tandon School of Engineering zaprezentowali nowe podejście do streamingu treści 3D, które radykalnie ogranicza zapotrzebowanie na przepustowość, bez utraty jakości obrazu. Ich metoda nie tylko usprawnia przetwarzanie danych, ale też zwiększa dokładność przewidywania tego, co użytkownik zobaczy w wirtualnym świecie.

Tradycyjny streaming AR/VR polega na przesyłaniu całych klatek wideo czyli również tych elementów, których użytkownik nie widzi. Nowe rozwiązanie, zaprezentowane podczas konferencji ACM MMSys 2025, działa w inny sposób, analizując, co użytkownik prawdopodobnie będzie widział, i przetwarza tylko te potrzebne dane. Jak tłumaczy profesor Yong Liu, lider zespołu badawczego, „to jakby Twoje oczy podążały za Tobą po pomieszczeniu – widzisz tylko to, na co patrzysz, a nie wszystko naraz”.

Jednym z największych wyzwań w streamingu 3D jest tzw. point cloud video, czyli format, w którym każda klatka to zbiór milionów punktów reprezentujących obiekty w przestrzeni. Taki materiał wymaga przesyłania ponad 120 megabitów na sekundę, co jest niemal 10-krotnie większym obciążeniem niż w przypadku standardowego streamingu HD.

Nowa metoda redukuje problem poprzez przewidywanie bezpośrednio, które punkty w przestrzeni będą widoczne w polu widzenia użytkownika (Field-of-View), z pominięciem wcześniejszego szacowania kierunku patrzenia. Dzięki zastosowaniu transformerów i sieci neuronowych opartych na grafach, system uczy się zależności przestrzennych i czasowych między elementami sceny, co pozwala na trafniejsze prognozy.

Efektem takiego działania jest 7-krotnie mniejsze zużycie danych i nawet 50% mniej błędów w przewidywaniu tego, co użytkownik zobaczy w ciągu najbliższych 2–5 sekund. Co ważne, system działa w czasie rzeczywistym, utrzymując płynność powyżej 30 klatek na sekundę nawet dla najbardziej wymagających materiałów.

Choć technologia rozwijana jest głównie z myślą o streamingu edukacyjnych treści VR (np. tańca), jej potencjalne zastosowania są znacznie szersze. Od gier wideo, przez wirtualne spacery po muzeach, aż po spotkania biznesowe w rzeczywistości mieszanej – każda z tych dziedzin może zyskać na nowym podejściu do transmisji 3D.

Według profesora Liu, rozwój danej technologii wpisuje się w szerszy trend przenoszenia rozwiązań AR/VR z niszowych zastosowań do mainstreamu. Już dziś firmy takie jak Meta czy Apple inwestują miliardy w rozwój headsetów nowej generacji (np. Meta Quest 3 czy Apple Vision Pro), jednak ograniczenia związane z przepustowością wciąż stanowią bariery do sprawniejszego działania obecnych technologii.

Równolegle do NYU Tandon, intensywne prace nad optymalizacją streamingu VR prowadzi również Stanford University. Ich projekt „Neural Volumes” koncentruje się na generowaniu realistycznych scen 3D w czasie rzeczywistym przy użyciu sztucznej inteligencji. Z kolei Microsoft Research rozwija platformę Mesh, która łączy użytkowników w jednej przestrzeni wirtualnej bez konieczności przesyłania dużych ilości danych wideo.

Na co dzień korzystamy już z technologii w naszych smartfonach, czy komputerach prawie przez cały czas, czy to w naszych domach podczas prawie każdej aktywności, czy wychodząc na miasto, sprawdzając dojazd do pewnych miejsc, czy słuchając muzyki. Technologia pobiera nam coraz więcej czasu i jest to nieuniknione, że będziemy korzystać z niej nieprzerwanie przez cały dzień obecne pytanie, które mi się nasuwa na myśl to kiedy to nastąpi.

Szymon Ślubowski