Aplikacja pozwalająca na mobilne przechwytywanie ruchów
Nowa aplikacja umożliwia mobilne przechwytywanie ruchów ciała w czasie rzeczywistym za pomocą czujników wbudowanych w smartfona.
Inżynierowie z Northwestern University opracowali nowy system do pełnego przechwytywania ruchów ciała, który nie wymaga specjalistycznych pomieszczeń, kosztownego sprzętu, masywnych kamer ani zestawów czujników. Zamiast tego wystarczy zwykłe urządzenie mobilne.
System nosi nazwę MobilePoser i wykorzystuje czujniki już wbudowane w urządzenia mobilne, takie jak smartfony, smartwatche oraz słuchawki bezprzewodowe. Łącząc dane z czujników, uczenie maszynowe oraz fizykę, MobilePoser śledzi pozycję ciała oraz ruchy użytkownika w przestrzeni w czasie rzeczywistym.
MobilePoser, działając w czasie rzeczywistym na urządzeniach mobilnych, osiąga wysoką dokładność dzięki algorytmom uczenia maszynowego i optymalizacji opartej na zasadach fizyki. Otwiera to nowe możliwości w dziedzinie gier, fitnessu oraz nawigacji wewnętrznej, bez konieczności korzystania ze specjalistycznego sprzętu” – powiedział Karan Ahuja, lider zespołu badawczego, który opracował system. „Technologia stanowi ważny krok w kierunku przechwytywania ruchu mobilnego, czyniąc doświadczenia immersyjne bardziej dostępnymi i otwierając drzwi do innowacyjnych zastosowań w różnych branżach.
Zespół Ahujy zaprezentował MobilePoser 15 października podczas ACM Symposium on User Interface Software and Technology w Pittsburghu. System pozwala na estymację pozycji ciała w czasie rzeczywistym oraz śledzenie ruchu w trzech wymiarach, korzystając jedynie z danych z czujników dostępnych w urządzeniach konsumenckich.
Obecnie znane mobilne przechwytywanie ruchów, znane miłośnikom kina z kulis produkcji filmów CGI, jest kosztowne i wymagające specjalistycznych strojów z sensorami oraz dedykowanych pomieszczeń. Przykłady takie jak Gollum z „Władcy Pierścieni” czy Na’vi z „Avatara” pokazują, jak skomplikowane i kosztowne może być przechwytywanie ruchu w produkcji filmowej. „To złoty standard, ale jego koszty sięgają setek tysięcy dolarów” – wyjaśnił Ahuja. „Chcieliśmy stworzyć bardziej dostępną wersję, z której praktycznie każdy będzie mógł skorzystać przy użyciu sprzętu, który już posiada.”
Aby pokonać ograniczenia tradycyjnych systemów, zespół Ahujy wykorzystał jednostki pomiaru inercyjnego (IMU), które obejmują akcelerometry, żyroskopy oraz magnetometry do pomiaru ruchu i orientacji człowieka. Czujniki te są już obecne w smartfonach, ale ich precyzja jest zazwyczaj niewystarczająca do profesjonalnego przechwytywania ruchu. Z tego powodu zespół opracował algorytm sztucznej inteligencji, który wzbogaca dane z czujników i poprawia ich jakość.
W MobilePoser dane z czujników są analizowane przez algorytm AI, który estymuje pozycje stawów, rotacje, prędkość chodzenia oraz kontakt stóp z podłożem. Następnie optymalizator oparty na fizyce rafinuje przewidywane ruchy, aby zapewnić ich zgodność z rzeczywistą biomechaniką ciała. Przykładowo, algorytm nie pozwala na nienaturalne ruchy, takie jak obroty głowy o 360 stopni.
System osiąga średni błąd śledzenia równy 8-10 centymetrów, co jest porównywalne z urządzeniem Microsoft Kinect, które ma błąd na poziomie 4-5 centymetrów, przy założeniu, że użytkownik znajduje się w polu widzenia kamery. MobilePoser daje jednak użytkownikowi większą swobodę poruszania się, co czyni go bardziej praktycznym w codziennych zastosowaniach.
Zastosowania Mobile PoseMaster są liczne i obejmują m.in. gry wideo, zdrowie oraz fitness. Warto dodać, że istnieją także inne dostępne aplikacje do przechwytywania ruchu, takie jak Microsoft Kinect czy Runway AI. Kinect wykorzystuje stacjonarne kamery do śledzenia ruchu użytkownika, co sprawia, że jest mniej praktyczny w mobilnych i dynamicznych zastosowaniach, podczas gdy Runway AI opiera się na generatywnej sztucznej inteligencji do przetwarzania ruchu. Mobile PoseMaster wyróżnia się na tle tych rozwiązań dzięki wykorzystaniu czujników dostępnych w urządzeniach mobilnych, co daje użytkownikowi większą swobodę i mobilność. Innowacyjność tej aplikacji polega na dostępności, mobilności oraz precyzji, które pozwalają na efektywne śledzenie ruchu bez potrzeby użycia drogiego sprzętu.
Aby zachęcić innych badaczy do rozwijania tej technologii, zespół udostępnił swoje modele wstępnie wytrenowane, skrypty do przetwarzania danych oraz kod treningowy jako oprogramowanie open-source. Ahuja informuje również, że aplikacja wkrótce będzie dostępna na urządzenia takie jak iPhone, AirPods oraz Apple Watch, co może jeszcze bardziej rozszerzyć jej dostępność i zastosowania.
Szymon Ślubowski
