COBALT stworzył ze swojego telefonu zdalny sterownik dla robota

COBALT zmienia zwykły smartfon w intuicyjny kontroler ramienia robota. Maszyna odwzorowuje ruchy telefonu, chwyta przedmioty i wykonuje polecenia operatora znajdującego się nawet na drugim końcu świata. Najważniejszym celem projektu Georgia Tech jest jednak masowe zbieranie ludzkich demonstracji, na których roboty mogą uczyć się czynności trudnych do odtworzenia wyłącznie w symulacji.

Do obsługi systemu nie jest potrzebne doświadczenie w programowaniu ani specjalistyczny kontroler. Operator widzi na ekranie transmisję z otoczenia robota i reaguje na nią w czasie zbliżonym do rzeczywistego. Może znajdować się w innym mieście, państwie, a nawet na innym kontynencie, o ile dysponuje odpowiednim połączeniem z serwerem.

COBALT jest jednak czymś więcej niż aplikacją mobilną. To rozwijana przez Georgia Tech chmurowa platforma teleoperacji, która może obsługiwać zarówno roboty fizyczne, jak i środowiska symulacyjne. System współpracuje ze smartfonami z Androidem i iOS, ale także z goglami VR, klawiaturami oraz myszami 3D.

Roboty potrzebują ludzkich demonstracji

Najważniejszym problemem współczesnej robotyki nie jest wyłącznie budowa sprawniejszych silników, chwytaków i czujników. Roboty potrzebują ogromnej ilości danych pokazujących, jak poprawnie wykonywać czynności w zróżnicowanych warunkach.

Modele językowe mogą uczyć się na bilionach fragmentów tekstu, a systemy rozpoznawania obrazów na miliardach fotografii. Robotyka nie dysponuje porównywalnym zasobem danych. Każda demonstracja wymaga wykonania fizycznego ruchu: podniesienia przedmiotu, otwarcia szuflady, przesunięcia narzędzia albo uporządkowania elementów.

COBALT ma umożliwić gromadzenie takich demonstracji przez użytkowników rozsianych po świecie. Człowiek wykonuje zadanie za pomocą telefonu, a platforma zapisuje ruchy robota, obraz z kamer i kolejne działania operatora. Dane mogą następnie posłużyć do tzw. uczenia przez naśladowanie, w którym maszyna uczy się odtwarzać zachowanie człowieka.

W robotyce takie zachowanie określa się mianem polityki sterowania. Nie chodzi o politykę publiczną, lecz o model decydujący, jaki ruch robot powinien wykonać po otrzymaniu konkretnych danych z kamer i czujników.

Tysiące demonstracji z dziewięciu państw

W testach COBALT uczestniczyły osoby z dziewięciu krajów, w tym z Indii, Indonezji i Pakistanu. Byli to początkujący operatorzy, którzy wcześniej nie sterowali robotami.

W ciągu pięciu dni użytkownicy mieli zebrać ponad 7500 demonstracji, obejmujących łącznie ponad 50 godzin sterowania za pomocą smartfonów. Naukowcy wykorzystali dane do uczenia algorytmów naśladowania i sprawdzenia, czy demonstracje wykonywane przez niedoświadczonych użytkowników są wystarczająco dobre, by robot mógł nauczyć się określonych zadań.

Badania wykazały, że telefon może zapewniać jakość sterowania porównywalną, a w części zadań nawet lepszą niż bardziej wyspecjalizowane urządzenia. Użytkownicy uznawali smartfon za bardziej intuicyjny i wygodniejszy niż gogle VR, klawiatury czy kontrolery 3D.

Ma to znaczenie ekonomiczne. Specjalistyczne stanowiska teleoperacyjne mogą być kosztowne i trudno dostępne. Smartfon ma już większość potrzebnych elementów: ekran, połączenie z internetem, czujniki ruchu i system pozwalający śledzić położenie urządzenia w przestrzeni.

Jak COBALT ogranicza opóźnienia

Sterowanie robotem na odległość wymaga bardzo małego opóźnienia. Jeżeli operator poruszy telefonem, a obraz reakcji robota pojawi się po kilku sekundach, precyzyjna praca stanie się praktycznie niemożliwa.

COBALT wykorzystuje WebRTC, technologię stosowaną także w rozmowach wideo i transmisjach internetowych. Polecenia z telefonu trafiają najpierw do serwera teleoperacyjnego, który przekazuje je do robota lub środowiska symulacyjnego. Obraz wraca do użytkownika osobnym kanałem.

Według autorów system podczas testów utrzymywał częstotliwość sterowania wynoszącą 20 Hz i opóźnienie poniżej 100 milisekund przy obsłudze do ośmiu użytkowników na jednym procesorze graficznym. W próbach obciążeniowych stabilnie obsłużył także 256 symulowanych klientów działających na ośmiu GPU.

Te parametry nie oznaczają, że zdalne sterowanie będzie równie sprawne w każdych warunkach. Jakość nadal zależy od łącza internetowego, odległości od centrum danych, dostępności serwera i rodzaju wykonywanego zadania.

Człowiek ma pomagać robotowi wtedy, gdy autonomia zawodzi

COBALT może znaleźć zastosowanie także poza zbieraniem danych. W przyszłości roboty pracujące w fabrykach, magazynach lub domach mogą wykonywać większość zadań samodzielnie, ale od czasu do czasu napotykać sytuacje, których nie potrafią rozwiązać.

W takim przypadku zdalny operator mógłby przejąć kontrolę, wykonać trudny ruch, a następnie oddać sterowanie systemowi autonomicznemu. Jeden człowiek mógłby w ten sposób nadzorować wiele robotów i reagować tylko wtedy, gdy maszyna poprosi o pomoc.

Animesh Garg z Georgia Tech określa możliwy model jako „Uber dla robotów”. Operatorzy mogliby logować się do platformy i wykonywać zdalne zadania w wybranym czasie. Robot znajdujący się w domu mógłby otrzymać pomoc przy podniesieniu przedmiotu, a maszyna w fabryce — przy nietypowej operacji, której nie obejmuje jej standardowy program.

To na razie wizja, nie gotowa usługa. Jej wdrożenie wymagałoby rozwiązania problemów bezpieczeństwa, odpowiedzialności, kontroli dostępu i prywatności. Zdalny operator uzyskiwałby bowiem obraz wnętrza domu lub zakładu oraz możliwość sterowania fizycznym urządzeniem.

Robotyka może otrzymać własny odpowiednik internetu

Największe znaczenie COBALT może polegać na obniżeniu bariery wejścia do robotyki. Uczeń w szkole mógłby sterować robotem znajdującym się w laboratorium oddalonym o setki kilometrów. Mała firma mogłaby testować system bez kupowania drogiego zestawu VR. Naukowcy mogliby zaś zapraszać tysiące osób do tworzenia danych treningowych.

Platforma obsługuje ponad 190 środowisk symulacyjnych i ma zostać udostępniona jako projekt open source. Dzięki temu inne zespoły będą mogły dostosowywać ją do własnych robotów, kontrolerów i zadań.

COBALT nie sprawia jeszcze, że każdy robot staje się autonomiczny. Pokazuje jednak, jak można zdobyć dane potrzebne do osiągnięcia większej autonomii. Miliony właścicieli smartfonów mogłyby wykonywać demonstracje, na których przyszłe roboty nauczą się manipulowania przedmiotami.

W takim modelu człowiek nie znika z automatyzacji. Najpierw steruje maszyną, później poprawia jej błędy, a ostatecznie dostarcza przykładów, dzięki którym robot coraz rzadziej potrzebuje bezpośredniej pomocy.

Szymon Ślubowski