Pies-robot z MLLM wykorzystywany podczas akcji ratunkowych

Wyposażony w MLLM pies-robot wykorzystuje zaawansowaną pamięć wizualną, rozumienie języka i autonomiczne decyzje w misjach ratunkowych.

Roboty poszukiwawcze stają się coraz bardziej zaawansowane, ale wciąż brakuje im umiejętności, które mają ludzie, a więc: zapamiętywania otoczenia, elastycznego reagowania oraz rozumienia poleceń.

Studenci Texas A&M University stworzyli robota-psa, który idzie o krok dalej. Dzięki multimodalnemu dużemu modelowi językowemu (MLLM) potrafi analizować obraz, zapamiętywać miejsca i reagować na sytuacje w sposób zbliżony do ludzkiego. Robot nie tylko słyszy polecenia i podąża za nimi, ale również je interpretuje, planuje trasę i pamięta, gdzie był oraz co tam widział. To fundamentalna zmiana w projektowaniu robotów terenowych, które dotąd wymagały precyzyjnego sterowania w nieprzewidywalnych środowiskach.

Sercem systemu jest pamięciowe nawigowanie oparte na analizie obrazu i jego rozumieniu na wysokim poziomie. Robot wykorzystuje MLLM do przetwarzania obrazów z kamery, generowania decyzji o kierunku ruchu oraz optymalizacji ścieżki. Dzięki temu zachowuje się podobnie do ratownika, który porusza się po ruinach czy zadymionym korytarzu, zapamiętując punkty orientacyjne i wybierając bezpieczniejszą drogę. Ważnym elementem architektury jest hybrydowy system sterowania. Część reaktywna zapewnia natychmiastowe unikanie kolizji, a część deliberatywna planuje trasę z wyprzedzeniem. Inżynierowie podkreślają, że żadna dotychczasowa konstrukcja nie łączyła tak ściśle pamięci wizualnej i modelu językowego, tworząc robotyczny system, który „rozumie” środowisko na poziomie zbliżonym do ludzkiej intuicji.

Nowy robot-pies wyróżnia się także zdolnością powtórnego wykorzystywania wcześniej poznanych tras. To ogromna przewaga w misjach ratunkowych, gdzie nawigacja w nieznanym terenie może trwać długo, a powroty tą samą drogą, zwłaszcza gdy liczy się czas, muszą być szybkie i precyzyjne. Robot radzi sobie również w przestrzeniach bez sygnału GPS, co czyni go idealnym narzędziem do eksploracji budynków po trzęsieniach ziemi, zawalonych kopalń czy lasów dotkniętych pożarem. Badania pokazują, że takie systemy mogą znacząco skrócić czas dotarcia służb do poszkodowanych, a ich decyzje z biegiem czasu stają się coraz trafniejsze.

Możliwe zastosowania dopracowanego modelu językowego wykraczają jednak daleko poza ratownictwo. Twórcy przewidują wykorzystanie robotów w szpitalach, magazynach czy kampusach przemysłowych, gdzie autonomiczne systemy pamięciowe mogą poprawić logistykę i bezpieczeństwo. Technologia  mogłaby wspierać osoby niewidome podczas poruszania się po dużych obiektach, prowadzić zwiad w strefach zagrożenia chemicznego lub identyfikować miny lądowe. Zdaniem dr. Isuru Godage’a kluczowe jest przeniesienie modeli MLLM na niewielkie urządzenia („at the edge”), co umożliwi natychmiastową analizę sytuacji i bardziej „emocjonalnie inteligentną” interakcję z człowiekiem.

Szymon Ślubowski