Narzędzie wspierające analizę wydajności pilotów
Nowe narzędzie wspiera analizę wydajności pilotów oraz obciążenia mentalnego w środowisku rzeczywistości rozszerzonej.
W świecie lotnictwa, gdzie błędy mogą mieć dramatyczne konsekwencje, zdolność pilotów do działania pod presją ma kluczowe znaczenie dla bezpieczeństwa lotów. Właściwe i precyzyjne szkolenie jest niezbędne, aby wyposażyć pilotów w umiejętności potrzebne do radzenia sobie w takich sytuacjach.
Współczesne metody szkoleniowe coraz częściej wykorzystują systemy rzeczywistości rozszerzonej (AR), które umożliwiają pilotom trenowanie w różnorodnych scenariuszach, ucząc ich odpowiednich reakcji. Jednak aby systemy były skuteczne, muszą być dostosowane do indywidualnych potrzeb uczestników, uwzględniając ich przygotowanie pod względem mentalnym do wykonywanej pracy.
W odpowiedzi na potrzeby powstał HuBar – narzędzie do wizualnej analizy, które umożliwia podsumowanie i porównanie sesji wykonywania zadań w AR, takich jak symulowane loty z użyciem rozszerzonej rzeczywistości., analizuje zachowanie uczestnika oraz jego obciążenie poznawcze, dając głęboki wgląd w zachowanie pilotów i ich stany mentalne.
Narędzie HuBar zostało opracowane przez zespół badawczy z NYU Tandon School of Engineering i będzie zaprezentowane podczas konferencji IEEE Visualization and Visual Analytics w październiku 2024 roku. „Chociaż szkolenie pilotów to jedno z możliwych zastosowań, HuBar nie jest ograniczony jedynie do lotnictwa” – wyjaśnił Claudio Silva, profesor NYU Tandon, który kierował badaniami we współpracy z Northrop Grumman Corporation. „HuBar wizualizuje różnorodne dane z zadań wspieranych przez AR, a ta wszechstronna analiza pozwala na poprawę wyników i lepsze rezultaty uczenia się w różnych złożonych scenariuszach” – dodał.
Wykorzystanie HuBar może potencjalnie poprawić szkolenie w dziedzinach takich jak chirurgia, operacje wojskowe czy zadania przemysłowe. Jest to możliwe dzięki zdolności narzędzia do analizy różnych ścieżek wykonania zadania, łącząc wiele różnorodnych strumieni danych, takich jak aktywność mózgu, ruchy ciała, śledzenie wzroku, procedury zadań, błędy oraz klasyfikacja obciążenia mentalnego. Taki kompleksowy model analizy pozwala trenerom i badaczom na identyfikację zależności między stanami poznawczymi, działaniami fizycznymi a wynikami wykonywania zadań.
System został zaprezentowany w pracy badawczej zamieszczonej na serwerze preprintów arXiv, a jego możliwości zostały zademonstrowane na przykładzie lotnictwa, analizując dane z symulacji lotów helikopterem w AR. W badaniu szczególnie skupiono się na dwóch pilotach, gdzie system wykazał wyraźne różnice w ich wydajności: jeden z pilotów utrzymywał optymalne stany uwagi, popełniając niewiele błędów, podczas gdy drugi często doświadczał stanów niedociążenia i popełniał wiele błędów.
Dzięki analizie dostarczonej przez HuBar, trenerzy mogą łatwo zidentyfikować obszary, w których dany pilot ma trudności, oraz zrozumieć, dlaczego te problemy się pojawiają. Na przykład, analiza wideo pokazała, że pilot, który wypadał słabiej, często konsultował się z instrukcjami, co wskazywało na brak wystarczającej znajomości zadania. W efekcie może być używany do optymalizacji programów szkoleniowych opartych na AR, co przekłada się na lepsze wyniki w rzeczywistych sytuacjach.
System interaktywnej wizualizacji pozwala również na porównywanie różnych sesji oraz wykonawców, co umożliwia dostrzeżenie wzorców i anomalii w złożonych procedurach, które mogłyby pozostać niezauważone przy tradycyjnych metodach analizy. „Możemy teraz dokładnie zobaczyć, kiedy i dlaczego osoba może doświadczyć przeciążenia mentalnego lub stanu niebezpiecznego niedociążenia podczas wykonywania zadania” – powiedziała Sonia Castelo, inżynier badawcza VIDA i doktorantka oraz główna autorka pracy o systemie.
HuBar umożliwia wgląd w stan umysłu i ciała osoby podczas wykonywania zadania, dostarczając danych, które mogą być wykorzystane do dostosowania systemów wsparcia AR do potrzeb użytkowników. W miarę jak systemy AR, takie jak Microsoft Hololens, Meta Quest czy Apple Vision Pro, stają się bardziej zaawansowane i powszechne, narzędzia takie jak HuBar mogą pomóc w analizie, jak technologie wpływają na wydajność ludzką oraz obciążenie poznawcze.
Joao Rulff, doktorant z VIDA, który pracował nad projektem, podkreśla: „Następna generacja systemów szkoleniowych opartych na AR może dostosowywać się w czasie rzeczywistym do stanu umysłu użytkownika. HuBar pomaga nam zrozumieć, jak to może działać w różnych zastosowaniach i złożonych strukturach zadań.”
Szymon Ślubowski
