Cascade – jak zwiększyć wydajność sztucznej inteligencji?

Badacze z Cornell University opracowali Cascade, otwartą platformę, która znacząco obniża koszty i zużycie energii, a jednocześnie znacząco zwiększa wydajność uruchamiania modeli sztucznej inteligencji (AI). Cascade jest przełomem w dziedzinie AI, zaprojektowanym z myślą o zastosowaniach wymagających szybkiej reakcji, takich jak inteligentne skrzyżowania, diagnostyka medyczna, serwisowanie sprzętu w rzeczywistości rozszerzonej, cyfrowe rolnictwo, inteligentne sieci energetyczne i automatyczna inspekcja produktów.

Mechanizm wspierający AI wykorzystywany jest już w College of Veterinary Medicine do monitorowania krów, co pokazuje jego zdolność do szybkiego reagowania na skomplikowane scenariusze. System ten sprawdza się w aplikacjach, gdzie modele sztucznej inteligencji muszą szybko reagować i przetwarzać dane w czasie rzeczywistym.

Ken Birman i Weijia Song stworzyli Cascade jako system przetwarzania brzegowego, który umieszcza obliczenia i przechowywanie danych bliżej źródeł danych, zapewniając bezpieczeństwo i ochronę wrażliwych informacji. Design „zero copy” autorstwa Songa skutecznie minimalizuje ruch danych, co przekłada się na szybsze działanie modeli AI, a tym samym przyspiesza przetwarzanie i analizę danych. Znacznie przyspiesza również działanie programów, działają one do dziesięciu razy szybciej niż ich odpowiedniki oparte na chmurze. Cascade jest również łatwy w użyciu, co pozwala na szybką integrację z istniejącymi rozwiązaniami sztucznej inteligencji, bez konieczności wprowadzania istotnych zmian w oprogramowaniu.

Alicia Yang, doktorant z Cornell, opracowała Navigator, menedżer pamięci i harmonogram zadań dla przepływów pracy AI, który zwiększa wydajność systemu Cascade. Jest on wykorzystywany w  College of Veterinary Medicine Parminder Basran i Matthias Wieland do monitorowania stanu zdrowia krów, śledząc wczesne objawy chorobowe.

Thiago Garrett z Uniwersytetu w Oslo wykorzystał Cascade do stworzenia prototypu „inteligentnego skrzyżowania”, które monitoruje zatłoczone obszary i przewiduje potencjalne kolizje, ostrzegając o ryzyku w ułamku sekundy. W przeciwieństwie do modeli sztucznej inteligencji działających w chmurze, które wymagają kilku sekund na analizę i reakcję, Cascade zapewnia natychmiastową odpowiedź, co jest kluczowe w zapobieganiu wypadkom.

Otwarta wersja Cascade ma na celu umożliwienie innym badaczom i deweloperom eksplorowanie możliwości tej technologii. „Chcemy zobaczyć, jak Cascade jest używany w różnych scenariuszach,” mówi Birman, podkreślając, że otwarte wydanie pozwoli wszystkim korzystać z opracowanej technologii.

Mechanizm wpierający AI, dzięki swojemu pionierskiemu podejściu w obszarze przetwarzania danych i efektywności, otwiera nowe możliwości w dziedzinie sztucznej inteligencji. Ta technologia, zapewniając szybką reakcję i błyskawiczne przetwarzanie danych w czasie rzeczywistym, ma istotny wpływ na różne branże i obszary badawcze. Ułatwiając dostęp do aplikacji AI i zwiększając ich wydajność, Cascade jest znaczącym postępem w poszukiwaniu zaawansowanych, łatwo dostępnych rozwiązań sztucznej inteligencji. Jego wpływ na przyszłość rozmaitych dziedzin jest potencjalnie znaczący.

Szymon Ślubowski