
Perseus odpowiedzią na marnotrawstwo energii w AI
Nowe narzędzie do optymalizacji zużycia energii Perseus pozwala na efektywne wykorzystanie energii podczas treningu AI.
Rozwój sztucznej inteligencji (AI) przekształca nasze życie na wielu poziomach, od usprawnienia codziennych czynności po rozwiązywanie globalnych problemów z niedoborem pracowników w obszarach prac powtarzalnych. Jednak postępy technologiczne mają swoją cenę — ogromne zużycie energii. Badania przeprowadzone na Uniwersytecie Michigan wykazały, że aż do 30% energii wykorzystywanej do trenowania dużych modeli językowych, takich jak seria GPT, jest marnowane. Aby przeciwdziałać temu problemowi, zespół badaczy opracował narzędzie o nazwie Perseus, które ma potencjał znacząco ograniczyć marnotrawstwo energii.
Problem marnowania energii przez modele AI
Trening dużych modeli językowych wymaga znacznych zasobów energetycznych. Szacuje się, że do 2027 roku centra danych mogą odpowiadać za 1,2% globalnych emisji dwutlenku węgla, co stanowi poważne wyzwanie dla środowiska. Jednocześnie, zgodnie z prognozami Wells Fargo, zapotrzebowanie na energie przez szntuczną inteligencję może być tak duże, że oszczędności wynikające z optymalizacji treningu mogłyby wystarczyć do zasilenia nawet 1,1 miliona domów w USA w 2026 roku.
Warto jednak pamiętać, że nie cała energia zużywana przez procesy treningowe jest wykorzystywana efektywnie. Profesor Mosharaf Chowdhury z Uniwersytetu Michigan, główny autor badania, zwraca uwagę na fakt, że obecne metody podziału pracy pomiędzy procesory GPU (specjalistyczne procesory wykorzystywane w przetwarzaniu dużych zbiorów danych) są dalekie od doskonałości. W wyniku tych podziałów część procesorów wykonuje mniej wymagające zadania, a inne są obciążone zadaniami znacznie bardziej złożonymi. To prowadzi do sytuacji, w której niektóre procesory kończą swoje obliczenia szybciej niż inne, co nie przyspiesza całego procesu treningowego, a jedynie marnuje energii.
Aby przeciwdziałać marnotrawstwu energii, badacze z Uniwersytetu Michigan opracowali narzędzie o nazwie Perseus. Perseus to oprogramowanie, które identyfikuje tzw. „krytyczną ścieżkę”, czyli serię zadań, które zajmą najwięcej czasu. Następnie spowalnia procesory, które nie są na tej ścieżce, tak aby wszystkie procesory kończyły swoje zadania mniej więcej w tym samym czasie. W ten sposób eliminuje się niepotrzebne zużycie energii, jednocześnie zachowując jakość i szybkość treningu modeli.
Jak podkreśla Chowdhury, zmniejszenie kosztów energetycznych treningu AI ma kluczowe znaczenie nie tylko dla ochrony środowiska, ale także dla równego dostępu do technologii AI. Kraje o ograniczonych zasobach energetycznych mogą mieć trudności z uruchamianiem dużych modeli AI, co zmusza je do korzystania z mniej wydajnych modeli lub korzystania z zewnętrznych usług. Perseus może pomóc zmniejszyć te nierówności, umożliwiając efektywne wykorzystanie dostępnych zasobów.
Perseus w Praktyce
Perseus został przetestowany na kilku modelach, w tym GPT-3 oraz innych dużych modelach językowych i modelach wizji komputerowej. Wyniki były obiecujące — narzędzie pozwoliło na zmniejszenie zużycia energii nawet o 30%, bez wpływu na jakość i czas treningu. Perseus jest dostępny jako narzędzie open-source w ramach platformy Zeus, która służy do mierzenia i optymalizacji zużycia energii przez AI.
Podobne inicjatywy mające na celu zmniejszenie śladu węglowego, ale głównie kosztów związanych z wykorzystaniem energii. Na przykład Google DeepMind opracowało algorytmy zarządzające zużyciem energii w swoich centrach danych, co doprowadziło do zmniejszenia zużycia energii o około 40%. Microsoft również inwestuje w technologie z zakresu zrownoważonego rozwoju, wykorzystując odnawialne źródła energii i pracując nad bardziej efektywnymi systemami chłodzenia. Optymalizacja jest ważnym krokiem w zmniejszeniu kosztów trenowania danych przez firmy technologiczne co przełoży się również na ograniczenie produkowanego śladu węglowego przez centra danych.
Przykładem może być wykorzystanie AI do zarządzania miejską siecią energetyczną w celu optymalizacji zużycia prądu. W Barcelonie przeprowadzono pilotażowy projekt, w którym AI zarządzała siecią świetlną, co pozwoliło na zmniejszenie zużycia energii.
Rozwój sztucznej inteligencji jest kluczowym wyzwaniem naszych czasów. Rozwiązanie jak Perseus pokazują, że trzeba połączyć postęp technologiczny z dbałością o oszczędzanie zasobów energetycznych co przekłada się na oszczędności finansowe firm. Kolejny projekt pokazuje jak wiele jeszcze brakuje do odpowiedniego zoptymalizowania rozwoju sztucznej inteligencji z racji jeszcze swojego wczesnego rozwoju.
Szymon Ślubowski