Modele językowe uczą się gramatyki, aby rozumieć słowa

Modele językowe, których umiejętności zaskakują dziś miliony użytkowników, wciąż skrywają przed nami wiele tajemnic. 

Gdy rozmawiamy z ChatGPT, Gemini czy Claude’em, łatwo zapomnieć, że za płynnymi odpowiedziami kryją się miliony operacji matematycznych. Nowe badania opublikowane w Journal of Statistical Mechanics: Theory and Experiment rzucają ciekawe światło na proces nauki modeli i pokazują, że maszyny uczą się rozumieć język etapami, w sposób zaskakująco bliski temu, jak uczymy się my, ludzie.

Zespół naukowców z Harvardu pod kierunkiem dr. Hugo Cuia zbadał, co dokładnie dzieje się wewnątrz tzw. transformera. Architektury, która stała się podstawą większości współczesnych modeli językowych. Właśnie w transformerach działa mechanizm „self-attention”, pozwalający AI oceniać, które słowa w zdaniu są dla kluczowe i jak się ze sobą łączą. Bez niego nie byłoby sensownych odpowiedzi oraz trafnych tłumaczeń.

Jak się okazuje, na samym początku nauki AI stawia na… porządek słów. Dokładnie tak samo, jak dziecko uczące się czytać. Gdy mówimy „Kasia je jabłko”, kolejność słów zdradza, kto jest podmiotem, a co jest czasownikiem. Badanie pokazało, że przy małych ilościach danych sieci neuronowe polegają właśnie na tym. Lokalizują znaczenie przez kolejność słów w zdaniu.

Sieć, która nie zna jeszcze znaczeń słów, musi się czegoś złapać. W językach takich jak angielski, niemiecki czy polski kolejność wyrazów jest kluczem gramatyki. Dopiero gdy AI „przeczyta” wystarczająco dużo tekstów, zaczyna dostrzegać sens słów poprzez ważność, a nie ich pozycje.

Badaczy zaskoczył moment, w którym sieć zmienia strategię. Nie dzieje się to stopniowo, lecz nagle. Naukowcy opisują ten moment jako „przejście fazowe”. Gdy AI osiąga krytyczny próg danych, jej logika dosłownie przeskakuje. Teraz kluczowe staje się znaczenie słów, a nie ich układ.

Choć eksperyment dotyczył uproszczonego modelu, wnioski mogą pomóc lepiej projektować systemy AI. Zrozumienie, kiedy i dlaczego maszyna zmienia sposób przetwarzania języka, pozwala tworzyć bardziej wydajne i bezpieczne modele. Możliwe, że w przyszłości będziemy potrafili tak szkolić AI, by szybciej przechodziła do etapu „znaczenia” co ograniczy zużycie energii i dane potrzebne do nauki.

Temat tego, jak sieci neuronowe „myślą”, jest gorący na całym świecie. Podobne wnioski płyną z badań Google DeepMind czy OpenAI, które również próbują zrozumieć, dlaczego duże modele językowe bywają nieprzewidywalne. W 2023 roku badacze z MIT zaproponowali hipotezę, że złożona AI w pewnym momencie uczy się „wewnętrznych reguł” języka, tworząc coś na kształt własnej gramatyki.

Z kolei naukowcy z Uniwersytetu w Cambridge wskazali, że kluczem do przewidywalności modeli może być lepsza kontrola nad tym, jak sieci kodują relacje między słowami. Im więcej wiemy o mechanizmach transformera, tym bliżej jesteśmy stworzenia modeli, które nie tylko mówią jak ludzie, ale też rozumieją, co mówią i nie generują absurdalnych odpowiedzi.

Choć AI bije kolejne rekordy pod względem użytkowników, naukowcy podkreślają, że nie powinniśmy zapominać o różnicach. Sieć neuronowa nie myśli ani nie rozumie w taki sposób, jak człowiek. Jej „zrozumienie” to matematyczny wzór, który działa w oparciu o prawdopodobieństwo i statystykę.

Jak podkreśla dr. Cui, badania mają pomóc zrozumieć AI na poziomie fundamentalnym po to, byśmy wiedzieli, jak i kiedy jej zaufać poprzez zrozumienie jej funkcjonowania.

Szymon Ślubowski