Walka z toksycznymi komentarzami w sieci
Media społecznościowe stały się nieodłącznym elementem codziennego życia, problem z toksycznymi komentarzami online osiągnął spore rozmiary.
Mowa nienawiści, cyberprzemoc i obraźliwe treści mogą prowadzić do poważnych konsekwencji psychologicznych, w tym depresji, samookaleczeń, a nawet samobójstw. W odpowiedzi na to wyzwanie naukowcy z Australii i Bangladeszu opracowali model sztucznej inteligencji, który z imponującą skutecznością 87% wykrywa toksyczne komentarze na platformach społecznościowych.
Nowy model uczenia maszynowego, zaprezentowany podczas Międzynarodowej Konferencji Innowacji i Inteligencji w Informatyce, Obliczeniach i Technologiach 2024, stanowi znaczący krok naprzód w automatycznej identyfikacji toksycznych treści. Badania przeprowadzone przez East West University w Bangladeszu i University of South Australia wykazały, że model przewyższa istniejące systemy detekcji, które często generują fałszywe alarmy.
Kluczowym elementem nowego rozwiązania jest zoptymalizowany algorytm Support Vector Machine (SVM), który osiągnął dokładność na poziomie 87,6%. Dla porównania, tradycyjne modele SVM osiągały skuteczność na poziomie 69,9%, a modele oparte na Stochastic Gradient Descent – 83,4%. Dzięki precyzyjniejszemu filtrowaniu treści, nowy model może być wdrażany w rzeczywistych scenariuszach, gdzie szybkie i dokładne wykrywanie toksycznych komentarzy jest kluczowe.
Według danych Światowej Organizacji Zdrowia (WHO), cyberprzemoc dotyka około 20% młodzieży na całym świecie, prowadząc do poważnych problemów ze zdrowiem psychicznym. Szczególnie narażone są młode osoby, które spędzają coraz więcej czasu w internecie. W Australii badania eSafety Commissioner wykazały, że jedna na trzy osoby poniżej 18 roku życia doświadczyła nękania w sieci.
Zjawisko nie ogranicza się jedynie do młodzieży. Platformy jak Facebook, Instagram, czy YouTube codziennie gromadzą miliardy interakcji, z których znaczna część zawiera treści o charakterze obraźliwym. W obliczu tak ogromnej ilości danych ręczna moderacja staje się praktycznie niemożliwa, co podkreśla potrzebę wdrożenia zaawansowanych systemów opartych na sztucznej inteligencji.
Model opracowany przez zespół Afii Ahsan i dr. Abdullahi Chowdhury’ego został przetestowany na zestawie danych obejmującym komentarze w języku angielskim i bengalskim, pochodzące z Facebooka, YouTube i Instagrama. Algorytm analizuje treść komentarzy, wykorzystując techniki przetwarzania języka naturalnego (NLP), aby ocenić ich potencjalną toksyczność.
Największą zaletą modelu jest jego zdolność do precyzyjnego rozróżniania między nieszkodliwymi, a szkodliwymi komentarzami, co pozwala na ograniczenie liczby fałszywych alarmów. W przyszłości naukowcy planują rozszerzyć model o techniki głębokiego uczenia (deep learning) oraz objąć nim więcej języków i dialektów regionalnych.
Nowy model to część szerszego trendu, w którym firmy technologiczne i instytucje badawcze starają się stworzyć bezpieczniejsze środowisko online. Google od kilku lat rozwija model Perspective API, który wykrywa toksyczne treści w komentarzach na platformach internetowych. Podobne technologie wdraża również Facebook, korzystając z zaawansowanych modeli AI do moderacji treści.
W 2023 roku Twitter (obecnie X) wprowadził system Birdwatch, który pozwala użytkownikom na zgłaszanie potencjalnie szkodliwych treści i dodawanie kontekstu do dyskusji. Jednak wiele z tych rozwiązań wciąż zmaga się z problemem fałszywych alarmów oraz trudnościami w wykrywaniu subtelnych form nękania, takich jak ironia czy sarkazm.
Pomimo imponujących wyników, systemy wykrywania toksycznych treści nadal napotykają liczne wyzwania. Wiele modeli ma trudności z identyfikacją kontekstu kulturowego, języka regionalnego oraz wieloznacznych treści. Dlatego kluczowym kierunkiem przyszłych badań będzie integracja modeli głębokiego uczenia, które pozwolą na bardziej zaawansowaną analizę semantyczną.
Ponadto, wdrażanie takich systemów budzi kontrowersje dotyczące prywatności i wolności słowa. W 2022 roku organizacja Electronic Frontier Foundation ostrzegła, że zbyt rygorystyczne systemy moderacji mogą prowadzić do cenzury i tłumienia legalnej ekspresji.
Do systemów skupiających się na cenzurowaniu treści trzeba podchodzić jednak z należytą rozwagą, ważne jest, aby jedynie część komentarzy, które w sposób nieuzasadniony są toksyczne oraz nie wnoszą nic do dyskusji na dany temat usuwać lub prosić o modyfikacje. Granica, pomiędzy konstruktywną krytyką, a bezpodstawnym oczernianiem dla programu może być bardzo krucha, dlatego ważne jest, aby w sposób rozsądny przy wsparciu wielu środowisk z różnymi poglądami dyskutować na dane tematy, dbając o bezpieczeństwo użytkowników, a nie ich kontrole.
Szymon Ślubowski
