Łatwość wysławiania się sprawia, że chatbot generujący „halucynacje” i potrafiący je pięknie rozwinąć jest postrzegany jako równie wiarygodny, co taki, który udziela zwięzłych i bezbłędnych odpowiedzi – informuje pismo „Computers in Human Behavior Artificial Humans”.
Większość osób zna już narzędzia takie jak ChatGPT, Gemini, Claude czy inne chatboty. Każdego dnia zadajemy im miliony pytań i otrzymujmy odpowiedzi. Modele językowe mają jednak tendencję do popadania w tzw. „halucynacje” – generują niewiarygodne, wątpliwe treści, przedstawiając je z dużą pewnością siebie jako prawdę.
Z badań, jakie przeprowadziła medioznawczyni Marianna de Sa Siqueira wraz ze współpracownikami z Uniwersytetu im. Radbouda w Nijmegen (Holandia), wynika, że chatbot posługujący się naturalnym językiem jest częściej postrzegany przez użytkowników jako inteligentny i użyteczny – nawet jeśli w rzeczywistości wygaduje bzdury.
W ramach eksperymentu uczestnikom zaprezentowano jeden z czterech wariantów rozmowy z chatbotem na temat „Władcy Pierścieni”. Dwa warianty charakteryzowały się płynnymi, brzmiącymi naturalnie zdaniami – w jednym z nich chatbot udzielał poprawnych odpowiedzi, w drugim zaś – błędnych. Dwa pozostałe warianty opierały się na krótkich, rzeczowych komunikatach: jeden zawierał wyłącznie prawdziwe informacje, podczas gdy drugi przedstawiał (subtelnie) zmyślone fakty.
Zgodnie z przewidywaniami najwyżej oceniono chatbota, który posługiwał się eleganckim językiem i udzielał poprawnych odpowiedzi. Co jednak istotne, chatbot piszący w sposób płynny, ale podający nieprawdziwe informacje został oceniony przez uczestników jako równie inteligentny i przyjemny w odbiorze, co chatbot komunikujący się w sposób sztywny i oszczędny, ale przekazujący poprawne dane.
Okazało się również, że aż 80 procent uczestników zupełnie nie zauważyło błędów – mimo że osoby te zostały wcześniej wyselekcjonowane pod kątem posiadania podstawowej wiedzy na temat „Władcy Pierścieni”.
„Przede wszystkim pokazuje to, jak łatwo można wprowadzić ludzi w błąd i jak szybko zaczynamy ufać czemuś, co w rzeczywistości wygaduje bzdury” – wskazała Barbara Müller, profesor nadzwyczajna i współautorka badania. „Jeśli tekst brzmi elegancko i naturalnie, ludzie automatycznie przypisują mu inteligencję. Podświadomie zakładamy wtedy: »wszystko w porządku, nie muszę tego dalej sprawdzać«”.
Badanie zwraca uwagę na niebezpieczeństwo ślepego ufania sztucznej inteligencji. Profesor i współautor badania, Tibor Bosse, wyjaśnił: „Tak zwane modele językowe, takie jak GPT czy Claude, są przede wszystkim trenowane w tworzeniu zdań, które są statystycznie prawdopodobne i łatwe w odbiorze. Systemy te nie zawsze przywiązują dużą wagę do prawdy. Zostały zaprojektowane tak, by brzmiały jak wypowiedzi człowieka i były przekonujące, ale to, czy zawarte w nich informacje są faktycznie poprawne, ma dla nich drugorzędne znaczenie”.
„Kiedyś ludzie narzekali, że chatboty są irytujące i nic nie wiedzą. Teraz brzmią tak inteligentnie, że zbyt łatwo im wierzymy” – zauważył Bosse.
Jego zdaniem tego problemu nie da się rozwiązać za pomocą prostego zastrzeżenia na samym początku. „Większość chatbotów wyświetla na wstępie krótką informację, że generowane treści mogą nie być w pełni precyzyjne, jednak firmy te z pewnością nie będą przy każdej odpowiedzi same z siebie zaznaczać, że system nie jest pewny swoich słów. Jeśli naprawdę chcemy chronić użytkowników przed chatbotami wygadującymi bzdury, musimy na przykład zobowiązać firmy technologiczne do uwidaczniania tej niepewności. Jeśli sam chatbot wyrazi wątpliwość, można zapobiec sytuacji, w której ludzie uznają nonsensy za prawdę” – zwrócił uwagę badacz.
Autor: Paweł Wernicki (PAP)
pmw/ bar/
