Dlaczego AI halucynuje? Spojrzenie pod pokrywę modeli językowych

Sztuczna inteligencja dzisiaj radzi sobie z rzeczami, które jeszcze niedawno wydawały się czystym science-fiction. Pisze teksty, tworzy kod programistyczny i doradza nam w wielu skomplikowanych zadaniach. Im bardziej płynnie i przekonująco brzmią jej odpowiedzi, tym łatwiej zapominamy o jednym dużym ryzyku: AI potrafi stworzyć całkowicie zmyśloną odpowiedź, która na pierwszy rzut oka wygląda na w 100% wiarygodną.

Ten fenomen zyskał nazwę „halucynacje AI”. Nie jest to żadna przypadkowa usterka oprogramowania ani celowo zapomniana funkcja, którą programiści po prostu nie wyłączyli. To naturalny i głęboko zakorzeniony skutek tego, jak są dziś pomyślane i trenowane wielkie modele językowe (LLM). Przyjrzyjmy się, jak te systemy działają, aby zrozumieć, dlaczego tak pewnie „plecą bzdury”.

Czym są halucynacje AI?

W generatywnej sztucznej inteligencji halucynacja odnosi się do sytuacji, gdy model tworzy odpowiedź, która, choć gramatycznie i stylistycznie wydaje się doskonała i wiarygodna, w rzeczywistości nie ma żadnego oparcia w rzeczywistym świecie.

Modele potrafią halucynować w naprawdę zaskakujący sposób. Potrafią wymyślić nieistniejące paragrafy prawa, zrobić błędy w obliczeniach matematycznych lub wygenerować realistycznie brzmiące artykuły naukowe, łącznie z konkretnymi nazwiskami autorów i adresami internetowymi, które jednak nigdy nie istniały. Co ciekawe, dzieje się to nawet w przypadku zupełnie banalnych pytań, na przykład gdy chcemy sprawdzić datę urodzenia jakiejś osobistości lub znaleźć oficjalne historyczne dane o liczbie ludności w archiwach.

Co dzieje się wewnątrz modelu językowego

Aby zrozumieć, skąd biorą się te błędy, musimy sobie jedną rzecz uświadomić: wielkie chatboty, takie jak ChatGPT lub Gemini, nie działają jak wyszukiwarki internetowe i nie są żadnymi ogromnymi bazami danych faktów. Nie mają żadnej rzeczywistej wiedzy o naszym świecie i w ogóle nie wiedzą, co jest prawdą, a co kłamstwem.

Model językowy to w istocie ogromna sieć neuronowa, która jest w rzeczywistości skomplikowanym zestawem „wytrenowanych instynktów”. Te instynkty zdobyła poprzez analizę bilionów słów z internetu, książek i dyskusji. Celem całego tego finansowo i technologicznie niesamowicie kosztownego treningu nie jest nauczenie maszyny rozumienia znaczenia tekstu, ale po prostu nauczenie jej świetnie i płynnie naśladować ludzki język.

Jak AI pracuje z tokenami

Gdy wpisujesz swoje pytanie do chatbota, sieć neuronowa nie pracuje bezpośrednio ze słowami. Najpierw tekst zostaje podzielony na tzw. tokeny. Tokeny są wcześniej przygotowanymi słowami lub ich częściami, które odpowiadają konkretnym liczbom. Sieć matematyczna w komputerze potrafi obsługiwać tylko liczby.

Model bierze te liczby (twój zapytanie razem z całym poprzednim kontekstem konwersacji) i przepuszcza je przez swoje warstwy. Wynikiem jednak nie jest to, że zagląda do jakiejś szuflady po „właściwą odpowiedź”. Rezultatem jest czysta matematyczna prognoza: model oblicza, który kolejny token ma największe prawdopodobieństwo wystąpienia po tekście, który już został napisany.

Dlaczego model predykcji zamiast weryfikacji

Cały sposób działania sztucznej inteligencji opiera się na szacowaniu prawdopodobieństwa, a nie na weryfikacji prawdziwości. Model składa tekst słowo po słowie (token po tokenie). Każde nowo wygenerowane słowo jest natychmiast włączane do zadań, a na podstawie tego świeżego kontekstu natychmiast obliczane jest prawdopodobieństwo dla kolejnego słowa.

Aby wyniki nie były całkowicie nudne i suche, stosuje się podczas generowania ukryty parametr zwany „temperaturą”. Gdy temperatura jest zerowa, model zawsze wybiera najbardziej przewidywalny token, co prowadzi do monotonnych i powtarzalnych odpowiedzi. Wyższa temperatura daje modelowi możliwość sięgnięcia także po mniej prawdopodobne słowa. W ten sposób odblokowuje się kreatywność i zdolność do pisania ciekawych historii, ale jednocześnie znacznie zwiększa się szansa, że model popadnie w całkowicie zmyślone fabuły.

Jak powstaje jedna odpowiedź krok po kroku

Cały proces od zadania pytania po ostateczną halucynację wygląda w praktyce tak:

1. Analiza zadania: Twoje pytanie zostaje przeliczone na liczby (tokeny).
2. Obliczanie prawdopodobieństw: Model rozważa kontekst i z setek możliwych kandydatów wybiera słowa, które statystycznie najlepiej pasują dalej.
3. Składanie omijania: Jeśli model napotka temat, gdzie brakuje mu solidnych danych, nie stara się przyznać, że nie wie. Używa płynnego języka i zaczyna tworzyć tekst, który choć brzmi całkowicie logicznie, w szczegółach jest po prostu statystycznie wymyślony.
4. Zapętlenie kontekstu: Gdy tylko model w połowie zdania wygeneruje błędny detal (np. zły rok lub zmyślone nazwisko), ten detal staje się stałą częścią kontekstu. W następnych krokach model buduje na swojej własnej kłamstwie, dodając do niej kolejne wiarygodnie wyglądające uzasadnienia.

Niektóre pytania częściej prowadzą do halucynacji

Podczas treningu (tzw. przedtreningu) model widzi tylko poprawne, płynne teksty. Jednak w danych są różne rodzaje informacji. Zasady ortografii lub poprawne zamykanie nawiasów w tekstach powtarzają się nieustannie, więc AI uczy się ich bezbłędnie.

Problem pojawia się w przypadku specyficznych faktów, które w danych występują rzadko i nie podążają za żadnym powtarzalnym wzorem. Typowym przykładem są dokładne liczby, daty, daty urodzenia czy mało znane wydarzenia historyczne. Ponieważ te fakty w danych występują praktycznie losowo, model nie potrafi ich wiarygodnie wywnioskować. Jeśli więc zapytasz sztuczną inteligencję o konkretną liczbę lub szczegóły, które człowiek musi pamiętać z archiwum, ryzyko halucynacji skacze w górę.

Jak modele AI starają się ograniczać halucynacje?

Obecnie programiści stosują kilka głównych strategii, aby okiełznać dziką wyobraźnię modeli:

• Narzędzia zewnętrzne i wyszukiwanie. Podobnie jak modele otrzymały kalkulatory do obliczeń matematycznych, obecnie mają możliwość przeszukania internetu przed udzieleniem odpowiedzi. Czytają odpowiednie strony, a następnie je cytują. To znacznie zmniejsza szansę, że odpowiedź zostanie wymyślona, choć nawet z cytacjami mogą wystąpić halucynacje.
• Modele myślące (Reasoning). Zaawansowane systemy (np. seria o3 lub o5 od OpenAI) prowadzą przed wygenerowaniem odpowiedzi wewnętrzny monolog. Najpierw przemyślą procedurę, sprawdzają źródła, a dopiero potem wypuszczają tekst do użytkownika. Halucynacje są tu znacznie mniej liczne, ale jeśli się pojawią, są tym bardziej wyrafinowane i trudniejsze do wykrycia.
• Architektura RAG (Retrieval-Augmented Generation). Używana głównie w firmach. Model zostaje odłączony od swobodnego zgadywania i zostaje zmuszony do pracy wyłącznie z dostarczoną bazą wewnętrznych dokumentów. Prawdopodobieństwo błędu jest wtedy zminimalizowane.

Główny problem leży jednak w tym, jak modele są oceniane w testach. Większość rankingów mierzy czystą skuteczność (dokładność) na skali 1 (poprawnie) lub 0 (błędnie). Ostrożne przyznanie „nie wiem” zawsze kończy się zerem, podczas gdy za ryzykowne zgadywanie model może czasem uzyskać punkt. System w ten sposób motywuje inteligencję sztuczną dosłownie do tego, aby raczej pewnie zgadywała, zamiast przyznawać się do niepewności. Dlatego OpenAI w swoich badaniach forsuje zmianę metodologii oceny, która karze modele za wymyślanie informacji i nagradza je punktowo za otwarte przyznanie się do niepewności.

Jak uzyskać bardziej niezawodne odpowiedzi z AI

Dopóki systemy oceny się nie zmienią, musimy jako użytkownicy podchodzić krytycznie do wyników z chatbotów. Oto kilka wskazówek, jak minimalizować ryzyko:

• Dostarcz dane bezpośrednio do promptu. Jeśli chcesz, aby AI przeanalizowała tekst lub ustawę, wstaw go bezpośrednio do zadania i wyraźnie zabrzm przynoszenie czegokolwiek, co nie znajduje się w tekście. Szansa na wymysły maleje wtedy do minimum.
• Zmień ton pytania. Nie zaganiaj modelu w kąt pytaniami o rzeczy, których nie może logicznie wywnioskować (dokładne liczby statystyczne, szczegóły biograficzne).
• Sprawdź wszystko, co ważne. Zwłaszcza w wrażliwych obszarach, takich jak prawo, medycyna czy finanse, traktuj wyniki z AI wyłącznie jako robocze półprodukty, które musisz samodzielnie skontrolować w niezależnych, weryfikowalnych źródłach.

Często zadawane pytania

Dlaczego AI czasem obiecuje, że wyśle mi e-mail lub zakończy zadanie później, chociaż tego nie potrafi?

Model nie ma żadnego pojęcia o swoich rzeczywistych technicznych możliwościach ani o aktualnym czasie. Po prostu uzupełnia tekst na podstawie prawdopodobieństwa statystycznego. Gdy napiszesz mu zadanie, oceni jako najbardziej naturalną kontynuację zdania grzeczne potwierdzenie, że już pracuje nad sprawą, nawet jeśli w tle żaden proces nie jest uruchomiony.

Czy chatbot może całkowicie zmyśleć książkę lub artykuł naukowy, który wydaje się rzeczywisty?

Tak, zdarza się to bardzo często. AI nauczyła się z tekstów struktury naukowych cytatów, więc potrafi wygenerować tytuły, które brzmią bardzo realnie i naukowo. Informacje w takiej cytacji mogą być jednak całkowicie zmyślone, a jedynym sposobem, aby to sprawdzić, jest próba znalezienia tej pracy niezależnie.

Czy pomoże w przypadku halucynacji, jeśli zapytam o to samo ponownie w nowym czacie?

Tak, otwarcie nowego czatu to bardzo skuteczna pomoc. Tym samym bowiem kasujesz cały poprzedni kontekst konwersacji. Jeśli AI popełniła błąd we wcześniejszych zdaniach, to w oryginalnym czacie nadal by się na nim opierała, podczas gdy w czystym oknie nowe obliczenia prawdopodobieństwa zaczynają od zera.

Czy włączenie wyszukiwania w internecie daje mi gwarancję, że odpowiedź nie będzie zawierała błędów?

Niestety, nie daje gwarancji. Wyszukiwarka dostarcza co prawda modelowi poprawne dane, ale AI nadal składa z nich tekst na podstawie przewidywania kolejnych słów. Testy pokazują, że chatboty nawet z dostępem do sieci potrafią źle zrozumieć informacje, pomieszać konteksty i stworzyć błąd, który dodatkowo przeplata prawdziwymi odnośnikami.

Czy używanie sztucznej inteligencji ma sens, jeśli wiem, że tak często się myli?

Oczywiście ma, ale trzeba zmienić oczekiwania. Do burzy mózgów, pisania e-maili, tworzenia kreatywnych konceptów czy szukania nietypowych powiązań ta swoboda modelu jest ogromną zaletą. Musisz jednak działać jako redaktor, pozwolić AI pisać i zawsze kontrolować faktyczne szczegóły samemu.