Dlaczego ChatGPT nie umie liczyć? Tajemnice matematycznych potknięć ujawnione

Sztuczna inteligencja, w tym ChatGPT, potrafi pisać wiersze, komponować muzykę i tłumaczyć teksty. Mimo to często zatrzymuje się na prostych zadaniach matematycznych. Dlaczego chatbot, który radzi sobie z kompleksowymi zadaniami językowymi, nie może poradzić sobie z matematyką na poziomie szkoły podstawowej?

Tokenizacja: Kiedy liczby rozpadają się na części

Jednym z kluczowych problemów jest tokenizacja. Ten proces dzieli dane na mniejsze części, tzw. tokeny. Wyobraź sobie to jak układanie puzzli, gdzie słowa są rozbijane na sylaby. Tokenizator, model sztucznej inteligencji odpowiedzialny za ten proces, jednak nie rozumie znaczenia liczb.

Może się zdarzyć, że liczba 380 będzie postrzegana jako jeden token, podczas gdy 381 jako dwa (38 i 1). Tym samym relacje między cyframi zostają zakłócone, a obliczenie się komplikuje.

Statystyczna maszyna borykająca się z liczbami

Innym powodem matematycznych trudności ChatGPT jest jego statystyczna natura. Chatbot uczy się na podstawie ogromnej ilości przykładów i szuka w nich wzorców. Na przykład nauczy się, że fraza „Szanowny Panie” jest często następowana frazą „zwracamy się do Pana”.

W matematyce jednak to podejście napotyka na problemy. ChatGPT może oszacować, że iloczyn liczb kończących się na 2 będzie kończył się na 4, ale nie radzi sobie z wynikami pośrednimi. Mówiąc prościej, model ChatGPT próbuje zgadnąć wynik na podstawie nauczonych wzorców zamiast przeprowadzić dokładne obliczenie.

Wyzwanie zwane mnożeniem

Badanie przeprowadzone przez Yuntiana Denga z University of Waterloo wykazało, że ChatGPT ma problemy z mnożeniem liczb większych niż czterocyfrowe. Powodem jest fakt, że błąd na jakimkolwiek etapie obliczenia wpływa na wynik końcowy.

Wyobraź sobie to jak efekt domina – jeden błąd uruchamia reakcję łańcuchową i wynik jest zupełnie niepoprawny. Istnieje jednak nadzieja, że ChatGPT poprawi się w przyszłości. Deng i jego koledzy testowali również model o1 od OpenAI, który charakteryzuje się zdolnością do logicznego myślenia.

Ten model osiągnął znacznie lepsze wyniki niż standardowy GPT-4o i potrafił poprawnie rozwiązać nawet mnożenie dziewięciocyfrowych liczb. Model o1 bowiem myśli nad problemem krok po kroku, co pozwala mu osiągnąć dokładniejsze wyniki.