Czy AI może kłamać? 10 realnych sytuacji z polskich firm i procedura weryfikacji odpowiedzi
Damian GębalaAutorTak, AI może kłamać. Nie chodzi o złośliwość, tylko o cechę statystyczną: model językowy przewiduje najbardziej prawdopodobny ciąg słów, a nie sprawdza, czy zdanie jest prawdziwe. Efekt wygląda jak pewność siebie bez pokrycia, i to jest problem, który w firmie uderza w konkretne miejsca: chatbot obiecuje rabat, którego nie ma w systemie, robot podaje nieistniejący termin płatności, a raport sprzedażowy zawiera statystykę, której nikt nie sprawdzał. W artykule znajdziesz 10 udokumentowanych sytuacji, mechanizm, który za nimi stoi, oraz procedurę weryfikacji, którą da się wdrożyć w firmie.
Czym tak naprawdę jest halucynacja modelu
Halucynacja to odpowiedź wygenerowana z pewnością, której nie da się oprzeć na żadnym fakcie. Nie chodzi o literówkę ani o przeliczenie. Chodzi o zdanie, które brzmi poprawnie, ma właściwy format, pojawia się w kontekście związanym z tematem, ale nikt nigdy go nie potwierdził.
Źródło problemu jest nieco unintuicyjne. Modele trenowano na ogromnych zbiorach tekstu z oceną zbudowaną w większości w układzie zero-jeden: poprawna odpowiedź dostaje punkt, każda inna, w tym uczciwe „nie wiem", dostaje zero. W rezultacie model uczy się, że zawsze opłaca się podjąć ryzyko i odpowiedzieć, nawet przy niskiej pewności. W branżowych benchmarkach, takich jak MMLU czy SWE-bench, ten sam mechanizm jest wciąż obecny i systemowo wzmacnia skłonność do zgadywania.
Do tego dochodzą trzy rzeczy, które w praktyce firmowej ważą najwięcej. Modele nie mają wbudowanego mechanizmu samoweryfikacji, więc gdy w kontekście brakuje danych, luka zostaje wypełniona domysłem. Im rzadszy fakt, tym słabsza podstawa: przy informacji, która w danych treningowych pojawiła się raz, model wygeneruje datę pasującą do formatu, ale przypadkową. I wreszcie: jeśli prompt nie dopuszcza odpowiedzi negatywnej, model odpowie za wszelką cenę.
Warto dodać, że temperatura zero, czyli najbardziej deterministyczne ustawienie, nie eliminuje problemu. Benchmark Vectara, który testuje właśnie to, pracuje w temperaturze 0, a mimo to najlepszy model w rankingu przechodzi test z wynikiem 1,8 procent, a najgorszy zdecydowanie przekracza dwadzieścia procent.
Systemy generatywne optymalizują prawdopodobieństwo słów, a nie weryfikację faktów.
10 realnych sytuacji, w których AI wprowadza w błąd
Poniższe sytuacje łączy jedna rzecz: każda z nich jest udokumentowana. Część pochodzi z badań klinicznych nad chatbotami, część z orzecznictwa i materiałów branżowych. Dwie ostatnie są poświęcone specyficznie polskiemu rynkowi.
1. Chatbot obiecuje zniżkę, której nie ma w systemie sprzedaży
W 2022 roku chatbot linii Air Canada obiecał pasażerowi rabat, którego linia nie oferowała. Sprawa trafiła do trybunalu rozstrzygającego spory w Kolumbii Brytyjskiej, który w lutym 2024 roku zasądził na rzecz klienta 812,02 dolarów kanadyjskich wraz z opłatami. Linia broniła się, twierdząc, że chatbot jest odrębnym podmiotem prawnym odpowiedzialnym za własne działania. Sąd to odrzucił, stwierdzając, że dla przeciwnika informacji z serwisu nie ma znaczenia, czy pochodzi ze strony statycznej, czy z czatu.
2. Bot wysyła klientowi link do pomocy samobójczej
W 2018 roku chatbot WestJet przesłał pasażerowi link do telefonicznej pomocy samobójczej, bez widocznego powodu. To nie jest historyczny wycinek sprzed ery LLM, tylko efekt tej samej własności: system nie rozumie znaczenia treści, którą zwraca, odtwarza ją bezwarunkowo.
3. Model podaje nieistniejący termin lub przepis
W firmie regulowanej taka pomyłka to nie spadek satysfakcji klienta, tylko zdarzenie compliance. Model, który wygeneruje szczegół regulaminu z pamięci, zrobi to płynnie, konkretnie i błędnie, i to właśnie ta pewność tonu sprawia, że rzadko kto sprawdza. W branży prawnej analogicznie: nieistniejąca sygnatura wyroku podana w opinii kosztuje czas na weryfikację i może skutkować błędną poradą dla klienta. Jeśli u Ciebie takie analizy robi ktoś z zespołu, ryzyka AI w pracy z umowami i korespondencją są opisane osobno.
4. W odpowiedzi pojawia się statystyka, której nikt nie sprawdzał
To najczęstsza wersja halucynacji w codziennej pracy biurowej. Model podaje liczbę z dokładnością do jednego miejsca dziesiętnego, w otoczeniu logicznego wywodu i podpisu sugerującego źródło, a pod spodem nie ma nic. W sieci krążyą takie liczby jak „68,4 procent polskich firm korzystało z AI w marketingu" albo „według najnowszych badań 72 procent". Nie mają one źródła, ale wyglądają jak odpowiedź na pytanie, więc trafiają do raportów i prezentacji zarządowych.
5. Fałszywy cytat klienta w materiałach marketingowych
Model tworzący treści marketingowe chętnie przypisuje wypowiedź osobie, która jej nie udzieliła, bo w bazie jest jej nazwisko i kontekst. Efekt wymaga jednego sprostowania, ale przy dużym kliencie oznacza to realne zagrożenie relacji. Tego typu treść warto generować wyłącznie z zatwierdzonych, cytowalnych źródeł, a nie z ogólnej wiedzy modelu.
6. Im dłuższa rozmowa z botem, tym więcej błędów
W eksperymencie z systemem RAG to samo zapytanie powtarzano sto razy przy różnej długości historii konwersacji. Odsetek halucynacji wzrósł z 5 procent bez historii do 40 procent po dziesięciu wcześniejszych wymianach. To pojedynczy system i protokół, więc nie dowodzi, że każda implementacja zachowa się tak samo, ale pokazuje jedno wyraźnie: test pojedynczego promptu nie wystarcza do oceny niezawodności konwersacyjnej. Klient, który dzwoni trzeci raz w tym samym tygodniu, dostaje inną jakość odpowiedzi niż klient pierwszorazowy.
7. Odpowiedź po polsku bywa mniej wiarygodna niż po angielsku
Badanie 30 rzeczywistych przypadków klinicznych przedstawionych w sparowanych wersjach angielskiej i polskiej wykazało, że wpływ języka zależał od modelu, a różnice koncentrowały się między innymi na diagnostyce różnicowej i uzasadnieniu. Płynna polszczyzna tworzy wrażenie, że model równie dobrze rozumie lokalną praktykę i terminologię. Nie musi tak być. Dodatkowy problem po stronie firmy: popularne narzędzia do automatycznego mierzenia wiarygodności odpowiedzi w ogóle nie obejmują języka polskiego, więc nie da się nimi policzyć, jak często polskojęzyczny bot mówi bzdury.
8. Użytkownik ufa botowi bardziej niż człowiekowi
W prerejestrowanym randomizowanym badaniu na 1298 osobach modele testowane samodzielnie prawidłowo identyfikowały stan w 94,9 procent przypadków. Uczestnicy korzystający z tych samych modeli, wparci w nie, rozpoznawali właściwy stan w mniej niż 34,5 procent przypadków, a właściwą dyspozycję w mniej niż 44,2 procent. Wyniki nie były lepsze od grupy kontrolnej. To najważniejsze badanie w całym zestawieniu, bo dotyczy odpowiedzi na pytanie, które każdy właściciel firmy sobie zadaje: czy podpięcie modelu poprawia pracę ludzi. Nie poprawia, jeśli człowiek traktuje jego odpowiedź jako fakt.
9. Dokument od klienta przejmuje kontrolę nad botem
Model połączony z dokumentami i aplikacjami można przejąć za pomocą instrukcji ukrytej w danych, którą system odczyta jako polecenie. W kontrolowanym badaniu złośliwe instrukcje w wieloturowym scenariuszu prowadziły do niebezpiecznych rekomendacji. W firmie to oznacza, że załącznik od kontrahenta albo treść wiadomości klienta mogą zmienić zachowanie asystenta. Obrona wymaga rozdzielenia instrukcji od treści, kontroli pochodzenia danych, najmniejszych uprawnień i listy dozwolonych narzędzi.
10. „Nie wiem" zamienia się w pętlę bez końca
Poprawna reakcja modelu na brak danych to odmowa odpowiedzi i eskalacja. Zaimplementowana bez sensownie, prowadzi do zapętlenia, w którym klient powtarza to samo pytanie, a system każe mu czekać lub podać numer sprawy, którego nie ma. W praktyce wszystko, co zapętla albo każe klientowi powtarzać, kosztuje więcej niż zgłoszenie, które udało się od razu odbić do człowieka.
Skala problemu w liczbach
Publiczny benchmark Vectara mierzy odsetek odpowiedzi uznanych za halucynacje na zbiorze ponad 7700 artykułów. Metryka HHEM przyjmuje wartości od 0 do 1, a wynik poniżej 0,5 oznacza halucynację. Oto wybrane pozycje z rankingu:
| Model | Odsetek halucynacji | Spójność faktograficzna |
|---|---|---|
| antgroup/finix_s1_32b | 1,8 % | 98,2 % |
| openai/gpt-5.4-nano | 3,1 % | 96,9 % |
| meta-llama/Llama-3.3-70B-Instruct | 4,1 % | 95,9 % |
| openai/gpt-4o | 9,6 % | 90,4 % |
| anthropic/claude-sonnet-4 | 10,3 % | 89,7 % |
| google/gemini-3-pro-preview | 13,6 % | 86,4 % |
| openai/gpt-5-high | 15,1 % | 84,9 % |
| openai/o3-pro | 23,3 % | 76,7 % |
| mistralai/ministral-3-3b | 24,2 % | 75,8 % |
Zakres między najlepszym a najgorszym modelem jest ponad dziesięciokrotny, a to wciąż ta sama klasa zadań i ten sam zbiór pytań. Wniosek dla firmy jest prosty: wybór modelu ma realne znaczenie dla ryzyka, ale żaden model nie zbliża się do zera. Zaskakujące jest to, że najlepsze wyniki mają często modele open source, a nie najdroższe modele komercyjne.
Warto dodać ważne zastrzeżenie metodologiczne. Ten benchmark mierzy streszczanie artykułów, czyli zadanie zamknięte, z narzuconym materiałem źródłowym. To najłatwiejszy możliwy wariant pracy z modelem. Przy swobodnym pytaniu o cokolwiek, o czym nie ma źródła w kontekście, wyniki są z natury gorsze. Dlatego liczby z rankingu nie należy traktować jako gwarancji, tylko jako dolną granicę.
Procedura weryfikacji, którą da się wdrożyć
Poniższe kroki sprawdziły się w praktyce wdrożeniowej i porządkują temat niezależnie od tego, jakiego modelu używasz.
1. Oddziel instrukcję od danych i pozwól odmówić
Prompt powinien jasno dopuszczać odpowiedź negatywną i wymuszać etykietę braku danych. W praktyce wygląda to tak: odpowiadaj wyłącznie na podstawomie wskazanych fragmentów, jeśli brakuje informacji, napisz „brak danych w materiałach" i dołącz listę identyfikatorów źródeł. Prompt bez takiej furtki jest pierwszym miejscem, w którym pojawia się halucynacja, bo model dostaje instrukcję odpowiedzenia, a odpowiedzi nie ma z czego zacząć.
2. Podawaj źródło razem z odpowiedzią
Cytowanie samo w sobie nie jest dowodem poprawności. Model może podać prawdziwe źródło, które nie wspiera konkretnego twierdzenia, albo wygenerować nieistniejący tytuł, autora czy identyfikator DOI. Dlatego cytowanie sprawdza się na poziomie konkretnej tezy: czy ten fragment, który pokazujesz, faktycznie ją uzasadnia.
3. Rozbij odpowiedź na cztery etapy i sprawdzaj każdy osobno
Znalezienie źródła, wybranie fragmentu, wygenerowanie wniosku i przypisanie cytowania to cztery różne operacje, a każda może zawieść osobno. Sposób, w jaki rozdzielasz je w systemie, decyduje o tym, gdzie błąd zostanie złapany. Jeśli cała operacja jest jednym wywołaniem modelu, nie masz gdzie wstawić punktu kontrolnego.
4. Testuj wieloturnowo, nie jednym promptem
Skoro w eksperymencie odsetek błędów wzrósł z 5 do 40 procent po dziesięciu wymianach, test musi to odwzorować. Powtórz to samo zapytanie kilkadziesiąt razy przy rosnącej historii rozmowy i policz, ile odpowiedzi się rozjeżdża. Dopiero wtedy zobaczysz realną niezawodność.
5. Mierz wiarygodność automatycznie i zapisuj konfigurację
Aktualizacja modelu, promptu systemowego, korpusu wiedzy albo parsera dokumentów potrafi zmienić częstość i rodzaj błędów bez zmiany nazwy produktu widzianej przez użytkownika. Walidacja powinna mieć identyfikowalną wersję konfiguracji i datę, a istotne zmiany powinny uruchamiać testy od nowa. W praktyce oznacza to, że część testów uruchamiasz automatycznie po każdej zmianie, a nie raz przy wdrożeniu.
6. Zaplanuj eskalację do człowieka przed wyborem modelu
Droga do człowieka musi istnieć wcześniej, niż pojawi się pierwszy błąd. Nadzór człowieka działa tylko wtedy, gdy jest wykonalny: pracownik musi znać źródła i mieć czas na ocenę odpowiedzi. Przycisk „zaakceptuj" nie jest nadzorem, jeśli człowiek nie ma jak zweryfikować treści, którą zatwierdza.
7. Zbieraj sygnały ostrzegawcze w produkcji
Do podstawowej metryki należy odsetek odpowiedzi zawierających weryfikowalne źródło. Do niej dokłada się czas reakcji na zgłoszony błąd oraz spójność odpowiedzi na to samo pytanie w różnych sesjach. Samo to nie wystarczy, ale bez tego nie masz szansy zauważyć regresji po aktualizacji.
Obowiązki, które wynikają z prawa
Od 2 sierpnia 2026 roku obowiązuje w Unii Europejskiej większość przepisów AI Act, czyli rozporządzenia 2024/1689. Dla firm prowadzących rozmowy z klientami najważniejszy jest artykuł 50: system AI komunikujący się bezpośrednio z ludźmi musi jasno informować, że rozmawia z maszyną, najpóźniej przy pierwszej interakcji. Wymóg jest słowny, ma wprost pojawić się określenie AI. Samo nazwanie bota imieniem albo napis „automatyczny asystent" nie wystarczy.
Obowiązki zależą od tego, w jakiej roli występujesz: dostawcy, podmiotu stosującego, importera czy dystrybutora systemu. Zwykły chatbot informacyjny zazwyczaj nie jest automatycznie systemem wysokiego ryzyka, ale nadal podlega obowiązkom przejrzystości, a klasyfikacja zależy od celu i sposobu użycia, nie od nazwy technologii.
Harmonogram zmienia się w związku z rozporządzeniem 2026/1744, czyli Digital Omnibus on AI, przyjętym 8 lipca i opublikowanym 24 lipca 2026 roku. Obowiązki dotyczące części systemów wysokiego ryzyka mają obecnie datę 2 grudnia 2027 roku dla systemów klasyfikowanych na podstawie art. 6 ust. 2 i załącznika III oraz 2 sierpnia 2028 roku dla systemów z art. 6 ust. 1 i załącznika I. Warto znać te terminy, zanim podejmiesz decyzję, że zostawisz wdrożenie na później.
AI Act nie zastępuje RODO. Transkrypcje rozmów, dokumentacja i dane o klientach podlegają odrębnym obowiązkom dotyczącym podstawy przetwarzania, minimalizacji i retencji. Wysyłanie całej bazy klientów do zewnętrznej usługi tylko dlatego, że integracja na to pozwala, to decyzja, która zostaje w bazie wraz z konsekwencjami.
Czego te liczby nie mówią
Jest kilka rzeczy, których nie dało się ustalić, a które warto mieć w głowie, zamiast zgadywać. Po pierwsze: nie znalazłem polskiego wyroku sądowego, w którym rozstrzygnięto odpowiedzialność firmy za błędną odpowiedź chatbota. Udokumentowane sprawy, które znalazłem, pochodzą z innych jurysdykcji, a kara w nich nie stanowi precedensu polskiego. Po drugie: nie ma publicznego benchmarku halucynacji dla języka polskiego, więc nie podaję odsetka błędów polskojęzycznych chatbotów. Po trzecie: popularne narzędzia do automatycznego mierzenia wiarygodności odpowiedzi nie obsługują polskiego, więc własny pomiar musisz zbudować na wzorcach i ręcznej ocenie.
To nie są usprawiedliwienia, tylko granice. W praktyce oznaczają, że po wdrożeniu musisz sam zmierzyć własny system na własnych danych, zamiast powoływać się na cudzy ranking.
Od czego zacząć w Twojej firmie
Kolejność ma znaczenie, bo najczęstszy błąd to wdrożenie modelu bez testów, a potem szukanie powodu, dlaczego odpowiedzi bywają głupie. Zacznij od jednego procesu, który da się zmierzyć, i z testu setki promptów na waszych danych, nie na przykładach z internetu. Jeśli dopiero wybierasz narzędzie, halucynacje AI w firmie pokazuje, jak ułożyć taki test, a ograniczanie halucynacji w praktyce - które techniki dają największy efekt przy najmniejszym nakładzie pracy. Sam test na polskich danych warto porównać z metodą testowania modeli po polsku, żeby nie mierzyć na materiałach, których nie używasz. Jeśli zastanawiasz się, czy w ogóle warto, zajrzyj do trzech wariantów wdrożenia asystenta AI i ich kosztów, zanim wybierzesz model.
Napisz do mnie, jeśli chcesz przejść od testu do wdrożenia. Odpowiadam zwykle tego samego dnia.