Hvorfor finner AI-chatboten på svar?

Hva er en AI-hallusinasjon?

En AI-hallusinasjon er når en språkmodell presenterer noe den har diktet opp, som om det var fakta. En språkmodell er programmet som skriver svarene i en chatbot, for eksempel det som ligger bak ChatGPT.

Modellen lyver ikke med vilje. Den er laget for å skrive det som høres sannsynlig ut, og det er ikke det samme som det som er sant.

Saken mot Air Canada

En kunde spurte chatboten til Air Canada om flyselskapet hadde rabatt for reiser ved dødsfall i familien. Chatboten svarte med en ordning som hørtes rimelig ut: kjøp billetten nå, søk om refusjon etterpå.

Problemet var at ordningen ikke fantes, for boten hadde diktet den opp. Kunden kjøpte billetten, søkte om refusjon og fikk nei, og tok saken videre til retten.

Retten ga kunden medhold, og Air Canada måtte innfri rabatten som chatboten hadde funnet på. Argumentet om at boten var «en egen juridisk enhet» ble avvist, for svarer den på selskapets nettside, svarer den på selskapets vegne. Har du en chatbot på nettsiden, svarer den på vegne av bedriften din.

Derfor finner AI på ting

Det er fristende å tro at modellen var umoden, og at neste versjon fikser det. OpenAI publiserte sin egen forklaring i 2025, og den er ubehagelig enkel. Modellene trenes og måles på prøver der et gjett gir bedre uttelling enn å svare «vet ikke».

Et blankt svar gir null poeng, mens et gjett av og til gir full pott. Slik lærer modellen å bløffe med selvtillit.

Hallusinasjoner forsvinner derfor ikke med mer treningsdata. De følger av måten modellene lages på, og må håndteres i systemet rundt modellen.

Hva betyr dette for bedriften din?

Air Canada-saken brukes ofte som argument mot chatboter. Vi leser den motsatt. Den viser forskjellen på en chatbot som er satt i drift med omhu og en som er sluppet løs.

Boten som fant på rabattordningen, fikk lete fritt. En chatbot bygget for drift er avgrenset med vilje, og tre ting avgjør:

• Den svarer bare fra innhold dere har godkjent, for eksempel prislister, vilkår og rutiner.
• Den testes mot de vanligste spørsmålene kundene deres stiller før den settes i drift, og samtalene leses etterpå.
• Den sier «det vet jeg ikke» når svaret ikke finnes i grunnlaget, og sender kunden videre til et menneske.

Der treningen belønnet gjetting, belønner vi det motsatte. Et ærlig «vet ikke» koster deg ingenting, mens en oppdiktet rabatt kan koste deg en rettssak.

Slik fungerer det hos Damp Sauna

Hos Damp Sauna tok chatboten 295 samtaler på en måned, og 96 prosent av gjestene fikk svar.

Det beste svaret AI kan gi, er at den ikke kan svaret. Da vet du at du kan stole på den.

Hva kan du gjøre nå?

Det er helt vanlig å være usikker på hvordan en chatbot egentlig er satt opp. Har dere allerede en, spør leverandøren om tre ting:

• hvor chatboten henter svarene fra
• hva den gjør når svaret ikke finnes
• hvem som leser samtalene etter at den er satt i drift

Har du ikke en chatbot ennå, men lurer på om det passer for dere, kan du lese hva en chatbot er først, eller ta en prat med oss.