Chatboten fant på en rabatt. Retten sa: den gjelder

En kunde spurte chatboten til Air Canada om rabatt ved dødsfall i familien. Boten svarte med en ordning som hørtes rimelig ut: kjøp billetten nå, søk refusjon etterpå. Problemet var at ordningen ikke fantes. Boten hadde diktet den opp. Kunden kjøpte, søkte refusjon, fikk nei, og tok saken til retten.

Retten ga kunden medhold. Air Canada måtte innfri rabatten chatboten deres hadde funnet på. Argumentet om at boten var «en egen juridisk enhet» ble avvist: svarer den på selskapets nettside, svarer den på selskapets vegne.

Hvorfor det skjer, forklart av OpenAI selv

Det fristende svaret er at modellen var umoden, og at neste versjon fikser det. OpenAI publiserte sin egen forklaring i 2025, og den er ubehagelig enkel. Modellene trenes og måles på prøver der et gjett gir bedre score enn å svare «vet ikke». Et blankt svar gir null poeng. Et gjett gir av og til full pott. Slik oppdrar man en modell til å bløffe med selvtillit.

Poenget som ofte glipper: hallusinasjoner er altså ikke en feil som skal lukes ut med mer treningsdata. Det er en egenskap ved måten modellene lages på, og den må håndteres i systemet rundt modellen. Ikke i modellen.

Hvorfor dette ikke stopper deg

Air Canada-saken brukes ofte som argument mot chatboter. Vi leser den motsatt: den viser forskjellen på en chatbot som er satt i drift med omhu og en som er sluppet løs.

Boten som fant på rabattordningen, fikk lete fritt. En chatbot bygget for drift er avgrenset med vilje:

• Den svarer kun fra innhold dere har godkjent: prislister, vilkår, rutiner. Ikke fra hele internett, og ikke fra fantasien.
• Den testes mot ekte henvendelser før den møter en eneste kunde. Ikke ti testspørsmål, men de faktiske spørsmålene kundene deres stiller.
• Den sier «det vet jeg ikke» når svaret ikke finnes i grunnlaget, og sender kunden til et menneske. Der treningen belønnet gjetting, belønner vi det motsatte. Et ærlig «vet ikke» koster deg ingenting. En oppdiktet rabatt kan koste deg en rettssak.

Hos Damp Sauna tok en slik avgrenset bot 295 samtaler på en måned, og 96 prosent av gjestene fikk svar. Ikke fordi boten visste alt, men fordi den holdt seg til det den visste.

Det beste svaret AI kan gi, er at den ikke kan svaret. Da vet du at du kan stole på den.