Derfor blir ChatGPT dårligere i lange samtaler

Du har merket det selv. De første svarene i en samtale med ChatGPT er skarpe. Så limer du inn et langt dokument, stiller oppfølgingsspørsmål nummer tjue, og svarene blir vage, repeterende eller rett og slett feil. Det er ikke innbilning, og det er ikke deg. Forskerne kaller det context rot.

Hva tallene viser

Chroma testet i 2025 atten av de største modellene, deriblant GPT, Claude og Gemini. Alle ble dårligere etter hvert som input vokste, også på oppgaver som burde vært trivielle. En annen studie målte hvor treffsikkert modellene resonnerte når den samme oppgaven ble pakket inn i mer tekst, og nøyaktigheten falt i snitt fra 0,92 til 0,68 da input vokste til tre tusen tokens. Det er en brøkdel av det modellene teknisk sett tåler.

Det finnes også et navn på hvor det svikter: «lost in the middle». Forskere ved Stanford ga modellen tjue dokumenter og flyttet på hvor svaret lå. Lå det først, traff GPT-3.5 i 76 prosent av tilfellene. Lå det i midten, falt treffsikkerheten til 54 prosent, som er dårligere enn da modellen ikke fikk noen dokumenter i det hele tatt. Modellen ser altså starten og slutten av det den leser, og glemmer midten. Limer du inn en tjuesiders kontrakt og spør om noe fra side elleve, spiller du med dårlige odds.

Det samme gjelder samtaler, ikke bare lange dokumenter. Forskere fra Microsoft og Salesforce simulerte over 200 000 samtaler med femten av de ledende modellene. Ytelsen falt i snitt 39 prosent når oppgaven kom over flere runder i stedet for i ett spørsmål. Modeller som traff over 90 prosent når de fikk alt på én gang, lå rundt 60 prosent i samtale. Og det verste er at når modellen tar en gal retning tidlig, henter den seg sjelden inn igjen. Den bygger videre på sin egen feil.

Hvorfor neste versjon ikke fikser det

Dette ligger i selve måten modellene er bygget på, og ingen oppdatering rydder det bort. Modellen fordeler oppmerksomheten sin over alt den leser, og jo mer den skal dekke, jo tynnere blir den fordelt. Nye modeller får større kontekstvinduer og flytter grensen lenger ut, men kurven peker samme vei. Mer innhold gir dårligere svar.

Det betyr noe praktisk for deg som bruker ChatGPT i jobben. Verktøyet er ikke ødelagt, men det har en grense, og den grensen er nærmere enn markedsføringen gir inntrykk av.

Hva du kan gjøre selv

Dette koster deg ingenting:

• Start ny samtale når temaet skifter. Ta med en kort oppsummering, ikke hele historikken.
• Lim inn det relevante utdraget, ikke hele dokumentet. Ti linjer modellen faktisk leser slår femti sider den skummer.
• Be om svaret tidlig i samtalen. De beste svarene kommer før arbeidsminnet er fullt.

Hva vi gjør når systemet skal stå i drift

For deg som bruker ChatGPT til eget arbeid, holder grepene over lenge. Men en chatbot som svarer kundene dine kan ikke be dem starte en ny samtale når den blir sliten. Der må problemet løses i måten systemet er bygget på. Løsningen henter bare fram det den trenger for akkurat det spørsmålet, i stedet for å drukne i hele arkivet til bedriften. Da holder kvaliteten seg lik i samtale nummer én og samtale nummer tusen.

Det er forskjellen på å bruke AI og å sette AI i drift. Den første kan du gjøre mye av selv. Den andre er et byggeprosjekt, og context rot er en av grunnene til at det er det.