Hvorfor blir ChatGPT dårligere i lange samtaler?

Hva er context rot?

Du har sikkert merket det selv. De første svarene i en samtale med ChatGPT er skarpe.

Så limer du inn et langt dokument og stiller oppfølgingsspørsmål nummer tjue, og da blir svarene vage, repeterende eller rett og slett feil. Det er ikke innbilning, og det er ikke din feil.

Forskerne kaller fenomenet context rot, og du ser det i alle de store modellene.

Hva viser tallene?

Chroma testet i 2025 atten av de største modellene, deriblant GPT, Claude og Gemini. Alle ble dårligere etter hvert som input vokste, også på oppgaver som burde vært trivielle.

En annen studie målte hvor treffsikkert modellene resonnerte når den samme oppgaven ble pakket inn i mer tekst.

Nøyaktigheten falt i snitt fra 0,92 til 0,68 da input vokste til tre tusen tokens, som er de små tekstbitene modellen leser, og det er en brøkdel av det modellene teknisk sett tåler.

Hva betyr «lost in the middle»?

Det finnes også et navn på hvor det svikter: «lost in the middle», som betyr at modellen mister det som står midt i teksten.

Forskere ved Stanford ga modellen tjue dokumenter og flyttet på hvor svaret lå. Lå det først, traff GPT-3.5 i 76 prosent av tilfellene.

Lå det i midten, falt treffsikkerheten til 54 prosent, og det er dårligere enn da modellen ikke fikk noen dokumenter i det hele tatt.

Modellen ser starten og slutten av det den leser, og glemmer midten. Limer du inn en tjuesiders kontrakt og spør om noe fra side elleve, spiller du derfor med dårlige odds.

Gjelder det samtaler også?

Ja, det gjelder samtaler like mye som lange dokumenter.

Forskere fra Microsoft og Salesforce simulerte over 200 000 samtaler med femten av de ledende modellene, og ytelsen falt i snitt 39 prosent når oppgaven kom over flere runder i stedet for i ett spørsmål.

Modeller som traff over 90 prosent når de fikk alt på én gang, lå rundt 60 prosent i samtale.

Tar modellen en gal retning tidlig, henter den sjelden seg inn igjen, for den bygger videre på sin egen feil.

Hvorfor fikser ikke neste versjon dette?

Problemet ligger i selve måten modellene er bygget på, og ingen oppdatering rydder det bort.

Modellen fordeler oppmerksomheten sin over alt den leser, og jo mer den skal dekke, jo tynnere blir den fordelt.

Nye modeller får større kontekstvinduer, som er mengden tekst modellen kan ha med seg på én gang. Det flytter grensen lenger ut, men kurven peker samme vei, for mer innhold gir dårligere svar.

Bruker du ChatGPT i jobben, betyr det noe praktisk. Verktøyet er ikke ødelagt, men det har en grense, og den grensen er nærmere enn markedsføringen gir inntrykk av.

Slik får du bedre svar selv

Dette koster deg ingenting, og du kan begynne med én gang:

• Start ny samtale når temaet skifter, og ta med en kort oppsummering i stedet for hele historikken.
• Lim inn det relevante utdraget, ikke hele dokumentet. Ti linjer modellen faktisk leser slår femti sider den skummer.
• Be om svaret tidlig i samtalen. De beste svarene kommer før arbeidsminnet er fullt.

Hva med en chatbot som svarer kundene dine?

Bruker du ChatGPT til eget arbeid, holder rådene over lenge. En chatbot som svarer kundene dine kan derimot ikke be dem starte en ny samtale når den blir sliten.

Vi bygger det slik at boten slår opp bare det den trenger for hvert spørsmål i innholdet dere har godkjent, i stedet for å drukne i hele arkivet til bedriften. Svarene er korte, og det holder samtalen lett.

Det er forskjellen på å bruke AI og å sette AI i drift. Den første kan du gjøre mye av selv, mens den andre er et byggeprosjekt, og context rot er en av grunnene til det.

Hva kan du gjøre nå?

Det er helt vanlig å ha opplevd dette uten å vite hva det heter. Åpne en ny samtale neste gang temaet skifter.

Skal en chatbot svare kundene dine, ta en prat med oss.