Kontekstvindu
engelsk: context window
Hvor mye tekst modellen kan holde styr på i én samtale. Blir samtalen for lang, mister modellen taket på det eldste.
Kontekstvinduet måles i tokens og setter grensen for hvor mye modellen kan ta hensyn til samtidig: samtalen, dokumenter du har lastet opp og instruksene dine. Moderne modeller har store vinduer, men grensen finnes fortsatt.
I praksis merker du det som at assistenten "glemmer" ting fra tidlig i en lang samtale. To gode vaner: start ny samtale når du bytter tema, og be om et sammendrag av det viktigste før du gjør det, så kan du lime sammendraget inn i den nye samtalen.
Lignende begreper
Informasjonen modellen har tilgjengelig når den svarer: samtalen så langt, dokumenter du har delt og instruksene dine. Mer relevant kontekst gir bedre svar.
Bitene modellen deler teksten inn i, ofte deler av ord. Brukes til å måle både kontekstvindu og pris i KI-tjenester.
KI-modellen bak verktøy som ChatGPT og Claude. Trent på enorme tekstmengder til å forstå og produsere språk.
Vil du lære å bruke dette i praksis? Se kursene for bedrift eller privat.