Hvordan måle om KI faktisk gir gevinst

«Dette sparer meg masse tid» er nyttig informasjon, men ikke nødvendigvis et målt resultat

Når ansatte begynner å bruke generativ KI, er en av de vanligste tilbakemeldingene at bestemte oppgaver går raskere. Det kan absolutt være riktig. Samtidig er mennesker ganske dårlige til å anslå tidsbruk, og det er lett å legge mest merke til de delene av en arbeidsprosess som går raskere uten å ta med tiden som brukes på prompting, kontroll, korrigering og etterarbeid.

Det betyr ikke at kvalitative erfaringer er verdiløse. De er ofte det første tegnet på at det finnes en gevinst som er verdt å undersøke nærmere. Men dersom virksomheten ønsker å vite om en ny arbeidsmåte faktisk bør videreføres, kan det være nyttig å etablere noen få enkle mål.

Begynn med arbeidsoppgaven, ikke med KI-verktøyet

Det er vanskelig å måle «gevinsten av ChatGPT» eller «verdien av Copilot» på en meningsfull måte. Et verktøy kan brukes til hundrevis av forskjellige oppgaver, og effekten kan variere dramatisk mellom dem. Det er derfor mer nyttig å måle hva som skjer med en konkret arbeidsoppgave.

I stedet for å spørre «hvor mye sparer vi på Copilot?» kan virksomheten heller spørre: «Hva skjer med tiden og kvaliteten når en rådgiver bruker Copilot til å lage førsteutkastet til denne typen rapport?» Eller: «Endres responstiden når kundeservice bruker KI til å strukturere et utkast før medarbeideren kvalitetssikrer svaret?» Jo mer konkret arbeidsoppgaven er, desto enklere er det å finne et relevant mål.

Finn ut hvordan oppgaven løses i dag

For å vite om en ny arbeidsmåte er bedre trenger virksomheten et sammenligningsgrunnlag. Det trenger ikke være et avansert datasett. Ofte kan man komme langt ved å følge noen representative oppgaver før KI tas i bruk og registrere:

• Tidsbruk
• Antall steg
• Hvor mange personer som involveres
• Hvor mye etterarbeid som kreves
• Ventetid
• Feil eller korrigeringer
• Opplevd kvalitet

Dette blir en enkel baseline. Uten et slikt utgangspunkt er det vanskelig å vite om den nye arbeidsmåten faktisk er raskere eller bare oppleves annerledes.

Tid er ofte enklest å måle, men ikke alltid viktigst

Tidsbesparelse er naturlig nok interessant fordi den er relativt enkel å forstå og potensielt kan omregnes til økonomisk verdi. Men en arbeidsmåte kan være verdifull selv om den ikke reduserer tidsbruken dramatisk. KI kan for eksempel:

• Gjøre kvaliteten mer konsistent
• Redusere antall feil
• Gjøre det mulig å håndtere flere saker
• Redusere ventetid
• Gi raskere respons til kunder
• Gjøre det enklere å komme i gang med vanskelige oppgaver
• Redusere mengden repetitivt arbeid
• Frigjøre tid til oppgaver som krever mer faglig vurdering

Derfor bør virksomheten velge mål ut fra hva den faktisk forsøker å forbedre.

Ikke glem tiden som brukes på kontroll og etterarbeid

En av de vanligste feilene ved vurdering av KI-gevinster er å måle hvor raskt modellen produserer et svar. Det sier lite om hvor raskt oppgaven faktisk blir ferdig. Et utkast kan genereres på sekunder, men dersom medarbeideren deretter må bruke lang tid på å kontrollere fakta, endre formuleringer eller rette feil, blir den reelle tidsgevinsten mindre. Mål derfor hele arbeidsprosessen.

Den relevante gevinsten er da forskjellen mellom 90 og 50 minutter, ikke at modellen produserte et førsteutkast på 30 sekunder.

En tidsbesparelse er ikke automatisk en økonomisk besparelse

Dersom en medarbeider sparer én time på en oppgave, har virksomheten fått én time tilgjengelig. Det betyr ikke nødvendigvis at virksomheten umiddelbart har redusert kostnadene tilsvarende medarbeiderens timepris. Den frigjorte tiden kan gi verdi på forskjellige måter:

• Flere oppgaver kan gjennomføres
• Kundene kan få raskere svar
• Medarbeideren kan bruke mer tid på faglig arbeid
• Overtidsbehov kan reduseres
• Virksomheten kan håndtere vekst uten tilsvarende økning i bemanning
• Faktisk bemanningsbehov kan i noen tilfeller reduseres over tid

Det er først når virksomheten forstår hva den frigjorte kapasiteten brukes til at man kan begynne å snakke mer presist om økonomisk gevinst. Det er viktig å ikke fremstille alle sparte timer som direkte kostnadsreduksjon.

Mål gjerne lite, men mål det samme flere ganger

Det er sjelden nødvendig å registrere hundrevis av datapunkter for å forstå om en arbeidsmåte virker. Det kan være mer nyttig å velge noen få representative oppgaver og følge dem over tid. Hvis en bestemt arbeidsprosess tidligere tok mellom 60 og 90 minutter og nå konsekvent tar mellom 35 og 50 minutter med samme eller bedre kvalitet, begynner virksomheten å få et ganske godt signal.

Det er også viktig å måle flere ganger. Den første uken med et nytt verktøy kan være treg fordi brukeren fortsatt lærer, og arbeidsmåten kan bli raskere senere. Det motsatte kan også skje: Den første entusiasmen kan gjøre at medarbeideren opplever stor nytte, mens måling over tid viser at effekten er mindre enn først antatt.

Et enkelt regneeksempel

Tenk deg oppgaven «utarbeide et førsteutkast til en standardisert rapport». Før tok den i gjennomsnitt 100 minutter. Med en ny KI-støttet arbeidsmåte tar den i gjennomsnitt 60 minutter inkludert kontroll. Besparelsen er 40 minutter per rapport.

Hvis oppgaven gjennomføres 20 ganger per måned, blir frigjort tid 800 minutter – omtrent 13,3 timer per måned.

Det betyr ikke automatisk at virksomheten har «spart» kostnaden av 13,3 arbeidstimer. Den har derimot frigjort kapasitet tilsvarende omtrent 13 timer, og den økonomiske verdien av dette avhenger av hva kapasiteten brukes til. Dersom virksomheten kan bruke tiden til å håndtere flere kunder, redusere overtid eller unngå en fremtidig bemanningsøkning, kan gevinsten bli svært konkret.

Eksemplet er illustrativt og ikke en generell forventning om hvor mye tid KI sparer. Effekten vil variere med oppgaven, verktøyet og brukerens erfaring.

Hva om oppgaven går raskere, men resultatet blir dårligere?

Tid alene er et dårlig gevinstmål dersom kvaliteten samtidig faller. For oppgaver hvor kvalitet er viktig bør virksomheten derfor ha en enkel måte å vurdere den på. Det kan være:

• Antall feil
• Behov for korrigering
• Kundetilfredshet
• Faglig vurdering
• Om arbeidet må gjøres på nytt
• Avvik
• Konsistens mellom leveranser

En løsning som sparer 30 prosent av tiden, men fører til dobbelt så mye etterarbeid eller lavere kvalitet, er neppe en særlig god gevinst. På samme måte kan en løsning som bruker omtrent like lang tid, men gir klart bedre kvalitet, være svært verdifull.

Noen gevinster er vanskelige å sette et presist tall på

Ikke alt virksomheten ønsker å oppnå lar seg enkelt måle i kroner eller minutter. Eksempler kan være:

• Ansatte kommer lettere i gang med komplekse oppgaver
• Mindre frustrasjon knyttet til repetitivt arbeid
• Bedre tilgang til informasjon
• Økt læring
• Bedre idéutvikling
• Større konsistens
• Bedre beslutningsgrunnlag

Slike effekter bør ikke ignoreres bare fordi de er vanskelige å verdsette presist. Men virksomheten bør være tydelig på forskjellen mellom en observert eller opplevd forbedring og en gevinst som faktisk er målt.

Før dere sier at KI har spart tid, prøv å svare på dette

• Hvilken konkret arbeidsoppgave måler vi?
• Vet vi hvor lang tid oppgaven tok tidligere?
• Måler vi hele prosessen, inkludert kontroll og etterarbeid?
• Har kvaliteten blitt bedre, dårligere eller omtrent lik?
• Har vi målt mer enn én gang?
• Er gevinsten lik for ulike medarbeidere?
• Vet vi hva den frigjorte tiden faktisk brukes til?
• Skiller vi mellom frigjort kapasitet og direkte kostnadsbesparelse?

Vil du regne på hva frigjort tid kan bety?

Når dere har et rimelig estimat på hvor mye tid en konkret arbeidsoppgave kan reduseres med, kan KI Akademiets besparelseskalkulator brukes til å illustrere hvor mye kapasitet dette tilsvarer over tid. Kalkulatoren er et estimatverktøy, og beregningen bør baseres på realistiske tall fra egne arbeidsprosesser.

Det er derfor «Måle» er en egen del av KI Akademiet-metoden

Måling trenger ikke bety et omfattende analyseprosjekt. Poenget er å etablere nok informasjon til at virksomheten kan skille mellom en arbeidsmåte som føles spennende og en arbeidsmåte som faktisk ser ut til å gi en relevant forbedring.

Derfor avsluttes KI Akademiet-metoden med «Måle». Når det er mulig, ønsker vi å sammenligne den nye arbeidsmåten med et utgangspunkt og følge med på om effekten faktisk består.