Hva skjer etter KI-piloten?

En pilot er først og fremst en måte å lære på

Det er gode grunner til at virksomheter starter smått når de skal prøve ny teknologi. En avgrenset pilot gjør det mulig å teste et verktøy med færre brukere, lære hvordan det fungerer i faktiske arbeidsoppgaver og oppdage både muligheter og problemer før løsningen eventuelt tas i bruk bredere. Det er ofte langt bedre enn å rulle ut et nytt verktøy til hele organisasjonen basert på forventninger alene.

Samtidig er det lett å overvurdere hva en vellykket pilot faktisk forteller. At deltakerne likte verktøyet betyr ikke nødvendigvis at det bør tas i bruk overalt. At enkelte oppgaver gikk raskere betyr ikke automatisk at den samlede gevinsten er stor. Og at en liten gruppe motiverte brukere fikk gode resultater betyr ikke nødvendigvis at det samme vil skje dersom løsningen rulles ut til hundre eller tusen ansatte.

Piloten gir virksomheten informasjon. Den neste oppgaven er å bruke informasjonen til å ta gode beslutninger.

Begynn med å være tydelig på hva piloten faktisk skulle finne ut

En pilot blir vanskelig å evaluere dersom virksomheten ikke var tydelig på hva den ønsket å lære. Noen tester gjennomføres for å finne ut om et verktøy teknisk fungerer. Andre handler om brukeropplevelse, produktivitet, kvalitet, sikkerhet eller om en bestemt arbeidsprosess kan forbedres. Hvis målet i utgangspunktet bare var å «teste Copilot», blir det også vanskelig å avgjøre om testen var vellykket.

Det er derfor nyttig å gå tilbake til noen grunnleggende spørsmål:

• Hvilket problem ønsket vi å undersøke?
• Hvilke arbeidsoppgaver skulle testen påvirke?
• Hva forventet vi at skulle bli bedre?
• Hvilke risikoer eller begrensninger ønsket vi å forstå?
• Hvem var piloten representativ for?

Dersom virksomheten ikke hadde tydelige svar på dette før piloten startet, kan man fortsatt bruke erfaringene. Man bør bare være forsiktig med å trekke større konklusjoner enn datagrunnlaget tillater.

Skill mellom at brukerne likte løsningen og at arbeidsprosessen faktisk ble bedre

Tilbakemeldinger fra deltakerne er viktige. Hvis de opplever et verktøy som tungvint, irrelevant eller vanskelig å bruke, er det nyttig informasjon. Det samme gjelder dersom de opplever stor nytte. Men brukeropplevelse og faktisk gevinst er ikke nødvendigvis det samme. En medarbeider kan like et verktøy fordi det gjør en oppgave mer interessant, samtidig som den totale tidsbruken er omtrent uendret. En annen kan oppleve liten entusiasme rundt verktøyet, men likevel redusere tiden brukt på en viktig prosess betydelig.

Etter piloten bør virksomheten derfor prøve å se både på hva deltakerne opplevde og hva som faktisk skjedde med arbeidsoppgavene. Spør eksempelvis:

• Ble oppgavene løst raskere?
• Ble kvaliteten bedre?
• Ble det færre manuelle steg?
• Oppstod nye typer feil?
• Hvor mye kontroll og etterarbeid var nødvendig?
• Var gevinsten lik for alle brukerne?
• Var enkelte arbeidsoppgaver langt bedre egnet enn andre?

Det som ikke fungerte er ofte minst like interessant

Piloter får lett en slags innebygd forventning om å lykkes. Når virksomheten har brukt tid, oppmerksomhet og kanskje penger på en test, er det naturlig å lete etter argumenter for å fortsette.

Men noe av den mest verdifulle læringen kan være å finne ut hvor teknologien ikke fungerer godt nok. Kanskje bestemte oppgaver krever så mye kvalitetssikring at tidsgevinsten forsvinner. Kanskje datagrunnlaget er for dårlig. Kanskje verktøyet fungerer godt for erfarne medarbeidere, men langt dårligere for nyansatte. Eller kanskje arbeidsprosessen allerede er effektiv nok til at teknologien tilfører lite.

Slike funn betyr ikke at piloten mislyktes. Tvert imot kan piloten ha spart virksomheten for en langt dyrere utrulling av noe som ikke ville gitt særlig verdi.

Bestem konkret hva som skal videreføres

Etter en pilot er det lett å lande på en vag konklusjon om at virksomheten ønsker å «satse videre på KI». Det sier lite om hva som faktisk skal skje. En bedre oppfølging er å være konkret på hvilke deler av piloten som er verdt å ta videre. Det kan være:

• bestemte arbeidsoppgaver
• enkelte team eller roller
• et bestemt verktøy
• konkrete arbeidsmåter
• nye rutiner
• behov for opplæring
• behov for tydeligere rammer
• behov for ytterligere testing

Virksomheten trenger ikke velge mellom full utrulling og full stopp. Det kan være langt mer fornuftig å ta videre de delene som fungerte godt, samtidig som andre områder undersøkes nærmere.

En vellykket pilot kan kreve ganske mye arbeid før den fungerer i større skala

Piloter gjennomføres ofte med motiverte deltakere, ekstra oppfølging og relativt tett støtte. Det betyr at forholdene under testen ikke alltid ligner på forholdene ved en bred utrulling. Før en løsning skaleres bør virksomheten derfor vurdere hva som må være på plass dersom mange flere skal bruke den. Eksempler:

• Trenger ansatte opplæring?
• Finnes det tydelige retningslinjer?
• Må enkelte arbeidsprosesser endres?
• Hvem skal støtte brukerne?
• Må gode arbeidsmåter dokumenteres?
• Finnes nødvendige lisenser og avtaler?
• Hvordan håndteres sikkerhet og personvern?
• Hvem eier løsningen videre?

Det kan være nettopp denne delen som avgjør om piloten utvikler seg til en varig arbeidsmåte eller sakte forsvinner når prosjektoppmerksomheten blir borte.

Noen må eie neste steg

En vanlig utfordring etter piloter er at ansvaret blir uklart. Prosjektgruppen har levert testen. Deltakerne går tilbake til sine vanlige oppgaver. Ledelsen har fått en presentasjon med resultatene, men ingen har et tydelig ansvar for å følge opp anbefalingene. Da blir det fort opp til enkeltpersoner å holde initiativet i live.

Virksomheten bør derfor avklare hvem som har ansvar for det som skjer etter piloten. Det trenger ikke være en egen KI-avdeling eller en ny fulltidsrolle. Men noen bør ha mandat til å:

• følge opp beslutningene
• prioritere neste steg
• koordinere kompetanse og rammer
• samle erfaringer
• følge med på gevinst
• avgjøre når noe bør stoppes, justeres eller skaleres

Ti spørsmål det er verdt å svare på når piloten er ferdig

• Hvilket problem forsøkte vi egentlig å løse?
• Hvilke arbeidsoppgaver fungerte teknologien godt på?
• Hvor fungerte den dårlig?
• Hvilke gevinster kunne vi faktisk observere?
• Hvilke nye problemer eller risikoer oppstod?
• Var pilotgruppen representativ for dem som senere skal bruke løsningen?
• Hva må være annerledes dersom løsningen skal brukes av flere?
• Hvilken kompetanse trenger brukerne?
• Hvem har ansvar for neste steg?
• Når skal vi evaluere løsningen igjen?

Oppfølgingen er en del av implementeringen

Dette er også bakgrunnen for at oppfølging er en egen del av KI Akademiet-metoden. En workshop, pilot eller annen kompetanseaktivitet kan skape både entusiasme og gode ideer, men det er det som skjer i ukene og månedene etterpå som avgjør om nye arbeidsmåter faktisk får feste.

Derfor bør erfaringene samles, relevante arbeidsmåter videreutvikles og virksomheten få mulighet til å vurdere hva som er verdt å bygge videre på.