När din AI Möter Revisorn

Mötet skulle vara rutinmässigt. Företaget hade under det senaste året infört AI inom olika delar av verksamheten. Resultaten såg bra ut. Kundtjänsten svarade snabbare, säljteamet fick bättre insikter och medarbetarna använde AI för att sammanfatta dokument, analysera information och automatisera uppgifter som tidigare tog flera timmar. Det fanns till och med en presentation som visade hur mycket tid och pengar företaget hade sparat. Så när revisorn kom var det ingen som var särskilt orolig. De första frågorna var enkla. Revisorn frågade om företagets AI-system, vem som ansvarade för dem och vad de användes till. Teamet hade svar. Det fanns projektdokument, tekniska specifikationer och dashboards som visade att systemen fungerade som förväntat.

Sedan ställde revisorn en fråga som förändrade stämningen i mötet. ”Vilken data använder er AI?”. Datateamet förklarade var informationen kom ifrån och hur den rörde sig genom systemen. De pratade om data pipelines, databaser och processerna som användes för att förbereda informationen innan den nådde AI-modellen. Revisorn lyssnade och frågade sedan: ”Och hur vet ni att den här datan är lämplig för det ändamål ni använder den till?”. Den här gången var svaret inte lika enkelt. Teamet visste var mycket av datan kom ifrån, men de hade inte dokumenterat alla källor på samma sätt. Viss data hade samlats in för ett ändamål och användes nu för att stödja ett annat. Viss information innehöll personuppgifter. Vissa dataset hade använts i flera månader utan att någon formellt hade granskat om de fortfarande var korrekta eller lämpliga.

Det betyder inte att AI:n plötsligt hade blivit farlig, och det betyder inte heller att något hade slutat fungera. Företaget hade helt enkelt upptäckt genom revisorns frågor att det är två olika saker att få ett AI-system att fungera och att kunna visa att det används på ett ansvarsfullt sätt. Denna skillnad blir allt viktigare när organisationer går från att experimentera med AI till att använda AI i den dagliga verksamheten.

Till exempel använder många rekryteringsföretag nu AI för att gå igenom tusentals ansökningar. På ytan låter det som en självklar förbättring, det vill säga att i stället för att rekryterare spenderar flera dagar på att gå igenom CV:n kan systemet identifiera kandidater vars erfarenhet verkar motsvara kraven för en tjänst. Men för samma företag, föreställ dig att en revisor frågar varför en kandidat rankades högre än en annan. Rekryteringsteamet kanske förklarar att AI:n identifierade vissa färdigheter, kvalifikationer eller erfarenheter, tills revisorn ställer en följdfråga som kan vara: ”Vilka bevis har ni för att systemet inte systematiskt diskriminerar eller utesluter vissa kandidater?”. Nu handlar samtalet inte längre om huruvida programvaran fungerar, utan om vilken data som användes för att utveckla den, vilka antaganden som byggts in i systemet, vilka tester som genomförts, vilka kontroller som finns på plats och vilka personer som ansvarar för att övervaka dess beteende.

Exempel som liknar det ovan kan återfinnas i nästan alla branscher. En bank kan till exempel använda AI för att upptäcka misstänkta transaktioner, en tillverkare kan använda det för att förutse utrustningsfel, en vårdorganisation kan använda det som stöd vid kliniska beslut och en återförsäljare kan använda det för att anpassa vad kunder ser på nätet. I varje fall kan AI:n göra exakt det som den är designad för att göra. Men vad händer när den fattar fel beslut? Vem upptäcker att AI-systemet har fattat felaktiga beslut? Vem utreder dessa beslut? Vem har rätt att åsidosätta det?

Och kanske viktigast av allt, vem är ansvarig? Dessa frågor och många fler står i centrum för AI-styrning. God AI-styrning handlar om att säkerställa att organisationer förstår vad de bygger, vilken data de använder, vilka risker de accepterar och vilka kontroller de har på plats. Det är här AI-styrning börjar överlappa med områden som organisationer redan kan vara bekanta med: datastyrning, integritet, informationssäkerhet, riskhantering och mjukvaru utveckling. Ett AI-system kan vara tekniskt säkert men ändå skapa ett integritets problem om det behandlar personuppgifter på ett olämpligt sätt. På samma sätt kan en modell vara mycket träffsäker men ändå skapa oacceptabla risker om ingen förstår hur dess beslut påverkar människor. Därefter kan en välut formad applikation bli ett styrningsproblem om ingen vet vem som godkände AI:n, vem som övervakar den eller vad som händer när dess beteende förändras.

Flera organisationer, personer och experter har också missat att inse att AI faktiskt förändras i flera olika situationer. Modellen kan uppdateras, underliggande data kan förändras eller verksamheten kan börja använda systemet för ett nytt ändamål. Ett exempel på en situation där en AI förändras är när en tredje parts baserad AI-tjänst introduceras i en befintlig applikation eller när medarbetare börjar använda systemet på sätt som aldrig övervägdes när det först togs i bruk. När detta händer kan något som var acceptabelt för sex månader sedan kräva en ny bedömning idag. Det är därför AI-styrning inte kan behandlas som ett dokument som skapas en gång och sedan glöms bort. Det behöver bli en del av hur AI utvecklas och hanteras.

Revisorn förväntar sig i de flesta fall inte att AI ska vara perfekt. Det revisorn vill se är att organisationen förstår tekniken tillräckligt väl för att kunna hantera den. Och det är kanske den största missuppfattningen som organisationer har kring AI-styrning. Organisationer tror att det handlar om att bevisa att AI aldrig kommer att göra ett misstag, utan att inse att det handlar om att kunna visa att man vet vad som kan gå fel med AI, vad man gör åt det och vem som är ansvarig när det händer.

Förr eller senare kommer varje organisation som använder AI att ha sin egen version av ett sådant möte, vilket kan vara med en revisor, en tillsynsmyndighet, en kund, en styrelsemedlem eller en medarbetare som helt enkelt vill veta varför ett AI-system fattade ett visst beslut. När den frågan kommer är det viktiga inte om er AI är imponerande, utan om ni kan förklara den, skydda den, övervaka den och ta ansvar för den. Det är där din AI möter revisorn.