Styrelsen

Vad en språkmodell gör

En ledamot behöver inte kunna förklara hur modellen räknar. Hon behöver kunna svara för ett beslut som byggde på dess utdata den dag någon ifrågasätter det, och det svaret finns bara om organisationen i förväg kan visa vilken modell som svarade, om den bytts sedan dess, och vad den gör när den inte kan svara.

• Vilka av våra AI-lösningar producerar text som når en enskild utan att en människa läst den först, och var finns den listan?
• Vad gör lösningen när den inte kan svara: gissar den, avstår den, eller lämnar den över till en människa, och var är det beskrivet?
• Är ett byte av modell en avtalad ändring som meddelas oss i förväg, eller kan det ske utan att vi vet om det?

Deterministiskt och generativt

Ledningens rapportering till styrelsen brukar vila på ett godkänt test, och en ledamot förväntas ta det som ett kvitto utan att själv kunna bedöma vad som testades. Med en generativ lösning är den förväntan farligare än vanligt: ett kvitto av fel slag ser exakt likadant ut som ett riktigt, och skillnaden syns först den dag något redan gått fel i drift.

• Hur godkändes den senast levererade AI-lösningen: mot ett bestämt rätt svar per testfall, eller mot en tröskel över en fallsamling som vi själva äger?
• Vem hos oss äger den fallsamlingen, och när ändrades den senast?
• När ett fel anmäls, klassas det som bugg eller som avvikelse innan det åtgärdas, och kan vi se de klassningarna för det senaste året?

Varför den hittar på

En ledamot som litar på att svaren är korrekta har inget eget sätt att kontrollera det, och det har ingen annan heller när felet ligger nära det riktiga. Därför är styrelsens fråga inte om svaren är korrekta utan om fel går att upptäcka, anmäla och räkna.

• Vilken felnivå har vi beslutat att godta, per ärendetyp, och var står den nedskriven?
• Hur många felaktiga svar anmäldes förra kvartalet, och vem läste anmälningarna och svarade den som anmälde?
• Om inga anmälningar kommit in: finns en anmälningsfunktion i samma vy som svaret visas, eller finns det ingenstans att anmäla?

Hur du märker att svaret är fel

Ett felaktigt svar låter precis som ett riktigt, så det enda som avslöjar det är innehållet och aldrig tonen.

Varför svaret varierar

Två invånare som ställer samma fråga kan få olika svar, och ingen av dem ser att det fanns ett annat. Likabehandling blir därmed ett beslut om var variation tillåts, och det beslutet ska finnas nedskrivet innan en upphandling, inte efter.

• Var har vi beslutat att variation inte är acceptabel, alltså belopp, frister, paragrafhänvisningar och ja eller nej, och hämtas de storheterna från en beräkning i stället för att formuleras av modellen?
• Vilar vår utvärdering på en förevisning, eller på samma frågor körda många gånger med spridningen redovisad?

Vad modellen minns

Allt som ser ut som minne är text som sparats och skickas in på nytt.

Personuppgifter i prompten

Gränsen passeras mitt i arbetsdagen, utan att någon fattar ett beslut.

Instruktioner är inte garantier

En instruktion är rätt redskap för att forma ett beteende och fel redskap för att garantera ett utfall.

Skugg-AI

Den användning organisationen inte köpt har ingen ägare, inget biträdesavtal, inget spår och ingen gräns för vad som får matas in, och den sker med riktiga ärenden eftersom det är dem arbetet består av. Ett förbud utan ett dugligt alternativ flyttar användningen utom synhåll, vilket gör att ett rent förbud i protokollet kan se ut som en åtgärd och vara det motsatta.

• Vilken godkänd väg har en medarbetare som behöver just den uppgift hon i dag löser någon annanstans, och hur lång tid tar det att få tillgång till den vägen?
• Vad har vi förbjudit, uttryckt i uppgiftsslag i stället för i produktnamn, och var står det?
• Har vi begärt skriftligt besked av de leverantörer vi redan har om deras produkter skickar innehåll till en språkmodell, till vem, och om funktionen är påslagen? Vilka har svarat?

Vad som måste loggas

En ledamot sitter inte med i driften och kan aldrig själv bevittna vad som hände i ett enskilt ärende. Loggen är den enda plats där hon i efterhand kan begära att få se det, och vilken sorts logg som finns avgörs inte den dag den behövs, utan i avtalet som tecknades innan lösningen togs i drift.

• Om styrelsen begär ett loggutdrag för ett enskilt ärende ur en lösning som används i handläggning: innehåller utdraget inmatningen, det hämtade underlaget, inställningarna och det levererade svaret, eller bara att ett anrop skedde?
• Skrivs loggposten innan svaret lämnas ut, eller efteråt?
• Vem kan ändra eller tömma loggen, och kan leverantörens personal göra det?
• Har loggen en egen ägare, en egen lagringstid och en plats i registerförteckningen, skild från samtalshistoriken i gränssnittet?

Spårbarhet och ansvar

Ett spår pekar ut ett konto, ansvar bärs av en människa i en roll, och kopplingen mellan de två gör ingen teknik. Frågan efter ett fel är sällan vad som hände utan vem som skulle ha sett till att det inte hände, och det svaret finns bara om det skrevs ned i förväg.

• För ett namngivet användningsfall: vem svarar för utfallet i verksamheten, vem för att lösningen fungerar som beskrivet, och vem för att underlaget är riktigt?
• Har den som svarar för utfallet också befogenhet att stänga av användningsfallet utan att förhandla om det?
• Sparas ett godkännande tillsammans med det underlag som visades när det lämnades, så att vi i efterhand kan se vad personen hade att gå på?

Intern kontroll och AI

Ansvaret för att den interna kontrollen är tillräcklig ligger på styrelsen eller nämnden, och det är författningsreglerat. Det ändras inte av att ett arbetsmoment utförs av en modell. Det som ändras är att underlaget kontrollen vilar på kan vara producerat av något ingen kan återskapa i efterhand, och en granskning prövar bara det som kan visas. Ett utfall som inte går att återskapa är därför en brist i kontrollen och inte ett tekniskt förbehåll.

• Är våra AI-stödda arbetsmoment upptagna i internkontrollplanen, och kan vi få de posterna som bilaga?
• För ett namngivet ärende ur det senaste kvartalet: kan ledningen visa det underlag som lösningen tog fram och som handläggaren byggde sitt förslag på, eller finns bara det färdiga förslaget kvar?
• Vem utför kontrollen av en AI-lösning, och är det någon annan än den som äger lösningen?
• Har våra revisorer rätt att granska lösningen hos leverantören, och står den rätten i avtalet eller förutsätter den att leverantören går med på det?

När något gått fel

Förmågan att utreda ett enskilt fall måste finnas innan felet inträffar, eftersom det som skulle besvara frågan uppstår i samma ögonblick som anropet och inte efteråt. Det gör detta till en fråga styrelsen kan pröva medan ingenting har hänt.

• Vem hos oss kan utreda ett enskilt AI-svar utan att beställa något av leverantören, och har den personen gjort det någon gång?
• Går det att hitta rätt logg utifrån ett ärendenummer och en handläggare, eller bara utifrån konto och tidpunkt?
• Är det beslutat i förväg vad som händer med användningen medan en utredning pågår: fortsätter den, körs den med snävare befogenhet, eller stannar den?

Transparens mot medborgare

Upplysningen om att ett AI-stöd använts är inte en motivering, och en förklaring systemet skrivit om sig självt är ett andra svar som ser ut som ett protokoll. Där ett beslut går någon emot är det en fråga om rättssäkerhet och inte om kommunikation.

• När en enskild begär omprövning av ett beslut som ett AI-stöd bidragit till: får den som prövar se akten, eller samma sammanfattning som den första handläggaren såg?
• Levererar lösningen det en motivering behöver som egna fält, alltså källor med version och datum, vilka uppgifter ur ärendet som gick in och vilka regler som tillämpades, eller formulerar modellen förklaringen i efterhand?
• Följer märkningen av maskinellt framtagen text med i utskrifter och utlämnade handlingar, eller visas den bara i gränssnittet?

Vem äger lösningen

Ägarskapet över tekniken landar av sig självt hos den som driver den, ägarskapet över arbetet måste placeras med avsikt. En lösning utan namngiven ägare i verksamheten blir förvaltningens sak att hålla igång och ingens sak att styra, och kostnaden står kvar i budgeten som en post ingen kan motivera och ingen kan ta bort.

• Vilken person i verksamheten äger varje AI-lösning som är i drift, och finns namnen skrivna någon annanstans än i det här mötet?
• Har ägaren budget för att ändra lösningen och mandat att stänga av den ensam, eller måste hon gå via den tekniska förvaltningen?
• Vem tar över ägarskapet den dag hon byter tjänst, och är efterträdaren utpekad nu?

Riskvilja som beslut

En organisation som inte uttalat sin riskvilja har ändå en, satt av den som råkade fatta det första beslutet. Den blir då olika i olika delar av verksamheten, och ingen kan säga vilken som gäller. Ett fel i ett skrivstöd och ett fel i ett underlag för ett myndighetsbeslut är inte samma risk, och den som behandlar dem lika har antingen förbjudit för mycket eller tillåtit för mycket. Båda ser ut som försiktighet inifrån.

• Finns en nedskriven riskvilja per typ av användning, och kan vi få den som bilaga, eller har vi en policy som säger att risker ska bedömas?
• Vilken användning har vi beslutat är så ofarlig att en person får godkänna den ensam, och hur lång tid tar ett sådant godkännande i dag?
• När sa vi senast nej till en AI-användning, och gick det nejet att härleda till en nedskriven nivå eller till den bedömning som gjordes i mötet?
• Vad har vi beslutat händer när en beslutad nivå överskrids i drift, och har det inträffat?

Policy som fungerar

En policy blir en spärr först när den har en motsvarighet i systemet, alltså ett villkor som måste vara uppfyllt för att något ska gå att göra. Skillnaden syns inte i det dokument styrelsen får till handlingarna, den syns i vägen som leder fram till drift, och därför måste den frågas fram.

• Finns det något i systemet som hindrar att en assistent tas i drift utan att vår beslutade ordning följts, eller är ordningen enbart nedskriven?
• Gå igenom vår AI-policy regel för regel: för hur många av reglerna kan ledningen peka ut var regeln hindras, i en behörighet, i ett villkor i vägen till drift eller i ett krävt godkännande av en namngiven person?
• När jämfördes registret över godkända AI-användningar senast med det som faktiskt är i drift, och vad var skillnaden mellan de två listorna?

Kompetens i organisationen

Organisationen kan köpa en lösning, dess drift och en granskning av den, men inte förmågan att bedöma vad den fått, och utan den förmågan kan den inte veta om den blir väl betjänad. Det är också här artikel 4 landar, alltså på dem som hanterar systemen, och inte på styrelsen.

• Vem hos oss kan säga vad ett rätt svar är i vårt eget ärendeslag, och äger den personen den samling fall som skriver ned det?
• Vem kan följa ett enskilt ärende genom spåret utan att beställa hjälp, och är det fler än en person?
• Vad har gjorts för att uppfylla artikel 4 för dem som hanterar systemen, för vilka, när, och på vilken grund bedömdes nivån vara tillräcklig?
• Var den part som stöttade oss i vår senaste AI-upphandling också anbudsgivare i den?

När granskningen slutar granska

Att en människa granskar innan beslut beskriver ingen mekanism, det är en förväntan om uppmärksamhet hos någon som har annat att göra. Den spärren bär dessutom mer än driften: den är vad ett beslutsunderlag, en konsekvensbedömning och svaret till den som frågar om maskiner beslutar hos oss vilar på.

• Hur många granskade svar ändrades eller underkändes förra kvartalet, per ärendetyp och per granskare?
• Om utfallet är noll: har vi beslutat vad noll underkännanden ska utlösa, eftersom det antingen betyder att förslagen är felfria eller att de inte granskas?
• Mäts tiden mellan att underlaget visas och att godkännandet lämnas, och vad är den tiden?

Från en lösning till många

När förfrågningarna blir många byter arbetet karaktär, från att bedöma en enskild lösning till att bygga en kapacitet som gör ett ja billigt att ge och säkert att stå för. Både ja och nej har en kostnad, och bara den ena syns i det beslutsunderlag styrelsen får.

• Finns en förteckning över de AI-lösningar som är i drift, vad var och en gör, vem som äger den och vilka uppgifter den når, och kan vi få den som bilaga till nästa möte?
• Hur lång tid tar det i dag från att en verksamhet frågar om att få använda en AI-funktion till att den får ett svar?

AI-förordningen i praktiken

Klassificeringen följer användningen och inte tekniken, den görs av organisationen i rollen som den som tar i bruk, och den bestämmer vad allt annat kommer att kosta. En felaktig klassificering är organisationens risk och inte leverantörens, och frånvaron av en dokumenterad bedömning är i sig en brist, eftersom en tillsyn prövar det underlag som kan visas.

• Finns en dokumenterad klassificering per användning, med de skäl som bar den, och vem prövade bedömningen efter den som gjorde den?
• Vad utlöser en ny bedömning, och hur skulle vi få veta att ett verktyg som köptes som skrivstöd börjat användas för att sortera ansökningar?
• För en avgränsning vi lutar oss mot, som att lösningen bara får användas till utkast: har den en motsvarighet i systemet, eller bara i en text?