Kunskapskartan
Integration mot verksamhetssystem
Felet upptäcks i verksamhetssystemet, av någon som inte vet att ett AI-verktyg är inblandat.
Raden i verksamhetssystemet ser ut som vilken annan rad som helst: ett konto, en tidpunkt, ett värde. Ingenting i systemet vet att den kom från en modell, om ingen har byggt in just det.
Att läsa ur ett verksamhetssystem är en sak. Att skriva i det är en annan. När en agent skapar en post, ändrar ett fält eller flyttar ett ärende blir resultatet en del av systemets sanna tillstånd. Andra handläggare arbetar mot det, rapporter räknar på det, och nästa steg i processen utgår från att det stämmer.
Följden är att felet inte syns i AI-verktyget. Det syns i verksamhetssystemet, ofta senare, och det upptäcks av någon som inte vet att ett AI-verktyg är inblandat. Hon ser ett ärende med fel status och ringer den förvaltning som äger systemet, som letar i sina egna spår och hittar ett konto som skrev. Felsökningen börjar i fel ände och i fel organisation.
Ånger är dessutom inte gratis. Ett verksamhetssystem har sällan en väg tillbaka för en hel omgång, eftersom det byggdes för en människa som skriver en post i taget. Att ta bort en felaktig ändring kan därför kräva ett ingrepp per post.
Så här går det fel
Status och handläggare sätts av en agent på inkommande ärenden, och det går väl i flera veckor. Så byter ett fält i inflödet rubrik, agenten tolkar det fel, och flera hundra ärenden får fel handläggare på en natt.
Det märks på måndagen, i verksamhetssystemet, som en kö som inte stämmer. Den förvaltning som äger systemet känner inte till agenten. Rättningen görs för hand, en post i taget, eftersom ingen väg tillbaka för en omgång fanns byggd. Under tiden fortsätter agenten arbeta: avstängningen ligger hos någon som inte är i rummet.
Vad det innebär juridiskt
En uppgift i ert verksamhetssystem är er uppgift, oavsett vad som skrev den, och en post som registrerats i ett ärende kan vara en allmän handling från den stund den kom till. Att den skapades av ett verktyg tar inte bort skyldigheten att registrera och bevara, och att rensa bort den i efterhand kan vara en gallring som kräver stöd. Är uppgiften felaktig och rör en enskild har hon rätt till rättelse, och rättelsen ska nå varje ställe uppgiften spridits till, alltså även de system som redan hämtat den vidare.
Det här måste någon bestämma
Att skrivning är ett eget beslut, taget av den som äger verksamhetssystemet och inte av den som inför AI-verktyget.
Att maskinskrivna poster är märkta som sådana i mottagarsystemet, med angivet ursprung, så att de går att hitta och räkna utan att någon behöver gissa.
Hur en felaktig omgång tas tillbaka: vem som får göra det, hur lång tid det tar, och om det sker post för post eller i klump. Och ett tak för hur mycket en agent får ändra innan en människa ser resultatet, eftersom skadans storlek och tiden till upptäckt hänger ihop.