Kunskapskartan
Kedjor och felfortplantning
Kedjan för vidare formen på ett svar utan att föra vidare hur väl det var grundat.
Ett AI-steg får ofta sitt underlag från ett annat AI-steg. En text sammanfattas, sammanfattningen klassificeras, klassificeringen väljer en mall, mallen fylls med uppgifter som hämtats någon annanstans.
Varje steg tar emot text och lämnar ifrån sig text, och nästa steg kan inte se om det som kom in var avläst, uträknat eller gissat. Osäkerheten fanns i det första steget. Efter det är den borta, eftersom en sammanfattning skrivs i samma säkra ton oavsett hur säkert underlaget var.
Ett litet fel tidigt blir därför ett stort fel sent. Ett datum som lästes fel i första steget väljer fel frist i andra och skriver ett bestämt besked i det fjärde, formulerat lika tryggt som ett riktigt.
Det farligare fallet är det där inget steg är fel. Varje steg gör en rimlig tolkning av det det fick, och kedjan som helhet gör något ingen hade godkänt: en avrundning, en förenkling och ett standardantagande blir tillsammans ett bestämt påstående om en enskild person. Granskar ni steg för steg ser allt rimligt ut. Det orimliga syns bara i jämförelsen mellan det som gick in längst fram och det som kom ut längst bak.
Så här går det fel
Ansökningar läses in, sammanfattas, klassificeras, och ett beslut föreslås. En blankett har inkomstuppgiften i en tabell, och sammanfattningen återger den som ett ungefärligt belopp.
Klassificeringen räknar på det ungefärliga beloppet, hamnar strax under en gräns, och förslaget blir avslag i en formulering som ser genomarbetad ut. Den som granskar läser förslaget och sammanfattningen, tycker att de hänger ihop, och godkänner. Blanketten öppnas aldrig igen. Ingenting i kedjan bar beloppet vidare som det stod i källan, så det ungefärliga blev det enda som fanns.
Det här måste någon bestämma
Hur lång en kedja får vara, och var den bryts av något som inte är en modell: en uppslagning, en beräkning, eller en människa som ser både utgångsmaterial och resultat.
Att ett steg som inte kunde göra sitt arbete ska säga det och stanna kedjan, i stället för att lämna över sin bästa gissning i samma form som ett säkert svar.
Och vilka uppgifter som aldrig får passera ett mellansteg återberättade. Ett belopp, ett datum, ett personnummer och en paragrafhänvisning ska bäras med som de var i källan, inte omformulerade av ett steg på vägen.