Kunskapskartan
Varför långa samtal blir sämre
Kvaliteten sjunker gradvis långt innan något tak nås.
Någon föreslår att hela handboken läggs in, så att ingenting fattas. Förslaget låter försiktigt och är motsatsen.
Att allt ryms i ett anrop betyder inte att allt används lika väl. Ju mer text som ligger i samma anrop, desto sämre blir modellens förmåga att hitta och väga det som är relevant. I ett långt samtal lägger sig dessutom tidigare frågor, modellens egna tidigare svar och utdata från verktyg som brus mellan den aktuella frågan och det som borde styra svaret.
Kvaliteten sjunker gradvis, långt innan något tak nås. Det är förklaringen till att verktyget ibland är skarpt och ibland slött utan att någon ändrat något: det beror på hur mycket som ligger i anropet just då.
Mer underlag ger alltså inte mer rätt. Det ger ofta ett svar som blandar en gammal och en ny regel, eller som vilar på det avsnitt som råkade ligga sist. Och ett lyckat prov med en kort fråga och ett litet underlag säger ingenting om hur lösningen beter sig i ett samtal som pågått en timme.
Så här går det fel
Hela regelsamlingen läggs in, plus ett års mötesprotokoll, för att inget ska fattas. Assistenten svarar bra på det som är enkelt och blandar ihop gamla och nya rutiner i det som är svårt.
Inget svar anger vilket avsnitt det kom ifrån, så felet går inte att rätta, bara att sluta lita på. Efter ett halvår används verktyget till formuleringshjälp. Den gamla regelsamlingen ligger kvar i underlaget, eftersom ingen äger urvalet och ingenting utlöser en rensning.
Det här måste någon bestämma
Att underlaget ska vara utvalt, och vem som äger urvalet.
Det är redaktionellt arbete och inte konfiguration. Någon måste avgöra vilken version av en handbok som gäller, plocka bort den gamla, och göra om det varje gång en rutin ändras. Utan en namngiven ägare växer underlaget okontrollerat och blir sämre med tiden.
När ett samtal ska brytas är ett eget beslut: börjar lösningen om per ärende, eller släpar den med historik i veckor. Och proven körs på realistiskt långa samtal och realistiskt stora underlag, inte på tre välvalda exempelfrågor.