Mät i band, inte i körningar

Ändringen prövades på det anmälda fallet. Svaret blev rätt. Det säger nästan ingenting.

Ett generativt steg ger olika svar på samma indata, så ett enskilt utfall säger bara att det låg någonstans i fördelningen. Att mäta i band är att köra samma sak flera gånger och besluta på hur utfallen fördelar sig, i stället för på ett av dem.

Bandet är den utsträckning utfallen faller inom vid upprepning: hur ofta det blev rätt, hur långt isär de sämsta och de bästa låg, och hur måttet ser ut per fall. Ett samlat medelvärde döljer att två fall faller varje gång, eftersom de dränks av de fall som alltid går igenom.

Du bedömer löpande om en ändring var en förbättring, och underlaget är sällan mer än några körningar. Med variation i systemet är två körningar före och två efter ingen jämförelse. Hela skillnaden kan vara den slump som finns där oavsett.

Det gäller åt båda hållen. En ändring utan verkan kan se ut som en vinst, och en ändring som hjälpte kan se ut som en försämring. Fattas beslutet på det enskilda utfallet bygger ni lösningen på brus, och arbetet ser produktivt ut hela tiden.

Så här går det fel

Instruktionen skrivs om för att rätta ett fel någon anmält. Ändringen prövas på det anmälda fallet, svaret blir rätt, och den går i drift samma dag.

Ingen körde fallet mer än en gång före ändringen, så det finns inget före att jämföra med. Två veckor senare kommer felet tillbaka. Kvar finns en instruktion som är svårare att läsa och ett fel som är olöst.

Det här måste någon bestämma

Hur många körningar per fall som krävs innan ett beslut får fattas, och att talet är detsamma före och efter en ändring.

Att godkännandekriteriet uttrycks som en tröskel över en fallsamling, alltså en andel av fallen som ska klara ett angivet villkor, och inte som ett förväntat svar per rad.

Och vad som gäller för de fall som faller. Ett fall som faller varje gång är något annat än ett som faller ibland, och de kräver olika åtgärd.