När mer blir sämre

Konstruktionen ser bräcklig ut. Någon föreslår att den byggs om ordentligt. Ingen har mätt hur bra den fungerade.

Det finns två fall där en åtgärd som ser ut som en förstärkning sänker måttet.

Det första: en instruktion skärps för att rätta ett beteende, rättar det, och ett annat mätvärde faller. Instruktionen är en vikt i det underlag som formar hela svaret, så en tyngre vikt på en sak flyttar också det som inte skulle flyttas.

Det andra: ett steg byggs om från en enkel lösning till en fullständig deterministisk konstruktion, och den nya mäter lägre. Mekanik som täcker fel fall med säkerhet kan ge ett sämre utfall än en böjelse som täcker rätt fall för det mesta.

Båda fallen är osynliga om måttet först körs efter bygget. Då finns bara den nya siffran, och en siffra utan jämförelse ser ut som ett resultat.

Det är också då det kostar mest att erkänna. Arbetet är gjort, och den enkla lösning som stod där innan är ofta redan borttagen. Ordningen mellan mätning och bygge avgör alltså om du får veta något alls.

Så här går det fel

Steget löses först med en kort instruktion och en enkel regel, och fungerar tillräckligt bra för att ingen ska mäta hur bra. Sedan byggs det om till en tillståndsmaskin med kontroller utanför modellen.

När det mäts ligger andelen rätta svar under vad den var. Ingen har den gamla siffran, bara ett minne av att det brukade fungera. Den enkla lösningen är borttagen, så det finns varken ett tal att jämföra med eller något att gå tillbaka till.

Det här måste någon bestämma

Att en fungerande enkel lösning ska motbevisas innan den byggs bort, och att bevisbördan ligger hos den som vill bygga om. Kravet är ett mätt utgångsläge på den enkla lösningen, mot samma fallsamling som ombyggnaden sedan mäts mot.

Att en skärpt instruktion mäts mot hela samlingen och inte mot det fall den skulle rätta, eftersom skadan uppstår någon annanstans än rättelsen.

Och att det gamla står kvar tills det nya mätt bättre.