Kunskapskartan
Utvärdering i drift
Underlaget, användningen och modellen rör sig, så en lösning blir sämre utan att någon gjort fel.
Tre saker rör sig hela tiden: underlaget lösningen svarar ur, sättet människor faktiskt använder den, och modellen bakom.
Ändras något av dem ändras utfallet, utan att någon hos er har rört systemet. Kvalitet är därför ingen egenskap som fastställs vid leverans och sedan finns kvar. Den är ett förhållande.
Att utvärdera i drift är att köra samma kända fall om och om igen över tid, mot lösningen som den verkligen är driftsatt, och att läsa serien i stället för det enskilda resultatet. Ett värde säger vad som gäller i dag. Serien säger åt vilket håll det rör sig.
En lösning som mäts bara vid leverans mäts vid det enda tillfälle då alla förutsättningar är kända och gynnsamma. Efter det växer underlaget, och användningen sprider sig till frågor ingen byggt för. Ett skrivstöd börjar användas som ett uppslagsverk.
Prövas bara slutsvaret ser ni dessutom ingen skillnad mellan ett rätt svar av rätt skäl och ett rätt svar av fel skäl. Just den skillnaden är varningen: ett system som hämtar fel underlag men ändå formulerar ett rimligt svar kommer att sluta göra det.
Så här går det fel
Leveranstestet ger hög träffsäkerhet, och lösningen lämnas i drift. Underlaget växer med nya dokument, och sökningen börjar hämta andra stycken än den gjorde vid provet.
Svaren är fortfarande välskrivna och fortfarande ofta rätt, så ingen anmäler något. Ett halvår senare avviker ett besked. Den enda mätningen som finns är den från leveransen, så det finns ingen serie att läsa, och frågan om lösningen blivit sämre går inte att besvara.
Det här måste någon bestämma
Att utvärderingen är ett schemalagt åtagande med namngiven ägare och avsatt tid, inte något som görs när någon hinner.
Vad som prövas. Det ska omfatta slutsvaret, mellanstegen, verktygsanropen och källhänvisningarna var för sig, eftersom ett fel i ett tidigt led kan bäras vidare av ett senare utan att synas i slutet.
Att ett fall bara får tas ur samlingen genom ett beslut. En samling som tystas ned fall för fall mäter till slut något annat än den gjorde. Och vem resultatet går till, alltså någon som får besluta att en användning stängs av.