Kunskapskartan
Utvärdera en prompt
En ändring i en instruktion är en ändring i systemet, men den ser inte ut som en.
Någon lägger till en mening i systemprompten en tisdag eftermiddag. Det tar tre minuter, kräver ingen utvecklare och ingen driftsättning.
Det är en ändring i systemet, men den ser inte ut som en. Instruktioner hänger dessutom ihop: en mening som läggs till för att lösa ett problem påverkar allt annat lösningen gör, eftersom hela texten väger in i varje svar.
Att utvärdera en prompt är att köra en bestämd uppsättning kända fall genom lösningen och jämföra utfallet med vad som är rätt. Ett fall är en fråga eller ett underlag tillsammans med vad ett godtagbart svar ska innehålla. Uppsättningen behöver inte vara stor för att vara användbar, men den måste vara skriven i förväg och vara densamma före och efter en ändring. Annars mäter ni två olika saker.
Poängen är inte att sätta betyg på lösningen. Poängen är att se skillnaden mellan den lydelse som gällde i går och den som ska gälla i morgon. Utan en fallsamling blir varje justering en åsikt som varken kan bekräftas eller avfärdas, och frågan om vad som fungerar bäst avgörs av vem som talar högst.
Så här går det fel
Ett verktyg svarar för utförligt på en typ av fråga. Någon lägger till en mening om att fatta sig kort, och problemet försvinner.
Två veckor senare märker en handläggare att svaren slutat ange vilken bestämmelse som gäller. Hänvisningen var det första som föll bort när svaren blev korta. Ingen kopplar ihop de två sakerna: ändringen gällde längd och felet gäller innehåll, och det finns ingen körning från vare sig före eller efter som kunde ha visat att det ena följde på det andra.
Det här måste någon bestämma
Att fallsamlingen finns och att den är er. Den är det enda ni har som skriver ned vad ni menar med ett rätt svar.
Vem som skriver fallen, och det är verksamheten och inte den som byggt lösningen: den som skrivit instruktionen skriver fall som instruktionen klarar.
Vad som ska ingå, och det ska vara de svåra fallen: ärenden med undantag, frågor nära en gräns, underlag där en uppgift saknas, frågor lösningen inte ska svara på alls.
Och regeln att ingen ändring i en instruktion går i drift utan en körning, hur liten ändringen än ser ut. Ändringens storlek säger ingenting om följdens storlek.