Kunskapskartan
Instruktioner är inte garantier
En instruktion är rätt redskap för att forma ett beteende och fel redskap för att garantera ett utfall.
Verktyget lämnar aldrig ut personuppgifter, står det i produktbladet. Fråga hur det är gjort.
Är svaret att det står i instruktionen har ni inte fått en spärr. En instruktion är text som läggs till underlaget för nästa svar, inte en regel som prövas innan svaret lämnas. Modellen väljer ord som passar hela den text den fått, och instruktionen är en tung del av den texten, men en del bland andra.
”Svara aldrig på frågor om personuppgifter” gör det mindre sannolikt att modellen svarar på sådana frågor. Det gör det inte omöjligt. Ingen kod läser meningen, gör om den till ett villkor och stoppar svaret. Det finns bara text som väger, och ju mer annat som kommer in i anropet, desto mindre väger den.
En sådan utfästelse håller i det normala fallet och brister när något ovanligt händer, alltså precis när ni behöver den. Det som faktiskt hindrar är att förmågan inte finns: uppgifter systemet saknar läsrätt till, verktyg som inte är inkopplade, en kontroll utanför modellen, en mottagare som inte tar emot. En modell kan inte lämna ut det den aldrig fick läsa, hur den än blir ombedd.
Så här går det fel
I systemprompten står att assistenten aldrig får återge personuppgifter ur underlaget. Den har samtidigt läsrätt till en mapp där sådana finns, för det var enklare att ge den hela mappen. I det dagliga arbetet syns ingenting.
Så ber någon om en sammanfattning av ett ärende, och en sådan är svår att skriva utan namnet. Modellen väger en instruktion mot en uppgift, uppgiften vinner, namnet står i svaret. Instruktionen finns kvar, oförändrad, och går att visa upp. Det som aldrig fanns var ett led utanför modellen som kunde ha stoppat svaret.
Det här måste någon bestämma
Vilka av era regler som är önskemål och vilka som är krav. Kraven får inte ligga i text.
För varje sak ni säger att systemet aldrig ska göra behövs en plats där det hindras: i behörigheten, i vilka verktyg som är inkopplade, i en kontroll av svaret, eller i att en människa godkänner. Går platsen inte att peka ut ligger begränsningen i instruktionen, och då är den en böjelse.
Instruktioner ska ändå användas. De styr ton, format och när något ska hänvisas vidare, och där är de rätt redskap.