Vad en språkmodell gör

Du frågar vad det kostar att söka bygglov för ett garage. Tillbaka kommer ett belopp, formulerat som om någon hade slagit upp avgiften. Det har ingen gjort.

Verktyget tar din fråga och fortsätter den, en liten bit i taget. För varje bit väljer det vad som är mest troligt att komma härnäst, utifrån massor av text det har sett förut. Tänk att du börjar en mening och någon fyller i resten, ordet för ordet, efter hur sådana meningar brukar se ut. Det är vad en språkmodell gör med det du skrivit.

Den har ingen lista att slå i. Den stannar inte upp och frågar sig om beloppet stämmer.

Svaret kan ändå bli rätt, för korrekta formuleringar är vanliga i den text den har sett. Det är inte samma sak som att veta. Ett verktyg kan också hämta ett dokument först och ge modellen att läsa. Då har någon kopplat på en sökning runt omkring. Modellen skriver ändå bara vidare på den text den fått.

Du kan inte höra när den gissar. Ett riktigt belopp och ett påhittat belopp låter likadana, för båda kommer ur samma slags skrivande. Verktyget vet inte hur ni gör hos er, och det vet inte vad du får se. Det säger inte nej bara för att något vore olämpligt.

Det du kan lita på sitter därför inte inne i verktyget. Det sitter i vad du skickar in, vad som får komma ut, och vad du gör med texten innan någon annan använder den.

Så här går det fel

En handläggare tar hjälp av ett skrivstöd. Utkasten är bra, vecka efter vecka, så hon slutar kolla lika noga.

Sedan går ett svar om en avgift iväg, och avgiften är fel. Inget i texten varnade, för den lät som de andra. Det upptäcks när någon överklagar. Då finns ingen logg som visar vad som frågades eller vad som svarades. Verktyget hade inte vetat fel. Det hade skrivit en fortsättning som lät rimlig.

Det här måste någon bestämma

Någon behöver ha sagt var den här sortens text får användas. Ett utkast du skriver om själv är en sak. Ett brev som går till en person är en annan. Samma svar, olika risk.

Frågan är vems namn som ska stå på det som går iväg, och vad som måste ha hänt innan. Om ingen har sagt det gör varje person sin egen bedömning, olika varje gång.