Kontextfönstret

Ett stort kontextfönster låter som ett gott minne. Det är ett tak.

Fönstret är hur många tokens som får rymmas i ett enskilt anrop, och allt ska in i samma fönster: systeminstruktionen, tidigare turer i samtalet, inklistrade dokument, svar från verktyg, och det svar modellen ska skriva. Mellan anrop är fönstret tomt. Det som finns med nästa gång är bara det som någon skickar in på nytt.

När taket nås måste något bort, och det som normalt ryker är det äldsta i samtalet och det äldsta inklistrade underlaget. Om även era egna regler kan ryka beror på hur lösningen är byggd, vilket är skälet att beställa en garanterad plats åt dem.

Modellen säger inte till. Den svarar med samma säkra ton oavsett om den hade hela underlaget eller halva, och den som läser svaret kan inte se skillnaden. Samtidigt styr fönstret arbetsflödets ekonomi: ju mer som klistras in för säkerhets skull, desto dyrare blir varje anrop och desto större är risken att det viktiga trängs ut av det oviktiga.

Så här går det fel

En systeminstruktion förbjuder råd om myndighetsbeslut. Den läggs först i en text som sedan fylls på, och som klipper bort det äldsta när taket nås. Ingen har begärt garanterad plats.

Efter en halvtimmes samtal med några inklistrade utredningar är instruktionen ute ur fönstret, och assistenten ger just sådana råd, i oförändrad ton. Ett år senare begärs allt som skrivits in i verktyget ut. Historiken ligger hos leverantören utan sökbar export, så det finns ingen väg att svara på begäran och ingen väg att se när instruktionen försvann.

Vad det innebär juridiskt

Det någon klistrar in i en prompt kan utgöra en allmän handling. Är prompten och svaret förvarade hos myndigheten eller för myndighetens räkning, i en logg eller en samtalshistorik, kan de begäras ut. Det ger er två skyldigheter. Ni måste kunna söka fram och lämna ut prompthistorik, vilket kräver att ni vet var den ligger och kan få ut den. Och ni måste avgöra vad som ska diarieföras: ett svar som blir underlag för ett beslut i ett ärende hör till ärendet. Sekretessprövning görs på innehållet, inte på att det skrevs i en chatt.

Det här måste någon bestämma

Tre saker, och alla tre innan lösningen byggs.

Vad som alltid ska ha garanterad plats i fönstret, alltså era regler och behörighetsvillkor.

Vad som händer när utrymmet tar slut: trunkeras det tyst, eller stannar anropet och begär en människas beslut. Det är det avgörandet som bestämmer om en handläggare kan lita på svaret alls, och det syns inte i gränssnittet.

Och om hela dokument får klistras in, eller om bara utvalda avsnitt hämtas in.