RAG

RAG låter som att modellen läser era dokument. Den läser fem stycken som någon annan valde ut.

Systemet söker först fram avsnitt ur er egen information och skickar med dem i anropet. Det är två steg som säljs som ett: ett söksteg som väljer underlag, och ett formuleringssteg som skriver svaret av det underlaget. Modellen sitter i det andra steget. Där är den utbytbar.

Sökningen avgör vad den har att gå på, och därmed vad svaret kan bli. Söksteget arbetar dessutom inte på hela dokument utan på bitar. Underlaget delas upp i avsnitt innan det görs sökbart, och en tabell, en blankett eller en paragraf som delas på fel ställe blir obrukbar som underlag utan att någon ser det.

Hittar söksteget de tre rätta styckena blir svaret användbart även med en enklare modell. Hittar det fel stycken formulerar en stark modell ett flytande och självsäkert svar av det felaktiga underlaget. Felet blir alltså svårare att se, inte lättare.

Sökningen är samtidigt det ingen demonstrerar. En förevisning körs mot ett litet, städat och känt underlag. Er verklighet är tjugo år av dokument med skiftande namnskick, tre versioner av samma riktlinje, och avsnitt som motsäger varandra.

Så här går det fel

Assistenten kopplas mot hela filservern. Tio frågor provas. Svaren är bra, och lösningen driftsätts.

I drift citerar den ordagrant en rutin som drogs tillbaka för flera år sedan, utan källhänvisning att kontrollera mot. Felsökningen riktas mot modellen, som byts. Beteendet är oförändrat. Sökningen är densamma, och ingen mätning skiljde de två stegen åt, så bytet prövade fel del.

Det här måste någon bestämma

Vad som får ingå i det sökbara underlaget. Det är ett urvalsbeslut och inte en teknisk detalj: allt som ligger i indexet kan komma tillbaka som ett svar med er logotyp ovanför.

Vad som ska hända när sökningen hittar för lite. Ett system kan formulera ett svar på svagt underlag, eller säga att underlaget inte räcker och lämna frågan vidare. Det andra uppstår inte av sig självt. Det måste beställas.

Och att en version som ersatts tas ur indexet. Det kräver en namngiven person som äger uppdateringen.