Kunskapskartan

kvalitet

24 begrepp ur kartan.

Det som gör era övriga system pålitliga är att en enda kontroll räcker, och just den egenskapen faller bort här. Deterministiskt och generativt Kvalitet, svarstid och kostnad går inte att maximera samtidigt, och den avvägningen är verksamhetens. Stor eller liten modell Påhittet går inte att laga bort, eftersom det är samma räkning som ger de svar som blir rätt. Varför den hittar på Finjustering lär modellen hur ni låter, inte vad som gäller hos er. Finjustering Ett felaktigt svar låter precis som ett riktigt, så det enda som avslöjar det är innehållet och aldrig tonen. Hur du märker att svaret är fel Kvaliteten sjunker gradvis långt innan något tak nås. Varför långa samtal blir sämre En form som begärs i instruktionen är en önskan, en form som tvingas fram tekniskt är ett villkor. Strukturerade svar Det finns ingen teknisk gräns mellan data och instruktion, eftersom det bara finns en text. Promptinjektion En ändring i en instruktion är en ändring i systemet, men den ser inte ut som en. Utvärdera en prompt Kedjan för vidare formen på ett svar utan att föra vidare hur väl det var grundat. Kedjor och felfortplantning Taket för hur bra ett svar kan bli sätts av underlaget, innan modellen kommer in i bilden. Varför datan är flaskhalsen En sökning ser text och inte status, så ett välskrivet utkast kan slå en gällande riktlinje. Datakvalitet som förutsättning Kvaliteten sitter i söksteget, som är den del ingen demonstrerar. RAG En utvunnen koppling ser ut precis som en registrerad. Graph RAG Sökningen mäter likhet, inte riktighet, och indexet är ett andra ställe där ert innehåll ligger. Inbäddningar och vektorer Systemet svarar även på frågor mekaniken inte kan besvara, eftersom ingenting i den avgör frågans sort. När RAG inte är svaret Underlaget, användningen och modellen rör sig, så en lösning blir sämre utan att någon gjort fel. Utvärdering i drift En granskning som aldrig underkänner något har upphört att vara en granskning. När granskningen slutar granska En lösning blir sämre utan att någon gjort något fel, och det visar sig som att folk slutar använda den. Förvaltning över tid Riskvilja är ett beslut per typ av användning, och den som inte fattar det har ändå en. Riskvilja som beslut En lyckad körning är ett utfall ur en fördelning, så det som ska jämföras är spridningen. Mät i band, inte i körningar Att godkänna en funktion är att godkänna en text du måste kunna stå för. Att godkänna en prompt Två samtidiga ändringar går inte att skilja åt i efterhand. En ändring i taget En hårdare instruktion och en tyngre arkitektur kan båda mäta sämre än det de ersatte. När mer blir sämre