Kravunderlaget

Vad en språkmodell gör

Byter leverantören modell ändras det ni har testat, utan att er kod har ändrats.

Vad som går att kräva

• KK-vad-en-llm-gor-01 Kräv att leverantören skriftligen anger vilken modell lösningen använder och var den körs, och att ett byte är en avtalad ändring som meddelas i förväg.
• KK-vad-en-llm-gor-02 Kräv att det står vilken version, så att namnet inte tyst kan peka på en annan modell.
• KK-vad-en-llm-gor-03 Kräv att varje maskingenererat svar i loggen går att härleda till modell, version och tidpunkt.
• KK-vad-en-llm-gor-04 Kräv att svar som når någon utanför organisationen är märkta som maskingenererade.
• KK-vad-en-llm-gor-05 Kräv besked om vad lösningen gör när den inte kan svara: gissar den, avstår den, eller lämnar den över till en människa.

Deterministiskt och generativt

Vad som går att kräva

• KK-deterministiskt-och-generativt-01 Kräv en uppdelning per flöde av vilka steg som ger samma utdata för samma indata och vilka som inte gör det, redovisad mot arkitekturen.
• KK-deterministiskt-och-generativt-02 Kräv att leveransgodkännandet skrivs som en tröskel över en fallsamling, med angiven mätmetod.
• KK-deterministiskt-och-generativt-03 Godta inte ett prov som förutsätter ett bestämt rätt svar per rad. Ett sådant prov kan varken gå igenom eller falla på ett sätt som betyder något.
• KK-deterministiskt-och-generativt-04 Kräv redovisat vilka av era krav som inte går att visa genom ett prov, utan bara genom mätning i drift.
• KK-deterministiskt-och-generativt-05 Kräv att varje anmält fel besvaras med en klassning, bugg eller avvikelse, och på vilken grund.
• KK-deterministiskt-och-generativt-06 Kräv angivet vilka steg som på er begäran kan göras deterministiska.

Stor eller liten modell

Vad som går att kräva

• KK-modellstorlek-och-val-01 Kräv att modellvalet är en inställning ni styr per användningsfall, inte något inbyggt i lösningen, och att leverantören anger ledtid och kostnad för att lägga till ett alternativ.
• KK-modellstorlek-och-val-02 Kräv en jämförelse under utvärderingen: samma uppgift körd på minst två storlekar.
• KK-modellstorlek-och-val-03 Kräv kvalitet, svarstid och förbrukning per svar redovisade bredvid varandra, så att ni ser vad det dyrare alternativet ger.
• KK-modellstorlek-och-val-04 Kräv svarstid som utfäst servicenivå, angiven både som medianen och som den långsammaste tiondelen, uppmätt vid den samtidiga belastning ni beskriver.
• KK-modellstorlek-och-val-05 Kräv att era egna prov får köras om före varje byte, och att lösningen kan hålla två alternativ igång parallellt under en sådan jämförelse.

Träning och användning är olika saker

Vad som går att kräva

• KK-traning-vs-inferens-01 Kräv att leverantören namnger varje part i kedjan som får se era in- och utdata.
• KK-traning-vs-inferens-02 Kräv att förbudet mot träning och produktförbättring gäller var och en av dem, styrkt med skriftligt intyg per part.
• KK-traning-vs-inferens-03 Kräv separata besked om mänsklig granskning och missbruksövervakning: sker det, av vem, i vilket land, och hur länge sparas materialet.
• KK-traning-vs-inferens-04 Kräv att ett nytt led i kedjan kräver ert godkännande i förväg och att inställningen inte kan ändras ensidigt.
• KK-traning-vs-inferens-05 Kräv att leverantören redovisar i skrift hur spärren är satt för just ert avtal.
• KK-traning-vs-inferens-06 Kräv att den går att kontrollera om under avtalstiden, i stället för att intygas en gång vid signering.

Varför den hittar på

Ställ inte krav på att svaren ska vara korrekta eller att lösningen inte ska hitta på. Påhittet är samma mekanism som de riktiga svaren, så kravet kan ingen leverantör hålla och ett ja på det går varken att kontrollera eller att åberopa. Kräv i stället att fel går att upptäcka, anmäla och räkna.

Vad som går att kräva

• KK-varfor-den-hittar-pa-01 Kräv att en angiven källhänvisning kontrolleras maskinellt mot att källan finns och innehåller det som påstås.
• KK-varfor-den-hittar-pa-02 Kräv att svaret annars märks som overifierat, eftersom en påhittad hänvisning ser ut precis som en äkta.
• KK-varfor-den-hittar-pa-03 Kräv en anmälningsfunktion i samma vy som svaret visas, där det anmälda svaret bevaras oförändrat tillsammans med det underlag det byggde på.
• KK-varfor-den-hittar-pa-04 Kräv en avtalad stickprovsgranskning: ett bestämt antal svar per ärendetyp och månad granskas av er, andelen felaktiga redovisas, och en överenskommen nivå utlöser åtgärd hos leverantören.

Finjustering

Vad som går att kräva

• KK-finjustering-01 Kräv skriftlig motivering innan finjustering genomförs: vilket mätbart problem den löser, vad som prövats i stället, och vilken förbättring som väntas, mätt på en uppgiftsuppsättning ni själva känner till.
• KK-finjustering-02 Kräv att träningsdatan och den finjusterade modellen är era, att de inte används åt någon annan kund, och att båda kan lämnas ut till er eller raderas på er begäran.
• KK-finjustering-03 Kräv en dokumenterad förteckning över vad som ingick i träningen, vem som godkände det och när, eftersom en felaktig uppgift bara kan åtgärdas genom omträning från en känd utgångspunkt.
• KK-finjustering-04 Kräv angivet pris och angiven ledtid för en omträning, och angivet vad som gäller när leverantören byter ut grundmodellen under er.

Öppna och stängda modeller

Vad som går att kräva

• KK-oppna-vs-stangda-modeller-01 Kräv en skriftlig förteckning över vad som är flyttbart och vad som inte är det, med format angivet för varje del.
• KK-oppna-vs-stangda-modeller-02 Kräv att era prompter, testfall, konfiguration, underlag och loggar kan exporteras i öppet och dokumenterat format under avtalstiden, inte bara vid dess slut.
• KK-oppna-vs-stangda-modeller-03 Kräv att uttaget kan göras av er utan leverantörens medverkan.
• KK-oppna-vs-stangda-modeller-04 Kräv angivet vilka delar av lösningen som är byggda mot en enskild modell och vad som måste göras om vid ett byte, uttryckt i arbetstid.
• KK-oppna-vs-stangda-modeller-05 Kräv angiven uppsägningstid och angivet avvecklingsstöd, och angivet vad som händer med lösningen om modellen slutar tillhandahållas.
• KK-oppna-vs-stangda-modeller-06 Kräv licensvillkoren för den modell som används, redovisade mot er avsedda användning.

Var modellen körs

Vad som går att kräva

• KK-var-modellen-kors-01 Kräv en redovisning per behandling, alltså anrop, loggning, säkerhetskopiering, missbruksövervakning, support och utveckling, med land, ansvarig part och tillämplig lagstiftning för var och en.
• KK-var-modellen-kors-02 Kräv att varje underleverantör som kan komma åt innehållet namnges och att tillägg kräver ert skriftliga godkännande i förväg.
• KK-var-modellen-kors-03 Kräv att en angiven driftsort är tekniskt spärrad: trafiken flyttas inte automatiskt till en annan region vid kapacitetsbrist eller avbrott.
• KK-var-modellen-kors-04 Kräv att ni under utvärderingen får se konfigurationen som visar spärren.
• KK-var-modellen-kors-05 Kräv ett åtagande att underrätta er, i den mån lagen tillåter, när en utländsk myndighet begär åtkomst, samt en löpande redovisning av antalet sådana begäranden.

Token

Utan detta kan ni varken utvärdera anbud mot varandra eller upptäcka att kostnadsbilden ändrats förrän fakturan kommer.

Vad som går att kräva

• KK-token-01 Kräv redovisad tokenförbrukning per användningsfall och tidsperiod, inte ett klumpat månadspris.
• KK-token-02 Kräv att den redovisningen är tillgänglig för er löpande, i en form ni kan exportera, och inte bara i leverantörens egen instrumentpanel.
• KK-token-03 Kräv att ett prisförslag anger antaganden om förbrukning, så att avtalet går att följa upp mot verkligheten.

Varför svaret varierar

Ställ inte krav på identiska svar. Variationen är hur systemet fungerar, så ett sådant krav kan ingen leverantör hålla och ingen beställare följa upp.

Vad som går att kräva

• KK-varfor-svaret-varierar-01 Kräv i stället att alla inställningar som påverkar variationen är dokumenterade och att ni kan sätta dem per användningsfall.
• KK-varfor-svaret-varierar-02 Kräv att utvärdering redovisas som upprepade körningar av en fråguppsättning som ni själva bidrar med, med spridning och andel felaktiga svar per fråga.
• KK-varfor-svaret-varierar-03 Kräv att ett enskilt svar kan köras om: det som loggas ska räcka för att återskapa körningen, alltså indata, inhämtat underlag och inställningar, inte bara tidpunkt och modellversion.
• KK-varfor-svaret-varierar-04 Kräv skriftligt besked i förväg när något ändras som påverkar utfallet.

Vad som kostar

Vad som går att kräva

• KK-input-och-output-01 Kräv att in- och utvolym redovisas separat, per arbetsflöde och per anrop, så att ni ser vilken sida som driver kostnaden.
• KK-input-och-output-02 Kräv att antalet anrop per användarhandling redovisas: en fråga i gränssnittet kan bli fem anrop, och de dolda anropen (omformuleringar, sökningar, sammanfattningar) skickar in underlag som ingen har bett om.
• KK-input-och-output-03 Kräv ett tak som ni själva sätter, per anrop och per ärende, och som stannar flödet i stället för att korta underlaget tyst.
• KK-input-och-output-04 Kräv att anbudspriset räknas på ett scenario ni beskriver, med angiven storlek på underlaget, så att två anbud går att jämföra med varandra.

Kontextfönstret

Att logga att ett anrop skedde och att logga vad som skickades in i det är två skilda åtaganden som kan levereras var för sig. En logg kan vara fullständig över tidpunkter, anropade verktyg och förbrukning och ändå sakna innehållet, och då går svaret inte att återskapa. En leverantör som svarar ja på loggning kan mena bara det första, så det senare måste sägas uttryckligen.

Vad som går att kräva

• KK-kontextfonster-01 Kräv att lösningen loggar vad som faktiskt skickades in i varje anrop, inte bara vad användaren skrev, och begär ett verkligt loggutdrag under utvärderingen.
• KK-kontextfonster-02 Kräv att trunkering aldrig sker tyst: utesluts underlag ska det framgå i gränssnittet och i loggen.
• KK-kontextfonster-03 Kräv att systeminstruktion och behörighetsvillkor har garanterad plats och trunkeras sist av allt, redovisat i en arkitekturbeskrivning.
• KK-kontextfonster-04 Kräv att fönstrets gräns anges för den konfiguration ni köper, och att en ändring av gränsen meddelas skriftligen, eftersom den ändrar vad som fungerar hos er.

Varför långa samtal blir sämre

Vad som går att kräva

• KK-kontextforfall-01 Kräv en beskrivning av hur underlaget väljs ut inför varje anrop, hur mycket som skickas med, och att mängden går att ställa in av er.
• KK-kontextforfall-02 Kräv att varje svar anger vilka avsnitt och vilken version det vilar på, så att en handläggare kan se om svaret byggde på den handbok som gäller i dag.
• KK-kontextforfall-03 Kräv att kvaliteten redovisas för realistiska volymer: samma fråguppsättning körd mot ett litet och ett stort underlag, och i ett nystartat respektive långt samtal, med resultatet redovisat per fall.
• KK-kontextforfall-04 Kräv att lösningen kan starta ett nytt samtal per ärende.
• KK-kontextforfall-05 Kräv att leverantören beskriver vad som händer när två avsnitt i underlaget säger olika, och att utgångna versioner går att märka eller ta bort.

Vad modellen minns

Vad som går att kräva

• KK-vad-modellen-minns-01 Kräv en förteckning över varje plats där prompt, svar och sparat minne lagras, med system, land, huvudman och lagringstid per plats.
• KK-vad-modellen-minns-02 Kräv att lagringstiden är en inställning som ni styr.
• KK-vad-modellen-minns-03 Kräv att radering verkligen tar bort, också i säkerhetskopior, i minnesfunktioner och i sammanfattningar lösningen själv gjort av tidigare samtal.
• KK-vad-modellen-minns-04 Kräv att utförd radering bekräftas skriftligt, med uppgift om vad som togs bort.
• KK-vad-modellen-minns-05 Kräv ett avtalat förbud mot att era uppgifter används för träning eller produktförbättring, inte bara en kryssruta i gränssnittet.
• KK-vad-modellen-minns-06 Kräv att åtkomst till historiken hos leverantören loggas och att loggen lämnas till er på begäran.

Prompten

Vad som går att kräva

• KK-prompt-01 Kräv en skriftlig förteckning över varje del som sätts ihop till ett anrop, i den ordning delarna sätts, med angiven avsändare per del: ni, leverantören, ett automatiskt steg eller användaren.
• KK-prompt-02 Kräv att en ny del inte tillförs utan ert godkännande. En tillagd del ändrar svaren utan att någon rört er instruktion, och utan förteckningen finns ingenting att jämföra mot.
• KK-prompt-03 Kräv att den sammansatta texten kan visas uppdelad i sina delar med källa angiven per del, inte som ett odelat block, så att det syns varifrån ett visst påstående kom.
• KK-prompt-04 Kräv att de delar ni äger går att ändra av er själva, och angiven ledtid för de delar som kräver leverantörens medverkan.

Strukturerade svar

Vad som går att kräva

• KK-strukturerade-svar-01 Kräv att formen levereras som ett maskinläsbart schema, inte som en beskrivning i löptext, och att schemat är ert.
• KK-strukturerade-svar-02 Kräv att varje svar prövas mot schemat innan det når mottagarsystemet och att prövningen sker utanför modellen.
• KK-strukturerade-svar-03 Kräv ett avtalat beteende per flöde när ett svar underkänns, och att delvis skrivning aldrig sker.
• KK-strukturerade-svar-04 Kräv att andelen underkända svar redovisas löpande per flöde: den siffran är det tidigaste tecknet på att något ändrats.
• KK-strukturerade-svar-05 Kräv att en ändring av schemat är versionerad och meddelas i förväg, eftersom ett nytt fält eller ett borttaget värde bryter mottagarsystemet lika hårt som ett driftavbrott.

Systemprompten

Vad som går att kräva

• KK-systemprompt-01 Kräv att systemprompten lämnas till er i klartext och att ni får ändra den själva.
• KK-systemprompt-02 Kräv att varje driftsatt lydelse bär ett versionsnummer och att varje loggat svar bär numret på den lydelse som gällde när svaret skapades.
• KK-systemprompt-03 Kräv att leverantören inte ändrar er lydelse i en produktuppdatering.
• KK-systemprompt-04 Kräv att produktens egna instruktionslager utöver ert redovisas och att en ändring i dem meddelas skriftligt, eftersom ert system annars ändras utan att er text gör det.
• KK-systemprompt-05 Kräv att hela historiken av tidigare lydelser bevaras och kan lämnas ut till er, inte bara den aktuella.

Instruktioner är inte garantier

Godta inte "systemet är instruerat att inte göra det" som svar på en säkerhetsfråga: det är ett svar om avsikt, och frågan gällde mekanik.

Vad som går att kräva

• KK-instruktioner-ar-inte-garantier-01 Kräv en förteckning över varje begränsning leverantören utfäster, och för var och en ett besked om den är byggd som instruktion eller som spärr utanför modellen.
• KK-instruktioner-ar-inte-garantier-02 Kräv att varje utfästelse ni betraktar som ett krav håller även om modellen försöker göra tvärtom.
• KK-instruktioner-ar-inte-garantier-03 Kräv att ni själva får försöka bryta utfästelserna under utvärderingen, med egna försök och inte leverantörens förberedda, och att utfallet redovisas per utfästelse.
• KK-instruktioner-ar-inte-garantier-04 Kräv besked om vad som händer när en spärr slår till: avvisas svaret, sparas försöket, får användaren veta.

Promptinjektion

Vad som går att kräva

• KK-promptinjektion-01 Kräv en beskrivning av hur lösningen skiljer det som ska bearbetas från det som ska följas: var i anropet inhämtat material placeras, hur det märks, och vad märkningen faktiskt hindrar.
• KK-promptinjektion-02 Kräv en förteckning över varje åtgärd systemet kan utföra, och att ingen av dem kan utlösas av innehåll i ett dokument utan en människas bekräftande handling.
• KK-promptinjektion-03 Kräv att inhämtat material aldrig kan vidga sin egen räckvidd: ett dokument får inte kunna få systemet att hämta ett annat dokument som användaren inte får läsa.
• KK-promptinjektion-04 Kräv ett prov under utvärderingen med handlingar ni själva preparerat, inklusive dold text, med utfallet redovisat per fall.

Utvärdera en prompt

Vad som går att kräva

• KK-utvardera-en-prompt-01 Kräv att ändringar i instruktioner hanteras i samma ordning som ändringar i kod.
• KK-utvardera-en-prompt-02 Kräv en föreslagen lydelse, en körning mot fallsamlingen, ett dokumenterat resultat och ert godkännande innan den går i drift.
• KK-utvardera-en-prompt-03 Kräv att resultatet följer med ändringen i historiken, så att det går att se vad som prövades och vad som släpptes igenom.
• KK-utvardera-en-prompt-04 Kräv en miljö där ni kan köra fallsamlingen själva, utan att beställa arbete och utan att påverka driften.
• KK-utvardera-en-prompt-05 Kräv att varje fel som anmäls i drift läggs till som ett permanent fall, så att samma fel inte kan komma tillbaka obemärkt.
• KK-utvardera-en-prompt-06 Kräv att fallen och deras förväntade svar tillhör er och kan exporteras.

Vad ett verktygsanrop är

Vad som går att kräva

• KK-vad-ett-verktygsanrop-ar-01 Kräv besked om var prövningen av ett anrop sker, och att den sker i det utförande ledet och inte som en instruktion till modellen.
• KK-vad-ett-verktygsanrop-ar-02 Kräv att argumenten prövas mot ett schema och mot användarens pågående ärende innan anropet körs.
• KK-vad-ett-verktygsanrop-ar-03 Kräv att varje utfört anrop skrivs till ett spår som lösningen själv inte kan ändra i efterhand.
• KK-vad-ett-verktygsanrop-ar-04 Kräv att spåret skrivs innan resultatet lämnas tillbaka, så att ett anrop som inte går att spåra stoppas i stället för att släppas igenom.
• KK-vad-ett-verktygsanrop-ar-05 Kräv att posten bär begäran som den såg ut, vilket konto som körde den, och utfallet.
• KK-vad-ett-verktygsanrop-ar-06 Kräv att en enskild förmåga kan stängas av av er, samma dag, utan att lösningen byggs om.

Agenter

Vad som går att kräva

• KK-agenter-01 Kräv en förteckning per agent över uppdraget, verktygen och de system verktygen når, i klartext och inte som produktbeskrivning.
• KK-agenter-02 Kräv att leverantören redovisar hur stor del av anropet verktygsbeskrivningarna upptar vid den konfiguration ni köper, och hur den andelen växer när ett verktyg läggs till.
• KK-agenter-03 Kräv ett tak som ni sätter för antalet steg och för hur länge en agent får arbeta, samt besked om vad som händer när taket nås.
• KK-agenter-04 Kräv att stegen går att följa i efterhand som en sekvens: verktyg, argument och resultat i tur och ordning.
• KK-agenter-05 Kräv att ett enskilt verktyg kan stängas av per agent.

MCP

Det är enda sättet att skilja ett kontaktdon från en inlåsning med öppet namn.

Vad som går att kräva

• KK-mcp-01 Kräv att förmågorna erbjuds enligt ett öppet protokoll och att beskrivningen av dem tillhör er och kan lämnas ut i sin helhet.
• KK-mcp-02 Kräv att kopplingen kan användas av en annan klient än leverantörens egen, och att det visas under utvärderingen.
• KK-mcp-03 Kräv en versionerad förteckning över varje exponerad förmåga, vad den läser, vad den ändrar och vilka klienter som kan nå den.
• KK-mcp-04 Kräv besked om vad som händer med kopplingen när avtalet upphör: fortsätter den fungera utan leverantören, och vem driftar den då.

Agentens behörigheter

Vad som går att kräva

• KK-agentens-behorigheter-01 Kräv att varje anrop mot ett källsystem bär den enskilda användarens identitet och prövas av källsystemet vid anropstillfället, och att ingen delad nyckel används för att nå verksamhetsdata.
• KK-agentens-behorigheter-02 Kräv att leverantören namnger varje ställe där det inte går, med skälet och med vad som gäller där i stället.
• KK-agentens-behorigheter-03 Kräv en förevisning under utvärderingen där två användare med olika rätt ger agenten samma uppdrag och skillnaden i vad agenten lyckades utföra visas.
• KK-agentens-behorigheter-04 Kräv att en indragen behörighet slår igenom för agentens anrop lika snabbt som för ett inloggat gränssnitt.
• KK-agentens-behorigheter-05 Kräv att spåret bär den fysiska personens identitet och inte bara det konto lösningen använde för att komma fram.

Kedjor och felfortplantning

Vad som går att kräva

• KK-kedjor-och-felfortplantning-01 Kräv en ritning över kedjan: varje steg, vad det tar emot, vad det lämnar, och vilka av stegen som är modeller.
• KK-kedjor-och-felfortplantning-02 Kräv att ritningen stämmer med det som körs och att den kan hållas mot en verklig körning.
• KK-kedjor-och-felfortplantning-03 Kräv att ett enskilt ärende går att öppna som en kedja i en vy, med varje mellansteg bevarat.
• KK-kedjor-och-felfortplantning-04 Kräv att den som granskar kan jämföra det första underlaget med det sista svaret utan att beställa ett utdrag.
• KK-kedjor-och-felfortplantning-05 Kräv att de uppgifter som ska följa med oförändrade bärs som egna fält genom kedjan och prövas mot källan i sista steget.
• KK-kedjor-och-felfortplantning-06 Kräv att en avbruten kedja lämnar ett tydligt utfall och inte ett halvfärdigt resultat som ser färdigt ut.

När agenten ska stoppas

Vad som går att kräva

• KK-nar-agenten-ska-stoppas-01 Kräv en förteckning över varje åtgärd agenten kan utföra, sorterad efter om verkan går att återta.
• KK-nar-agenten-ska-stoppas-02 Kräv att det som inte går att återta är spärrat i rättigheterna hos det system som utför åtgärden, inte i lösningens egen logik.
• KK-nar-agenten-ska-stoppas-03 Kräv att spärren visas under utvärderingen genom att ni själva ber agenten göra det förbjudna och ser var den stoppas.
• KK-nar-agenten-ska-stoppas-04 Kräv att ett godkännandesteg visar den verkliga åtgärden och dess mottagare, hämtad ur mottagarsystemet och inte formulerad av agenten.
• KK-nar-agenten-ska-stoppas-05 Kräv att antalet godkännandefrågor per ärende redovisas löpande i drift, eftersom en stigande siffra är det tidigaste tecknet på att steget slutat vara ett skydd.

Vad MCP kräver av era system

Vad som går att kräva

• KK-vad-mcp-kraver-av-era-system-01 Kräv en namngiven förteckning över de autentiseringsmetoder inkopplingen stöder, och kräv den före tilldelning och inte vid leverans.
• KK-vad-mcp-kraver-av-era-system-02 Kräv att leverantören svarar per källsystem som ni räknar upp i underlaget: går det att nå med användarens egen inloggning, och om inte, vad krävs.
• KK-vad-mcp-kraver-av-era-system-03 Kräv att varje svar som lyder att det går att lösa åtföljs av vem som bygger, vad det kostar och när det finns.
• KK-vad-mcp-kraver-av-era-system-04 Kräv att listan över utgående adresser sätts av er, med förvald hållning att inget är tillåtet.
• KK-vad-mcp-kraver-av-era-system-05 Kräv besked om vad som händer när ett inloggningsbevis går ut mitt i ett pågående arbete: avbryts det, eller fortsätter det på en annan identitet.

Integration mot verksamhetssystem

Vad som går att kräva

• KK-integration-mot-verksamhetssystem-01 Kräv att skrivning sker genom samma gränssnitt och samma kontroller som en handläggares, inte förbi dem, och att leverantören redovisar vilka valideringar som därmed gäller.
• KK-integration-mot-verksamhetssystem-02 Kräv en märkning av maskinskrivna poster som lever i mottagarsystemet och inte bara i AI-verktygets egna uppgifter.
• KK-integration-mot-verksamhetssystem-03 Kräv en beskriven och prövad återställning: en omgång ska gå att peka ut och ta tillbaka, och tiden det tar ska anges.
• KK-integration-mot-verksamhetssystem-04 Kräv att det provkörs under utvärderingen, i en miljö som liknar er, genom att en felaktig omgång skrivs och tas tillbaka.
• KK-integration-mot-verksamhetssystem-05 Kräv besked om vem som svarar när felet visar sig i verksamhetssystemet, för den frågan hamnar annars mellan två leverantörer.

Personuppgifter i prompten

Gränsen ska synas där den passeras och inte bara i ett avtal ingen handläggare har läst. En automatisk upptäckt är en gissning om löpande text och missar det ovanliga, alltså skyddade uppgifter och udda stavningar.

Vad som går att kräva

• KK-personuppgifter-i-prompt-01 Kräv att det framgår vid inmatningsfältet, i den vy där texten skrivs, vart den går, hur länge den sparas, och vem som kan läsa den.
• KK-personuppgifter-i-prompt-02 Kräv att ni kan sätta regler per verktyg och per grupp för vad som får matas in.
• KK-personuppgifter-i-prompt-03 Kräv besked om vad som händer vid en överträdelse: avvisas texten, varnas användaren, sparas händelsen.
• KK-personuppgifter-i-prompt-04 Kräv att en automatisk upptäckt av personuppgifter i fritext aldrig redovisas som en spärr.
• KK-personuppgifter-i-prompt-05 Kräv att nya AI-funktioner i en befintlig produkt levereras avstängda tills ni slår på dem.

Var datan får ligga

Serverns plats avgör inte vilken lagstiftning som kan riktas mot uppgifterna. Ägarförhållandet gör det.

Vad som går att kräva

• KK-var-datan-far-ligga-01 Kräv att varje utfästelse om var uppgifter ligger anges per del av lösningen: lagring, index, loggar och modellanrop.
• KK-var-datan-far-ligga-02 Kräv att utfästelsen skrivs in i avtalet med påföljd, i stället för att stå i en produktbeskrivning.
• KK-var-datan-far-ligga-03 Kräv uppgift om vilket bolag som driver tjänsten, i vilket land det har sitt säte, och vilken koncern som ytterst kontrollerar det.
• KK-var-datan-far-ligga-04 Kräv besked om vem som innehar krypteringsnycklarna och om ni kan hålla dem själva.
• KK-var-datan-far-ligga-05 Kräv att leverantörens egen åtkomst till era uppgifter godkänns av er per tillfälle, är tidsbegränsad, och loggas i en logg som lämnas till er.

Varför datan är flaskhalsen

Vad som går att kräva

• KK-varfor-datan-ar-flaskhalsen-01 Kräv en skriftlig beskrivning av vilket underlag lösningen förutsätter för att fungera: format, struktur, och den märkning den behöver för att kunna skilja gällande från ersatt.
• KK-varfor-datan-ar-flaskhalsen-02 Kräv en förteckning över vad den inte kan läsa alls, alltså inskannade handlingar utan textlager, bilder, handskrift, och innehåll som bara finns som poster i ett system.
• KK-varfor-datan-ar-flaskhalsen-03 Kräv att detta prövas på ett stickprov ur ert eget arkiv före tilldelning, valt av er och inte av leverantören.
• KK-varfor-datan-ar-flaskhalsen-04 Kräv att arbetet med att förbereda underlaget är en egen post i anbudet, med angiven omfattning och angiven bemanning.
• KK-varfor-datan-ar-flaskhalsen-05 Kräv besked om vad som händer med tid och pris när materialet visar sig vara sämre än antaget.

Datakvalitet som förutsättning

Inventeringslistan är ert arbetsunderlag för städningen, inte ett kvitto på att den är gjord. Ett avtal som lägger innehållsansvaret på leverantören ger er en trygghet som ingen kan infria.

Vad som går att kräva

• KK-datakvalitet-som-forutsattning-01 Kräv en inventering av det tilltänkta underlaget före driftsättning: dubbletter, dokument utan angiven ägare, och dokument utan datum.
• KK-datakvalitet-som-forutsattning-02 Kräv att lösningen kan använda giltighet och version som styrande villkor, så att ett dokument ni märkt som ersatt inte kan bli underlag till ett svar.
• KK-datakvalitet-som-forutsattning-03 Kräv att märkningen görs av er, utan leverantörens medverkan.
• KK-datakvalitet-som-forutsattning-04 Kräv att avtalet skiljer två ansvar åt: leverantören svarar för att systemet hämtar enligt sina regler, ni svarar för att innehållet är riktigt.

RAG

Det kravet och den separata mätningen av söksteget är sällan färdigbyggda när ni frågar. Det är skälet att ställa dem i upphandlingen och inte vid leveransen: den som tar upp dem sist har inget kvar att förhandla med.

Vad som går att kräva

• KK-rag-01 Kräv att varje svar anger vilka avsnitt ur vilka dokument som användes, med version och datum, så att en handläggare kan öppna källan utan att leta själv.
• KK-rag-02 Kräv att söksteget kan utvärderas skilt från svaret: för en frågeuppsättning som ni själva skriver ska leverantören redovisa hur ofta rätt underlag alls fanns bland det som hämtades.
• KK-rag-03 Kräv att ni kan styra vad som görs sökbart, och att fördröjningen från ändrat dokument till ändrat svar anges i timmar eller dagar.
• KK-rag-04 Kräv att uppdelningen i avsnitt är beskriven, och att ni under utvärderingen får se hur ett av era egna dokument med tabeller ser ut efteråt.
• KK-rag-05 Kräv att systemet svarar att underlag saknas när sökningen inte träffar, i stället för att fylla ut.

Behörigheter som följer datan

Vad som går att kräva

• KK-behorigheter-som-foljer-datan-01 Kräv att varje sökning görs med den inloggade användarens behörighet, kontrollerad vid frågetillfället mot källsystemet, och att ingen delad tjänsteidentitet med bred läsrätt används för att hämta underlag.
• KK-behorigheter-som-foljer-datan-02 Kräv att en indragen eller ändrad behörighet slår igenom inom en tid som skrivs in i avtalet, och att tiden gäller även för underlag som redan förberetts för sökning.
• KK-behorigheter-som-foljer-datan-03 Kräv en demonstration under utvärderingen där två testkonton med olika behörighet ställer samma fråga och skillnaden i hämtat underlag visas.
• KK-behorigheter-som-foljer-datan-04 Kräv besked om var filtreringen sker, i sökfrågan eller på träfflistan efteråt, och att svaret går att granska mot en arkitekturbeskrivning i stället för att stanna vid ett ja.
• KK-behorigheter-som-foljer-datan-05 Kräv skriftligt besked om lösningen behöver läsrätt ni inte redan gett en människa.

Graph RAG

Utan ursprunget går en säker koppling inte att skilja från en gissning.

Vad som går att kräva

• KK-graph-rag-01 Kräv att beskrivningen av saker och samband tillhör er och kan exporteras i ett öppet format. Den är det ni betalat för, och det som blir kvar när verktyget byts.
• KK-graph-rag-02 Kräv att varje relation bär sitt ursprung: registrerad av en människa, hämtad ur ett angivet källsystem, eller utvunnen av en modell ur en angiven text.
• KK-graph-rag-03 Kräv att en felaktig relation kan rättas på ett ställe, och att rättningen slår igenom i svaren inom en angiven tid.
• KK-graph-rag-04 Kräv en uppskattning av det löpande underhållet, uttryckt i arbetstimmar per år hos er och inte hos leverantören.

Inbäddningar och vektorer

Vad som går att kräva

• KK-inbaddningar-och-vektorer-01 Kräv besked om vilken modell som skapar vektorerna, var den körs, och vem som driver indexet.
• KK-inbaddningar-och-vektorer-02 Kräv att ett byte av den modellen meddelas i förväg och behandlas som en avtalad ändring.
• KK-inbaddningar-och-vektorer-03 Kräv angiven ledtid och angivet pris för en fullständig omindexering av er volym.
• KK-inbaddningar-och-vektorer-04 Kräv besked om vad som gäller medan den pågår: söker lösningen i ett halvfärdigt index, eller står den still.
• KK-inbaddningar-och-vektorer-05 Kräv att sökningen kan kombinera betydelse med ordagrann matchning, och att det visas under utvärderingen på era egna beteckningar och förkortningar.
• KK-inbaddningar-och-vektorer-06 Kräv att indexet omfattas av samma skydd, samma kryptering och samma åtkomstbegränsning som källsystemet.

När RAG inte är svaret

Ett anbud som svarar att lösningen klarar alla era frågor har inte prövat frågorna.

Vad som går att kräva

• KK-nar-rag-inte-ar-svaret-01 Kräv att leverantören går igenom era användningsfall ett i taget och anger var svaret kommer ifrån: sökning i text, eller fråga mot ett system.
• KK-nar-rag-inte-ar-svaret-02 Kräv att de fall där sökning inte kan hålla avvisas i anbudet.
• KK-nar-rag-inte-ar-svaret-03 Kräv att lösningen känner igen frågor som kräver räkning eller fullständighet och avstår, i stället för att svara ur ett urval.
• KK-nar-rag-inte-ar-svaret-04 Kräv att antalet hämtade avsnitt visas för användaren tillsammans med svaret, och att inställningen är er att ändra.

Behandlingens kopior

Vad som går att kräva

• KK-behandlingens-kopior-01 Kräv en förteckning över varje ställe där prompt, underlag, svar och härledda former lagras, med system, part, land och lagringstid per ställe.
• KK-behandlingens-kopior-02 Kräv att förteckningen är er att läsa utan en beställning.
• KK-behandlingens-kopior-03 Kräv att förteckningen skiljer original, historik, index, anrop, svar och logg, så att fem kopior inte kan döljas som en.
• KK-behandlingens-kopior-04 Kräv att ni kan få ut vad som finns om en namngiven person från varje ställe, eller ett skriftligt besked att det stället inte kan svara på den frågan.
• KK-behandlingens-kopior-05 Kräv att ett tillkommande ställe, till exempel ett nytt index eller en ny logg, anmäls innan det tar emot text.

När läsrätt blir hämtning

Vad som går att kräva

• KK-nar-lasratt-blir-hamtning-01 Kräv att en källa som görs sökbar kan begränsas till det ärende användaren arbetar i, och att en sökning över flera ärenden är ett eget beslut och inte standard.
• KK-nar-lasratt-blir-hamtning-02 Kräv en förevisning där samma person ställer en öppen fråga mot en källa hon har läsrätt till, och att det hämtade underlaget visas, inte bara svaret.
• KK-nar-lasratt-blir-hamtning-03 Kräv att spåret bär frågan, vilka poster som hämtades, och vilken läsrätt som gällde, så att en hämtning går att pröva mot sekretessen i efterhand.
• KK-nar-lasratt-blir-hamtning-04 Kräv besked om lösningen kan sammanställa uppgifter ur flera poster till ett svar som ingen av posterna visade ensam.

Radering och vektorer

Ett löfte om att radering sker automatiskt är inget svar på frågan var kopiorna ligger, det är ett sätt att slippa den.

Vad som går att kräva

• KK-radering-och-vektorer-01 Kräv en förteckning över varje plats där text ur era källor lagras i härledd form, alltså index, mellanlager, cache, sparade svar och säkerhetskopior, med angiven livslängd för var och en.
• KK-radering-och-vektorer-02 Kräv att radering av en källpost tar bort samtliga härledda kopior inom en tid som anges i avtalet.
• KK-radering-och-vektorer-03 Kräv ett kvitto per raderat objekt, som går att visa för en granskare.
• KK-radering-och-vektorer-04 Fråga uttryckligen om den raderingskedjan är byggd eller bara planerad, och kräv att den förevisas: vilka lagringsplatser den når, och hur det styrks att den nått dem alla.
• KK-radering-och-vektorer-05 Kräv att radering kan begäras både för en enskild post och för ett helt underlag.
• KK-radering-och-vektorer-06 Kräv att era uppgifter aldrig används för att träna leverantörens modeller, och att allt raderas vid avtalets slut, styrkt skriftligen.

Utvärdering i drift

Vad som går att kräva

• KK-utvardering-i-drift-01 Kräv att era fall kan köras mot den driftsatta lösningen med dess verkliga underlag, inte mot en testmiljö med ett städat urval.
• KK-utvardering-i-drift-02 Kräv att en körning inte skriver i verksamhetens system.
• KK-utvardering-i-drift-03 Kräv att varje delsteg går att mäta för sig och redovisas för sig, så att ett tapp går att härleda till det led där det uppstod.
• KK-utvardering-i-drift-04 Kräv att andelen frågor där lösningen avstod från att svara redovisas som ett eget mått, eftersom en sjunkande sådan andel är ett tidigt tecken på att systemet börjat fylla ut.
• KK-utvardering-i-drift-05 Kräv att en ändring hos leverantören som kan påverka utfallet meddelas i förväg, och att ni hinner köra er samling innan den slår igenom hos er.

Vad som måste loggas

Ett fält som är valfritt kommer i praktiken att stå tomt.

Vad som går att kräva

• KK-vad-som-maste-loggas-01 Kräv besked om vilka av de tre åtagandena som är byggda, som en beskrivning fält för fält av vad som lagras och inte som ett ja.
• KK-vad-som-maste-loggas-02 Kräv att en post bär personen, tidpunkten, den fullständiga inmatningen och det hämtade underlaget.
• KK-vad-som-maste-loggas-03 Kräv att posten också bär versionerna av modell och instruktion samt det levererade svaret.
• KK-vad-som-maste-loggas-04 Kräv att fälten hör till samma post, så att inget av dem kan saknas ensamt.
• KK-vad-som-maste-loggas-05 Kräv att posten skrivs innan svaret lämnas ut.
• KK-vad-som-maste-loggas-06 Kräv att loggen inte kan ändras eller tömmas av leverantörens personal.
• KK-vad-som-maste-loggas-07 Kräv att en läsning i loggen själv blir en post, eftersom loggen bär känsligare material än de system den hämtat ur.

Allmän handling och arkiv

En begäran kommer alltid i en sådan form och aldrig som en månads allt.

Vad som går att kräva

• KK-allman-handling-och-arkiv-01 Kräv att lagrat material kan avgränsas och tas ut per ärende, per person och per tidsperiod.
• KK-allman-handling-och-arkiv-02 Kräv att uttaget kan göras av er själva, i ett dokumenterat och systemoberoende format, med de uppgifter som gör posten begriplig utan verktyget.
• KK-allman-handling-och-arkiv-03 Kräv att automatisk borttagning kan stängas av per uppgiftsslag, och att en genomförd borttagning bekräftas med besked om vad som togs bort och enligt vilken regel.
• KK-allman-handling-och-arkiv-04 Kräv besked om vad som händer vid avtalets slut, och att avvecklingen innehåller ett fullständigt uttag före raderingen och inte efter.

Mäta nytta

En siffra utan de uppgifterna är ett påstående om någon annans organisation.

Vad som går att kräva

• KK-mata-nytta-01 Kräv att ett svar går att knyta till det ärendeslag där arbetet utförs, så att nyttan kan följas där den ska uppstå och inte bara i verktygets egen statistik.
• KK-mata-nytta-02 Kräv att leverantörens nyttosiffror åtföljs av vad som mättes, hos vem, mot vilken baslinje och under hur lång tid.
• KK-mata-nytta-03 Kräv att era mätdata är era, kan tas ut löpande och räcker för att ni ska kunna räkna själva i stället för att läsa en färdig sammanställning.
• KK-mata-nytta-04 Kräv att en enskild användning kan stängas av utan att resten av lösningen påverkas, eftersom en uppföljning utan den möjligheten inte kan leda till något.

När granskningen slutar granska

Vad som går att kräva

• KK-nar-granskningen-slutar-granska-01 Kräv att granskningens utfall registreras som eget underlag: antal granskade, antal ändrade och antal underkända, per ärendetyp och per granskare, uttagbart av er löpande.
• KK-nar-granskningen-slutar-granska-02 Kräv att det underlag svaret byggde på visas i samma vy som förslaget, och att godkännandet inte kan lämnas innan det öppnats.
• KK-nar-granskningen-slutar-granska-03 Kräv att tiden mellan att underlaget visas och att godkännandet lämnas registreras, eftersom det är det som skiljer en läsning från ett klick.
• KK-nar-granskningen-slutar-granska-04 Kräv att inget svarsalternativ är förvalt, så att granskaren måste ta ställning aktivt.
• KK-nar-granskningen-slutar-granska-05 Kräv att urvalet till stickprov dras av lösningen efter en andel ni sätter, och att granskaren inte kan se urvalet i förväg.

Spårbarhet och ansvar

Vad som går att kräva

• KK-sparbarhet-och-ansvar-01 Kräv att spåret bär rollen och inte bara identiteten, så att en post går att läsa utan att någon först utreder vem personen var vid tillfället.
• KK-sparbarhet-och-ansvar-02 Kräv att ett godkännande sparas tillsammans med det underlag som visades när det lämnades, så att det i efterhand går att se vad personen faktiskt hade att gå på.
• KK-sparbarhet-och-ansvar-03 Kräv att varje ändring som påverkar utfallet bär författare, tidpunkt och skäl.
• KK-sparbarhet-och-ansvar-04 Kräv att det gäller alla inställningar och inte bara instruktionstexten: val av modell, urval av underlag, trösklar och behörighetsregler.
• KK-sparbarhet-och-ansvar-05 Kräv att leverantörens egen personal syns i samma spår som era medarbetare, med namngiven person och inte som ett driftkonto.

När inmatningen blir handling

Vad som går att kräva

• KK-nar-inmatningen-blir-handling-01 Kräv att varje inmatning och varje svar bär tidpunkt, användare och, där det finns, ärendenummer, så att en handling går att hitta på den grund en begäran kommer.
• KK-nar-inmatningen-blir-handling-02 Kräv att automatisk borttagning kan stängas av per uppgiftsslag, och att den inte kan slås på igen av en produktuppdatering.
• KK-nar-inmatningen-blir-handling-03 Kräv att en genomförd borttagning bekräftas med vad som togs bort och enligt vilken regel, så att rensningen går att hålla mot ett gallringsbeslut.
• KK-nar-inmatningen-blir-handling-04 Kräv en väg att frysa material i en pågående utredning utan att stänga av lösningen, eftersom rensningen annars fortsätter i just det ni börjat undersöka.

När något gått fel

Vad som går att kräva

• KK-nar-nagot-gatt-fel-01 Kräv en sökväg från verksamhetens egna identifierare till anropet, så att ärendenummer, handläggare och ett tidsintervall räcker för att hitta rätt post.
• KK-nar-nagot-gatt-fel-02 Kräv att ett fall kan öppnas i sin helhet i en vy, med alla led i samma bild, och att utdraget kan tas av er själva.
• KK-nar-nagot-gatt-fel-03 Kräv att samma sökning kan köras över hela materialet, så att en avgränsning inte kräver att någon läser rad för rad.
• KK-nar-nagot-gatt-fel-04 Kräv en avtalad tid för leverantörens medverkan där den ändå behövs, och att tiden gäller även när den åtgärd som ska utredas inte går att ta tillbaka.
• KK-nar-nagot-gatt-fel-05 Kräv att ett bevarandelås kan sättas av er och att det står över borttagningen.

Transparens mot medborgare

Vad som går att kräva

• KK-transparens-mot-medborgare-01 Kräv att lösningen levererar det en motivering behöver som egna fält: vilka källor som användes, med version och datum.
• KK-transparens-mot-medborgare-02 Kräv att fälten också bär vilka uppgifter ur ärendet som gick in, och vilka regler eller villkor som tillämpades.
• KK-transparens-mot-medborgare-03 Kräv att fälten hämtas ur det som styrde svaret och inte formuleras av modellen i efterhand.
• KK-transparens-mot-medborgare-04 Begär besked om vilket av de två som levereras, eftersom skillnaden inte syns i resultatet.
• KK-transparens-mot-medborgare-05 Kräv att en enskilds fråga om ett beslut går att besvara utan att någon hos leverantören kopplas in.
• KK-transparens-mot-medborgare-06 Kräv att märkningen av maskinellt framtagen text följer med i utskrifter och i utlämnade handlingar och inte bara visas i gränssnittet.

Bygga eller köpa

Vad som går att kräva

• KK-bygga-eller-kopa-01 Kräv att gränsen ritas ut i anbudet: vad som är produkt, vad som är konfiguration och vad som byggs särskilt åt er.
• KK-bygga-eller-kopa-02 Kräv att allt på er sida av gränsen går att läsa och ändra utan leverantörens medverkan, och att en ändring där inte kräver ett nytt uppdrag.
• KK-bygga-eller-kopa-03 Kräv besked om vilka anpassningar en offert innebär i en produkt som annars uppgraderas av någon annan, och vad varje sådan anpassning kostar vid varje kommande uppgradering.
• KK-bygga-eller-kopa-04 Kräv att det som byggs särskilt åt er levereras i en form ni kan ta över, med rätt att låta någon annan förvalta det.

Intern kontroll och AI

Vad som går att kräva

• KK-intern-kontroll-och-ai-01 Kräv en uppdelning av vilka kontroller leverantören själv utför i driften och vilka som förutsätts hos er, punkt för punkt, så att ingen kontroll hamnar i glappet mellan de två.
• KK-intern-kontroll-och-ai-02 Kräv att utfallet av leverantörens egna kontroller redovisas löpande med resultat, och inte som ett besked att kontrollerna finns.
• KK-intern-kontroll-och-ai-03 Kräv rätt för era revisorer och er internrevision att granska lösningen hos leverantören, med angiven svarstid och utan att granskningen blir ett uppdrag att beställa.
• KK-intern-kontroll-och-ai-04 Kräv att en brist leverantören själv upptäcker i sina kontroller anmäls till er inom en avtalad tid, också när den redan är åtgärdad.

Vem äger lösningen

Vad som går att kräva

• KK-vem-ager-losningen-01 Kräv att avtalet namnger en beställarroll hos er som mottagare av ändringar, rapporter och besked, och en motpart hos leverantören med mandat att åta sig något.
• KK-vem-ager-losningen-02 Kräv att en ändring som påverkar vad användarna ser eller får ut godkänns av den rollen innan driftsättning.
• KK-vem-ager-losningen-03 Kräv att uppföljningen levereras till verksamhetens ägare och inte bara till den tekniska förvaltningen.
• KK-vem-ager-losningen-04 Kräv att en begäran om att stänga av ett enskilt användningsfall kan lämnas av ägaren ensam, verkställs inom en avtalad tid, och inte förutsätter att hela lösningen tas ur drift.

AI-förordningen i praktiken

Vad som går att kräva

• KK-ai-forordningen-i-praktiken-01 Kräv besked om vilken roll leverantören tar och vilken den lämnar till er, uttryckt i regelverkets egna termer och inte i marknadsföringens.
• KK-ai-forordningen-i-praktiken-02 Kräv den dokumentation ni behöver för att göra er egen bedömning, i tid för att göra den och inte efter driftsättning.
• KK-ai-forordningen-i-praktiken-03 Kräv en uppdelning av vilka av era skyldigheter produkten stöder med funktion, alltså loggar, mänsklig kontroll och information till den som berörs, och vilka ni måste lösa någon annanstans.
• KK-ai-forordningen-i-praktiken-04 Kräv besked när leverantören ändrar något som kan påverka bedömningen.
• KK-ai-forordningen-i-praktiken-05 Kräv redovisat vad lösningen vilar på när en generell modell ingår, så att ni vet vad ni för vidare.

Förvaltning över tid

Vad som går att kräva

• KK-forvaltning-over-tid-01 Kräv att förvaltningsåtagandet uttrycks som namngivna moment med angiven omfattning, inte som en andel av licensen, och att det arbete ni själva förutsätts göra står i samma dokument.
• KK-forvaltning-over-tid-02 Kräv angivet pris och angiven ledtid för de ändringar som med säkerhet kommer: ett nytt källsystem, en omskriven handläggningsrutin, ett byte av modell.
• KK-forvaltning-over-tid-03 Kräv besked om vilka delar av lösningen som har ett känt slut och vad som gäller när en av dem når det.
• KK-forvaltning-over-tid-04 Kräv att prisjusteringen är känd i förväg och att poster som växer med användningen har ett tak ni satt.

Kompetens i organisationen

Ett åtagande som vilar på arbete ni inte avsatt tid för är inget åtagande.

Vad som går att kräva

• KK-kompetens-i-organisationen-01 Kräv att kunskapsöverföring är en levererad del med angivet innehåll, namngivna mottagare och en tidpunkt, inte en rad i en projektplan.
• KK-kompetens-i-organisationen-02 Kräv att era egna medarbetare utför de moment som ska kunna utföras i förvaltningen, redan under utvärderingen, med leverantören som åskådare och inte som utförare.
• KK-kompetens-i-organisationen-03 Kräv dokumentation skriven för den som ska förvalta lösningen och inte för den som byggde den.
• KK-kompetens-i-organisationen-04 Kräv att leverantören anger vilka roller hos er och hur mycket av deras tid som förutsätts för att åtagandena ska hålla.

Leverantörsberoende

Vad som går att kräva

• KK-leverantorsberoende-01 Kräv att leverantören räknar upp varje ändring den behöver i era system för att lösningen ska fungera, med en motivering per ändring.
• KK-leverantorsberoende-02 Kräv att kopplingen annars sker med de gränssnitt systemen redan erbjuder.
• KK-leverantorsberoende-03 Kräv att den konfiguration ni bygger upp under avtalstiden lagras som data i ett dokumenterat format, inte som inställningar vars enda uttryck är en bild av ett gränssnitt.
• KK-leverantorsberoende-04 Kräv att leverantören anger vilket arbete hos er som skulle behöva göras om vid ett byte, post för post.
• KK-leverantorsberoende-05 Kräv att avvecklingsstödet har ett angivet innehåll och en angiven tid, och att det kan påkallas utan att avtalet först är i tvist.

När arbetssättet blir systemet

Den som ser arbetet ska kunna hålla den bilden mot det som faktiskt görs.

Vad som går att kräva

• KK-nar-arbetssattet-blir-systemet-01 Kräv att den godkända lösningen kan beskrivas i era arbetsuppgifter, så att en lucka går att peka ut som en uppgift och inte som ett produktnamn.
• KK-nar-arbetssattet-blir-systemet-02 Kräv en namngiven mottagare för en begäran om att en uppgift ska gå att lösa på den godkända vägen, med angiven tid till besked.
• KK-nar-arbetssattet-blir-systemet-03 Kräv att användningen går att läsa av per enhet och per uppgiftsslag, inte bara som ett samlat antal användare.

Piloten som får misslyckas

Vad som går att kräva

• KK-piloten-som-far-misslyckas-01 Kräv att avvecklingen är prissatt i samma offert som piloten: vad avstängningen kostar, vad som händer med data och konton, och hur lång tid det tar.
• KK-piloten-som-far-misslyckas-02 Kräv att avtalet upphör vid ett datum utan automatisk förlängning, och att en övergång till drift är ett nytt åtagande och inte ett fortsatt.
• KK-piloten-som-far-misslyckas-03 Kräv en skriftlig redovisning av vad som skiljer piloten från drift i full volym: vilka undantag som gäller, vad som måste byggas om, och vad det kostar.
• KK-piloten-som-far-misslyckas-04 Kräv att redovisningen lämnas före start, eftersom den vid utvärderingen blir ett argument i stället för ett underlag.
• KK-piloten-som-far-misslyckas-05 Kräv att mätningen görs på fall ni själva valt ut.

Policy som fungerar

Vad som går att kräva

• KK-policy-som-fungerar-01 Kräv besked, per regel ni ställer upp, om den är byggd som ett villkor i lösningen eller som en anmodan till användaren.
• KK-policy-som-fungerar-02 Kräv att en funktion ni inte godkänt går att hålla otillgänglig med en inställning ni själva råder över, och att inställningen inte kan sättas ur spel av en produktuppdatering.
• KK-policy-som-fungerar-03 Kräv en läsbar förteckning över vad som är påslaget för vilka grupper, tillgänglig för er när som helst och inte på begäran.
• KK-policy-som-fungerar-04 Kräv att aktivering av en ny förmåga skrivs till ett spår med vem, när och för vilka.

Riskvilja som beslut

Då bedöms avståndet till er gräns och inte en norm leverantören själv valt.

Vad som går att kräva

• KK-riskvilja-som-beslut-01 Kräv att er egen nivå för användningen står i förfrågan och att anbudet svarar mot den.
• KK-riskvilja-som-beslut-02 Kräv besked om vilken felnivå priset förutsätter, eftersom ett lägre pris kan vara en lägre nivå och inte en effektivare lösning.
• KK-riskvilja-som-beslut-03 Kräv att en passerad gräns har en avtalad följd med angiven tid, och godta inte ett åtagande att förbättra som enda följd.
• KK-riskvilja-som-beslut-04 Kräv att lösningen kan sättas strängare för ett användningsslag än för ett annat i samma installation, så att en beslutad skillnad i riskvilja går att genomföra utan ny upphandling.

Livstidskostnad

Vad som går att kräva

• KK-livstidskostnad-01 Kräv att engångsposter och löpande poster redovisas skilda från varandra, med angiven period för varje löpande post, så att ett lågt införandepris inte bärs av ett förvaltningspris ni upptäcker senare.
• KK-livstidskostnad-02 Kräv en förteckning över de poster lösningen förutsätter men leverantören inte levererar, alltså licenser, drift och tjänster hos tredje part som ni betalar direkt.
• KK-livstidskostnad-03 Kräv besked om vilka poster som är uppsägningsbara och vilka som binder er för hela perioden, eftersom det som inte går att säga upp är vad ett byte kostar.
• KK-livstidskostnad-04 Kräv att kalkylens poster följs upp mot verkligt utfall vid en avtalad tidpunkt, en post i taget, och att avvikelsen redovisas skriftligt.

När arbetet förändras

Vad som går att kräva

• KK-nar-arbetet-forandras-01 Kräv angivet vilka ärendeslag lösningen är prövad mot, och vilka den inte är prövad mot.
• KK-nar-arbetet-forandras-02 Kräv att ett anmält fel går att märka med ärendeslag, så att en invändning blir ett tal och inte ett intryck.

Upphandla AI

Vad som går att kräva

• KK-upphandla-ai-01 Kräv att varje utfästelse åtföljs av hur den visas, i samma svar som utfästelsen.
• KK-upphandla-ai-02 Kräv en förevisning i stället för ett ja där saken går att visa, med era exempel och inte leverantörens.
• KK-upphandla-ai-03 Kräv att svaren lämnas per användningsfall ni beskrivit och inte för produkten som helhet, eftersom en produkt kan klara en sak och inte en annan.
• KK-upphandla-ai-04 Kräv besked om vilka av era krav som är uppfyllda i det som finns nu och vilka som förutsätter ett bygge, med vem som bygger och när.
• KK-upphandla-ai-05 Kräv att det som inte kan visas före tilldelning blir ett åtagande med tidpunkt.

Från en lösning till många

Den kostnaden betalas ur samma pott som alla era andra lösningar, och den avgör hur många ni kan bära.

Vad som går att kräva

• KK-fran-en-losning-till-manga-01 Kräv att varje anbud anger vad lösningen förutsätter av er löpande, uttryckt i roller och arbetstid per period.
• KK-fran-en-losning-till-manga-02 Kräv besked om vilka av era befintliga produkter som redan innehåller en motsvarande funktion.
• KK-fran-en-losning-till-manga-03 Kräv av en leverantör ni redan har besked om hur det som erbjuds förhåller sig till det ni betalar för.
• KK-fran-en-losning-till-manga-04 Kräv att åtagandena besvaras mot era frågor i er ordning, så att två anbud går att lägga bredvid varandra.
• KK-fran-en-losning-till-manga-05 Kräv besked om vad lösningen förutsätter av era gemensamma funktioner för identitet, loggning och åtkomst.

När alla har verktygen

Vad som går att kräva

• KK-hoten-som-foljer-01 Kräv att en åtgärd som ändrar ett betalningsmottagande, en adress eller en behörighet aldrig kan utlösas av innehåll i en inkommande handling.
• KK-hoten-som-foljer-02 Kräv att en bekräftelse går ut på en kanal mottagaren registrerat i förväg, och inte på den kanal begäran kom in på.

Förändringstakten som konstruktionskrav

Vad som går att kräva

• KK-forandringstakten-som-konstruktionskrav-01 Kräv att ingen tröskel, urvalsgräns eller spärr sätts utan en angiven mätmetod ni kan köra själva. En kalibrering ni inte kan upprepa är en inställning ni inte äger.
• KK-forandringstakten-som-konstruktionskrav-02 Kräv att ett byte av en utbytbar del genomförs minst en gång under avtalstiden som en övning, med utfallet redovisat, eftersom ett bytesstöd som aldrig prövats är ett påstående.
• KK-forandringstakten-som-konstruktionskrav-03 Kräv att åtagandena om svarstid, kvalitetsnivå och kostnadstak gäller funktionen och inte en namngiven beståndsdel, så att de består när leverantören byter något inuti.
• KK-forandringstakten-som-konstruktionskrav-04 Kräv besked om vad som förfaller vid ett sådant byte: vilka mätvärden som inte längre gäller, vilka prov som måste köras om, och vem som betalar det arbetet.

Gemensamma skyddsräcken

En avvikelse ni känner till kan hanteras. En ni inte känner till bär ni ändå.

Vad som går att kräva

• KK-gemensamma-skyddsracken-01 Kräv att lösningen använder er inloggning och er katalog, och att inga konton skapas i lösningen självständigt, så att en avslutad anställning stänger den utan att någon behöver röra lösningen.
• KK-gemensamma-skyddsracken-02 Kräv att spåret levereras löpande till er mottagare i ett format ni angett, och inte enbart går att titta på hos leverantören.
• KK-gemensamma-skyddsracken-03 Kräv att underlag hämtas genom er befintliga åtkomstväg i stället för genom en egen kopia av materialet.
• KK-gemensamma-skyddsracken-04 Kräv att anbudet innehåller en avvikelselista mot era anslutningskrav, punkt för punkt, med skäl.

När en lösning ska avvecklas

Vad som går att kräva

• KK-nar-en-losning-ska-avvecklas-01 Kräv en förteckning, upprättad vid införandet och underhållen, över vad som kommer att peka på lösningen i drift.
• KK-nar-en-losning-ska-avvecklas-02 Kräv att den anger vilka system som tar emot dess utdata, vilka rutiner som hänvisar till den, och vilka konton den håller.
• KK-nar-en-losning-ska-avvecklas-03 Kräv att uttaget av det som ska bevaras provkörs en gång medan avtalet löper, så att ni vet att det fungerar innan ni behöver det.
• KK-nar-en-losning-ska-avvecklas-04 Kräv besked om vad som slutar fungera hos er när lösningen stängs av: vilka flöden stannar, vilka konton blir overksamma, vilket arbete faller tillbaka på en handläggare.
• KK-nar-en-losning-ska-avvecklas-05 Kräv att era mätdata från hela driftperioden lämnas samlade vid avvecklingen, eftersom de är underlaget för att bedöma nästa lösning av samma slag.

Skugg-AI

Varje steg mellan användaren och det godkända verktyget är det som skapar det oköpta.

Vad som går att kräva

• KK-skugg-ai-01 Kräv att den godkända lösningen är åtkomlig för alla som har uppgiften, utan ansökan per person.
• KK-skugg-ai-02 Kräv en beskrivning av vad lösningen inte klarar, uttryckt i era arbetsuppgifter, så att ni vet var luckorna ligger.
• KK-skugg-ai-03 Kräv angivet pris per tillkommande användare och angiven tid för att komma igång: en licensmodell som gör varje ny användare till ett beslut bygger in tröskeln i avtalet.
• KK-skugg-ai-04 Kräv av de leverantörer ni redan har skriftligt besked om produkten skickar innehåll till en språkmodell, till vem, och om funktionen är påslagen.

Att säga ja utan att tappa kontrollen

Vad som går att kräva

• KK-att-saga-ja-utan-att-tappa-kontrollen-01 Kräv att leverantören själv anger vilken av era nivåer lösningen faller i, prövad mot era tre frågor, och att svaret är bindande.
• KK-att-saga-ja-utan-att-tappa-kontrollen-02 Kräv att nivån är en avtalad gräns och inte en beskrivning.
• KK-att-saga-ja-utan-att-tappa-kontrollen-03 Kräv att en produktuppdatering som ger lösningen skrivrätt eller en ny mottagare hanteras som ett avtalsbrott och inte som en nyhet.
• KK-att-saga-ja-utan-att-tappa-kontrollen-04 Kräv att svaren lämnas på era frågor i er ordning, så att två anbud går att lägga bredvid varandra utan att först skrivas om.
• KK-att-saga-ja-utan-att-tappa-kontrollen-05 Kräv besked om vilka delar av lösningen som kan stängas av för att hålla den kvar på den nivå ni köpt.

Skuggagenter

Vad som går att kräva

• KK-skuggagenter-01 Kräv att era källsystem kan skilja en läsning gjord genom ett programgränssnitt från en läsning en människa gjort i gränssnittet, och visa dem var för sig.
• KK-skuggagenter-02 Kräv att åtkomst kan spärras per klient utan att personen spärras, så att en integration kan stängas av utan att någon förlorar sitt arbete.
• KK-skuggagenter-03 Kräv att ett personligt inloggningsbevis inte kan bäras av ett program utan att det syns.
• KK-skuggagenter-04 Kräv att bevis som ges till program har kort giltighet och kan återkallas ett i taget.
• KK-skuggagenter-05 Kräv att en avslutad anställning stänger de kopplingar kontot bar, och att de går att förteckna innan kontot stängs.

Tre saker som rör sig olika fort

Vad som går att kräva

• KK-takten-som-forutsattning-01 Kräv att lösningen kan köras vidare på en fryst version medan ni prövar en ny.
• KK-takten-som-forutsattning-02 Kräv att det underlag och de fall ni arbetat fram lämnas i ett format som överlever ett byte av lösning.
• KK-takten-som-forutsattning-03 Kräv angivet vad ett byte av modell inuti lösningen kräver av er i arbetstid.

Vem betalar för det gemensamma

Då blir valet ett beslut och inte en följd av anbudets upplägg.

Vad som går att kräva

• KK-vem-betalar-for-det-gemensamma-01 Kräv att anslutningen till era gemensamma funktioner prissätts som en egen post, skild från lösningens övriga pris, så att kostnaden för det gemensamma syns och inte försvinner i ett totalpris.
• KK-vem-betalar-for-det-gemensamma-02 Kräv att en lösning som erbjuder en egen variant av något ni redan äger prissätter både varianten och anslutningen till er befintliga.
• KK-vem-betalar-for-det-gemensamma-03 Kräv angivet pris för att ansluta ett tillkommande verksamhetsområde till en lösning i drift, så att den andra användaren inte betalar ett nytt införande.
• KK-vem-betalar-for-det-gemensamma-04 Kräv att en anslutning som byggs en gång kan användas av era övriga lösningar utan ny avgift per lösning.

Determinismstegen

Vad som går att kräva

• KK-determinismstegen-01 Kräv att varje utfäst begränsning placeras på ett av de fyra stegen, i en förteckning som går att läsa utan att någon öppnar koden.
• KK-determinismstegen-02 Kräv en skriftlig motivering när en begränsning ligger på prompttext, med besked om vad som hindrar att den flyttas uppåt.
• KK-determinismstegen-03 Kräv att en begränsning som flyttas nedåt under bygget anmäls till dig, så att en förenkling i genomförandet inte tyst byter ut mekanik mot en mening.
• KK-determinismstegen-04 Kräv att en modell som granskar en annan modells svar redovisas som det den är, en bedömning med egen spridning, och aldrig som en kontroll.

Mät i band, inte i körningar

Vad som går att kräva

• KK-mat-i-band-inte-i-korningar-01 Kräv att varje resultat som läggs fram anger antalet körningar per fall och spridningen mellan dem, och behandla en siffra utan de uppgifterna som ett enskilt utfall.
• KK-mat-i-band-inte-i-korningar-02 Kräv att resultatet redovisas per fall och inte bara som ett samlat mått, så att ett fall som alltid faller går att skilja från ett som faller ibland.
• KK-mat-i-band-inte-i-korningar-03 Kräv att en förevisning aldrig ersätter en mätning: det som visas i ett möte är ett utfall, valt av den som visar.
• KK-mat-i-band-inte-i-korningar-04 Kräv att fallsamlingen och körningarnas rådata tillhör er och kan köras om av er själva, utan att någon bokas in.

Att godkänna en prompt

Vad som går att kräva

• KK-att-godkanna-en-prompt-01 Kräv att varje funktion som ska godkännas lämnas som den text, det tröskelvärde eller det villkor som faktiskt styr beteendet, i klartext och med versionsbeteckning.
• KK-att-godkanna-en-prompt-02 Kräv att godkännandet registreras mot den versionen, så att det i efterhand går att se vilken lydelse som var godkänd när ett visst svar lämnades.
• KK-att-godkanna-en-prompt-03 Kräv att en ändrad lydelse kräver ett nytt godkännande, även när ändringen beskrivs som en justering.
• KK-att-godkanna-en-prompt-04 Kräv att förslaget åtföljs av vad ändringen väntas göra och av utfallet mot fallsamlingen, så att godkännandet vilar på något prövbart.

En ändring i taget

Vad som går att kräva

• KK-en-andring-i-taget-01 Kräv att varje ändring i instruktioner, tröskelvärden och urvalsregler går att ta tillbaka var för sig, utan att andra ändringar följer med.
• KK-en-andring-i-taget-02 Kräv att mätningen mot fallsamlingen körs mellan två ändringar och inte efter en bunt, och att resultatet följer med ändringen i historiken.
• KK-en-andring-i-taget-03 Kräv att stoppregeln står skriven före körningen, med angivet mått och angiven gräns, så att beslutet inte fattas på det resultat som råkade komma.
• KK-en-andring-i-taget-04 Kräv besked om vilka ändringar som inte går att ta tillbaka, eftersom de kräver ett annat arbetssätt än det här.

Fallsamlingens ägare

Vad som går att kräva

• KK-fallsamlingens-agare-01 Kräv att fallen och deras rätta svar formuleras av er, och att leverantörens roll är att köra samlingen och redovisa utfallet.
• KK-fallsamlingens-agare-02 Kräv besked om vilka fall som härletts ur systemets egna svar, eftersom de mäter oförändrat beteende och inte riktighet.
• KK-fallsamlingens-agare-03 Kräv att samlingen kan läsas och ändras av ägaren utan teknisk medverkan, och att en ändring är versionerad så att två mätningar går att jämföra.
• KK-fallsamlingens-agare-04 Kräv att varje redovisad mätning anger vilken version av samlingen den kördes mot.
• KK-fallsamlingens-agare-05 Kräv att samlingen är er egendom och kan tas ut i sin helhet.

Beslutsrätt per sakområde

Vad som går att kräva

• KK-beslutsratt-per-sakomrade-01 Kräv att lösningen skiljer på vad som ändras av verksamheten och vad som ändras av den som bygger, och att den första gruppen går att ändra utan ett uppdrag.
• KK-beslutsratt-per-sakomrade-02 Kräv att varje ändring bär vem som beslutade den och inom vilket område, så att ett beslut i efterhand går att knyta till någon som kunde fatta det.
• KK-beslutsratt-per-sakomrade-03 Kräv att den som äger innehållet får en miljö där en ändring kan prövas mot fallsamlingen innan den går i drift.
• KK-beslutsratt-per-sakomrade-04 Kräv besked om vilka beslut som förutsätter kunskap ni inte har hos er, eftersom de annars fattas av leverantören under namnet samråd.

Det reverterade är värt att spara

Vad som går att kräva

• KK-det-reverterade-ar-vart-att-spara-01 Kräv att avvisade och återtagna lösningar dokumenteras på samma ställe som de genomförda, med vad som mättes och vad som avgjorde.
• KK-det-reverterade-ar-vart-att-spara-02 Kräv att anteckningen anger vilka förutsättningar utfallet vilade på, så att den går att ompröva när en förutsättning har ändrats.
• KK-det-reverterade-ar-vart-att-spara-03 Kräv att materialet tillhör er och lämnas över i läsbart skick när uppdraget slutar, eftersom det annars stannar hos dem som var med.
• KK-det-reverterade-ar-vart-att-spara-04 Kräv att ett föreslaget angreppssätt prövas mot det som redan prövats, och att svaret ingår i förslaget.

När mer blir sämre

Vad som går att kräva

• KK-nar-mer-blir-samre-01 Kräv ett mätt utgångsläge på den befintliga lösningen innan en ombyggnad påbörjas, och att samma fallsamling används för båda mätningarna.
• KK-nar-mer-blir-samre-02 Kräv att en ombyggnad som mäter lägre än det den ersatte redovisas som det, och att den tidigare lösningen går att återta utan ett nytt uppdrag.
• KK-nar-mer-blir-samre-03 Kräv att varje skärpning av en instruktion mäts mot hela fallsamlingen och inte bara mot det fall den skulle rätta.
• KK-nar-mer-blir-samre-04 Kräv besked om vilka mätvärden en föreslagen ändring väntas röra åt fel håll, lämnat före ändringen och inte efter.

Vilka regler som gäller

Ett åtagande om att lösningen följer gällande rätt är ingen utfästelse. Det är en beskrivning av en ambition, och den går inte att åberopa när något brister.

Vad som går att kräva

• KK-vilka-regler-som-galler-01 Kräv att leverantören anger vilka regelverk lösningen är byggd för att uppfylla, och vilka den inte rör.
• KK-vilka-regler-som-galler-02 Kräv besked om vilka av era skyldigheter leverantören tar på sig och vilka som stannar hos er.
• KK-vilka-regler-som-galler-03 Kräv att ett åtagande om efterlevnad anger vilken skyldighet det gäller, i stället för att lösningen följer gällande rätt.

När regeln inte är skriven för det här

Vad som går att kräva

• KK-nar-regeln-inte-ar-skriven-for-det-har-01 Kräv en beskrivning av vad lösningen gör i verksamhetens termer, konkret nog att den går att pröva mot en bestämmelse.
• KK-nar-regeln-inte-ar-skriven-for-det-har-02 Kräv angivet vilka moment i handläggningen lösningen deltar i, och vad den avgör respektive föreslår.

Vem som har tillsyn

Vad som går att kräva

• KK-vem-som-har-tillsyn-01 Kräv att ni själva kan ta fram allt som rör ett enskilt ärende, utan att beställa ett utdrag.
• KK-vem-som-har-tillsyn-02 Kräv angiven ledtid för det ni ändå måste beställa, och att den ligger inom era frister.
• KK-vem-som-har-tillsyn-03 Kräv att leverantören underrättar er när en myndighet begär uppgifter direkt av den, i den mån lagen tillåter.