Utvärdera AI-svar med en enkel poängmall
När två kollegor bedömer samma AI-svar olika behöver ni en gemensam beskrivning av vad ett bra svar är. En kort poängmall gör samtalet konkret. Den ska hjälpa en människa att fatta beslut om svaret, inte låtsas att en totalsiffra säger allt.
Skriv kriterier för den faktiska uppgiften
OpenAI beskriver utvärderingar som strukturerade tester av en modells resultat. För svenska kundsvar kan teamet börja med tre frågor: Är sakuppgifterna korrekta enligt den aktuella rutinen? Förstår kunden nästa steg? Är tonen tydlig och respektfull? Ge varje fråga 0, 1 eller 2 poäng. Skriv före bedömningen vad varje nivå betyder. Exempel: 0 på nästa steg betyder att kunden inte får veta vad som ska göras; 2 betyder att rätt åtgärd och ansvarig part framgår. Det här är vår föreslagna arbetsmetod, inte en poängskala från OpenAI.
Låt faktakontrollen stoppa ett svar
Ett trevligt formulerat svar kan ändå innehålla en felaktig uppgift om pris, leveranstid eller rättigheter. Sätt därför en separat stoppregel: kan teamet inte kontrollera en viktig sakuppgift mot aktuell intern information ska svaret inte skickas, oavsett totalpoäng. Spara både AI-svaret, underlaget som granskades och varför det godkändes eller stoppades. Använd avidentifierade exempel när ni övar tillsammans, så att kunduppgifter inte följer med i en delad övningsfil.
Bedöm var för sig och reda ut oenighet
Guiden rekommenderar att kombinera mätetal med mänsklig bedömning. Låt därför två personer poängsätta fem representativa svar oberoende av varandra. Jämför sedan de punkter där poängen skiljer sig. Om en person gav 0 och en annan 2 på samma kriterium behöver beskrivningen eller underlaget förtydligas. Behåll ett exempel på den oenigheten i mallen och prova den igen nästa gång instruktionen till AI ändras. Fem svar är en enkel start för samtalet, inte ett statistiskt mått på kvalitet.
Exempel från ett svenskt arbetsflöde
Fiktivt exempel från en svensk supportavdelning: En kund frågar om en faktura kan pausas. AI föreslår ett vänligt svar och lovar att avgiften automatiskt tas bort. Två medarbetare ger tonen 2 poäng, men hittar inget stöd för löftet i den aktuella fakturarutinen. Faktakriteriet får 0 och stoppregeln utlöses. En medarbetare skriver om svaret med det faktiska nästa steget och låter en kollega kontrollera det innan kunden får det.
Slutsats
Poängmallen är användbar när den visar varför ett svar måste ändras. Börja litet, gör faktastöd till ett villkor och spara de exempel där bedömarna var oense. Då blir nästa ändring av AI-instruktionen lättare att diskutera med konkreta fall.
Prova själv
Välj fem avidentifierade kundsvar. Låt två personer bedöma dem var för sig med tre kriterier och en tydlig stoppregel för felaktiga fakta.
Källa och vidare läsning
OpenAI: Evaluation best practicesTexten har tagits fram med AI-stöd. Källan används som faktaunderlag; arbetsflödena är illustrativa om inget annat anges.