Hvad er RAG? AI-svar med virksomhedens egne kilder
RAG lader en AI-løsning finde relevante oplysninger i egne kilder før et svar. Forstå metoden, begrænsningerne og de spørgsmål, I bør teste.
Partner & CTO hos Adtention
RAG forbinder søgning med et AI-svar
RAG står for retrieval-augmented generation. Metoden kombinerer genfinding af relevant indhold med en sprogmodel, som formulerer et svar ud fra det fundne materiale. Kilderne kan eksempelvis være produktvejledninger, interne procedurer eller godkendte faglige dokumenter.
Virksomhedens dokumenter bruges som grundlag i den konkrete forespørgsel. Det er ikke det samme som at træne en ny model på alle virksomhedens data. Microsofts tekniske gennemgang af RAG beskriver både kildebaserede svar og udfordringer med søgning, adgang og begrænset plads til kildemateriale. Princippet er ikke bundet til Microsoft.
Et svar er kun så brugbart som det fundne grundlag
Forestil jer en konstrueret intern assistent, der skal besvare: “Hvordan klargør vi produkt X til vintertransport?” Den skal først finde den relevante og gældende vejledning. Dernæst skal den udpege det afsnit, der faktisk besvarer spørgsmålet, og formulere et forståeligt svar.
Hvis søgningen finder en gammel vejledning eller et lignende produkt, kan svaret se troværdigt ud og alligevel være forkert. Derfor skal både søgningen og svaret vurderes. Det er ikke nok at justere tonen i den sidste tekst.
Afklar hvilke dokumenter, der må svare
Start med et afgrænset område, hvor kilderne har en ejer. Registrér version, gyldighed, emne og adgang. Lad en fagperson udpege, hvilke dokumenter der er gældende, og hvilke der kun skal kunne findes som historik.
En almindelig udfordring er, at en mappe indeholder både skabeloner, udkast og endelige dokumenter. Hvis assistenten behandler dem ens, kan et udkast komme til at fremstå som en vedtaget procedure. Et indeks over dårligt afklarede kilder løser ikke ejerskabet.
Brug vores guide til datakvalitet til at afklare kilderne, før I åbner hele dokumentarkivet.
Design svaret, så medarbejderen kan kontrollere det
Bed om henvisning til det konkrete dokument og det relevante afsnit, når løsningen understøtter det. En kildehenvisning er først nyttig, når brugeren kan åbne kilden og se, om den understøtter udsagnet.
Et brugbart svar kan indeholde tre ting: den korte forklaring, det kildemateriale forklaringen bygger på, og det, som materialet ikke afklarer. Hvis spørgsmålet ikke kan besvares, bør assistenten sige det og vise en relevant vej videre.
Undgå at behandle antallet af kildehenvisninger som et kvalitetsmål. Tre irrelevante dokumenter er ikke bedre end ét præcist. En henvisning til en hel mappe hjælper heller ikke meget i en travl hverdag.
Test med spørgsmål, der afslører forskellene
| Test | Det skal I undersøge |
|---|---|
| Et direkte spørgsmål | Finder løsningen det relevante afsnit og gengiver det korrekt? |
| Samme spørgsmål med hverdagssprog | Kan kilden findes uden dokumentets præcise fagudtryk? |
| To modstridende versioner | Bruges den gældende kilde, og opdages konflikten? |
| Et ubesvarligt spørgsmål | Stopper løsningen uden at opfinde et svar? |
| To brugere med forskellig adgang | Beskyttes oplysninger også i svaret og kildeuddragene? |
| En opdateret eller slettet kilde | Slår ændringen igennem inden for den aftalte tid? |
Lav forventede svar sammen med fagpersonen, før testen køres. Så kan I skelne mellem manglende kilde, dårlig genfinding og forkert formulering. De tre fejl kræver forskellige rettelser.
RAG, søgning eller direkte systemopslag?
Hvis medarbejderen har brug for at finde et dokument og læse det selv, kan en god søgefunktion være nok. Hvis svaret kræver aktuelle lager- eller ordreoplysninger, kan et direkte opslag i systemet være mere relevant end en kopi i et dokumentindeks.
RAG er især værd at undersøge, når medarbejderen skal finde og sammenfatte viden i et større tekstmateriale. Et stort arkiv er dog ikke i sig selv en business case. Undersøg, hvor ofte spørgsmålene opstår, og hvad det koster at finde og kontrollere svarene i dag.
Begynd med et område, I kan holde aktuelt
Vælg en dokumentgruppe, en brugergruppe og et sæt realistiske spørgsmål. Aftal kildeansvar og kriterier for, hvornår assistenten skal sende spørgsmålet videre. Brug først derefter erfaringerne til at vurdere en udvidelse.
En RAG-løsning kan stadig give fejlagtige AI-svar. Den skal derfor afprøves og vedligeholdes som en del af arbejdet. Everydai hjælper med at opbygge en intern AI-vidensassistent, fra kildeafklaring til en løsning, medarbejderne kan bruge og kontrollere. Skal løsningen svare kunder, kan I læse om vores AI-chatbot til kundeservice.
