LlamaIndex

LlamaIndex er et open source-bibliotek, der står mellem egne data og en sprogmodel. Det indlæser dokumenter fra filer, databaser og API'er, deler dem op i mindre stykker, gemmer dem som vektorer og finder de mest relevante afsnit, når der stilles et spørgsmål. Modellen får dermed konkret materiale med i sin kontekst frem for kun at svare ud fra det, den er trænet på.

For en webshop er det grundstenen i en kundeservicebot, der skal kende jeres egne leveringsbetingelser, returregler og produktdata. Kvaliteten af svarene afhænger mere af, hvordan materialet er skåret og opdateret, end af hvilken model der bruges. Start med et lille, rent udvalg af dokumenter frem for alt indhold på sitet. Er kilderne modstridende, vælger systemet et af svarene, og så svarer botten forkert med fuld overbevisning.