Chunking

Chunking afgør kvaliteten af en RAG-løsning mere end valget af model. For store stykker gør, at søgningen henter meget irrelevant med. For små stykker river sammenhængen i stykker, så modellen mangler kontekst.

Vi opdeler typisk efter struktur i stedet for efter tegn: afsnit, overskrifter eller produktfelter, med et lille overlap mellem stykkerne. Derefter tester vi med rigtige spørgsmål og justerer, indtil de rigtige afsnit kommer med.