Kontekstvindue

Kontekstvinduet afgør, hvor meget materiale modellen kan arbejde med i ét kald: systeminstruktion, samtalehistorik, hentede dokumenter og selve spørgsmålet. Er vinduet fyldt, falder det ældste ud, og modellen glemmer det.

Store vinduer løser ikke alt. Jo mere irrelevant tekst man proppper ind, jo sværere har modellen ved at finde det vigtige. Derfor giver en god søgning før kaldet ofte bedre svar end at sende hele produktkataloget med.