Ordbog · AI
Prompt-caching
Genbrug af den del af prompten, der er ens hver gang, så den ikke skal behandles og betales for ved hvert kald.
Mange løsninger sender den samme lange instruktion og det samme baggrundsmateriale ved hvert kald. Med caching behandles den faste del én gang og genbruges i en periode, hvilket både sænker prisen og svartiden mærkbart.
Det kræver, at prompten bygges i den rigtige rækkefølge: det faste først, det variable til sidst. Det er en lille ændring i koden, der ofte halverer omkostningen på en assistent med meget baggrundsmateriale.
I praksis
Vil I se, hvordan vi arbejder med prompt-caching? Det hører til under AI.
Relaterede begreber