Tokenforbrug

Tokenforbrug er driftsøkonomien i AI. Prisen beregnes typisk pr. million tokens ind og pr. million ud, og output er dyrere end input. En assistent, der sender hele produktkataloget med i hver samtale, bliver dyr, selvom modellen er billig.

Vi måler forbruget pr. sag fra dag ét og optimerer der, hvor det betaler sig: kortere systeminstruktion, bedre søgning før kaldet, cache på gentagne prompts og en mindre model til de lette opgaver.