Token-pris

Token-pris er den takst, en leverandør tager for tekst ind i modellen og tekst ud af den. Et token er et stykke af et ord, og en dansk tekst bruger typisk flere tokens end den samme tekst på engelsk. Prisen er som regel forskellig for input og output, og output koster mest. Derfor afhænger omkostningen lige så meget af, hvor meget kontekst der sendes med, som af selve svaret.

For en webshop er det her, en AI-funktion bliver dyr uden varsel. En kundeservicebot, der sender hele produktkataloget med i hver forespørgsel, koster mange gange mere end en, der sender de fem relevante afsnit. Regn et estimat pr. samtale, inden I går i luften, og gang op med det forventede antal. Sæt desuden et forbrugsloft hos leverandøren. Det er billigere end at opdage forbruget på næste måneds faktura.