Token

Et token er den grundlæggende enhed, en sprogmodel læser og genererer tekst i, typisk svarende til cirka et halvt til et helt ord, afhængigt af sproget og modellen. Prisen for at bruge en AI-model afregnes normalt pr. token, både for den tekst der sendes ind, og den tekst modellen genererer, og modellens maksimale kontekst måles også i antal tokens.

For en webshop, der bygger AI-løsninger som en chatbot eller automatisk tekstgenerering, afgør tokenforbrug direkte driftsomkostningerne og hvor meget information, der kan gives modellen ad gangen. Eksempel: at sende hele produktkataloget som kontekst til hver forespørgsel kan hurtigt blive dyrt i tokens, hvorfor man i stedet ofte kun henter de mest relevante produkter frem, før de sendes til modellen.