Inferens

Inferens er selve kørslen: I sender en prompt, modellen regner og svarer. Det er her, driftsomkostningen ligger, og den betales typisk pr. token ind og ud.

Svartid og pris pr. kald er de to tal, der afgør, om en løsning kan køre i drift. En assistent, der svarer på fire sekunder, opleves fint i kundeservice, men er for langsom i en checkout. Derfor tester vi både kvalitet og hastighed, før noget sættes i drift.