Kvantisering

En model består af mange millioner tal, og de gemmes normalt med relativt høj præcision. Kvantisering betyder, at de samme tal gemmes med færre bits, for eksempel otte eller fire i stedet for seksten. Modellen fylder dermed mindre i hukommelsen og regner hurtigere, fordi der skal flyttes færre data rundt. Til gengæld bliver den lidt mere upræcis, og hvor meget afhænger af metoden og af opgaven.

For en webshop bliver det relevant, når en model skal køre på egen hardware i stedet for som betalt API. En kraftigt kvantiseret model kan køre på et grafikkort, man faktisk har, og det afgør ofte, om projektet er realistisk. Test kvaliteten på jeres egne opgaver, ikke på generelle eksempler. Tabet viser sig typisk først på det svære: lange instruktioner, tal og sprog, der ikke er engelsk.