Destillation

Destillation er en træningsmetode, hvor en stor model bruges til at lære en mindre model op. Den lille model trænes ikke kun på det rigtige svar, men på den store models svar og vurderinger undervejs, og fanger derved en del af dens mønstre. Resultatet er en model med færre parametre, som løser den samme afgrænsede opgave hurtigere og billigere end forbilledet.

For en webshop er det sjældent noget, man selv gør, men det forklarer, hvorfor små modeller pludselig kan klare opgaver, der før krævede de største. Den praktiske konsekvens er at afprøve de mindre og billigere modeller på jeres egne opgaver med jævne mellemrum. Prisforskellen er stor nok til at betale sig, og en destilleret model rækker ofte til klassificering og opsummering.