Mixture of Experts

Mixture of Experts er en måde at bygge en model på, hvor netværket er delt op i mange delmodeller, og hvor en styringsmekanisme vælger nogle få af dem til hver forespørgsel. Modellen kan dermed have meget stor samlet kapacitet, uden at alle parametre skal regnes igennem hver gang. Det er forskellen fra en tæt model, hvor hele netværket aktiveres ved hvert eneste svar, uanset hvad der spørges om.

For en webshop er det ikke noget, man vælger direkte, men det er en del af forklaringen på, at stærke modeller er blevet billigere at bruge. Det påvirker prisen pr. forespørgsel og dermed, hvor mange AI-funktioner der kan betale sig. Brug det som baggrundsviden, når leverandører taler om modelstørrelse. Antallet af parametre siger ikke ret meget om prisen, hvis kun en brøkdel af dem er aktive ad gangen.