Ordbog · AI
Transformer
Den arkitektur, moderne sprogmodeller er bygget på, hvor modellen vægter, hvilke dele af teksten der er vigtigst for det næste ord.
Transformeren kom i 2017 og er årsagen til, at sprogmodeller pludselig blev brugbare. Dens styrke er opmærksomhedsmekanismen, der lader modellen vægte sammenhænge på tværs af en hel tekst i stedet for kun det, der står lige før.
Det forklarer, hvorfor modeller er gode til at holde en rød tråd i lange tekster, og hvorfor kontekstvinduet betyder så meget: alt, modellen skal tage hensyn til, skal være inde i vinduet.
I praksis
Vil I se, hvordan vi arbejder med transformer? Det hører til under AI.
Relaterede begreber