Top-p

Top-p, også kaldet nucleus sampling, afgør hvor mange af de mulige næste ord modellen overhovedet vælger imellem. Modellen sorterer mulighederne efter sandsynlighed og tager kun dem med, der tilsammen når op på den valgte andel. En lav værdi holder valget inde i de mest oplagte ord, mens en høj værdi lukker flere og mere usædvanlige muligheder ind i puljen. Værdien angives som et tal mellem nul og én.

For en webshop er tommelfingerreglen at skrue på én ting ad gangen. Skal output være forudsigeligt, for eksempel produktdata eller kategorisering, så hold værdien lav og lad temperaturen stå. Skal teksten variere mellem flere udgaver af samme annonce, kan den hæves. Skriv de valgte værdier ned sammen med prompten. Justerer man begge samtidig, kan man ikke se, hvad der gav ændringen, og opsætningen bliver svær at gentage.