Prompt injection

Prompt injection udnytter, at modeller ikke skelner skarpt mellem instruktion og indhold. Ligger der en linje i et hentet dokument, der siger noget i retning af at se bort fra tidligere regler, kan modellen adlyde den.

Det er den vigtigste sikkerhedsrisiko i agenter med adgang til systemer. Vi behandler alt hentet indhold som data og aldrig som ordrer, begrænser hvad agenten må kalde, og kræver godkendelse ved handlinger, der ændrer noget eller sender noget ud af huset.