Ordbog · AI
Red teaming
Systematisk forsøg på at få en AI-løsning til at fejle, før den sættes i drift.
Red teaming er at angribe sin egen løsning: prøv at få assistenten til at love en rabat, til at afsløre interne oplysninger, til at følge instruktioner skjult i et dokument, eller til at svare på noget uden for sit område.
Det tager en eftermiddag og finder næsten altid noget. Resultatet bliver til konkrete regler i systeminstruktionen, til afgrænsning af værktøjer og til testtilfælde, vi kører igen, hver gang løsningen ændres.
I praksis
Vil I se, hvordan vi arbejder med red teaming? Det hører til under AI.
Relaterede begreber