Red Teaming红队测试

组建一支专门"找茬"的团队,用各种方式攻击自家的AI系统,发现漏洞和风险。

组建一支专门"找茬"的团队,用各种方式攻击自家的AI系统,发现漏洞和风险。包括越狱、注入、诱导生成有害内容等。Red Teaming 是负责任的AI公司在发布模型前的标准流程。

什么时候会用到

讨论产品安全、上线准备时会用。

例句

  • 模型发布前做了三周 Red Teaming,发现了 47 个安全漏洞,已经修了 45 个。

相关词