Red Teaming红队测试
组建一支专门"找茬"的团队,用各种方式攻击自家的AI系统,发现漏洞和风险。
组建一支专门"找茬"的团队,用各种方式攻击自家的AI系统,发现漏洞和风险。包括越狱、注入、诱导生成有害内容等。Red Teaming 是负责任的AI公司在发布模型前的标准流程。
什么时候会用到
讨论产品安全、上线准备时会用。
例句
- 模型发布前做了三周 Red Teaming,发现了 47 个安全漏洞,已经修了 45 个。
组建一支专门"找茬"的团队,用各种方式攻击自家的AI系统,发现漏洞和风险。
组建一支专门"找茬"的团队,用各种方式攻击自家的AI系统,发现漏洞和风险。包括越狱、注入、诱导生成有害内容等。Red Teaming 是负责任的AI公司在发布模型前的标准流程。
讨论产品安全、上线准备时会用。