Content Moderation内容审核

对模型输出内容进行审核和过滤,拦截违规、有害、不当的内容。

对模型输出内容进行审核和过滤,拦截违规、有害、不当的内容。可以用规则过滤、小模型分类器、人工审核等多种手段。

什么时候会用到

讨论合规、安全策略时会用。

例句

  • 在模型输出和用户看到之间加一层 Content Moderation,过滤掉涉政涉黄内容。