内容审核
使用 OpenAI 的审核端点审核智能体流量(用户输入、模型输出和工具结果),以检测和处理不安全内容。内容审核适用于以下场景:- 需要内容安全和合规的应用程序
- 过滤有害、仇恨或不适当的内容
- 需要安全护栏的客户面智能体
- 满足平台审核要求
了解更多关于 OpenAI 的审核模型 和类别。
OpenAIModerationMiddleware]
Configuration options
Configuration options
ModerationModel
default:"omni-moderation-latest"
要使用的 OpenAI 审核模型。选项:
'omni-moderation-latest', 'omni-moderation-2024-09-26', 'text-moderation-latest', 'text-moderation-stable'bool
default:"True"
在调用模型之前是否检查用户输入消息
bool
default:"True"
在调用模型后是否检查模型输出消息
bool
default:"False"
在调用模型之前是否检查工具结果消息
string
default:"end"
当内容被标记为违规时如何处理。选项:
'end'- 立即结束智能体执行并显示违规消息'error'- 抛出OpenAIModerationError异常'replace'- 用违规消息替换被标记的内容并继续
str | None
自定义违规消息模板。支持模板变量:
{categories}- 被标记类别的逗号分隔列表{category_scores}- 类别分数的 JSON 字符串{original_content}- 原始被标记的内容
"I'm sorry, but I can't comply with that request. It was flagged for {categories}."OpenAI | None
可选的预配置 OpenAI 客户端以复用。如果未提供,将创建一个新的客户端。
AsyncOpenAI | None
可选的预配置 AsyncOpenAI 客户端以复用。如果未提供,将创建一个新的异步客户端。
Full example
Full example
该中间件集成了 OpenAI 的审核端点,在不同阶段检查内容:审核阶段:
check_input- 调用模型前的用户消息check_output- 调用模型后的 AI 消息check_tool_results- 调用模型前的工具输出
'end'(默认) - 带违规消息停止执行'error'- 为应用程序处理抛出异常'replace'- 替换被标记的内容并继续
官方原文:src/oss/python/integrations/middleware/openai.mdx · 非官方翻译,译文由 AI 生成,以英文原文为准。