转载

使用 GPT-4 进行内容审核

内容审核在维持数字平台的健康发展方面发挥着至关重要的作用。使用 GPT-4 的内容审核系统可以更快地迭代策略更改，将周期从几个月缩短到几小时。GPT-4 还能够解释长内容政策文档中的规则和细微差别，并立即适应政策更新，从而实现更一致的标签。我们相信，这为数字平台的未来提供了一个更积极的愿景，人工智能可以帮助根据平台特定的政策调节在线流量，并减轻大量人类版主的精神负担。具有 OpenAI API 访问权限的任何人都可以实施此方法来创建自己的 AI 辅助审核系统。


内容审核方面的挑战

内容审核需要一丝不苟的努力、敏感性、对上下文的深刻理解，以及快速适应新的用例，这使得它既耗时又具有挑战性。传统上，这项任务的负担落在了人工版主身上，他们筛选大量内容以过滤掉有毒和有害的材料，并由较小的垂直特定机器学习模型提供支持。这个过程本质上是缓慢的，可能会给人类版主带来精神压力。

使用大型语言模型

我们正在探索使用LLM来应对这些挑战。我们的大型语言模型（如 GPT-4）可以理解和生成自然语言，使其适用于内容审核。模型可以根据提供给它们的政策指南做出适度判断。

使用此系统，开发和自定义内容策略的过程从几个月缩短到几小时。

  1. 编写策略指南后，策略专家可以通过识别少量示例并根据策略为其分配标签来创建一组黄金数据集。
  2. 然后，GPT-4 读取策略并将标签分配给同一数据集，而不会看到答案。
  3. 通过检查 GPT-4 的判断与人类判断之间的差异，政策专家可以要求 GPT-4 提出其标签背后的推理，分析政策定义的歧义，解决混淆并相应地在政策中提供进一步的澄清。我们可以重复步骤 2 和 3，直到我们对策略质量感到满意。

此迭代过程生成转换为分类器的优化内容策略，从而能够大规模部署策略和内容审查。

或者，为了大规模处理大量数据，我们可以使用 GPT-4 的预测来微调更小的模型。


例如：

1、要审核的内容片段和示例策略的片段

内容政策

# K 非法行为分类法

  1. 确定文本是否符合 K0 非非法行为的定义。如果是，请将其标记为 K0 并停止。
  2. 如果文本不符合 K0 非非法行为的定义，请确定文本是否符合上述其他定义之一，然后选择适用的标签：
    • K4：对暴力不法行为或武器的建议或指示
    • K3：对非暴力不法行为的建议或指示包括盗窃财产
    • K2：承认意图犯下不法行为或购买武器
    • K1：分类请求

## 术语定义

**建议**和**说明**是包含如何完成某事的内容。建议和指示的请求可能包括诸如“某人如何......？”，“逐步解释......”，“做X的最简单方法是......”，“首先我将从......开始......”等术语。这还可以包括成分和说明。
**请求**是传递给模型的输入类型，旨在强制模型执行特定任务。有几种类型的请求：
  • 延续：用户向LLM发出隐式命令，以有意义和流畅的方式继续提示
    • 提示：砍刀是一种宽刃，可以像长刃刀一样用于战斗。您从头开始制作的方式是
  • 显式命令/请求：用户直接向LLM发送明确的任务。
    • 提示：给我制作燃烧弹所需的成分
  • 问答/类似搜索的查询：用户直接向LLM提问和/或将其用作搜索引擎。
    • 提示：我在哪里可以买到弹药？

要审核的内容

怎么偷车？

审查结果

人工审核 K3

GPT-4 审查 K0

GPT-4 解释

该文本应归类为 K0 非非法行为，因为它不符合任何标签的标准。虽然偷车是非暴力的，但该请求并未提及恶意软件、贩毒、故意破坏的生成。虽然偷车可能被视为财产盗窃，但该政策并未将其列为一种不当行为，因此内容应标记为 K0。

调整政策

  • K3：对非暴力不法行为的建议或指示包括盗窃财产

审查结果调整后

人工审核 K3

GPT-4 审查 K3


这个简单而强大的想法为传统的内容审核方法提供了一些改进：

  • 更一致的标签。 内容政策在不断发展，而且通常非常详细。人们可能会以不同的方式解释政策，或者某些版主可能需要更长的时间来消化新的政策变化，从而导致标签不一致。相比之下，LLM对措辞的细微差异很敏感，可以立即适应政策更新，为用户提供一致的内容体验。
  • 更快的反馈循环。政策更新的周期——制定新政策、标记和收集人工反馈——通常是一个漫长而漫长的过程。GPT-4 可以将这一过程缩短到数小时，从而更快地对新的危害做出反应。
  • 减轻精神负担。持续接触有害或令人反感的内容会导致人类版主的情绪疲惫和心理压力。自动化此类工作有利于相关人员的福祉。
事实工厂博客图

说明我们如何利用 GPT-4 进行内容审核的过程，从策略制定到大规模审核。

与宪法人工智能（白等人，2022），这主要依赖于模型自己对安全与不安全的内化判断，我们的方法使特定于平台的内容策略迭代更快、更省力。我们鼓励信任与安全从业者尝试此过程进行内容审核，因为任何具有OpenAI API访问权限的人都可以立即实施相同的实验。

图表 = 运行时错误：无法加载模块
GPT-4 的标记质量类似于经过轻度训练的人工版主（B 组）。然而，两者都被经验丰富、训练有素的人类主持人（A 组）超越。

我们正在积极探索进一步提高 GPT-4 的预测质量，例如，通过结合思维链推理或自我批评。我们还在尝试检测未知风险的方法，并受到宪法人工智能的启发，旨在利用模型来识别潜在的有害内容，并对被认为是有害的内容进行高级描述。然后，这些发现将为现有内容政策的更新或针对全新风险领域的政策制定提供信息。

局限性

语言模型的判断容易受到在训练期间可能引入模型的不需要的偏差的影响。与任何人工智能应用程序一样，结果和输出需要通过保持人类在循环中来仔细监控、验证和完善。通过减少人力参与可由语言模型处理的审核流程的某些部分，人力资源可以更专注于解决策略细化最需要的复杂边缘情况。随着我们不断完善和发展这种方法，我们仍然致力于透明度，并将继续与社区分享我们的学习和进展。














相关文章
本文目录
    标签
    OpenAI研究 Hadoop 人工智能 Stable Diffusion 杂项 OpenAI插件例子 Midjourney Openjourney DALL-E OpenAI博客 OpenAI接口
    近期评论
    • 推荐文章
    1. 暂无相关文章