转载

OpenAI 持续学习的力量

人工智能的未来最让您兴奋的是什么？

通用人工智能 (AGI) 应该在最具经济价值的工作中胜过人类。我期待看到 AGI 以这些方式帮助人类社会：

完全自动化或显着减少重复性和非创新性任务的人力。换句话说，AGI 应该会极大地提高人类的生产力。
极大地加快发现新的科学突破，包括但不限于通过提供额外的分析和信息来促进人类决策过程。
有效、高效和安全地理解物理世界并与之互动。

在 OpenAI 工作过的项目中，您最引以为豪的是什么？

在 OpenAI 的头 2.5 年里，我在机器人团队中研究了一个登月的想法：我们想教一只像人一样的机器人手来解决魔方。这是一次非常激动人心、充满挑战和激动人心的经历。我们通过深度强化学习 (RL)、疯狂数量的领域随机化以及没有真实世界的训练数据解决了这一挑战。更重要的是，我们作为一个团队战胜了挑战。

从模拟和 RL 训练到视觉感知和硬件固件，我们合作得如此紧密和有凝聚力。这是一个了不起的实验，在那段时间里，我经常想起史蒂夫·乔布斯的现实扭曲力场：当你如此坚信某件事并坚持不懈地推动它时，你就能以某种方式使不可能成为可能。

从 2021 年初开始，我开始领导应用人工智能研究团队。管理团队提出了一系列不同的挑战，需要改变工作方式。我为 Applied AI 中与语言模型安全相关的几个项目感到最自豪：

我们设计并构建了一组评估数据和任务，以评估预训练语言模型生成仇恨、色情或暴力内容的倾向。
我们创建了一个详细的分类法并构建了一个强大的分类器来检测不需要的内容以及内容不合适的原因。
我们正在研究各种技术，以降低模型生成不安全输出的可能性。

随着 Applied AI 团队正在实践部署尖端 AI 技术（例如大型预训练语言模型）的最佳方式，我们看到了它们对现实世界任务的强大和有用。正如我们的章程中所强调的，我们也意识到安全部署这些技术的重要性。

当前的深度学习模型并不完美。他们接受了人类创造的大量数据（例如，在互联网上、策划的和文学上的数据）的训练，并且不可避免地吸收了我们社会长期存在的许多缺陷和偏见。比如让DALL·E去演一个护士，它只会生成女性角色，或者一个教授，它只会生成白人。该模型捕获现实世界统计数据中的偏差或我们训练数据中的偏差。

我有动力设计一种方法来减轻这种社会偏见并评估该方法的效率。我们与团队一起设计了一个管道来减少这种偏差，以及一个运行人在环评估的工作流程。减少社会偏见不是一个容易的问题，因为它出现在我们生活的许多方面，有时很难注意到。但我很高兴DALL·E团队认真对待这个问题并在很早的阶段就采取了行动。我们现在所拥有的只是一个开始，我们会不断进步。我很自豪能在这个领域工作，也很高兴看到我们如何一步步让现代人工智能变得更安全、更好。

不同主题或领域的想法往往能激发出新的想法，拓宽潜在的解决方案空间。

您如何将您的个人经历和价值观应用到您在 OpenAI 的日常工作中？

我相信学习的力量，学习永远不会太迟。维护我的个人博客是保持这种好奇心并定期了解深度学习社区新进展的好方法。我还鼓励我的团队继续学习，无论是与他们当前的项目相关还是无关。不同主题或领域的想法往往能激发出新的想法，拓宽潜在的解决方案空间。

我也坚信团队合作。如果每个人都发挥出自己最大的优势，我们会得到1+1 > 2。同时，我们可能会经常遇到“脏”工作，我个人非常愿意承担这些任务，因为只要是最大的障碍或该任务可以为项目增加最大的价值，没有什么应该被认为是“肮脏的”或“微不足道的”。我鼓励我周围的人也这样做，成为团队合作者并共同努力以提高团队生产力。

告诉我们你的博客！你为什么开始它？你希望它能激发什么灵感？

这一切都始于一套个人学习笔记。我并没有很早就进入深度学习领域，仍然认为自己是一个“新手”。最初，当我开始深入研究这么多论文时，我对不是设计算法来解决问题而是训练模型来学习算法来解决问题的概念感到惊讶。我读得越多，我就越好奇。实际上，组织我读过的所有论文和学到的新概念变得非常困难。所以我决定开一个博客来记录和整理我的学习笔记。我还相信，学习某些东西的最好方法是确保你能正确、清楚地把知识传授给别人。写作帮助我到达那里。

我没想到它会在 ML 社区流行起来，但每当我收到一封感谢邮件或当面被告知他们从阅读我的博客中学到了很多东西时，我感到非常荣幸和感激。自 2017 年我开始写博客以来已经快 6 年了，我会尽可能地坚持下去。

您认为人工智能可以在我们的社会中解决的最紧迫的挑战之一是什么？

近年来，人工智能社区取得了如此大的进步。硬件、模型架构和数据的进步使得训练巨大的模型成为可能，因此，我们不断看到越来越大的能力。我相信我们正走在 AGI 的正确轨道上，但缩放并不是唯一的方法。在我看来，目前最紧迫的挑战是对齐和安全。在某种程度上，它们可能是关于可控性或可操纵性的相同问题。

首先，即使我们已经拥有了一个极其强大的人工智能系统，如果我们不能有效地传达我们的目标并确保模型与我们想要的一致，就不可能创造出我们需要的价值。当前最强大的模型从大量数据中学习，数据集不可避免地捕捉到现实世界中不完美的缺陷和偏见。在这方面，未对齐的模型存在安全问题，因为它们不知道应该避免什么。

我相信我们正走在 AGI 的正确轨道上，但扩展并不是唯一的方法。目前最紧迫的挑战是对齐和安全。

您在 OpenAI 的职业生涯中收到的最好建议是什么？

这不是某人给我的特定建议，而是基于我目前在 OpenAI 的经验。也就是说，要有大局观。我们正在创造新事物，我们应该有雄心壮志，勇敢，并有足够的毅力继续努力。

你在哪里寻找灵感？

图书。我通常阅读深度学习领域以外的书籍，并从各种领域中获得灵感；例如，一个作家50年坚持不懈，一个外科医生完全注重细节，一个企业家有“疯狂的想法”是多么的关键。

我身边的人。我很荣幸能与 OpenAI 的一大群才华横溢的同事一起工作。每个人都有闪闪发光、鼓舞人心或令人尊敬的东西，我喜欢向他们学习。

OpenAI博客