OpenAI研究 通过大模型进化
本文追求这样一种见解，即经过训练以生成代码的大型语言模型 (LLM) 可以极大地提高应用于遗传编程 (GP) 程序的变异算子的有效性。由于此类 LLM 受益于包含顺序更改和修改的训练数据，因此它们可以近似人类可能做出的更改。为了通过大型模型 (ELM) 突出这种进化的影响范围，在主要实验中，ELM 与 MAP-Elites 相结合生成了数十万个 Python 程序的功能示例，这些示例在 Sodarace 域中输出工作的行走机器人，原始的 LLM没见过预训。然后，这些示例有助于引导训练新的条件语言模型，该模型可以为特定地形输出正确的步行者。在先前可用零训练数据的领域中，引导新模型为给定上下文输出适当工件的能力对开放性、深度学习和强化学习具有重要意义。此处深入探讨了这些影响，希望能激发 ELM 现在开辟的新研究方向。
相关文章
近期评论
-
来自： GPT-4V（ision）系统卡
-
来自： GPT-4V（ision）系统卡
-
来自： OpenAI研究 用对抗样本攻击机器学习