转载

OpenAi 模型微调示例笔记本

分类

微调分类.ipynb
此笔记本将演示如何微调模型，该模型可以对一段输入文本是否与棒球或曲棍球相关进行分类。我们将在笔记本中分四个步骤执行此任务：
数据浏览将概述数据源以及示例的外观
数据准备会将我们的数据源转换为可用于微调的 jsonl 文件
微调将启动微调工作并解释结果模型的性能
使用该模型将演示如何向微调的模型发出请求以获取预测。

问答

olympics-1-collect-data.ipynb olympics-2-create-qa.ipynb 奥运会-3-火车-qa.ipynb
该项目的想法是根据提供的几段文本创建一个问答模型。当答案包含在段落中时，基本 GPT-3 模型在回答问题方面做得很好，但是如果不包含答案，则基本模型往往会尽力回答，这通常会导致虚构的答案。
为了创建一个仅在有足够的上下文的情况下回答问题的模型，我们首先创建一个基于文本段落的问题和答案数据集。为了训练模型仅在答案存在时回答，我们还添加了对抗性示例，其中问题与上下文不匹配。在这些情况下，我们要求模型输出“没有足够的上下文来回答问题”。
我们将在三个笔记本中执行此任务：
第一个笔记本专注于收集最近的数据，这是 GPT-3 在预训练期间没有看到的。我们选择了 2020 年奥运会的主题（实际上是在 2021 年夏天举行的），并下载了 713 个独特的页面。我们按各个部分组织数据集，这些部分将作为提出和回答问题的上下文。
第二个笔记本将利用Davinci-instruct根据维基百科部分提出几个问题，并根据该部分回答这些问题。
第三个笔记本将利用上下文、问答对的数据集来额外创建对抗性问题和上下文对，其中问题不是在该上下文中生成的。在这些情况下，系统将提示模型回答“没有足够的上下文来回答问题”。我们还将训练一个鉴别器模型，该模型预测是否可以根据上下文回答问题。

OpenAI接口

OpenAi 模型微调示例笔记本

相关文章

本文目录

标签

近期评论