旅游类网站开发开题报告范文,WordPress怎么添加音乐,网站建设讯息,星际网络泰安网络公司本文是观看视频What is Prompt Tuning?后的笔记。 大语言模型#xff08;如ChatGPT #xff09;是基础模型#xff0c;是经过互联网上大量知识训练的大型可重用模型。 他们非常灵活#xff0c;同样的模型可以分析法律文书或撰写文章。 但是#xff0c;如果我们需要用其解…本文是观看视频What is Prompt Tuning?后的笔记。 大语言模型如ChatGPT 是基础模型是经过互联网上大量知识训练的大型可重用模型。 他们非常灵活同样的模型可以分析法律文书或撰写文章。 但是如果我们需要用其解决专门的任务目前最好的方法是使用微调fine tuning。
通过微调你可以收集并标记目标任务的大量示例然后你可以微调您的模型而不是从头开始训练一个全新的模型。 但现在出现了一种更简单、更节能指不需要消耗太多GPU的技术来代替微调这就是提示调整prompt tuning。
提示调整可以使用有限的数据针对非常特定的任务定制大模型。 并且不需要像微调那样收集数千个带标签的示例。 在提示调整中优质准确的提示将被输入到AI 模型中为其提供特定于任务的上下文。 提示可以是人类引入的额外单词更常见的则是引入模型嵌入层的人工智能生成的数字以指导模型做出所需的决策或预测。
使用提示来指导大语言模型的输出这就是提示工程prompt engineering即开发提示来指导大语言模型执行特定任务的任务。例如希望大语言模型翻译英语为中文我可以通过设计engineer提示来实现。
首先我的第一个提示会是“将英语翻译成中文”。 这个提示是任务的描述。 然后添加一些简短的示例。 例如英语单词“bread”变成“面包”将“butter”变成“黄油”。 然后在提示的下一部分我将添加接下来要翻译的单词“cheese”。
由人类编写的提示发送给模型然后模型从其巨大内存中检索适当的响应模型的输出是就是它的预测。在本例中专门针对中文中的其他单词输出为 “奶酪”。我们使用提示工程来训练模型来执行专门的任务只需在推理时引入一个提示而无需重新训练模型。
如果任务更复杂需要成百上千的提示。那么我们可以用AI设计的提示称为软提示替代手工提示由人类硬编码的也称为硬提示。软提示通常优于硬提示人眼无法识别每个提示都包含一个嵌入或一串数字嵌入层的这一串数字要比人工编制成百上千的提示方便的多他们可以从大模型中提取知识。
这些软提示可以是高级提示或特定于任务的提示他们替代了额外的训练数据对于引导模型得到所需输出非常有效。 不过提示调整的缺点之一是缺乏可解释性。 这意味着人工智能会发现针对给定任务进行优化的提示但它通常无法解释为什么选择这些嵌入。 就像深度学习模型本身一样软提示也是不透明的。
假设我们有一个预先训练的大语言模型现在让我们考虑三种方法来使其可以完成特定任务。
微调fine tuning。 针对目标任务我们将成千上万个样例数据补充到模型中然后对模型进行调整即可。提示工程prompt engineering。无需调整模型只需给模型输入2个提示即问题本身和人工编写的提示硬提示如前翻译的例子。提示调整prompt tuning。无需调整模型只需给模型输入2个提示即问题本身和AI编写的软提示。
提示调整可以在多个领域改变游戏规则。 例如在多任务学习中建模者需要在任务之间快速切换多任务提示调整等技术使模型能够快速适应并且成本比重新训练小得多。 又如在持续学习领域AI模型需要学习新任务和概念而不忘记旧的。 所以提示调整可以让您比微调和提示工程更快地使模型适应专门任务从而更容易发现和修复问题。
所以这篇文章要点是什么呢。
通用模型变专用模型可以用微调和提示2种技术提示更轻量级些。提示又分为提示工程和提示调整2类。前者是人工的称为硬提示后者是软件的称为软提示更自动化。提示涉及嵌入这又和向量数据库产生了关系。
提示工程和提示调整的区别可参见文章Prompt Engineering vs Prompt Tuning: A Detailed Explanation
