公司的论坛与网站绑定,php网站页面转wordpress,网站备案是域名还是空间,网页设计制作网站文章目录 一、前言二、主要内容三、总结 #x1f349; CSDN 叶庭云#xff1a;https://yetingyun.blog.csdn.net/ 一、前言 这篇博客试图根据一些常见的可量化指标#xff0c;为您选择适合您用例的生成式人工智能方法提供指导。
生成式 AI 正在以惊人的速度发展#xff0c… 文章目录 一、前言二、主要内容三、总结 CSDN 叶庭云https://yetingyun.blog.csdn.net/ 一、前言 这篇博客试图根据一些常见的可量化指标为您选择适合您用例的生成式人工智能方法提供指导。
生成式 AI 正在以惊人的速度发展许多组织都在尝试利用这项先进技术来解决业务问题。虽然有很多流行的方法可供选择但是当涉及到选择正确的方法来实施生成式 AI 解决方案时仍缺乏明确的指导。最常讨论的方法有
提示工程Prompt Engineering检索增强生成Retrieval Augmented GenerationRAG微调Fine-tuning从零开始训练自己的基础模型Foundation Model
这里不包括 “按原样使用模型” 选项因为几乎没有任何业务用例可以有效地使用基础大模型。原封不动地使用基础大模型可以很好地用于一般搜索但如果要做好特定的业务则需要考虑上述选项之一。 二、主要内容 比较是如何进行的分析是基于以下指标进行的
准确性回答的准确程度如何实施复杂性实施过程有多复杂工作量需要多少努力来实现总拥有成本TCO拥有解决方案的总成本是多少更新和更改的便利性架构是否耦合度低替换 / {/} /升级组件是否容易
假设我们将根据这些指标对每种解决方案进行评估并且分析仅适用于比较而不是普遍适用。例如如果针对某个指标提示工程被评为低分意味着它在该指标上的表现低于其他选项并不一定意味着它在该指标上普遍表现差。
首先让我们来谈谈最受关注的问题哪种方法提供了最准确的回答
提示工程Prompt Engineering的核心是在提供尽可能多的上下文信息的同时通过提供少量示例few-shot learning来更好地让大模型了解您的用例。虽然结果在孤立情况下看起来令人印象深刻但与本文中讨论的其他方法相比它产生的结果最不准确。检索增强生成Retrieval Augmented GenerationRAG的高质量结果是由于直接来自向量化信息存储的增强用例特定上下文。与 提示工程相比它产生了大幅改善的结果并且极低几率出现幻觉。微调Fine-tuning在准确性方面提供了相当高的结果其输出质量与 RAG 相媲美。由于我们正在使用特定领域的数据更新模型权重因此该模型能够产生更具上下文的回复。与 RAG 相比质量可能会稍微好一些这取决于使用情况。因此评估是否真的值得花时间在两者之间进行权衡分析非常重要。通常选择微调的原因不仅仅是准确性还包括数据变化频率、控制模型工件以符合监管、合规和可复现性等方面的考虑。从头开始训练可以产生最高质量的结果。由于模型是根据特定用例的数据进行训练幻觉的可能性几乎为零并且输出的准确性也是很高的。 实施复杂性。让我们看看实施这些方法有多容易或困难。
提示工程Prompt Engineering的实施复杂度相对较低因为它几乎不需要编程。需要具备良好的英语或其他人类解释语言技能和领域专业知识以制定一个带有上下文学习方法和少样本学习方法的良好提示。检索增强生成Retrieval Augmented GenerationRAG 比提示工程更复杂因为你需要具备编码和架构技能来实现这个解决方案。根据在 RAG 架构中选择的工具不同复杂度可能会更高。微调Fine-tuning的复杂性甚至比提示工程和 RAG 还要高因为模型的权重 / {/} /参数是通过调整脚本进行更改的这需要数据科学和机器学习专业知识。从头开始训练具有最高的实施复杂性因为它需要大量的数据整理和处理并且需要深入的数据科学和机器学习专业知识来训练一个相当大的 Foundation Model。 努力让我们了解每个解决方案需要多少努力。请注意实施复杂性和付出的努力并不总是成正比。
提示工程Prompt Engineering需要大量的反复努力才能做到完美。大语言模型对提示的用词比较敏感有时候改变一个词甚至动词都会导致完全不同的回应。因此为了让相应的大语言模型输出期望的结果需要进行多次迭代才能做到准确无误。检索增强生成Retrieval Augmented GenerationRAG 还需要适度的努力比提示工程稍微高一些因为涉及到创建 Embeddings 和设置向量存储的任务。微调Fine-tuning是一项比提示工程和 RAG 更费力的任务。虽然 Fine-tuning 可以使用很少的数据进行在某些情况下甚至只需 30 个或更少的示例但是设置 Fine-tuning 并正确获取可调参数值需要时间。从头开始训练是所有方法中最费力的。它需要大量的迭代开发以获得具有正确技术和业务结果的最佳模型。该过程始于收集和整理数据设计模型架构并尝试不同的建模方法以找到适用于特定用例的最佳模型。这个过程可能非常漫长几周到几个月并且需要大量的计算资源。 总拥有成本TCO接下来是关于 TCO 的比较。
请注意我们不仅仅谈论的是服务 / {/} /组件的费用而是完全拥有解决方案所需的成本包括构建和维护解决方案所花费的熟练工程师时间、自行维护基础设施的成本、为执行补丁和更新而进行停机时间、设置支持渠道、招聘、提升技能以及其他杂项费用。
提示工程Prompt Engineering 的成本可以非常低因为您只需要维护提示工程模板并在大模型版本更改或完全新的大模型出现时及时更新它们。除此之外还会有一些通常与托管大模型或通过无服务器 API 使用它相关的费用。检索增强生成Retrieval Augmented GenerationRAG 的成本会比提示工程高一些这是因为架构中涉及到多个组件。这将取决于使用的 Embedding 模型、向量存储和大模型。因此它与提示工程相比成本更高因为您需要支付三个不同的组件而不只是一个大模型。微调Fine-tuning的成本将高于 RAG 和提示工程因为您正在调整一个需要强大计算能力、深度机器学习技能和对模型架构的理解的模型。特别是由于每次基础模型版本更新或新批次数据进来时都需要进行调优维护这样的解决方案的成本较高并携带有关用例最新信息。从头开始训练的总体成本最高因为团队需要负责整个数据处理和机器学习训练、调优和部署过程。这将需要一群高技能的机器学习专业人员来完成。由于需要频繁重新训练模型以使其与使用案例周围的新信息保持更新因此维护这样的解决方案的成本非常高。 灵活应对变化让我们来看一下在更新和更改方面的选择。
提示工程Prompt Engineering 具有非常高的灵活性因为您只需要根据大模型和用例的变化来更改提示模板即可。检索增强生成Retrieval Augmented GenerationRAG 在架构变更方面具有最高的灵活性。您可以独立地改变 Embedding 模型、向量存储和 LLMs对其他组件的影响很小到中等程度。它还具备在过程中添加更多组件如复杂授权而不影响其他组件的灵活性。微调Fine-tuning对于变化的适应性较低因为任何数据和输入的更改都需要进行另一轮微调这可能会非常复杂且耗时。此外将同一个经过微调的模型适应到不同用例中也需要付出很大努力因为相同的模型权重 / {/} /参数在其他领域上可能表现不佳。从头开始训练的灵活性最小。因为在这种情况下模型是从头构建的对模型进行更新会触发另一个重新训练周期。可以说我们也可以对模型进行微调而不是从头重新训练但准确性会有所变化。 三、总结 正如上面的所有比较所显示的那样其实没有明确的赢家。实际应用取决于在设计基于生成式 AI 解决方案时对您的组织最重要的指标是什么。
总结以上内容选择正确的生成式 AI 的方法指南
您希望在更改大模型和提示模板方面具有更高的灵活性并且您的使用案例不包含大量领域上下文时请使用提示工程Prompt Engineering。使用检索增强生成Retrieval Augmented GenerationRAG时您可以在保持输出质量高的同时获得最高程度的灵活性来更改不同组件数据源、Embeddings、大模型、向量引擎。使用微调Fine-tuning时您可以更好地控制模型的构件和版本管理。当领域特定术语非常与数据相关比如法律、生物学等时它也许会非常有用。如果以上方法都不适用于您并且您有能力构建一个拥有数万亿个经过精心筛选的标记化数据样本、先进硬件基础设施和一支高技能机器学习专家团队那么您可以从头开始训练一个基础大模型。当然这需要相当昂贵的预算和时间成本来实现和落地应用。 ️ 参考链接
Vikesh PandeyShould you Prompt, RAG, Tune, or Train? A Guide to Choose the Right Generative AI Approach2023 如何成为 Prompt Engineering 提示工程高手终极指南从入门到高级提升 ChatGPT 性能的实用指南Prompt Engineering 的艺术RAG使用检索增强生成构建特定行业的大型语言模型LLM 回答更加准确的秘密为检索增强生成RAG添加引用源吴恩达 x OpenAI Prompt Engineering 教程中文笔记吴恩达和 OpenAI 的《面向开发者的 ChatGPT 提示工程》精华笔记通俗解读大模型微调Fine Tuning探索基于开源大语言通用模型训练垂直业务模型——模型参数、微调 Fine-tuning、嵌入Embedding、基础概念学习大模型微调技术fine-tune、parameter-efficient fine-tune 和 prompt-tune大模型的三大法宝Fine-tuning, Prompt Engineering, Reward仅用 61 行代码你也能从零训练大模型
