魔力百科网站做料理视频,接网站开发的公司电话,网站建设亿码酷出名5,苏宁易购网站风格本篇文章深入分析了大型模型微调的基本理念和多样化技术#xff0c;细致介绍了LoRA、适配器调整(Adapter Tuning)、前缀调整(Prefix Tuning)等多个微调方法。详细讨论了每一种策略的基本原则、主要优点以及适宜应用场景#xff0c;使得读者可以依据特定的应用要求和计算资源限… 本篇文章深入分析了大型模型微调的基本理念和多样化技术细致介绍了LoRA、适配器调整(Adapter Tuning)、前缀调整(Prefix Tuning)等多个微调方法。详细讨论了每一种策略的基本原则、主要优点以及适宜应用场景使得读者可以依据特定的应用要求和计算资源限制挑选最适合的微调方案。
一、大型模型微调的基础理论 大型语言模型(LLM)的训练过程通常分为两大阶段
阶段一预训练阶段 在这个阶段大型模型会在大规模的无标签数据集上接受训练目标是使模型掌握语言的统计特征和基础知识。此期间模型将掌握词汇的含义、句子的构造规则以及文本的基本信息和上下文。 需特别指出预训练实质上是一种无监督学习过程。完成预训练的模型亦即基座模型(Base Model)拥有了普遍适用的预测能力。例如GLM-130B模型、OpenAI的四个主要模型均属于基座模型。
阶段二微调阶段 预训练完成的模型接下来会在针对性的任务数据集上接受更进一步的训练。这一阶段主要涉及对模型权重的细微调整使其更好地适配具体任务。最终形成的模型将具备不同的能力如gpt code系列、gpt text系列、ChatGLM-6B等。
那么何为大型模型微调 直观上大型模型微调即是向模型“输入”更多信息对模型的特定功能进行“优化”通过输入特定领域的数据集使模型学习该领域知识从而优化大模型在特定领域的NLP任务中的表现如情感分析、实体识别、文本分类、对话生成等。 为何微调至关重要 其核心理由是微调能够“装备”大模型以更精细化的功能例如整合本地知识库进行搜索、针对特定领域问题构建问答系统等。 以VisualGLM为例作为一个通用多模态模型当应用于医学影像判别时就需要输入医学影像领域的数据集以进行微调以此提升模型在医学影像图像识别方面的表现。 这与机器学习模型的超参数优化类似只有在调整超参数后模型才能更好地适应当前数据集同时大型模型可以经历多轮微调每次微调都是对模型能力的优化即我们可以在现有的、已经具备一定能力的大模型基础上进一步进行微调。
二、大型模型的经典网络结构 以GPT系列中的Transformer为例这种深度学习模型结构通过自注意力机制等技巧解决了相关问题。正是得益于Transformer架构基于GPT的大型语言模型取得了显著的进展。 Transformer模型架构包含了众多模块而我们讨论的各种微调技术通常是对这些模块中的特定部分进行优化以实现微调目的。 要深入理解各类微调手段首先需要对网络架构有一个基本的认识。以下以Transformer为例阐述各个模块的作用 输入嵌入层Input Embedding 输入Inputs模型的输入环节通常为单词或符号序列。输入嵌入Input Embedding此步骤将输入序列例如句中的每个单词转化为嵌入表示即能够表征单词语义信息的高维向量。位置编码Positional Encoding鉴于Transformer不依赖序列位置编码旨在提供序列中单词位置的信息这些编码添加到输入嵌入中确保模型即便同时处理输入也能够利用单词的顺序信息。 编码器层Encoder左边 Nx指示有N个相同的编码器层叠加而成。每个编码器层包括两个主要子层多头自注意力机制和前馈神经网络。多头自注意力Multi-Head Attention注意力机制允许模型在处理每个单词时考虑到输入序列中的所有单词。多头部分表示模型并行学习输入数据的不同表示。残差连接和归一化Add Norm注意力层后面跟着残差连接和层归一化有助于防止深层网络中的梯度消失问题并稳定训练过程。前馈神经网络Feed Forward全连接神经网络处理自注意力层的输出包含两个线性变换和一个非线性激活函数。 解码器层Decoder右侧 解码器亦包含多个相同的层每层包括三个主要子层掩蔽的多头自注意力机制、多头自注意力机制和前馈神经网络。掩蔽多头自注意力Masked Multi-Head Attention与编码器的多头自注意力机制类似但为确保解码顺序性掩蔽操作确保预测仅依赖于之前的输出。前馈神经网络Feed Forward与编码器相同每个子层之后也有加法和归一化步骤。 输出嵌入层和输出过程 解码器端的嵌入层将目标序列转换为向量形式。线性层Linear和Softmax层解码器的输出通过线性层映射到一个更大的词汇空间Softmax函数将输出转换为概率分布。
三、大型模型微调的技术手段
大型模型的全面微调Fine-tuning涉及调整所有层和参数以适配特定任务。此过程通常采用较小的学习率和特定任务的数据可以充分利用预训练模型的通用特征但可能需要更多计算资源。
参数高效微调Parameter-Efficient Fine-TuningPEFT旨在通过最小化微调参数数量和计算复杂度提升预训练模型在新任务上的表现从而减轻大型预训练模型的训练负担。
即使在计算资源受限的情况下PEFT技术也能够利用预训练模型的知识快速适应新任务实现有效的迁移学习。因此PEFT不仅能提升模型效果还能显著缩短训练时间和计算成本使更多研究者能够参与到深度学习的研究中。
PEFT包括LoRA、QLoRA、适配器调整(Adapter Tuning)、前缀调整(Prefix Tuning)、提示调整(Prompt Tuning)、P-Tuning及P-Tuning v2等多种方法。
以下图表示了7种主流微调方法在Transformer网络架构中的作用位置及其简要说明接下来将详细介绍每一种方法。 1、LoRA LoRALow-Rank Adaptation是一种旨在微调大型预训练语言模型如GPT-3或BERT的技术。其核心理念在于在模型的决定性层次中引入小型、低秩的矩阵来实现模型行为的微调而无需对整个模型结构进行大幅度修改。 这种方法的优势在于在不显著增加额外计算负担的前提下能够有效地微调模型同时保留模型原有的性能水准。 LoRA的操作流程如下
确定微调目标权重矩阵首先在大型模型例如GPT中识别出需要微调的权重矩阵这些矩阵一般位于模型的多头自注意力和前馈神经网络部分。引入两个低秩矩阵然后引入两个维度较小的低秩矩阵A和B。假设原始权重矩阵的尺寸为dd则A和B的尺寸可能为dr和r*d其中r远小于d。计算低秩更新通过这两个低秩矩阵的乘积AB来生成一个新矩阵其秩即r远小于原始权重矩阵的秩。这个乘积实际上是对原始权重矩阵的一种低秩近似调整。结合原始权重最终新生成的低秩矩阵AB被叠加到原始权重矩阵上。因此原始权重经过了微调但大部分权重维持不变。这个过程可以用数学表达式描述为新权重 原始权重 AB。
以一个具体实例来说假设我们手头有一个大型语言模型它通常用于执行广泛的自然语言处理任务。现在我们打算将其微调使其在处理医疗健康相关的文本上更为擅长。 采用LoRA方法我们无需直接修改模型现有的大量权重。相反只需在模型的关键部位引入低秩矩阵并通过这些矩阵的乘积来进行有效的权重调整。这样一来模型就能更好地适应医疗健康领域的专业语言和术语同时也避免了大规模权重调整和重新训练的必要。
2、QLoRA QLoRAQuantized Low-Rank Adaptation是一种结合了LoRALow-Rank Adaptation方法与深度量化技术的高效模型微调手段。QLoRA的核心在于
量化技术QLoRA采用创新的技术将预训练模型量化为4位。这一技术包括低精度存储数据类型4-bit NormalFloat简称NF4和计算数据类型16-bit BrainFloat。这种做法极大地减少了模型存储需求同时保持了模型精度的最小损失。量化操作在4位量化中每个权重由4个比特表示量化过程中需选择最重要的值并将它们映射到16个可能的值之一。首先确定量化范围例如-1到1然后将这个范围分成16个区间每个区间对应一个4-bit值。然后原始的32位浮点数值将映射到最近的量化区间值上。微调阶段在训练期间QLoRA先以4-bit格式加载模型训练时将数值反量化到bf16进行训练这样大幅减少了训练所需的显存。例如33B的LLaMA模型可以在24 GB的显卡上进行训练。
量化过程的挑战在于设计合适的映射和量化策略以最小化精度损失对性能的影响。在大型模型中这种方法可以显著减少内存和计算需求使得在资源有限的环境下部署和训练成为可能。
3、适配器调整Adapter Tuning 与LoRA技术类似适配器调整的目标是在保留预训练模型原始参数不变的前提下使模型能够适应新的任务。适配器调整的方法是在模型的每个层或选定层之间插入小型神经网络模块称为“适配器”。这些适配器是可训练的而原始模型的参数则保持不变。
适配器调整的关键步骤包括
以预训练模型为基础初始阶段我们拥有一个已经经过预训练的大型模型如BERT或GPT该模型已经学习了丰富的语言特征和模式。插入适配器在预训练模型的每个层或指定层中我们插入适配器。适配器是小型的神经网络一般包含少量层次并且参数规模相对较小。维持预训练参数不变在微调过程中原有的预训练模型参数保持不变。我们不直接调整这些参数而是专注于适配器的参数训练。训练适配器适配器的参数会根据特定任务的数据进行训练使适配器能够学习如何根据任务调整模型的行为。针对任务的调整通过这种方式模型能够对每个特定任务进行微调同时不影响模型其他部分的通用性能。适配器有助于模型更好地理解和处理与特定任务相关的特殊模式和数据。高效与灵活由于只有部分参数被调整适配器调整方法相比于全模型微调更为高效并且允许模型迅速适应新任务。
例如如果我们有一个大型文本生成模型它通常用于执行广泛的文本生成任务。若要将其微调以生成专业的金融报告我们可以在模型的关键层中加入适配器。在微调过程中仅有适配器的参数会根据金融领域的数据进行更新使得模型更好地适应金融报告的写作风格和术语同时避免对整个模型架构进行大幅度调整。
LoRA与适配器调整的主要区别在于
LoRA在模型的权重矩阵中引入低秩矩阵来实现微调。这些低秩矩阵作为原有权重矩阵的修改项在实际计算时对原有权重矩阵进行调整。适配器调整通过在模型各层中添加小型神经网络模块即“适配器”来实现微调。适配器独立于模型的主体结构仅适配器的参数在微调过程中更新而模型的其他预训练参数保持不变。
4、前缀调整Prefix Tuning 与传统的微调范式不同前缀调整提出了一种新的策略即在预训练的语言模型LM输入序列前添加可训练、任务特定的前缀从而实现针对不同任务的微调。这意味着我们可以为不同任务保存不同的前缀而不是为每个任务保存一整套微调后的模型权重从而节省了大量的存储空间和微调成本。 前缀实际上是一种连续可微的虚拟标记Soft Prompt/Continuous Prompt与离散的Token相比它们更易于优化并且效果更佳。这种方法的优势在于不需要调整模型的所有权重而是通过在输入中添加前缀来调整模型的行为从而节省大量的计算资源同时使得单一模型能够适应多种不同的任务。前缀可以是固定的即手动设计的静态提示或可训练的即模型在训练过程中学习的动态提示。
5、提示调整Prompt Tuning 提示调整是一种在预训练语言模型输入中引入可学习嵌入向量作为提示的微调方法。这些可训练的提示向量在训练过程中更新以指导模型输出更适合特定任务的响应。
提示调整与前缀调整都涉及在输入数据中添加可学习的向量这些向量是在输入层添加的但两者的策略和目的不同
提示调整旨在模仿自然语言中的提示形式将可学习向量通常称为提示标记设计为模型针对特定任务生成特定类型输出的引导。这些向量通常被视为任务指导信息的一部分倾向于使用较少的向量来模仿传统的自然语言提示。前缀调整可学习前缀更多地用于提供输入数据的直接上下文信息作为模型内部表示的一部分可以影响整个模型的行为。
以下是两者的训练示例以说明它们的不同
提示调整示例 输入序列: [Prompt1][Prompt2] “这部电影令人振奋。” 问题: 评价这部电影的情感倾向。 答案: 模型需要预测情感倾向例如“积极” 提示: 没有明确的外部提示[Prompt1][Prompt2]作为引导模型的内部提示这里的问题是隐含的即判断文本中表达的情感倾向。前缀调整示例 输入序列: [Prefix1][Prefix2][Prefix3] “I want to watch a movie.” 问题: 根据前缀生成后续的自然语言文本。 答案: 模型生成的文本如“that is exciting and fun.” 提示: 前缀本身提供上下文信息没有单独的外部提示。
6、P-Tuning P-Tuning基于提示的微调和提示调整都是为了调整大型预训练语言模型如GPT系列以适应特定任务而设计的技术。两者都利用预训练的语言模型执行特定的下游任务如文本分类、情感分析等并使用某种形式的“提示”或“指导”来引导模型输出以更好地适应特定任务。
提示调整与P-Tuning的主要区别在于
提示调整使用静态的、可训练的虚拟标记嵌入在初始化后保持固定除非在训练过程中更新。这种方法相对简单因为它只涉及调整一组固定的嵌入参数在处理多种任务时表现良好但可能在处理特别复杂或需要细粒度控制的任务时受限。P-Tuning使用一个可训练的LSTM模型称为提示编码器prompt_encoder来动态生成虚拟标记嵌入允许根据输入数据的不同生成不同的嵌入提供更高的灵活性和适应性适合需要精细控制和理解复杂上下文的任务。这种方法相对复杂因为它涉及一个额外的LSTM模型来生成虚拟标记嵌入。
P-Tuning中使用LSTM长短期记忆网络作为生成虚拟标记嵌入的工具利用了LSTM的以下优势
更好的适应性和灵活性LSTM可以捕捉输入数据中的时间序列特征更好地理解和适应复杂的、顺序依赖的任务如文本生成或序列标注。改进的上下文理解LSTM因其循环结构擅长处理和理解长期依赖关系和复杂的上下文信息。参数共享和泛化能力在P-Tuning中LSTM模型的参数可以在多个任务之间共享这提高了模型的泛化能力并减少了针对每个单独任务的训练需求。而在提示调整中每个任务通常都有其独立的虚拟标记嵌入这可能限制了跨任务泛化的能力。
这些特性使得LSTM特别适合处理复杂任务和需要细粒度控制的应用场景。然而这些优势也伴随着更高的计算复杂度和资源需求因此在实际应用中需要根据具体需求和资源限制来权衡使用LSTM的决策。
7、P-Tuning v2 P-Tuning v2是P-Tuning的进一步改进版在P-Tuning中连续提示被插入到输入序列的嵌入层中除了语言模型的输入层其他层的提示嵌入都来自于上一层。这种设计存在两个问题
第一它限制了优化参数的数量。由于模型的输入文本长度是固定的通常为512因此提示的长度不能过长。第二当模型层数很深时微调时模型的稳定性难以保证模型层数越深第一层输入的提示对后面层的影响难以预测这会影响模型的稳定性。
P-Tuning v2的改进在于不仅在第一层插入连续提示而是在多层都插入连续提示且层与层之间的连续提示是相互独立的。这样在模型微调时可训练的参数量增加了P-Tuning v2在应对复杂的自然语言理解(NLU)任务和小型模型方面相比原始P-Tuning具有更出色的效能。
除了以上PEFT当前还存在PILLPluggable Instruction Language Learning、SSFScaling Shifting Your Features等其他类型的微调方法。
PILL是PEFT的一个特定实现特别关注于如何通过插入可训练的模块或插件来提升模型的任务适应性。这些插件被设计为与原始模型协同工作以提高模型在处理特定任务时的效率和效果。
SSF核心思想是对模型的特征即模型层的输出进行缩放Scaling和位移Shifting。简单来说就是通过调整特征的比例和偏移量来优化模型的性能。
这种方法可以在改善模型对特定任务的响应时不需要调整或重新训练模型中的所有参数从而在节省计算资源的同时保持或提升模型性能。这对于处理大规模模型特别有效因为它减少了训练和调整所需的资源和时间。
四、大模型的微调策略
综上所述微调是一种强大的工具它能够使大型预训练模型适应于特定的任务和应用场景。正确选择和应用微调策略对于实现高效且有效的模型性能至关重要。
1、微调与迁移学习微调实际上是迁移学习的一个实例其中预训练的模型通常在大型通用数据集上训练被用作特定任务的起点。这种方法使得即使是对于小数据集的任务也可以实现高效的学习
2、选择微调策略选择哪种微调方法取决于多个因素包括任务的复杂性、可用的数据量、计算资源和期望的性能。
例如对于需要细粒度控制的复杂任务P-Tuning v2或LSTM基础的P-Tuning可能更适合。而对于计算资源有限的情况可以选择LoRA或Adapter Tuning等方法。
3、微调与模型泛化能力微调时需要注意的一个关键问题是保持模型的泛化能力。过度的微调可能会导致模型对特定训练数据过拟合而忽略了其在实际应用中的泛化能力。
如何学习AI大模型
作为一名热心肠的互联网老兵我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】 一、全套AGI大模型学习路线
AI大模型时代的学习之旅从基础到前沿掌握人工智能的核心技能 二、640套AI大模型报告合集
这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。 三、AI大模型经典PDF籍
随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。 四、AI大模型商业化落地方案 作为普通人入局大模型时代需要持续学习和实践不断提高自己的技能和认知水平同时也需要有责任感和伦理意识为人工智能的健康发展贡献力量。
