网站关键词百度排名在下降,wordpress 阅读统计,北京哪里做网站,公司建设网站属于什么科目什么是大语言模型
大语言模型(Large Language Model,缩写LLM),也称大型语言模型,是一种人工智能模型,旨在理解和生成人类语言。它们在大量的文本数据上进行训练,可以执行广泛的任务,包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大,包含数十亿的参数,帮助它们学习语言…什么是大语言模型
大语言模型(Large Language Model,缩写LLM),也称大型语言模型,是一种人工智能模型,旨在理解和生成人类语言。它们在大量的文本数据上进行训练,可以执行广泛的任务,包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大,包含数十亿的参数,帮助它们学习语言数据中的复杂模式。训练方式
训练语言模型需要向其提供大量的文本数据,模型利用这些数据来学习人类语言的结构、语法和语义。这个过程通常是通过无监督学习完成的,使用一种叫做自我监督学习的技术。在自我监督学习中,模型通过预测序列中的下一个词或标记,为输入的数据生成自己的标签,并给出之前的词。训练过程包括两个主要步骤:预训练(pre-training)和微调(fine-truning):在预训练阶段,模型从一个巨大的、多样化的数据集中学习,通常包含来自不同来源的数十亿词汇,如网站、书籍和文章。这个阶段允许模型学习一般的语言模式和表征。在微调阶段,模型在与目标任务或领域相关的更具体、更小的数据集上进一步训练。这有助于模型微调其理解,并适应任务的特殊要求。面临的挑战
1. 资源消耗巨大:训练LLM需要大量的计算资源,这使得较小的组织或研究人员在开发和部署这些模型方面面临挑战。此外,与训练LLM有关的能源消耗也引起了一定程度的环境问题。
2. 输出可能带有偏见:由于训练数据中可能带有偏见,而LLM可!以学习并延续其训练数据中的偏见,导致有偏见的输出,可能是冒犯性的、歧视性甚至是错误性的观念。
3. 理解能力受限:虽然大语言模型有能力产生看似连贯和和与背景上下文相关的文本,但LLM有时对其所写的概念缺乏深刻的理解,这很可能导致不正确或无意义的输出。什么是分布式计算
和集中式计算相反分布式计算的一个计算过程将会在多台机器上进行。组件之间彼此进行交互以实现一个共同的目标把需要进行大量计算的工程数据分区成小块由多台计算机分别计算再上传运算结果后将结果统一合并得出数据结论。如何实现
- 如何拆分计算逻辑
- 如何分发计算逻辑拆分逻辑
从在哪里发生计算的角度来看所有的计算逻辑都能够划分为这两种类型
1能够分发到各个节点上并行执行的
2需要经过一定量的结果合并之后才能继续执行的
两者之间协调完成还需要解决 通讯、容灾、任务调度等问题
首先对此公开提出解决方案的是Google的MapReduce论文
Map Job 对应的就是可以在各个节点上一起执行相互不影响的逻辑
Reduce Job 处理的就是Map产生的中间结果
Map和Reduce之间通过一个Shuffle过程来链接分发逻辑
与集中式计算最大的不同点移动计算逻辑而不移动数据大语言模型的分布式训练
大模型可以带来更精准强大的语义理解和推理能力所以随着规模计算的普及和数据集的增大使得模型的参数数量也以指数级的速度增长。训练这样大的模型非常具有挑战性具体原因如下
对显存的挑战。即使是最大的GPU的主内存也不可能适合这些模型的参数比如一个175B的GPT-3模型需要175B * 4bytes就是700GB模型参数空间从而梯度也是700G优化器状态是1400G一共2.8TB。
对计算的挑战。即使我们能够把模型放进单个GPU中例如通过在主机和设备内存之间交换参数但是其所需的大量计算操作会导致漫长训练时间例如使用单个V100 NVIDIA GPU来训练1750亿个参数的GPT-3需要大约288年。如何计算可以参见 2104.04473的附录 FLOATING-POINT OPERATIONS。
对计算的挑战。不同并行策略对应的通信模式和通信量不同。数据并行通信发生在后向传播的梯度规约all-reduce操作通信量是每个GPU之上模型的大小。模型并行在下面会详述。
这就需要采用并行化来加速。使用硬件加速器来横向扩展scale out深度神经网络训练主要有两种模式数据并行模型并行。数据并行
数据并行模式会在每个worker之上复制一份模型这样每个worker都有一个完整模型的副本。输入数据集是分片的一个训练的小批量数据将在多个worker之间分割
worker定期汇总它们的梯度以确保所有worker看到一个一致的权重版本。对于无法放进单个worker的大型模型人们可以在模型之中较小的分片上使用数据并行。
数据并行扩展通常效果很好但有两个限制a超过某一个点之后每个GPU的batch size变得太小这降低了GPU的利用率增加了通信成本b可使用的最大设备数就是batch size着限制了可用于训练的加速器数量。模型并行
WHY业界内训练的模型越来越大模型朝着更深和更宽的方向发展。以自然语言处理NLP领域为例模型从Bert发展到GPT模型规模从数亿参数量增加到数百亿甚至是数千亿。当参数规模为千亿时存储模型参数就需要数百GB的显存空间超出单个GPU卡的显存容量。显然仅靠数据并行无法满足超大规模模型训练对于显存的需求。为了解决这个问题可以采用模型并行技术。人们会使用一些内存管理技术如激活检查点activation checkpointing来克服数据并行的这种限制也会使用模型并行来对模型进行分区来解决这两个挑战使得权重及其关联的优化器状态不需要同时驻留在处理器上。WHAT模型并行模式会让一个模型的内存和计算分布在多个worker之间以此来解决一个模型在一张卡上无法容纳的问题其解决方法是把模型放到多个设备之上。
模型并行分为两种流水线并行和张量并行就是把模型切分的方式。流水线并行
流水线并行pipeline model parallel是把模型不同的层放到不同设备之上比如前面几层放到一个设备之上中间几层放到另外一个设备上最后几层放到第三个设备之上。张量并行
张量并行则是层内分割把某一个层做切分放置到不同设备之上也可以理解为把矩阵运算分配到不同的设备之上比如把某个矩阵乘法切分成为多个矩阵乘法放到不同设备之上。通信
张量并行通信发生在每层的前向传播和后向传播过程之中通信类型是all-reduce不但单次通信数据量大并且通信频繁。
流水线并行通信在流水线阶段相邻的切分点之上通信类型是P2P通信单词通信数据量较少但是比较频繁而且因为流水线的特点会产生GPU空闲时间这里称为流水线气泡Bubble。PS
NCCL是Nvidia Collective multi-GPU Communication Library的简称它是一个实现多GPU的collective communication通信all-gather, reduce, broadcast库Nvidia做了很多优化以在PCIe、Nvlink、InfiniBand上实现较高的通信速度。
All-reduce从多个sender那里接收数据最终combine到每一个节点上。
Transformer Attention MLP GeLU Dropout
未完待续…
引用 https://blog.csdn.net/weixin_47364682/article/details/122674457 https://zhuanlan.zhihu.com/p/507877303 https://zhuanlan.zhihu.com/p/617087561 https://zhuanlan.zhihu.com/p/28653942 https://zhuanlan.zhihu.com/p/129912419 https://www.zhihu.com/question/508671222
