win7网站服务器制作软件,免费域名网站,app直链在线生成,低价网站空间引言
自然语言处理#xff08;NLP#xff09;是 AI 领域的重要分支#xff0c;而语言模型#xff08;Language Model, LM#xff09;是 NLP 的核心技术。语言模型经历了从 统计方法 到 RNN#xff08;循环神经网络#xff09;#xff0c;再到 Transformer 的演进…引言
自然语言处理NLP是 AI 领域的重要分支而语言模型Language Model, LM是 NLP 的核心技术。语言模型经历了从 统计方法 到 RNN循环神经网络再到 Transformer 的演进每一步都在提升模型的表达能力和计算效率。
本文从技术角度详细分析三种方法的核心原理、优缺点并探讨 Transformer 如何在 AI 大模型如 GPT-4中发挥关键作用。 1. 统计方法N-gram
1.1 方法原理
统计方法基于 马尔可夫假设Markov Assumption认为当前词的出现仅依赖于前面 n-1 个词而不是整个句子历史。常见的 N-gram 语言模型如下
Unigram1-gram: 仅考虑每个词的单独概率 P(w)。Bigram2-gram: 仅考虑当前词的前一个词 P(w_t | w_{t-1})。Trigram3-gram: 仅考虑当前词的前两个词 P(w_t | w_{t-2}, w_{t-1})。
语言模型的计算方式如下 [ P(W) P(w_1, w_2, …, w_T) \prod_{t1}^{T} P(w_t | w_{t-n1}, …, w_{t-1}) ]
1.2 优缺点
✅ 优点
计算简单易于实现。适用于小型数据集能快速计算概率。
❌ 缺点
长距离依赖问题N-gram 只能考虑有限的上下文忽略远距离词的影响。数据稀疏性高阶 N-gram 需要大量数据罕见短语可能无统计数据。无法泛化仅能处理训练数据中见过的词汇对新词无能为力。 2. RNN循环神经网络
2.1 方法原理
RNN 通过隐藏状态 h_t 记忆过去的信息解决了 N-gram 只能处理短上下文的问题。RNN 的核心计算公式如下 [ h_t f(W_h h_{t-1} W_x x_t b) ] [ y_t W_y h_t b_y ] 其中
( h_t ) 是当前的隐藏状态包含了过去的信息。( W_h, W_x, W_y ) 是权重矩阵( b ) 是偏置项。( x_t ) 是输入( y_t ) 是输出。
2.2 变体LSTM GRU
(1) LSTM长短时记忆网络 LSTM 通过 遗忘门Forget Gate、输入门Input Gate、输出门Output Gate 控制信息流动使其能够记住长期依赖信息 [ f_t \sigma(W_f [h_{t-1}, x_t] b_f) ] [ i_t \sigma(W_i [h_{t-1}, x_t] b_i) ] [ o_t \sigma(W_o [h_{t-1}, x_t] b_o) ] [ c_t f_t \odot c_{t-1} i_t \odot \tilde{c_t} ] [ h_t o_t \odot \tanh(c_t) ] 其中
( f_t, i_t, o_t ) 分别为遗忘门、输入门和输出门。( c_t ) 是细胞状态存储长期信息。
(2) GRU门控循环单元 GRU 结构比 LSTM 更简单合并了输入门和遗忘门 [ z_t \sigma(W_z [h_{t-1}, x_t]) ] [ r_t \sigma(W_r [h_{t-1}, x_t]) ] [ \tilde{h_t} \tanh(W_h [r_t \odot h_{t-1}, x_t]) ] [ h_t (1 - z_t) \odot h_{t-1} z_t \odot \tilde{h_t} ]
2.3 优缺点
✅ 优点
能处理任意长度的序列比 N-gram 适应更长的上下文。LSTM/GRU 解决了普通 RNN 的梯度消失问题。
❌ 缺点
训练速度慢难以并行化序列计算依赖前一步。对长序列仍存在信息遗忘问题。 3. Transformer自注意力机制
3.1 方法原理
Transformer 彻底抛弃了 RNN使用 自注意力机制Self-Attention 计算词与词之间的关系并行处理整个句子。
(1) 自注意力机制
给定输入序列 ( X [x_1, x_2, …, x_n] )我们计算每个词的 查询Q、键K、值V [ Q XW_Q, \quad K XW_K, \quad V XW_V ] 计算注意力权重 [ \text{Attention}(Q, K, V) \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right) V ]
(2) 多头注意力
多个注意力头Multi-Head Attention并行计算 [ \text{MultiHead}(Q, K, V) \text{Concat}(\text{head}_1, …, \text{head}_h) W_O ]
(3) 位置编码
由于 Transformer 没有 RNN 的时序结构需要 位置编码Positional Encoding 引入位置信息 [ PE_{(pos, 2i)} \sin(pos / 10000^{2i/d}) ] [ PE_{(pos, 2i1)} \cos(pos / 10000^{2i/d}) ]
3.2 优缺点
✅ 优点
并行计算提高训练速度。处理长序列时效果优于 RNN没有梯度消失问题。
❌ 缺点
计算量大对硬件要求高。长文本处理成本较高注意力计算复杂度为 ( O(n^2) )。 总结
方法核心原理优点缺点N-gram统计词频概率计算简单不能处理长距离依赖RNN记住前面信息逐步预测适合短文本训练慢长句信息遗忘Transformer关注整个句子注意力机制并行计算高效处理长文本计算量大训练成本高
目前Transformer 是大模型如 GPT-4、BERT的核心技术未来 NLP 发展仍围绕自注意力机制展开。 如果你想深入学习可以研究 Transformer 细节如多头注意力、Feedforward 层等。
