金华网上商城网站建设,网站设计大概流程,把网站放到服务器,wordpress怎么仿站1. 什么是位置编码#xff0c;为什么要使用位置编码
简单来说位置编码就是给一个句子中的每个token一个位置信息#xff0c;通过位置编码可以明确token的前后顺序关系。
对任何语言来说#xff0c;句子中词汇的顺序和位置都是非常重要的。它们定义了语法#xff0c;从而定…1. 什么是位置编码为什么要使用位置编码
简单来说位置编码就是给一个句子中的每个token一个位置信息通过位置编码可以明确token的前后顺序关系。
对任何语言来说句子中词汇的顺序和位置都是非常重要的。它们定义了语法从而定义了句子的实际语义。RNN结构本身就涵盖了单词的顺序RNN按顺序逐字分析句子这就直接在处理的时候整合了文本的顺序信息。
但Transformer架构抛弃了循环机制仅采用多头自注意机制。避免了RNN较大的时间成本。并且从理论上讲它可以捕捉句子中较长的依赖关系。
由于句子中的单词同时流经Transformer的编码器、解码器堆栈模型本身对每个单词没有任何位置信息的。因此仍然需要一种方法将单词的顺序整合到模型中。
想给模型一些位置信息一个方案是在每个单词中添加一条关于其在句子中位置的信息。我们称之为“信息片段”即位置编码。
2. 两种简单的位置编码
最容易想到两种位置编码 1为每个时间步添加一个0-1范围内的数字其中0表示第一个单词1表示最后一个单词。
我喜欢吃洋葱 【0 0.16 0.32.....1】我真的不喜欢吃洋葱【0 0.125 0.25.....1】问题我们可以看到如果句子长度不同那么位置编码是不一样所以无法表示句子之间有什么相似性。
21-n正整数范围分配
我喜欢吃洋葱 【123456】我真的不喜欢吃洋葱【1234567】问题往往句子越长后面的值越大数字越大说明这个位置占的权重也越大这样的方式无法凸显每个位置的真实的权重。
3. Transformer的位置编码
可以看到上面两种简单的位置编码方式都有明显的不足理想情况下应满足以下标准
每个时间步都有唯一的编码。在不同长度的句子中两个时间步之间的距离应该一致。模型不受句子长短的影响并且编码范围是有界的。不会随着句子加长数字就无限增大必须是确定性的。
Transformer的作者设计了一种可以满足上面要求的三角函数位置编码方式。首先为每个不同位置的单词(token)单独生成一个位置向量或者叫位置嵌入即position embedding,缩写为PE)其次这种编码并没有集成到模型本身中该向量用于为每个单词提供有关其在句子中位置的信息也就是说其修改了模型的输入添加了单词的顺序信息。
位置编码方式如下 其中 d ≡ 2 0 d \equiv_2 0 d≡20表示 d d d 被2整除之后余数为0 i i i 表示给某个token计算position embedding时是在embedding的第i位从0开始因为 s i n ( w k ⋅ t ) sin(w_k\cdot t) sin(wk⋅t) 和 c o s ( w k ⋅ t ) cos(w_k\cdot t) cos(wk⋅t) 是一组所以 k k k 是 i i i 的二分之一 上图中长方形的宽度即为 d d d
4. 为什么要使用三角函数进行位置编码 可以使得不同位置的编码向量之间有一定的规律性比如相邻位置之间的差异较小而距离较远的位置之间的差异较大。 这是由正弦和余弦函数的连续性和单调性保证的即对于任意两个相邻的位置它们对应的编码向量在每一个维度上都只有微小的变化而对于任意两个距离较远的位置它们对应的编码向量在每一个维度上都有较大的差异。 可以使得编码向量在任意维度上都能保持唯一性即不同位置在同一个维度上不会有相同的值。 这是由正弦和余弦函数的周期性和相位差保证的即对于任意两个不同的位置它们对应的编码向量在每一个维度上都不相等。 我们假设max_len为50 d d d 取128所以 w w w 的取值范围就是0.00011 t t t 的范围是049所以三角函数自变量的取值范围是049结果的取值范围为-11。则在 t t t 为0时对应的位置编码为[0, 1, 0, 1, 0, 1, ···, 0, 1]这一点可以从下图的第一行看出来是01交替的。
相邻token位置编码每一位的 w w w 相同只有 t t t 相差1由于三角函数的连续性所以相邻token的位置编码值只有比很小的差别。 从上面效果图可以看出这个三角函数式位置编码满足以下四个特点
语句中每个词的位置编码是唯一的不同长度的句子中任意相邻两个词的间隔距离是一致的模型可以很容易处理更长的语句并且值有界位置编码是确定性的。
参考 Transformer 结构详解位置编码 | Transformer Architecture: The Positional Encoding 理解Transformer的位置编码 什么是Transformer位置编码
