万维网中文网站到期网站大全软件下载
核心思想是根据不同的上下文为不同的信息分配不同的注意力权重
效果：
- Attention：它允许模型在解码时聚焦于输入的特定部分，从而更好地捕获上下文信息。
- Self-attention：它帮助模型捕获输入序列内部的关系，无论这些关系的距离有多远。
计算：
- Attention：权重是基于当前的输出（或解码器状态）和所有的输入（或编码器状态）来计算的。
- Self-attention：权重是基于输入序列的每一个元素与其他所有元素的关系来计算的。
数学：
self-attention比attention约束条件多了两个：
1. Q=K=V（同源） 也就是说，查询、键、和值都来自于同一个地方，即输入序列和输出序列是相同的，即模型在生成每一个输出时都对自己的所有输入（包括自己）进行加权求和。
2. Q，K，V需要遵循attention的做法