目录

Transformer应用

Transformer是什么

Transformer应用:循环神经网络

语言翻译：注重语句前后顺序

RNN看中单个特征；

CNN：看中特征之间时序性

模型关注不同位置的能力

Transformer是什么

Transformer是一个利用注意力机制来提高模型训练速度的模型。关于注意力机制可以参看这篇文章，trasnformer可以说是完全基于自注意力机制的一个深度学习模型，因为它适用于并行化计算，和它本身模型的复杂程度导致它在精度和性能上都要高于之前流行的RNN循环神经网络。

那什么是transformer呢？

你可以简单理解为它是一