看网站的关键词,WordPress分享无法显示,深圳网站建设服务哪家,建设公司自己的网站一、 seq2seq 1. 含义
输入一个序列#xff0c;机器输出另一个序列#xff0c;输出序列长度由机器决定。
文本翻译#xff1a;文本至文本#xff1b; 语音识别#xff1a;语音至文本#xff1b; 语音合成#xff1a;文本至语音#xff1b; 聊天机器人#…一、 seq2seq 1. 含义
输入一个序列机器输出另一个序列输出序列长度由机器决定。
文本翻译文本至文本 语音识别语音至文本 语音合成文本至语音 聊天机器人语音至语音。
2. 应用
自然语言处理NLP问题不过seq2seq有时候不一定是最佳的解决方法。
语音辨识
输入是声音讯号的一串的vector,输出是语音辨识的结果,也就是输出的这段声音讯号,所对应的文字⇒输出的长度由机器自己决定 机器翻译
机器读一个语言的句子,输出另外一个语言的句子,
输入的文字的长度是N,输出的句子的长度是N,那N跟N之间的关系,也要由机器自己来决定 语音翻译 把他听到的英文的声音讯号翻译成中文文字
动机世界上有很多语言,他根本连文字都没有不能用1.2.串接
训练数据乡土剧语音字幕
新词硬train一发
语音合成Text-to-Speech (TTS) Synthesis 输入文字 输出声音讯号
Chatbot 输入输出都是文字
利用人的对话进行训练
Question Answering (QA) 很多natural language processing的任务,都可以想成是question answering,QA的任务。QA的问题,就可以用Seq2Seq model来解
⇒具体来说Seq2Seq model输入的就是有问题跟文章把它接在一起,输出就是问题的答案
⇒输入一个文字序列→输出一个文字序列
翻译摘要情感分析
▶️对多数NLP的任务,或对多数的语音相关的任务而言,往往為这些任务特制化模型,你会得到更好的结果
https://speech.ee.ntu.edu.tw/~hylee/dlhlp/2020-spring.html
Syntactic Parsing句法分析文法剖析
grammar as a Foreign Language
例如给机器一段文字Deep learning is very powerful机器要做的事情是产生一个文法的剖析树 。
输出结果剖析树告诉我们deep 加 learning 合起来是一个名词短语very 加 powerful 合起来是一个形容词短语形容词短语加 is 以后会变成一个动词短语动词短语加名词片语合起来是一个句子
文法剖析要做的事情就是产生这样子的一个 Syntactic tree所以在用 deep learning 解决 文法剖析的任务里面输入是一段文字一个Sequence输出是一个树状的结构可以把他看作是一个Sequence一个代表句法分析树的序列 multi-label classification
多标签分类问题同一个对象可以属于多个class 区分
multi-class classification为样本从数个 class 中选择某一个 class多对一multi-label classification同一个样本可以属于多个 class 一对多
难点每篇文章对应几个 class 不好确定 ⇒ seq2seq 决定要输出几个 Object Detection 物体检测
图像识别领域 3. Seq2seq 实现方式
seq2seqs model Encoder编码器 Decoder解码器
这两部分可以使用RNN或transformer实现seq2seq主要是为了解决输入和输出长度不确定的情况。
Encoder将输入文字、语音、视频等编码为单个向量这个向量可以看成是全部输入的 抽象表示。
Decoder接受 encoder 输出的向量逐步解码一次输出一个结果每次输出会影响下一次的输出开头加入 BOS 表示开始解码 EOS 表示输出结束。 ① Encoder
用途输入一排向量序列输出另外一排同样长度的向量序列
可以使用Self-attentionRNNCNN A、encoder 就是通过多层 block模块将输入转换成向量。每一个 block 都包含若干层 self-attention 和 fully connect 等网络结构 )每个 block 输入一排向量输出相同数量的一排向量。 B、block 的内部细节构成如下在 input 送入 block 之前需先进行 positional encoding这个知识点在 self - attention 中有提过。 C 、 它考虑所有输入向量后的输出向量其中 b 是原来的 input 向量经过残差网络residual connection把 a vector 加上它的 b input vector 作为 output 和标准化后送到全连接神经网络 FC 由于在 FC network 中也有 residual 的架构因此需要再经过一组 残差网络 标准化 后得到输出。注意这里的标准化是 layer normalization 而不是 batch normalization。这个输出才是 residual network 里一个 block 的输出。
batch normalization对 不同的 example 不同 feature 的 同一个 dimention 去计算平均值 mean 和标准差 standard deviation。 layer normalization对 同一个 example 同一个 feature的 不同 dimention 去计算平均值 mean 和标准差 standard deviation。 To Learn more
1.transformer的encoder变式 如Residual与Normalization的顺序调换
2.为什么是layer Norm:Power Norm
Power NormRethinking Batch Normalization In Transformers, https://arxiv.org/abs/2003.07845 ② Decoder
decoder主要有两种ATautoregressive与 NATnon-autoregressiveDecoder 要做的事情产生最终的输出结果
A、autoregressiveATdecoder 以语音辨识为例 1. 向 Decoder 输入 Encoder 产生的向量
2. 在 Decoder 可能产生的文字库里多加一个标识字符 BEGIN 它代表 “ Decoder 开始识别” 来提醒机器BOS begin of sentence NLP 的问题中每一个 Token 用一个 One-Hot 的 Vector 来表示其中正确的类别标识是 1其他都是 0其中 BEGIN 也是用 One-Hot Vector 来表示 3. 经过 softmax 之后Decoder 会输出一个和 输入的 Vocabulary Size 一样的向量长度的 向量结果。对比已知文字库找到相似度最高的字符就是最终输出的字符。这里“机”字 就是这个 Decoder 的第一个输出 Vocabulary Size取决于你输出的单位。比如输出中文则size是中文方块字的数目。 4. 再把上一步的输出当做下一个的输入。在本例中第二次 Decoder 把 “机” 当做是 Decoder 的 Input在上一步 “机” 是 Decoder 的输出结果经过一系列相同的操作后我们会得到第二次 Decoder 的输出再作为第三次的输入继续输出后续的文字以此类推…… 5. 机器自己决定输出的长度一个特别的标识符 ”END” 代表工作结束 总结 除了中间的部分Encoder 跟 Decoder 并没有太大的差别。最后我们可以再做一个 Softmax可以通过计算输出的概率分布与 Ground Truth 之间的 交叉熵Cross Entropy并求梯度实现优化交叉熵的值越小越好。 缺点如果Decoder 看到错误的输入让 Decoder 产生错误的输出并被代入到下一步 Decoder 工作的输入中,会会造成 Error Propagation一步错步步错⇒ 解决Teacher Forcing技术 但是测试的时候 显然没有正确答案可以给 Decoder 看 由于 Teacher Forcing的存在训练跟测试的情景不一致。Decoder 在训练的时候永远只看过正确的东西但是在测试的时候仍然会导致一步错、步步错。
解决给 Decoder 的输入加一些错误的东西 ⇒ Scheduled Sampling但是也会一定程度损害平行化的能力 B、Non-autoregressive (NAT) decoder ① 特点NAT 不是依次有序进行 decoder 工作并挨个输出而是一次性在输入时赋予 整个句子 一整排的 “ BEGIN ” 标识把整个句子的 decoder 结果一次性都输出 ② 思路如何确定BEGIN的个数
另外训练一个 Classifier输入 Encoder 的 Input vector输出是一个数字代表 Decoder 应该要输出的长度给它若干个 BEGIN 的 Token比如输出句子的最大长度不超过 300就给 input 300 个 BEGIN token然后就会相应地一次性输出 300 个字遇到有输出 END 时表示这个句子输出结束但是可能会比较耗费内存空间
③ 好处
并行化。NAT 的 Decoder 不管 input 句子的长度大小都是一次性输出完整的句子结果所以在执行速度上 NAT 的 Decoder 比 AT 的 Decoder 要快容易控制输出长度。
④ 应用 常用在语音合成例如利用其中一个 决定 NAT 的 Decoder 应该输出的长度的 Classifier我们可以通过设置这个输出长度的大小以调整语音的速度。如果要让输出的语音讲快一点就把 Classifier 输出的长度数值 除以 N它讲话速度就变成 N 倍速同理如果想要合成的语音变为慢速就把 Classifier 输出的长度数值乘 N 倍
⑤ 缺点虽然 NAT 看起来有很多优点尤其是并行化但是 NAT 的 Decoder 实际上 Performance 往往都不如 AT 的 Decoder。为什么NAT 没有 AT 实际效果好 ⇒ Multi-Modality 参考链接
