上海市建设厅网站,南昌seo代理商,化妆品网站建设可行性报告,免费网站建设浩森宇特中国移动研究院首席科学家冯俊兰博士带领人工智能与智慧运营中心语音团队共同撰写的文章《Meta Auxiliary Learning for Low-resource Spoken Language Understanding》被语音国际顶会Interspeech2022接收。
关于Interspeech
Interspeech 是国际最大且最全面关于言语科学与技…中国移动研究院首席科学家冯俊兰博士带领人工智能与智慧运营中心语音团队共同撰写的文章《Meta Auxiliary Learning for Low-resource Spoken Language Understanding》被语音国际顶会Interspeech2022接收。
关于Interspeech
Interspeech 是国际最大且最全面关于言语科学与技术的盛会由国际语言交流协会International Speech Communication Association主办与ICASSP并列为语音领域两大顶级会议。 论文摘要
口语语义理解SLU将自动语音识别ASR和自然语言理解NLU视为一个一体化任务通常存在数据不足的问题。我们提出一种基于元辅助学习的ASR和NLU联合训练方法通过仅利用丰富的语音识别标注数据来改善低资源SLU任务的性能。该方法提供了一个灵活的框架来实现低资源SLU训练任务无需语义标签参与进一步训练。具体而言我们将NLU模型作为标签生成网络从文本中预测意图和槽位信息另一方面构建多任务网络基于语音同步训练ASR任务和SLU任务将标签生成网络的预测值作为语义标签传递给多任务网络中的SLU任务从而实现在没有语义标签情境下的SLU训练。在公共数据集CATSLU上的实验证明了该算法的有效性该方法生成了更适合下游任务NLU的ASR假设。
01 背景
口语语义理解SLU将ASR和NLU联合训练需要大量包含语义标签的语音数据才能取得理想的效果。一种解决方法是基于迁移学习的方式基于大规模预训练模型弥补低资源语言语料不足的缺陷或采用老师-学生模型将资源相对丰富的NLU模型蒸馏给SLU模型。另一种解决方法是采用语音合成的方式构建语音-语义数据对从而实现对数据进行增广。还有一种方法是引入额外信息作为新的输入或者辅助任务。辅助任务或多任务的方式仍然需要辅助任务的标签才能进行训练。
我们提出了基于元辅助学习MAXLMeta AuXiliary Learning的SLU建模方案避免了SLU训练过程中语义标签的参与。
02 模型与方法 图一 基于MAXL的SLU建模
如图一所示我们提出的模型包含两部分1多任务网络同步学习ASR和SLU两个任务2标签生成网络NLU为SLU任务预测语义标签。多任务网络的输入是语音信号NLU网络的输入是语音内容的文本标注语音识别标注文本。NLU的输出为语义预测结果通过接口层的处理传递给SLU输出层作为预测目标。在推理阶段由于接口层使输出结果可导的处理使SLU无法直接输出可读的结果因此我们将ASR的预测结果1-best输入给NLU模型得到最终的语义预测。这样建模的ASR结果更适用于下游任务NLU同时NLU模型性能也得到提升。
2.1 接口层
标签生成网络的输出是由一系列“意图-槽位键-槽位值”三元组组成的列表长度不固定且无法预置。但多任务网络的输出长度需要每个批次固定。另一方面标签生成网络的输出需要支持梯度回传从而实现标签生成网络的更新。因此在输出端softmax之后不能进行取最大值操作因为这样会破坏网络求梯度。我们从两个方面考虑了接口层的设计定长和可导。
如表1所示 List“[[intent-slot-value]1,[intent-slot-value]2,...]”NLU网络的最终输出格式为三元组列表不定长且不可导。 Sequence: “value1 value2 ...”槽位值序列可以设计为定长但是梯度仍无法回传。 NER tag: “[1 1 0 1 1 1]”键值词的位置为1非键值词为0长度与序列长度相等但不支持可导。 Softmax每个槽位值使用softmax输出可导但定长仍然无法满足。 Sum of softmaxsotfmax输出延槽位数量维度进行求和实现定长且可导。 Append intent and slot types: 在每个槽位值前面补充上意图和槽位键分布同样可导且定长。
表1两个网络之间接口类型及其属性 2.2 模型训练
模型训练分为两步在每个epoch内部首先进行普通多任务学习的训练ASR标签为人工标注的语音内容SLU标签为NLU预测的结果。这一步骤使ASR更关注语义相关的部分。损失函数为 其中i为批次索引x为语音输入y_asr为语音识别文本标签theta1为多任务网络f的参数theta2为标签生成网络g的参数。
第二步为NLU网络的更新通过ASR的损失实现。由于二阶导数的存在引入Firstorder算法进行近似求解从而使网络学习速度提升4~6倍。损失函数为 其中K为NLU输出维度N为批大小。
03 实验结果
我们首先对比了所提方法与其他方法如表2所示基线系统ASR由6000小时普通话训练得到NLU模型由CATSLU-MAP文本训练。可以看到基线系统由于ASR识别结果不理想导致NLU的F1-score也偏低。端到端训练使ASR和NLU性能均得到一定提升。使用CATSLU-MAP数据微调ASR模型可以使CER显著降低F1值绝对提升4.33%。MAXL是标准元辅助学习的算法First-order是采用加速训练的结果可以看到二者均获得了较好的NLU预测结果。最后为了进一步验证NLU的性能我们对比了直接用真实语义标签进行多任务学习的结果可以看到First-order仍然取得了相当的结果这一方面验证了NLU作为标签预测器是可信的另一方面也验证了用ASR损失训练NLU是有正向收益的。
表2本文方法与其他方法对比 由表2我们看到即使ASR性能提升有限NLU性能也有可能获得较大提升这说明ASR输出更适于下游NLU任务了。为了进一步验证该结论我们采用训练集得到的ASR输出重新训练了NLU由表3可以看到该NLU性能已经和用人工标注的ASR文本训练得到NLU性能相似表2Fine-tuned。
表3训练集ASR性能CER和NLU性能 表4我们对比了不同接口的性能可以看到几种接口性能接近但是可导的接口inter3inter4仍然可以获得较好的性能而且NLU预测网络性能的提升也说明该网络即使没有语义标签也从多任务网络的学习中得到了收益。
表4不同接口性能对比。
Inter1, Inter2, Inter3, Inter4分别表示Sequence、NER tag、Sum of softmax、Append intent and slot types 表5显示出预训练对模型的影响可以看到ASR和NLU有预训练模型会取得更优的效果尤其NLU模块预训练起极其关键的作用。
表5未使用预训练模型结果 为了验证该方法在无标数据的作用我们只使用了一半带语义标签的文本数据进行NLU模型预训练剩余一半进行无语义标签的MAXL训练。由表6可以看出在没有语义标签参与训练的情况下模型语义预测性能仍能得到提升。
表6只使用一半语义标签进行NLU模型预训练另一半进行无语义标签的MAXL训练结果 04 总结
本文提出了一种基于MAXL的SLU建模方案用于降低模型对带语义标签的语音数据的需求。ASR和NLU的联合训练提高了ASR的质量并成功实现从有监督任务中为无监督任务提取知识实现没有语义标签参与训练时NLU性能提升。该结果与我们的假设相一致即ASR和NLU之间的作用是双向的ASR输出会影响NLU性能同样NLU预测结果也应该反馈给ASR去引导它的预测。下一步我们将尝试将该方法用于更多数据集以及更复杂的网络结构。
供稿 | 九天语音团队
