在家做网站维护兼职,公众号登录微信公众号登录,wordpress对接静态网页,广告设计排行榜《论文阅读》通过顺序不敏感的表示正则化实现稳健的个性化对话生成 ACL 2023 前言 相关个性化生成论文推荐简介问题定义方法损失函数实验结果 前言
亲身阅读感受分享#xff0c;细节画图解释#xff0c;再也不用担心看不懂论文啦~ 无抄袭#xff0c;无复制#xff0c;纯手… 《论文阅读》通过顺序不敏感的表示正则化实现稳健的个性化对话生成 ACL 2023 前言 相关个性化生成论文推荐简介问题定义方法损失函数实验结果 前言
亲身阅读感受分享细节画图解释再也不用担心看不懂论文啦~ 无抄袭无复制纯手工敲击键盘~
今天为大家带来的是《Towards Robust Personalized Dialogue Generation via Order-Insensitive Representation Regularization》 出版ACL
时间2023
类型个性化对话生成
特点个性化回复生成鲁棒性表示正则化
作者Liang Chen
第一作者机构The Chinese University of Hong Kong
相关个性化生成论文推荐 论文 《论文阅读》Learning to Know Myself: A Coarse-to-Fine Persona-Aware Training for Personalized Dialogue Generation 注重让模型捕获个性化信息如通过问题生成个性化信息利用对比学习构造相关但不一致的个性化信息作为负样本提高模型捕获回复中关键个性化 Token 的能力【个性一致性】 论文 《论文阅读》具有人格自适应注意的个性化对话生成 AAAI 2023 认为生成个性化回复的关键是需要平衡上下文和个性化信息由此提出利用个性化适应的注意力Persona-Adaptive AttentionPAA来适应性地调整两者之间的权重此外一个动态地掩码矩阵用于去除冗余的信息并进行正则化处理以防过拟合【权衡个性化信息和上下文】
简介
生成个性化一致性回复是至关重要的过往的方法只是将个性化信息进行简单地拼接然而作者通过实验分析发现个性化信息输入模型的顺序会产生相差较大的结果为了避免模型对顺序过于敏感本文提出一种对顺序不敏感的生成方法限制的优化方法 如上图所示不同的 Persona 对于生成的结果有较大的影响紫色框的回复明显比蓝色框的回复更具有一致性 更具体的实验数据可以从上表中看出作者将个性化信息所有可能的结果拼接上上下文依次输入到模型中将最好的结果和最差的结果分别记录下来由此得知the ordering of persona in the input leads to different representations of context and response
问题定义 方法
作者将个性化优化问题转化为在不确定个性化信息输入顺序的情况下优化个性化模型 具体做法就是将不同的个性化顺序输入模型后使得输出的表示彼此之间差异不大理想情况下不管什么输入顺序最后都能输出相同的表示
损失函数 γ \gamma γ 是一个乘数可以随着训练过程进行更新
实验结果 从实验结果可以看出使用ORIG之后提高了最差顺序的表现降低了最好顺序的表现总体来说就是提高了均值和方差
