网站建设的销售术语,网站开通,我想做,淮阴网站建设本文用大量的理论论述了基于解纠缠约束优化的域泛化问题。
这篇文章认为以往的文章在解决域泛化问题时所用的方法都是non-trivial的#xff0c;也就是说没有作严格的证明#xff0c;是不可解释的#xff0c;而本文用到大量的定理和推论证明了方法的有效性。
动机
因为域泛…本文用大量的理论论述了基于解纠缠约束优化的域泛化问题。
这篇文章认为以往的文章在解决域泛化问题时所用的方法都是non-trivial的也就是说没有作严格的证明是不可解释的而本文用到大量的定理和推论证明了方法的有效性。
动机
因为域泛化问题是通过在多个源域上训练模型使模型能在目标域上获得好的效果所以域泛化问题本质上是学习一个好的域不变语义表示模型。因此本文提出了一个解耦网络把样本解耦成变化特征和语义特征变化特征和语义特征是什么意思呢这个之后会详细说明用生成器辅助语义编码器使语义编码器能学习到域不变表示。
怎么实现域泛化
把样本分解成Variation特征和Semantic特征。Variation可以看成是风格特征Semantic可以看成是内容特征。 通过把样本的内容和风格分离让Semantic编码器学习域不变表示。
具体做法
输入一组样本数量有限的数据这些数据可以来自不同源域Variation Encoder学习Variation特征也就是风格特征比如图中学习的是旋转角度与内容无关Semantic Encoder学习语义特征也就是类别特征与域无关 因此两个Encoder实现了风格和类别的解耦。Generator生成带有V的风格和S类别的样本 把一个样本xi输入到Semantic Encoder中把另一个样本xj输入到Variation Encoder中这俩样本可能不是同一个域让Generator学习生成带有V的风格和S类别的样本
Semantic Encoder与Generator本来是对抗关系 也就是训练Decoder使损失尽可能大训练Semantic Encoder使损失尽可能小但这篇文章没有用到复杂的生成对抗损失而是转换成了计算简单的约束优化问题
如何理解约束优化公式
约束条件的含义同分布样本xx’ 经过fs和fv输出向量concat后输入generator里输出的样本与原始输入到fs里的样本x的距离要小于一个约束y
对约束优化公式的解释 我们先不看约束条件。假设没有约束条件就是一个最简单的交叉熵损失解决分类问题。那么学习到的fs(θ)既考虑到了内容信息也考虑到了风格信息所以没有域泛化的特点。
那么怎么才能实现域泛化给该损失添加一个约束。根据定义1下面有解释可知如果x与x’同分布Decoder就会生成x这样就满足约束条件。而定义1的成立是在fs对于所有的域都具有不变性的前提下的见定义1。如果fs只考虑当前域Decoder生成的结果就会偏离x就会不满足约束条件。因此这个约束条件就把fs限制住了让它对于所有域都具有不变性。
综上得知约束优化的含义在保证fs对于所有域都具有不变性的前提下约束条件使fs在当前域有一个正确的输出标签损失函数。 那么问题又来了如何训练Decoder保证向量充分解耦时才能得到正确的输出暂时还没看
损失函数及训练过程
损失函数就是上面约束优化公式的变体其中第一项是约束优化公式中的交叉熵损失第二项就是约束条件由于约束优化问题在边界取得最值所以直接让d()-y逼近0即可满足约束条件。 有个问题xi和xj不一定是同一个域的啊
[27]表明在某些条件下即使是标准的经验风险最小化也可能优于许多最近提出的模型。 以更小的计算量实现了更好的效果。
以下这些定理推论主要目的是推出公式5
1、基于解纠缠的不变性x和x’分别是semantic和variation的输入如果x和x’同分布那么Generator的输出x
2、基于解纠缠的域迁移无论x与x’是否同分布x输入semantic的分布与Generator输出的X经过semantic的分布是相同的
