营销型网站建设必须的步骤包括,好用的微信公众号编辑器,浙江建设职业技术学院招生网站,榆林网络公司建设网站一、研究背景 1.现有deepfake检测方法大多关注于局部伪影或面部不协调#xff0c;较少挖掘局部区域间的关系。 2.现有关系挖掘类的工作往往忽略了关系信息的传播。 3.遮挡建模在减轻信息冗余的同时促进高级语义信息#xff08;诱导性偏差较小#xff09;的挖掘#xff0c;有…一、研究背景 1.现有deepfake检测方法大多关注于局部伪影或面部不协调较少挖掘局部区域间的关系。 2.现有关系挖掘类的工作往往忽略了关系信息的传播。 3.遮挡建模在减轻信息冗余的同时促进高级语义信息诱导性偏差较小的挖掘有助于提升网络的泛化性能。
二、研究动机 1.Deepfake技术会单独操纵视频中的每一帧伪造结果缺乏时间连贯性。基于视频的检测技术更加关注相邻帧之间的时间不连贯性和时空不一致性可降低对空间伪影的依赖并提升泛化性能。 2.将关系特征作为一种泛化模式可以提升检测性能但大量的冗余关系信息会阻碍信息的表达。遮挡建模能减少信息的冗余迫使模型习得更具泛化性的内在特征。
三、研究目标 从区域级关系中学习通用的鉴别性特征减轻对视觉伪影的依赖。
四、技术路线
本文将deepfake检测任务定义为图分类问题每个面部区域作为一个图的结点并对结点间的关系进行建模。对部分关系进行屏蔽减少冗余并促进模型对全局结构的感知实现在无监督的情况下定位面部伪造区域。
1.时空注意力模块STA 学习不同面部区域的注意力特征。
将特征图 F 0 t F_{0}^t F0t转换为注意力图 F A t F_{A}^t FAt用注意力图强调特征图得到注意力特征图 F t F^t Ft对注意力特征图进行平均归一化得到注意力特征向量 V t V^t Vt 设置正交多样性损失 L o d L_{od} Lod使不同注意力特征向量关注不同面部信息T为视频片段划分数量 V t ∈ R N ∗ C V^t\in \mathbb{R}^{N*C} Vt∈RN∗C N N N为注意力头数量 I I I为单位阵(4)使不同注意力头的输出差异尽可能大 设置时间一致性损失 L t c L_{tc} Ltc使每个注意力头在时间维度上追踪各自区域(5)使相邻帧之间的注意力向量保持一致
2.遮挡关系学习模块MRL 屏蔽部分区域间的相关性以减少信息冗余以此促进对本质特征的学习并捕获全局视角下的不规则关系。 最小屏蔽策略计算门限值 q q q p p p为预定义参数 随机屏蔽策略根据伯努利分布采样 η \eta η 利用TGCN捕获不规则关系TGCN由GCN和GRU构成 对特征关系图进行图卷积计算 对隐藏层进行图卷积计算 更新隐藏层 3.特征分类 4.损失函数 5.算法流程 五、实验结果 Although our method has sub-optimal performance on FF(HQ), it outperforms state-of-the-art approaches on detecting unseen deepfake datasets. Strong generalization ability is one of the pursuits of deepfake detection. Our method effectively promotes the generalization ability of detectors. Hereby we localize the fake regions by Grad-CAM in Fig. 9. We observe that our method can highlight the fake regions of manipulated faces. For instance, NeuralTextures only modifies the mouth region
