网站建设实验心得,烟台网站改版,万能浏览器免费下载安装,在设计赚钱的网站有哪些【图神经网络】图拉普拉斯滤波器如何实现全通、低通、高通滤波 文章目录【图神经网络】图拉普拉斯滤波器如何实现全通、低通、高通滤波1. 前言2. 符号说明3. 三种滤波3.1 全通滤波3.2 低通滤波3.2.1 平滑信号分析3.2.2 广义拉普拉斯平滑滤波器3.3 高通滤波4. 总结1. 前言
GCN图卷积神经网络。它不同于只用于网格结构数据的传统模型LSTMCNN等。是一种处理广义拓扑图结构的数据深入挖掘其特征和规律的工具。社交网络通信网络蛋白质分子等这里也捎带补充一下广义拓扑图的概念将实体抽象成与大小形状无关的点点之间连接成线形成的图。GCN的发展史如下
2005年Marco Gori等人发表了论文首次提出了GNN的概念在此之前处理图数据的方法是在数据的预处理阶段将图转换为用一组向量表示。这种处理方法会丢失很多的结构信息得到的结果会严重依赖于对图的预处理GNN的提出能够将学习过程直接架构在图数据之上。2009年进一步的阐述了图神经网络提出了一种监督的方法来训练GNN但是早期的研究都是以迭代的方式通过RNN传播邻居消息直到达到稳定的固定状态来学习节点的表示。这种计算消耗极大。2012年CNN在CV上取得了很好的成绩于是开始将卷积应用在GNN中。2013年Bruna等人提出了GCN这时候的GCN是基于频域卷积的。后来又有很多人对它进行改进拓展但是频域卷积在计算时需要同时处理整个图并且需要承担矩阵分解时很高的时间复杂度。2016年Kipf等人将频域卷积的定义简化使图卷积操作能够在空域进行极大提高了图卷积模型的计算效率同时由于卷积滤波的高效性GCN模型在很多图数据相关任务上取得了很好的成绩。之后的近几年里想频域卷积提出的那时候一样更多的基于空域GCN的变体被开发出来。这类方法都统称为GNN。各种GNN模型大大加强了对各类图数据的适应性。2018年该领域不约而同地同时发表3篇综述论文。2019年各大顶级学术会议上GNN占据很大份额。
将来GNN的趋势会只增不减只要我们好好利用它相信能够很好的收获。
2. 符号说明
图数据可以表示为具有节点集 V 和边集 E 的图G VE其中点集Vn|V|是节点数。这些节点是由该特征来描述的。矩阵X∈Rn×f^{n×f}n×f其中 f 为节点特征的维数。G的图结构可以用邻接矩阵A∈Rn×n^{n×n}n×n来描述其中如果节点 i 和节点 j 之间有一条边则为AijA_{ij}Aij 1否则为0。对角度矩阵记为 Ddiagd1···dn其中di∑jAijd_i \sum_j A_{ij}di∑jAij。我们使用A~AI\tilde AAIA~AI 来表示添加了自循环的邻接矩阵和D~DI\tilde DDID~DI。传统的图拉普拉斯矩阵为LD~−A~L \tilde D - \tilde ALD~−A~。然后归一化的邻接矩阵是A~^D~−1/2A~D~−1/2\hat{\tilde{A}} \tilde D ^{−1/2}\tilde A \tilde D ^{−1/2}A~^D~−1/2A~D~−1/2。相应地L~I−A~^\tilde L I − \hat{\tilde{A}}L~I−A~^是归一化对称正半定图拉普拉斯矩阵。
3. 三种滤波
III、A~^\hat {\tilde{A}}A~^、L~\tilde LL~分别对应有全通、低通、高通滤波的算子图卷积核/滤波器**
3.1 全通滤波
公式为ZallIXZ_{all} IXZallIX 全通滤波也即所有的信号都可以通过即不对图信号做处理。
3.2 低通滤波
公式为ZlowA~^XZ_{low} \hat {\tilde{A}} XZlowA~^X 低通滤波本质上就是为了使图上的特征变得光滑。下面进行解释
图学习的基本假设是图上相邻的节点应该是相似的因此在图域上的节点特征应该是平滑的。本节首先解释了平滑的意思然后给出了广义拉普拉斯平滑滤波器的定义并证明了它是一个平滑算子最后回答了如何设计一个最优的拉普拉斯平滑滤波器。
3.2.1 平滑信号分析
从图信号处理的角度来解释平滑开始。以 x∈Rnx\in R^nx∈Rn 作为图上的信号节点 iii 的信号就是一个标量也就是xix_ixi。滤波矩阵为HHH为了测量图信号xxx的平滑度可以计算出图的拉普拉斯算子 LLL (LD−AL D - ALD−A)和 xxx 上的瑞利商 这个商实际上是xxx的标准化方差分数。如上所述平滑信号应该在相邻节点上分配相似的值。因此瑞利商越低则图上的信号越平滑。
考虑图拉普拉斯LUΛU−1LUΛU^{−1}LUΛU−1的特征分解其中U∈Rn×nU \in R^{n\times n}U∈Rn×n包含特征向量Λdiag(λ1λ2⋅⋅⋅λn)Λ diag(λ1λ2···λn)Λdiag(λ1λ2⋅⋅⋅λn)是特征值的对角矩阵。随后可以给出了特征向量 ui∈Uu_i \in Uui∈U的光滑性: 上式表示较平滑的特征向量与较小的特征值相关联即频率较低。因此基于等式基于LLL分解信号xxx基于公式1和2: 其中pip_ipi是特征向量uiu_iui的系数。那么xxx的平滑度就变成了 因此为了获得更平滑的信号滤波器的目标是在保留低频分量的同时滤掉高频分量。由于其高计算效率和令人信服的性能拉普拉斯平滑滤波器经常被用于这一目的保留低频分量的同时滤掉高频分量。
3.2.2 广义拉普拉斯平滑滤波器
广义拉普拉斯平滑滤波器定义为 其中kkk是实值的。采用HHH作为滤波器矩阵滤波后的信号 x~\tilde{x}x~ 被表示为: 因此为了实现低通滤波频率响应函数1−kλ1−kλ1−kλ 应该是一个递减和非负函数。因为需要使特征值 λ 越大对应的p′ipip′i系数就越小这样可以使得图上的瑞丽商变小进而光滑进而实现低通频率低的特征通过频率低也就意味着光滑。 注意该过滤器是不含有参数的。
3.3 高通滤波
公式为ZhighL~XZ_{high} \tilde L XZhighL~X 说完低通滤波高通滤波则与之相反。即不对这个函数进行限制。 此时上述的公式6就变成了 x~HxUΛU−1Up∑i1nλipiui\tilde x Hx UΛU^{-1}Up \sum^{n}_{i1} λ_i p_i u_ix~HxUΛU−1Up∑i1nλipiui 此时uiu_iui 对应的图信号频率越高其特征值 λ 越大这样频率也就越大了从而图上高频信号变多进而实现了高通。
4. 总结
自己的理解罢了可能不太到位有什么想法直接私信我就好
