太原网站开发定制,彩票网站net网站开发,可做市值曲线的网站,买别人做的网站能盗回吗Efficient LoFTR: 高效的 LoFTR#xff1a;具有类似稀疏的速度的半密集局部特征匹配 Efficient LoFTR realtime_demo 0.摘要 \qquad 我们提出了一种新的方法来有效地产生跨图像的半密集匹配。以往的无探测器匹配器LoFTR在处理大视点变化和纹理差的场景下表现出了出色的匹配能力…Efficient LoFTR: 高效的 LoFTR具有类似稀疏的速度的半密集局部特征匹配 Efficient LoFTR realtime_demo 0.摘要 \qquad 我们提出了一种新的方法来有效地产生跨图像的半密集匹配。以往的无探测器匹配器LoFTR在处理大视点变化和纹理差的场景下表现出了出色的匹配能力但效率较低。我们重新审视了它的设计选择并得出了效率和准确性的多重改进。一个关键的观察是由于共享的局部信息在整个特征映射上执行转换是冗余的因此我们提出了一种具有自适应令牌选择的聚合注意力机制以提高效率。 此外我们发现LoFTR的精细相关模块存在空间方差这不利于匹配精度。提出了一种新的两级相关层以实现精确的亚像素对应从而提高精度。 我们的效率优化模型比LoFTR快2.5倍甚至可以超过最先进的高效稀疏匹配管道SuperPoint LightGlue。此外大量的实验表明与竞争对手的半密集匹配器相比我们的方法可以达到更高的精度并具有可观的效率优势。这为大规模或延迟敏感的应用(如图像检索和3D重建)开辟了令人兴奋的前景。 项目地址https://zju3dv.github.io/efficientloftr/。 1.简介 \qquad 最近LoFTR 引入了一种带有transformer的无检测器匹配范式可以在不检测关键点的情况下直接在两个图像之间建立半密集对应关系。借助Transformer机制来捕获全局图像环境和无检测器设计LoFTR表现出强大的匹配具有挑战性的对的能力特别是在纹理较差的场景中。为了减轻计算负担LoFTR采用从粗到细的流水线首先在下采样的粗大特征图上进行密集匹配其中应用了Transformer。然后通过裁剪基于粗匹配的特征块执行特征相关性并计算相关性块的期望值固定粗匹配在一张图像上的特征位置同时在另一幅图像上搜索它们的子像素对应关系。 \qquad 尽管LoFTR的匹配性能令人印象深刻但由于在整个粗糙特征图上执行Transformer的令牌大小较大因此效率有限这严重阻碍了图像检索和SfM 等实际的大规模使用。LoFTR的大量后续工作都试图提高其匹配精度。然而很少有方法专注于无检测器匹配的匹配效率。QuadTree Attention 将多尺度变换与逐渐缩小的注意力跨度相结合以避免在大型特征图上执行注意力。这种策略可以降低计算成本但它也会将单个粗略的注意力过程划分为多个步骤从而导致延迟增加。 \qquad 在本文中我们重新审视了无探测器匹配器LoFTR的设计决策并提出了一种新的匹配算法该算法在进一步提高精度的同时挤出冗余计算以显著提高效率。如图 1 所示与最近的图像匹配方法相比我们的方法实现了最佳的推理速度同时在准确性方面具有竞争力。我们的主要创新在于引入令牌聚合机制进行有效的特征转换并引入两阶段关联层进行对应细化。具体来说我们发现像在LoFTR中那样在整个粗糙特征图上密集执行全局注意力是不必要的因为注意力信息在局部区域是相似和共享的。因此我们设计了一种聚合注意力机制用于对自适应选择的标记进行特征转换该机制明显紧凑有效降低了局部特征转换的成本。 \qquad 此外我们观察到LoFTR的匹配细化阶段可能存在空间差异这是由于存在噪声特征相关性时对整个相关性补丁的期望引起的。为了解决这个问题我们的方法设计了一个两阶段关联层首先在精细的特征斑块上定位像素级匹配和准确的互近邻匹配然后通过在微小斑块内进行局部相关性和期望来进一步细化亚像素级的匹配。 \qquad 在单调估计、相对姿态恢复以及视觉定位等多个任务上进行了广泛的实验以证明我们的方法的有效性。我们的管道将无探测器匹配推向了前所未有的效率比 LoFTR 快约 2.5 倍甚至可以超过目前最先进的高效稀疏匹配器 LightGlue [30]。此外与竞争性的无检测器基线[7,14,15]相比我们的框架可以达到相当甚至更好的匹配精度效率相当高。 \qquad 综上所述本文有以下贡献 • 基于对精度的全面回访具有多个im改进的新的无探测器匹配流水线。• 一种新型的聚合注意力网络用于高效的局部特征转换。• Anovel两阶段相关细化层用于准确和亚像素级的精细对应2. 原理
想了一下还是不翻译论文了简单说一下吧 图2.管道概述 1给定一对图像CNN网络提取粗略的特征图̃FA和ƃFB以及精细特征。 2然后我们通过交错我们聚合的自我注意力和交叉注意力N次将粗糙的特征转换为更具判别性的特征图其中自适应地进行特征聚合以减小每次注意力之前的令牌大小以提高效率。 3将变换后的粗略特征与得分矩阵S相关联然后进行互近邻MNN搜索建立粗略匹配{Mc}。 4为了细化粗匹配通过将变换后的粗特征̃ Ft A ̃ Ft B与骨干特征融合在全分辨率下得到判别性精细特征ˆ Ft A ˆ Ft B。然后将特征块裁剪为每个粗匹配 Mc 的中心。经过两阶段细化以获得亚像素对应Mf。 详细的变压器模块比较。与LoFTR使用特征图的所有标记来计算注意力并诉诸线性注意力以降低计算成本不同所提出的注意力模块首先聚合显著性标记的特征这对于注意力的效率明显更高。然后利用普通注意力来转换聚合特征其中插入相对位置编码以捕获空间信息。转换后的特征被上采样并与原始特征融合形成最终特征。
3. 效果 demo_comparison
