公司管理系统网站,分类信息网站做推广,高性能的网站建设指南,建设外贸网站案例视觉里程计#xff08;Visual Odometry, VO#xff09;是通过处理图像序列#xff0c;估计摄像头在时间上的相对位姿变化的技术。它是视觉SLAM的重要组成部分之一#xff0c;主要通过提取图像中的信息#xff08;如特征点或直接像素强度#xff09;来实现相机运动估计。以…视觉里程计Visual Odometry, VO是通过处理图像序列估计摄像头在时间上的相对位姿变化的技术。它是视觉SLAM的重要组成部分之一主要通过提取图像中的信息如特征点或直接像素强度来实现相机运动估计。以下从特征点法、2D-2D对极几何、三角测量、3D-2D的PnP方法、3D-3D的ICP方法介绍视觉里程计的核心内容。
特征点法
特征点法是视觉里程计的经典方法通过提取图像中的显著特征点计算特征点之间的匹配关系进而估计相机的运动。
特征点法简介
原理提取图像中显著的特征点并通过特征点的匹配关系推断相机运动。流程 提取图像特征点。描述特征点并计算特征点匹配关系。通过特征匹配估计相机运动后续结合几何关系。
ORB特征
ORBOriented FAST and Rotated BRIEF是一种高效的特征点提取和描述方法常用于特征点法中。 ORB特征点提取基于FAST角点结合图像金字塔提取多尺度特征点。ORB描述子使用BRIEF描述子特征点局部的二值编码加快特征匹配。优势ORB特征兼具高效性和鲁棒性且能处理旋转和尺度变化。
特征匹配
常用匹配算法 暴力匹配直接计算每对特征点描述子的距离如欧氏距离、汉明距离效率低。KNN匹配为每个特征点找到最近的几个邻居并通过比值测试筛选最佳匹配。 关键点均匀化通过八叉树等方法均匀分布特征点避免密集区域的冗余。
2D-2D对极几何
在特征点匹配基础上2D-2D对极几何用于计算相机间的相对位姿。
对极约束
定义在两幅图像中某点 1 的匹配点 2 必定满足对极约束 p 2 ⊤ F p 1 0 \mathbf{p}_2^\top\mathbf{F}\mathbf{p}_10 p2⊤Fp10 其中 是基础矩阵描述两图像之间的几何关系。
本质矩阵
当相机的内参已知时基础矩阵 可转化为本质矩阵 E K ⊤ F K \mathbf{E}\mathbf{K}^\top\mathbf{F}\mathbf{K} EK⊤FK 其中 是相机的内参矩阵。
单应矩阵
对于静止的平面场景匹配点间也可以通过单应矩阵 建立关系 p 2 H p 1 \mathbf{p}_2\mathbf{H}\mathbf{p}_1 p2Hp1本质矩阵 vs 单应矩阵 本质矩阵适用于一般场景包含视差信息。单应矩阵适用于平面场景或无视差运动易退化。
位姿分解
通过分解本质矩阵 可恢复相机的相对位姿旋转矩阵 和平移向量 。
三角测量
三角测量是从两帧图像中匹配的特征点恢复3D点坐标的关键技术。
原理
给定特征点在两帧图像中的投影位置 p 1 , p 2 \mathbf{p}_1,\mathbf{p}_2 p1,p2以及相机的内参和位姿 ,通过以下方式恢复3D点 P Triangulate ( p 1 , p 2 , R , t ) \mathbf{P}\text{Triangulate}(\mathbf{p}_1,\mathbf{p}_2,\mathbf{R},\mathbf{t}) PTriangulate(p1,p2,R,t)基于几何投影模型通过线性方程或非线性优化求解3D点坐标。
验证三角化结果
测量点是否位于相机前方。计算重投影误差是否足够小。
3D-2D: PnP问题
PnPPerspective-n-Point问题是已知3D点和对应的2D投影求解相机位姿的问题。
直接线性变换DLT
基于线性方程求解相机的位姿 p i K [ R ∣ t ] P i \mathbf{p}_i\mathbf{K}[\mathbf{R}|\mathbf{t}]\mathbf{P}_i piK[R∣t]Pi通过线性求解快速但精度不高。
P3P方法
给定3对3D点和2D点的匹配关系利用几何关系直接求解位姿。通常结合RANSAC算法剔除外点提高鲁棒性。
最小化重投影误差
通过非线性优化最小化重投影误差以提高精度 x ∗ arg min x ∑ i ∥ p i − h ( P i , x ) ∥ 2 \mathbf{x}^*\arg\min_\mathbf{x}\sum_i\|\mathbf{p}_i-h(\mathbf{P}_i,\mathbf{x})\|^2 x∗argxmini∑∥pi−h(Pi,x)∥2 其中 ℎ(⋅) 是投影函数。
3D-3D: ICP方法
3D-3D配准问题是已知两组3D点云求解它们之间的刚体变换旋转矩阵 和平移向量 。
SVD方法
基于点云的最近邻匹配构造误差函数 E ( R , t ) ∑ i ∥ q i − ( R p i t ) ∥ 2 E(\mathbf{R},\mathbf{t})\sum_i\|\mathbf{q}_i-(\mathbf{R}\mathbf{p}_i\mathbf{t})\|^2 E(R,t)i∑∥qi−(Rpit)∥2 其中 p i \mathbf{p}_i pi和 q i \mathbf{q}_i qi 是两帧中的对应3D点。使用奇异值分解SVD求解最优刚体变换。
非线性优化方法
在初始位姿的基础上利用非线性优化方法如高斯-牛顿或LM算法进一步减少误差提高精度。优化目标最小化点到点或点到平面的距离误差。
总结
视觉里程计通过特征点法提取信息结合几何约束2D-2D对极几何、三角测量估计相机位姿并通过PnP3D-2D和ICP3D-3D实现更复杂场景下的位姿求解。这些方法构成了视觉里程计的核心技术体系为SLAM中的前端跟踪提供了坚实的数学基础和实现方案。
