做网站起什么名字好呢,网站内做关键词连接,山东网站制作软件,镇江网友之家百姓话题体积占用网格表示对点进行体素化#xff0c;然后使用3d卷积神经网络来学习体素级语义。由于点云的稀疏性#xff0c;体素化效率低#xff0c;为避免较高的计算成本而忽略了细节。此外#xff0c;由于同一体素内的所有点都被赋予了相同的语义标签#xff0c;因此精度受到限…体积占用网格表示对点进行体素化然后使用3d卷积神经网络来学习体素级语义。由于点云的稀疏性体素化效率低为避免较高的计算成本而忽略了细节。此外由于同一体素内的所有点都被赋予了相同的语义标签因此精度受到限制。为了利用传统的那些2D分割框架尝试将3D空间从多角度映射到二维空间然后分割完成后再投影回去然而重新投影回3d空间也是一个重要的问题。
非结构化点云的 3d 语义分割存在的问题
1.大规模点云数据
2.不规则形状
3.非均匀密度 Pointnet
PointNet是第一个直接处理原始点云的方法。只有全连接层和最大池化层PointNet网络在推理速度上具有强大的领先优势并且可以很容易地在CPU上并行化。
困难
由于点云不是常规数据格式通常将此类数据转换为规则的 3D 体素网格或图像集合然后再用神经网络进行处理。数据表示转换使生成的数据过于庞大。 应对点云的无序性有三种方案 方案1排序
高维空间的排序不可稳定。 方案2假如有N个点N种排列训练一个RNN。
2015年《Order Matters: Sequence to sequence for sets》证明RNN网络对序列的排序还是有要求的。 方案3设计对称函数因为输入顺序对于对称函数没有影响。比如加法、乘法
PointNet使用的最大池化是对称函数。
Pointnet的解决方法
训练一个正交矩阵将点云对齐 使用单个对称函数 max pooling。 限制
PointNet架构有两个限制将其性能限制在更大、更复杂的点云上。一方面只集成了点特征和池化的全局特征无法捕获相邻点所代表的局部结构。另一方面首先将点云细分为小体积块每个块都是独立预测的没有任何连接。因此点网的整体精度在复杂场景中受到限制。 PointNet
PointNet 没有捕捉到由现场的度量空间点引起的局部结构限制了其识别细粒度模式和对复杂场景的泛化能力。
Pointnet可以通过一组稀疏的关键点来总结输入点云这些关键点大致对应可视化骨架。PointNet 对输入点的小扰动以及点插入异常值或删除缺失数据损坏具有高度鲁棒性。 点集通常以不同的密度进行采样这导致在均匀密度上训练的网络的性能大大降低我们提出了一种新的集合学习层来自适应地组合多个尺度的特征。
为了实现这一目标提出了密度自适应点网层当输入采样密度发生变化时这些点网层可以学习组合来自不同尺度区域的特征。具有密度自适应点网层的分层网络称为pointnet。 PointNet的设计必须解决两个问题:如何生成点集的划分以及如何通过局部特征学习器抽象点集或局部特征。
2种方案 (a)多尺度分组(MSG);(b)多分辨率分组(MRG) PointSIFT
PointSIFT是在pointnet的基础上改进的引入了尺度不变特征变换。 八叉树
八叉树Octree的定义若不为空树的话树中任一节点的子节点恰好只会有八个或零个也就是子节点不会有0与8以外的数目。
八叉树在3D空间中可以很快地知道物体在3D场景中的位置。 八叉树算法的算法实现简单但大数据量点云数据下其使用比较困难的是最小粒度叶节点的确定。 3D-RNN 为了捕捉局部特征使用步长为1 的金字塔池化。
方式1步长固定、窗口大小不同
方式2 窗口大小固定不同步长 采用双向RNN具体来说首先将点云沿两个水平方向(即x和y)细分为部分重叠的块。椅子通常在桌子附近窗户通常在墙内。
