酒店网站建设注意什么,谷歌广告优化,广东快速做网站公司哪家好,中国室内设计公司排名榜目前大多数NeRF模型要么通过使用大型模型来实现高精度#xff0c;要么通过牺牲精度来节省内存资源。这使得任何单一模型的适用范围受到局限#xff0c;因为高精度模型可能无法适应低内存设备#xff0c;而内存高效模型可能无法满足高质量要求。为此#xff0c;本文研究者提… 目前大多数NeRF模型要么通过使用大型模型来实现高精度要么通过牺牲精度来节省内存资源。这使得任何单一模型的适用范围受到局限因为高精度模型可能无法适应低内存设备而内存高效模型可能无法满足高质量要求。为此本文研究者提出了SlimmeRF一种在测试阶段随时即不需要对模型进行重新训练通过动态压缩实现模型大小与精度之间权衡的模型从而使模型同时适用于不同计算预算的场景。实验结果显示SlimmeRF在不进行动态压缩时能够达到 SOTA 级别的精度同时动态压缩时的效果明显好于基于 TensoRF 的基准模型。 论文题目 SlimmeRF: Slimmable Radiance Fields 论文链接https://arxiv.org/abs/2312.10034 代码链接 GitHub - Shiran-Yuan/SlimmeRF: Official implementation for SlimmeRF: Slimmable Radiance Fields 01. 简介
辐射场Radiance Fields是一种通过神经网络等方法对3D场景进行建模的方法。我们观察到在实际应用中往往存在一个问题效果较好的辐射场模型会对内存等资源要求较高因此难以应用于资源较为稀缺的应用场景相反比较节省内存资源、算力资源等的模型则可能效果不佳。
因此当需要训练能够兼容高负载能力与低负载能力环境的模型时就只能采用后者因为前者无法在低负载能力环境中运行。然而实际情况是往往高负载能力的环境也有较高对模型效果的需求而低负载能力的环境则对模型效果需求不高因此前述的方法不符合高负载能力环境下的需求。因此如果能够训练出能够在高负载能力环境下取得极佳效果同时在低负载能力环境下也能牺牲效果成功运行的模型就可以同时满足这两种需求。
为了解决该问题本文提出应当让辐射场模型能够拥有可动态压缩性Slimmability。我们提出的 SlimmeRF 模型基于低秩张量近似Low-Rank Tensor Approximation对场景进行建模在不被动态压缩Slim的情况下建模精度能够达到 SOTA 等级同时还能在测试阶段随时即不需要对模型进行重新训练通过动态压缩减小模型大小牺牲精度来满足更严格的环境负载能力要求。
技术方面我们受张量辐射场TensoRF启发利用矩阵-向量张量分解VM 分解Vector-Matrix Tensor Decomposition建模3D场景的密度Density与外观Appearance。同时为了使模型中的张量具备可进行低秩张量近似的性质我们提出了张量增秩算法TRaIn, Tensorial Rank Incrementation用于进行训练。实现中我们在训练时通过对张量进行遮罩Masking来模拟张量秩的变化而测试时直接对分解后的成分Factors进行截断Truncation。
实验结果显示SlimmeRF 中张量分解成的不同成分间出现了“分工”由对应秩较低的成分对于大致轮廓、颜色等进行建模而对应秩较高的成分则对于细节进行建模。我们的模型在不进行动态压缩时能够达到 SOTA 级别的精度这一点许多其他可压缩与低内存消耗模型都无法做到同时动态压缩时的效果明显好于基于 TensoRF 的基准模型Baseline。我们还在稀疏输入Sparse Input的场景下进行了实验发现 SlimmeRF 的可动态压缩性提升了很多并且在特定视角下效果好于专门用于稀疏输入的模型。 我们的 SlimmeRF 模型只需训练一次就可以在测试时根据需要实现不同的压缩程度 02. 方法 SlimmeRF 的模型架构 2.1 问题表述 2.2 张量增秩算法 TRaIn 算法伪代码 实验中观察到的成分间“分工” 2.3 遮罩训练与截断测试 03. 实验
3.1 与 TensoRF 基准对比
我们直接对于使用类似表示结构的 TensoRF 进行截断来作为基准将其结果与参数量相同的 SlimmeRF 进行对比定量、定性结果分别如下图所示。可以看到我们的模型效果明显远好于基准说明了 TRaIn 算法的作用。 更详细实验结果参见论文附录 B.1 3.2 与 SOTA 模型对比
我们与 SOTA 模型 Plenoxels、DVGO、TensoRF 进行了对比定量结果如下表所示。与 TensoRF 的定性对比如下图所示。结果说明我们的模型在不进行动态压缩时能够达到 SOTA 级的效果不会以牺牲效果为代价只有在进行动态压缩后才会牺牲效果。 3.3 与可压缩模型/低内存消耗模型对比
我们将 SlimmeRF 与 TensoRF、CCNeRF、MWR (Masked Wavelet Representation)、TinyNeRF、PlenVDB 等以可压缩或低内存消耗为主要优势的模型进行了对比结果如下图所示。其中除了 CCNeRF 以外均没有可动态压缩性仅仅作为参考。 3.4 稀疏输入实验
我们将 SlimmeRF 与用于稀疏输入场景的 SRF、PixelNeRF、MVSNeRF、mip-NeRF、DietNeRF、Reg-NeRF 等模型进行了对比定量结果如下表所示。与 Reg-NeRF 在一些视角下的定性对比如下图所示。SlimmeRF 并不是稀疏输入模型没有对场景的几何构造进行重建因此效果并没有稳定超越其它方法但定性实验表明SlimmeRF 在稀疏输入场景下效果很好在特定视角下甚至可以超越专用于稀疏输入场景的模型同时定量结果表明SlimmeRF 在稀疏输入场景下可动态压缩性极佳在模型大小缩小时效果不会变差很多甚至在输入视角较少的时候会出现模型大小越小模型效果越好的情况。 更详细实验结果参见论文附录 B.2 3.5 消融实验与参数敏感性分析 3.6 与BCD基准对比
我们尝试实现了基于前述 BCD 算法的模型但训练过程中模型损失与精度浮动极大因此我们没有获得可展示的结果。这体现出了我们采用原创算法进行训练的必要性。
04. 结语
我们工作的主要贡献在于提出并实现了神经辐射场的可动态压缩性Slimmability同时为神经辐射场研究提供了低秩张量近似与秩增训练的新思路。在未来我们会进一步将这一工作拓展到4D等其它场景并将其应用化。 关于TechBeat人工智能社区
▼ TechBeat(www.techbeat.net)隶属于将门创投是一个荟聚全球华人AI精英的成长社区。 我们希望为AI人才打造更专业的服务和体验加速并陪伴其学习成长。 期待这里可以成为你学习AI前沿知识的高地分享自己最新工作的沃土在AI进阶之路上的升级打怪的根据地 更多详细介绍TechBeat一个荟聚全球华人AI精英的学习成长社区
