建设网站本地调试,建站工具官网,网站开发去哪学,企业内部网站建设教程Ref-GS: Directional Factorization for 2D Gaussian Splatting
Info 会议 【CVPR 2025】
作者 华中科技大学#xff0c;图宾根大学#xff0c;西湖大学#xff0c;浙江大学#xff1b;华科杨卫教授团队
Github地址 https://github.com/YoujiaZhang/Ref-GS Abstract 在本…Ref-GS: Directional Factorization for 2D Gaussian Splatting
Info 会议 【CVPR 2025】
作者 华中科技大学图宾根大学西湖大学浙江大学华科·杨卫教授团队
Github地址 https://github.com/YoujiaZhang/Ref-GS Abstract 在本文中我们介绍了一种名为Ref-GS的新方法用于2D高斯喷溅中的方向光因子分解这使得光照依赖于视角的逼真外观渲染和精确的几何恢复成为可能。Ref-GS建立在高斯喷溅的延迟渲染基础上并将方向编码应用于延迟渲染的表面有效减少了方向和视角之间的分歧。接下来我们引入了一个球形Mip-grid来捕捉不同水平的表面粗糙度实现了粗糙度感知的高斯阴影。此外我们提出了一种简单而高效的几何-光照因子分解方法通过向量外积将几何与光照连接在集成体积属性时显著减少了渲染器的开销。我们的方法在一系列开放世界场景中实现了卓越的逼真渲染同时也准确恢复了几何形状。
Introduction 视角相关效果如反射与折射是3D重建与渲染的核心要素。尽管计算机图形学的前向渲染技术已研究此类光线-材质交互数十年但神经辐射场NeRF与高斯溅射GS等新兴方法在复杂材质场景重建时仍存在显著的几何与渲染瑕疵。
NeRF及其衍生技术将3D场景表示为辐射点集合仅通过视角方向查询颜色而未考虑光线从光源到相机的传播路径包括反射和折射。为解决这个问题Ref-NeRF采用表面光场渲染技术用集成反射编码替代原有的方向参数化显著提升了镜面反射的真实性和精确度。 在3D高斯溅射3DGS领域直接应用视角方向反射进行颜色查询会带来问题——由于每个图元独立继承模型方向和球谐SH颜色视角变换容易在参数更新时产生偏移。虽然现有方法通过引入平滑约束和高阶视角相关颜色模型改善了反射表面质量但在几何精度方面仍存在不足。然而高斯点云建模镜面反射仍然具有挑战性。
本文提出Ref-GS一种基于延迟渲染与光照分解的2D高斯溅射方向编码新方法能够实现逼真的视角相关效果重建并保持几何精度。与现有将光线颜色视为辐射点积分的方法不同我们通过延迟着色技术在高斯属性混合后才进行视角相关颜色评估并将方向编码仅应用于估计表面有效降低了高斯表示的方向-视角歧义见第4节。实验表明Ref-GS在合成与真实场景中均能生成最先进的新视角渲染效果训练效率与隐式方法相当并能在800×800分辨率下实现实时45 FPS渲染。
Preliminaries 1.高斯溅射
高斯喷溅是一种基于光栅化的高效3D重构和渲染的最新进展。3DGS和2DGS是基于点的表示方法每个点与几何属性即 Σ ∈ R 3 × 3 Σ ∈ R^{3×3} Σ∈R3×3、位置 μ ∈ R 3 μ ∈ R^3 μ∈R3和不透明度 α α α以及球谐SH外观属性 c c c相关联高斯在以 μ μ μ为中心的世界空间中定义 G ( x ∣ μ , Σ ) exp ( − 1 2 ( x − μ ) ⊤ Σ − 1 ( x − μ ) ) (1) \mathcal{G}(\mathbf{x}\mid\boldsymbol{\mu},\boldsymbol{\Sigma}) \exp(-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^\top\boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})) \tag 1 G(x∣μ,Σ)exp(−21(x−μ)⊤Σ−1(x−μ))(1)
其中协方差矩阵被分解为旋转矩阵 R \boldsymbol{R} R 和缩放矩阵 S \boldsymbol{S} S以便于最优化 Σ R S S ⊤ R ⊤ (2) \boldsymbol{\Sigma} \boldsymbol{R} \boldsymbol{S} \boldsymbol{S}^\top \boldsymbol{R}^\top \tag2 ΣRSS⊤R⊤(2)
这里最昂贵的组件是权重 。它是在每个高斯-每个像素的最细粒度下计算的具有顺序敏感性并且需要作为预处理进行排序。然而一旦 被计算出来混合额外的每个高斯值与 _ ci 是非常便宜的。我们将其应用于 _ ni解释为每个高斯椭球体的法向量的最短轴以及 _ ri一个控制其镜面反射强度的每个高斯标量 N ( v ) ∑ i n i G ( Θ i , v ) , R ( v ) ∑ i r i G ( Θ i , v ) (2) N(\mathbf{v}) \sum_{i} n_{i} G\left(\Theta_{i}, \mathbf{v}\right), \quad R(\mathbf{v}) \sum_{i} r_{i} G\left(\Theta_{i}, \mathbf{v}\right) \tag 2 N(v)i∑niG(Θi,v),R(v)i∑riG(Θi,v)(2)
请注意3D高斯的表面定义不明确导致表面重构出现噪声。为了解决这个问题2D高斯喷溅2DGS利用标准表面模型采用二维定向圆盘作为表面元素并通过高斯喷溅实现高质量渲染。具体而言2DGS并不是在像素射线与3D高斯的交点处评估高斯值而是在二维圆盘上评估高斯值并利用显式的射线喷溅交点从而实现透视正确的喷溅 G ( u ) exp ( − u ( r ) 2 v ( r ) 2 2 ) (3) \mathcal{G}(\mathbf{u}) \exp\left(-\frac{u(\mathbf{r})^2 v(\mathbf{r})^2}{2}\right) \tag 3 G(u)exp(−2u(r)2v(r)2)(3)
其中 u ( u ( r ) , v ( r ) ) u (u(r), v(r)) u(u(r),v(r)) 是射线 r r r 与 UV 空间中的原始点之间的交点。此外每个高斯原语都有自己的与视图相关的颜色 c c c 和 SH 系数。对于渲染高斯根据它们的中心进行排序并组合成具有前后 alpha 混合的像素 c ( r ) ∑ i 1 c i α i G i ( u ) T i (4) \mathbf{c}(\mathbf{r}) \sum_{i1} \mathbf{c}_i \alpha_i \mathcal{G}_i(\mathbf{u}) T_i \tag 4 c(r)i1∑ciαiGi(u)Ti(4)
其中 T i T_i Ti 是由 $T_i \prod_{j1}^{i-1} \left(1 - \alpha_j \mathcal{G}_j(\mathbf{u})\right) $ 定义的累积透射率。请注意3DGS 和 2DGS 都是正向过程其中场景直接投影到图像平面上。每个高斯原语在映射到屏幕空间之前被渲染并照亮在对象空间中。然而前向渲染通常倾向于浪费大量片段着色器运行在深度复杂度高(多个原语覆盖相同的屏幕像素)的场景中因为片段着色器输出被覆盖。
延迟渲染
在 3D 计算机图形学中延迟着色 [8] 是一种屏幕空间着色技术旨在显着减少与前向渲染过程相比的着色操作数量。延迟阴影是一种将最密集的渲染操作(如照明计算)推迟到渲染管道中的后期阶段的技术。这种技术涉及两个主要通道。在第一遍中称为几何传递场景被渲染一次以从场景中的对象中捕获各种类型的几何信息。这些数据存储在称为 G 缓冲区的纹理集合中其中包含位置向量、颜色向量、法向量和镜面反射值等信息。因此G 缓冲区用作场景几何存储库可用于后续、潜在的复杂、照明计算。
在第二遍中称为照明传递G缓冲区纹理用于计算场景中的照明。渲染一个充满屏幕的四边形每个片段的照明是使用存储在G缓冲区的几何信息计算的迭代每个像素。此过程将高级片段处理与每个对象的初始渲染解耦允许照明计算直接从 G 缓冲区纹理而不是顶点着色器中提取并根据需要与统一变量进行额外的输入。这允许保持相同的照明计算但通过在填充 G-buffer 之前对其进行后置来优化该过程。
Ambiguity in Directional Query 定向查询的模糊性 在先前的高斯飞溅方法中每个基元的扩散、反射和折射分量使用视点相关的发射辐射进行简化这大大加快了前向渲染过程而不需要每个实例照明评估。然后他们通过反向传播多视图光度损失通过逆渲染框架联合优化发射辐射和几何。
我们观察到这种建模存在严重的表示歧义如图 3 所示显示了三个原语的集成过程。考虑 (a) 中 vanilla 3D 和 2D 高斯飞溅使用的集成处理它使用观察方向查询与视图相关的颜色导致漫反射材料和高频辐照度的强烈偏差通常通过复杂的原始覆盖来假为了处理强反射Ref-NeRF [35] 及其后续 [20, 22] 通过考虑 (b) 中的点法线来利用反射方向作为颜色查询。与 NeRF 中的连续表示不同相邻点的属性相互正则化高斯 Spltting 独立处理每个点。由于SH系数与原始方向的模糊性直接应用反射方向提供了有限的增益即通过改变SH系数可以消除将观看方向转换为反射方向。在实践中由于辐照度在基元之间是独立的并且多个基元有助于目标光线这固有地引入了强烈的歧义从而导致噪声重建。 关键改动用累计的统一法线来计算颜色 Ref-GS 我们的方法旨在重建逼真的与视图相关的效果。我们的方法的概述如图2所示。具体地说我们提出了一个延迟高斯溅射来生成G缓冲区(第5.1节)。然后我们引入了一个方向分解来表示空间变化的视相关效应(第5.2节)和模拟远场照明的多级球面特征网格(第5.3节)。
Deferred Gaussian
我们现在引入了一种新的延迟高斯飞溅方法来解决第 4 节中讨论的歧义问题。由于方向查询的模糊性高斯表示的直接体积积分会导致视图依赖性模糊的影响和噪声表面。我们的解决方案是首先混合高斯属性然后应用阴影类似于延迟阴影。具体地说我们对沿射线的原始属性(即对于第i个Gaussian包括漫反射颜色 c d i ∈ R 3 c_{di}∈R^3 cdi∈R3、特征 f i ∈ R D f_i∈R^D fi∈RD、粗糙度 ρ i ∈ [ 0 , 1 ] ρ_i∈[0,1] ρi∈[0,1])进行alpha混合并将属性转换为图像空间的颜色如图3的Eq. 4和©所示。此外每个像素的颜色被分解为漫反射分量 I d I_d Id和镜面分量由反射方向 ω r ∈ R 3 ω_r∈R^3 ωr∈R3查询表面法线 n ∈ R 3 n∈R^3 n∈R3。我们直接使用集成的漫反射color I d I_d Id作为射线的漫反射分量并通过着色器 f Θ f_Θ fΘ在每个像素上获得视相关的影响条件是空间外观特征 K ∈ R H × W × D K∈R^{H×W×D} K∈RH×W×D和方向特征 S ∈ R H × W × C S∈R^{H×W×C} S∈RH×W×C: I I d f Θ ( S , K ⊗ S ) (5) \mathbf{I} \mathbf{I}_d f_\Theta(\mathbf{S}, \mathbf{K} \otimes \mathbf{S}) \tag 5 IIdfΘ(S,K⊗S)(5)
其中⊗表示逐像素外积得到形状为 H × W × ( D × C ) H ×W × (D × C) H×W×(D×C)的高维中间张量。
请注意特征 K K K 表示每个像素的预期特征并通过使用方程式4溅射每个原始特征 f i f_i fi 获得的。类似地我们生成对应于 ρ i ρ_i ρi 和法线图 N 的粗糙度图 M。在实践中我们将 M、N、K 视为 G 缓冲区并将其传递给标准光栅化渲染以进行着色。
Directional Factorization
本质上视角相关效应建模的关键是准确地捕捉空间变化的近场和远场互反射。以前的方法通常依赖于用于远场照明的全局2D环境贴图假设所有光源都在无限的距离上。其他方法只对直接照明进行建模。这些假设不足以在近场照明下重建表面特别是在光源或物体靠近目标物体的场景中。
受 TensoRF 的启发我们提出了一种低秩张量分解 s ◦ k 来表示空间角度视图相关效应其中 ◦ 表示外积。如图 2 所示我们使用一个简单的向量外积将空间特征向量 k ∈ R D k ∈ R^D k∈RD 和方向特征向量 s ∈ R C s ∈ R^C s∈RC 连接起来形成一个块矩阵然后将其展平为一维向量并馈送到轻量级 MLP 解码器以进行最终颜色预测。空间特征k和方向特征s的外积能够分解几何和照明同时有效地捕获全局照明、阴影和自遮挡等基本信息。我们基于因式分解的模型对于表示复杂反射场景中空间变化的视相关效应简单而有效增强了新视图合成和表面重建。此外这种分解减少了每个高斯原语的特征通道显著降低了体绘制和场景表示的计算开销。
我们基于因式分解的模型对于表示复杂反射场景中空间变化的视相关效应简单而有效增强了新视图合成和表面重建。此外这种分解减少了每个高斯原语的特征通道显著降低了体绘制和场景表示的计算开销。
Far-field Lighting
我们现在提出了一种新颖的Sph-Mip 编码用于对高频远场照明进行建模使用可学习的多级球形特征网格称为 Sph-Mip 网格。我们利用经度纬度格Long.-Lat.将特征点分布在球面上并将它们展开为 2D 特征网格中以实现有效的索引。给定Gbuffer {M, N, K}像素(u, v)的正常n N(u, v)粗糙度ρ M(u, v)我们有: s Sph-Mip ( ω r , ρ , M ) (6) \mathbf{s} \text{Sph-Mip}\left(\omega_{r}, \rho, \mathcal{M}\right) \tag 6 sSph-Mip(ωr,ρ,M)(6)
其中 ω r ω_r ωr 表示表面法线 n n n 和观察方向 ω i ω_i ωi 反射的反射方向。
(这里区别于 3DGS-DR 和 GSshader 使用的 nvdiffrec 中的环境贴图采样方式) 请注意如图 2 所示Sph-Mip 网格是三维的方向坐标 (θ, φ) 对应于网格的 XY 轴而 Z 轴代表粗糙度 ρ 方差。给定栅格化缓冲区我们首先计算每个像素对应的球坐标(θ φ): θ arccos ( ω r z ( ω r x ) 2 ( ω r y ) 2 ( ω r z ) 2 ) ∈ [ 0 , π ] \theta \arccos\left(\frac{\omega_{r}^{z}}{\sqrt{(\omega_{r}^{x})^2 (\omega_{r}^{y})^2 (\omega_{r}^{z})^2}}\right) \in [0,\pi] θarccos((ωrx)2(ωry)2(ωrz)2 ωrz)∈[0,π] ϕ arctan 2 ( ω r y ω r x ) ∈ [ − π , π ] (7) \phi \arctan2\left(\frac{\omega_{r}^{y}}{\omega_{r}^{x}}\right) \in [-\pi,\pi] \tag 7 ϕarctan2(ωrxωry)∈[−π,π](7)
然后给定表面粗糙度ρ我们沿粗糙度维度插值特征。在实践中我们在特征查询期间将不同级别的网格调整为相同的分辨率使用三线性插值促进有效的三维插值并在片段着色器中使用坐标 ( θ , φ , ρ ) (θ,φ,ρ) (θ,φ,ρ)。
对于 mipmap 分辨率我们以 H M × W M × C H_M × W_M × C HM×WM×C 的最高分辨率定义基本级别 M L 0 M_{L_0} ML0其中 H M H_M HM、 W M W_M WM 和 C 分别表示通道的高度、宽度和数量。虽然其他级别的分辨率 ( M L i , i 1 , 2 , . , N M_{L_i} , i 1, 2,., N MLi,i1,2,.,N ) 沿高度和宽度维度除以 2 倍。
Experiments and Results
数据集
我们在几个合成数据集和真实数据集上评估我们的方法。对于合成数据集我们在 NeRF Synthetic [25] 上评估我们的模型其中包含具有真实非朗伯材料的复杂几何形状的场景。类似地我们使用Shiny Blender[35]和Glossy Synthetic[22]在反射对象上评估我们的模型。对于真实世界的数据集我们使用从[35]捕获的Shiny Real数据集以及MipNeRF360[4]和Tanks Temples[16]反射的场景。此外我们使用包含未知几何形状的折射物体的Glass Ball[5]来展示我们的方法对不同材料的泛化能力。
基线与指标
我们将我们的方法与以下基线进行比较:Ref-NeRF(Nerf-Based)ENVIDR 和 NeRO(SDF-Based)以及GSShader、3iGS和3DGS-DR(GS-Based)。我们根据它们的公共代码和配置训练了这些模型。渲染质量的评估指标包括PSNR、SSIM和LPIPS。此外我们使用平均角度误差MAE来评估法线精度。 实现细节
所有实验均在具有 32GB VRAM 的单个 Tesla V100 GPU 上进行。要优化的参数包括 MLP f Θ f_Θ fΘ、mipmap M M M 和每个 2D 高斯的参数例如特征 f i ∈ R 4 f_i ∈ R^4 fi∈R4。entiable splatting 和基于梯度的反向传播。使用 Adam 优化器 [15] 进行了超过 30,000 次迭代的优化。我们使用 PyTorch 框架实现我们的 Sph-Mip并使用 Nvdiffrast 库进行有效的 mipmap 查询。Sph-Mip编码中mipmap M L 0 M_{L_0} ML0的基本水平形状根据经验设置为 H M 512 H_M 512 HM512 W M 1024 W_M 1024 WM1024 C 16 C 16 C16层数为 N 9 N 9 N9。对于我们的规范颜色预测的隐式表示我们使用了一个大小为256的隐藏层的轻量级MLP。我们使用ReLU激活函数。我们建议用与2DGS相同的损失函数L来训练我们的模型。
比较 合成数据集的定量结果报告在表1 和 表2其中高质量的反射建模依赖于精确的法线估计如图4所示。此外我们在表1中报告了我们的模型在相同硬件上的训练和渲染速度(测试)。将其与现有的基于高斯的方法进行比较。我们的方法实现了质量和训练速度之间的平衡。尽管我们的模型的速度不如 3DGS 快但它仍然具有竞争力并实现实时渲染速度。为了证明我们的方法在真实场景中的有效性而不仅仅是小对象我们在RefNeRF[35]的Shiny Real数据集上评估了我们的渲染如表1和图5。 此外图6的定性结果表明对于折射物体的真实场景我们的模型在Eikonal Fields[5]的Glass和Ball数据集上优于3iGS[34]和3DGS-DR[46]。 Ablation Study 我们现在对Shiny Blender和NeRF Synthetic数据集进行消融研究。表3报告了延迟着色、Sph-Mip 编码和方向分解的定量结果。图7显示了新视图合成和表面重建的消融比较。 Sph-Mip 我们首先通过将 G 缓冲区组件直接馈送到解码 MLP:fΘ(M, N, d) 来分析 Sph-Mip 的影响其中 d ∈ RH×W ×3 是视图方向。如图7和表3所示。与直接使用 G 缓冲区作为输入相比我们的 Sph-Mip 编码有效地对高频视图相关外观进行建模。
Mipmap 为了验证多级球形特征网格策略的有效性我们将 mipmap M 替换为与 mipmap ML0 的基本级别相同形状的 2D 特征图即 w/o mipmap。图 7 显示没有 mipmap 的方法无法恢复准确的几何形状并在渲染粗糙表面时产生伪影主要是因为现实世界的场景通常不包含单一材料。
延迟着色。我们通过应用标准体绘制来消除延迟着色即 w/o DS。如图7所示延迟阴影提供了更准确的镜面反射和更好的表面重建质量。
定向分解 我们研究了所提出的方向分解即 w/o K ⊗ S。我们直接使用方向特征 S 作为着色器的输入 f Θ ( S ) f_Θ(S) fΘ(S)。如图 7 所示仅使用远场特征 S 无法重建相互反射。 总结 我们提出了Ref-GS来解决二维高斯飞溅中与视图相关的效果为开放世界场景实现逼真的渲染和精确的几何恢复。我们的技术贡献是一种新颖的延迟高斯渲染管道它集成了球形 Mip 网格来有效地表示表面粗糙度并采用几何照明分解通过向量外积显式连接几何和照明。
Appendix 实现细节
为了训练我们使用 PyTorch 框架并在具有 32GB 内存的单个 Tesla V100 上进行训练。我们的代码建立在 2D 高斯飞溅 (2DGS) 代码库之上。对于真实场景我们建议使用与 3DGS-DR 相同的球面域策略来训练我们的模型以进行公平比较。这种方法可以减少训练期间的背景干扰。仅从有限视点捕获的背景对象表现出与反射对象相似的行为这干扰了我们的 Sph-Mip 的拟合。
网络
浅层MLP多层感知机 f Θ f_Θ fΘ的设计目标是对由Sph-Mip编码生成的方向特征 S ∈ R H × W × 16 S∈R^{H×W×16} S∈RH×W×16以及高维中间张量K⊗S其维度为H×W×64进行非线性映射。该MLP接收一个具有1664特征维度的输入并将其输入到一个具有以下结构的2层MLP中
网络架构细节 包含两个隐藏层每层配置256个神经元 每个隐藏层后接ReLU修正线性单元激活函数 输出层采用指数函数作为激活函数用于预测视角相关的辐射亮度值
后处理流程 在计算渲染损失之前应用γ色调映射函数γ(·) 将预测的颜色值转换到标准的sRGB色彩空间 I γ ( I d f Θ ( S , K ⊗ S ) ) (8) \mathbf{I} \gamma\left(\mathbf{I}_{d} f_{\Theta}(\mathbf{S}, \mathbf{K} \otimes \mathbf{S})\right) \tag 8 Iγ(IdfΘ(S,K⊗S))(8)
优化
高斯每个位置 μ ∈ R 3 μ ∈ R^3 μ∈R3尺度 s ∈ R 2 s ∈ R^2 s∈R2 和协方差作为旋转 q ∈ R 4 q ∈ R^4 q∈R4不透明度 α ∈ R α ∈ R α∈R漫反射颜色 c d ∈ R 3 c_d ∈ R^3 cd∈R3粗糙度 ρ ∈ [ 0 , 1 ] ρ ∈ [0, 1] ρ∈[0,1]特征 f ∈ R 4 f ∈ R^4 f∈R4 与基础 MLP 的网络权重和视图相关辐射的输出头一起优化。我们使用默认参数的 Adam 优化器。此外我们遵循原始 2DGS 提出的默认拆分和修剪计划。
Loss
我们在训练管道中有多个损失项这些损失项主要改编自 2DGS我们将在此处简要概述它们及其权重。与 2DGS 一样我们使用 L1 损失和 D-SSIM [38] 损失来监督 RGB 颜色λ 0.2 L ( 1 − λ ) L 1 λ L D − S S I M (9) \mathcal{L} (1-\lambda)\mathcal{L}_{1} \lambda\mathcal{L}_{D-SSIM} \tag 9 L(1−λ)L1λLD−SSIM(9)
在2DGS之后采用深度失真损失和法向一致性损失来细化场景的2DGS表示的几何性质。 L d ∑ i , j ω i ω j ∣ z i − z j ∣ L n ∑ i ω i ( 1 − n i ⊤ N ^ ) 0 (1) \mathcal{L}_{\mathrm{d}}\sum_{i, j} \omega_{i} \omega_{j}\left|z_{i}-z_{j}\right| \quad \mathcal{L}_{n}\sum_{i} \omega_{i}\left(1-\mathbf{n}_{i}^{\top} \widehat{\mathbf{N}}\right) \tag 10 Ldi,j∑ωiωj∣zi−zj∣Lni∑ωi(1−ni⊤N )0(1)
这里 ω i ω_i ωi 表示第 i 个交集的混合权重。 z i z_i zi 表示交点的深度。 n i n_i ni 是面向相机的 splat 的法线。 N ^ \hat N N^是由深度图的梯度估计的法线。总损失为 L L r g b λ d L d λ n L n \mathcal L \mathcal L_{rgb} \lambda_d \mathcal L_d \lambda_n \mathcal L_n LLrgbλdLdλnLn λ d 100 λ_d 100 λd100, λ n 0.05 λ_n 0.05 λn0.05.
Limitations
虽然我们的方法展示了使用轻量级 MLP 进行最终颜色预测的有效性能但与 2DGS 相比它会导致渲染速度较慢并且由于依赖于神经解码器因此难以集成到标准 CG 渲染引擎中。然而纹理网格烘焙等转换技术可以促进集成和受益于我们的重建管道的薄表面建模和渲染能力。
额外结果
在本节中我们提出了额外的视觉结果来证明Ref-GS在重建和渲染光泽表面方面的能力展示了所提出数据集中不同场景的镜面反射优越的视觉质量和准确的预测法线。
Shiny Blender Dataset
表5 提供了 Shiny Blender [35] 数据集上所有场景的正常估计结果。对于 3iGS我们使用从渲染的深度图派生的梯度法线进行评估。 Glossy Synthetic Dataset
我们在 Glossy Synthetic [22] 数据集上展示了新颖的视图合成结果。基于峰值信噪比(PSNR)、结构相似性指数测度(SSIM)[38]和学习感知图像补丁相似度(LPIPS)[50]的定量评价。出现在选项卡中。6. 我们的方法在大多数场景中都优于现有的基于高斯的方法[12,34,46,53]。 Glossy Real Dataset
我们在 Glossy Real [22] 数据集上展示了几何重建结果以进一步验证我们方法的稳健性和准确性。我们可视化重建结果如图9所示。为了更全面地了解我们的方法的性能请参阅补充网页上提供的视频。 Nerf Synthetic Dataset NeRF Synthetic [25] 数据集的定量结果报告在表中。7. 我们的方法与基于高斯的方法[12,34,46,53]在数值和视觉上可比较的结果证明了我们的方法在渲染一般对象方面的有效性。
额外消融
我们在 表 8 中提供了合成测试的更多消融结果。为了更清楚地展示二维高斯表示的独特优势我们用3DGS[14]替换了2DGS[11]使用最短轴作为平面法线同时保持其余不变进行比较如表的前两行所示。8. 此外我们对 Sph-Mip 的网格大小 N 进行了消融研究如表8中所示值得注意的是3DGS-DR[46]通过引入带有简单阴影模型的延迟阴影来提高GaussianShader[12]的性能。“w/oK⊗S”表明 Sph-Mip 编码可以进一步提高渲染质量。此外“w/o DS”的结果表明我们的方法优于GaussianShader的显式BRDF 真实世界捕获的其他结果
在本节中我们扩展了对我们提出的方法的评估以包括它在Rodriguez等人[30]和Kopanas等人[17]数据集上的性能。图 10 中的定性比较表明 Ref-GS 很好地扩展到真实场景与现有的基于高斯的方法相比对复杂现实世界环境产生更清晰的镜面反射。 场景分解和编辑
图8说明了场景的渲染分解结果。对于具有强镜面效应的反射物体我们的方法可以有效地分解与视图无关的漫反射颜色和视图相关的镜面颜色。此外预测的材料性能例如粗糙度 ρ和远场照明 M 也非常合理。此外我们可以通过调整 ρ 值来合理地修改场景的粗糙度。
