网站开发主要学什么,小程序开发费用多少,个人可以做推广的平台有哪些,做机械设计兼职的网站沉浸式媒体领域正在以前所未有的速度发展#xff0c;其中 3D 高斯溅射成为一项关键突破。 这项技术在广泛的应用中看起来非常有前景#xff0c;并且可能会彻底改变我们未来创建数字环境以及与数字环境交互的方式。
在本文中#xff0c;我们将通过与摄影测量和 NeRF 等前辈进…沉浸式媒体领域正在以前所未有的速度发展其中 3D 高斯溅射成为一项关键突破。 这项技术在广泛的应用中看起来非常有前景并且可能会彻底改变我们未来创建数字环境以及与数字环境交互的方式。
在本文中我们将通过与摄影测量和 NeRF 等前辈进行比较探索 3D 高斯溅射的深度和潜力并探索当今市场上可用的一些工具。 1、什么是 3D 高斯泼溅
3D 高斯分布是计算机图形学中的一项复杂技术它通过将点或“splats”从点云投影到 3D 空间并为每个 splat 使用高斯函数来创建高保真、逼真的 3D 场景。 该技术支持复杂的依赖于视图的视觉效果并通过产生动态且逼真的可视化效果超越了传统的点云渲染。
今年在 SIGGRAPH 2023 上发表了一篇最受欢迎的研究论文详细解释了用于实时辐射场渲染的 3D 高斯分布的技术细节引发了人们对这一主题的新兴。 2、了解基础知识适合所有人的指南
为了更好地了解 3D 高斯喷射与可视化点云的传统方法的比较让我们进行实验。 将自己视为一名艺术家但你不是在普通画布上绘画而是在你周围的空间中进行创作。 你为场景中的每个对象绘制彩色点生成点的集合我们将其称为“点云”
乔治·皮埃尔·修拉 (Georges Pierre Seurat) 的点画派绘画《大贾特的塞纳河》
当我们在传统观看器上可视化普通点云时场景是由微小的点组成的形成一幅图片类似于艺术中的点画法。 点画派艺术家使用小的、独立的点来创作图像。 虽然这些图片从远处看起来不错但近距离观察时它们只是单独的点。 大多数传统点云可视化技术也会出现同样的问题。
克劳德·莫奈的印象派绘画《撑阳伞的女人——莫奈夫人和她的儿子》
现在想象一下像印象派艺术家一样绘画。 他们不只是使用点他们在画布上混合颜色使画面更平滑、更真实。 这就是 3D 高斯泼溅背后的想法它不只使用点而是使用柔和地混合在一起的“泼溅”。 每个splat就像一个温柔的点有自己的颜色并且可以是透明的。
摘自 Tilt Brush从新角度绘画
为了更好地理解这一点请考虑一下雾。 使用传统的点云可视化方法就像看到每个微小的雾滴一样。 相反使用高斯溅射就像观察雾的平滑、整体效果 - 每个部分都融入到下一个部分中。
为此3D 高斯分布使用一种称为高斯的数学函数这使得空间中的“连续可视化”成为可能。 由于这个公式场景看起来更加真实赋予其深度和自然的外观而不是看起来离散和像素化。 3、高斯函数是什么样的
高斯函数是 3D 高斯分布的基础类似于钟形曲线对于将单个点转换为生动、连续的场景至关重要。
3D 高斯图使用它来表示以下信息
位置 (XYZ)确定每个点在 3D 空间中的位置。协方差3x3 矩阵规定每个点如何拉伸或缩放从而影响其形状和大小。颜色 (RGB)决定每个点的色调增加视觉丰富度。Alphaα控制透明度使场景更加逼真。 4、3D 高斯溅射与摄影测量与 NeRF
将 3D 高斯溅射与摄影测量和 NeRF将真实地点或物体数字化为数字孪生的其他成熟技术进行比较时了解它们的差异非常重要。 他们的工作流程都有一个共同的起点从不同角度拍摄物体或环境的多张重叠照片。 然后通过每种技术对它们进行不同的处理以生成捕获环境的数字版本。
4.1 摄影测量
这些图像用于根据每张图片上检测到的相机位置构建 3D 网格。
优点摄影测量以其相对较低的计算占用量和 3D 网格的直接输出而闻名。 该网格很容易在传统游戏引擎渲染管道中使用。 此外这些网格可以为动画蒙皮使其成为游戏开发和动画模拟应用的理想选择。
缺点该技术在处理闪亮或透明表面时存在局限性可能会导致生成的 3D 模型出现孔洞和形状错误。
使用案例摄影测量适用于资源效率至关重要且最终产品需要以 3D 网格模型的形式与标准游戏引擎或动画工具无缝集成的情况。
以下是我使用摄影测量和现实捕捉根据照片重建的 3D 模型 示例
4.2 神经辐射场 (NeRF)
使用人工智能和神经网络处理图像生成场景的任何视角通过混合现有信息来填充任何间隙或丢失的照片。
优点NeRF 的优势在于其人工智能驱动的能力可以生成场景的任何视角通过混合现有图像来填充间隙或丢失的照片。 这使得它对于摄影测量可能遇到困难的复杂场景特别有效。 此外由于 NeRF 具有学习智能因此不需要像摄影测量那样多的各个角度的图像。
缺点虽然 NeRF 擅长处理摄影测量的缺点但与摄影测量和 3D 高斯溅射相比它的计算要求更高且渲染速度更慢。
使用案例它非常适合在视点生成方面需要高度灵活性的应用程序以及处理不完整数据具有挑战性的场景。
以下是我使用 Nerfstudio 制作的 NeRF 捕获的示例视频
4.3 3D 高斯泼溅
使用光栅化技术允许从小图像样本实时渲染照片级真实感场景。 首先使用“运动结构”方法根据初始图像集估计点云。 然后将每个点转换为高斯分布由位置、协方差、颜色和透明度等参数描述。
优点与 NeRF截至目前相比该技术以其快速、实时光栅化以及创建高质量、逼真场景的能力而闻名。 该技术还特别擅长令人信服地渲染头发等薄表面提供高质量的实时可视化效果。
缺点高斯泼溅截至目前以其高 VRAM 使用率而闻名并且尚未与现有渲染管道完全兼容。
使用案例高斯泼溅在实时渲染和复杂细节如头发或薄结构可视化至关重要的场景中非常有用例如在虚拟现实应用程序或高端可视化中。
值得注意的是由于所有三种技术在工作流程开始时都使用输入照片的数据集因此在使用相同的图像数据集时交换它们相对容易以根据所需的用例生成不同的可视化效果。
以下视频比较了所有三种技术从相同的输入图像数据集开始
这是一个重点介绍 NeRF 和高斯 Splatting 捕获之间差异的视频 5、实际应用和行业影响
3D 高斯分布不仅仅是一个理论奇迹它的实际应用也非常广泛。 其中包括
房地产增强虚拟房地产之旅为潜在买家提供真实的体验。 这可以彻底改变远程展示和探索房产的方式。城市规划协助创建城市的数字孪生帮助更好的规划和管理。 通过提供高保真、实时的城市空间渲染它为更有效的城市发展战略做出了重大贡献。虚拟现实 (VR) 和增强现实 (AR)高斯泼溅在创建高度逼真的 VR 背景为各种应用程序创建作为背景设置的虚拟环境或场景方面特别有效可将虚拟环境的沉浸感提升到新的水平。电子商务和平面设计它可以通过实现高质量、实时的产品 3D 渲染来彻底改变在线购物体验从而带来更具互动性和身临其境的购物体验。 在图形设计中它可以帮助创建更逼真的 3D 模型和动画从而提高设计过程的质量和速度。远程呈现中的真实感虚拟人物Meta 对编解码器虚拟人物的高斯泼溅实验展示了其在 VR 环境中实现真实感远程呈现的潜力。 该应用程序增强了虚拟人物的真实感和照明效果这是沉浸式虚拟通信的关键要素
相机跟踪和 3D 重建SplaTAM 是密集 RGB-D SLAM 中的高级应用程序它使用高斯 Splatting 在现实场景中进行精确的相机跟踪和高保真重建展示了其在复杂空间映射和 3D 重建中的实用性。 游戏通过更加身临其境和真实的环境提升游戏体验。 Gaussian Splatting 插件已可用于 Unity 和 Unreal Engine 等主要游戏引擎从而增强游戏世界的视觉质量
它处理大型数据集的能力及其多功能性吸引了各个领域的目光标志着我们与虚拟世界交互方式的潜在革命。 6、游戏引擎和协作 3D 平台的集成
将 3D 高斯泼溅纳入 Unity 和 Unreal Engine 等游戏引擎中标志着游戏开发的重大进步。 插件和软件包现已推出将这项技术带给更广泛的受众并释放互动游戏和模拟的新可能性。
对于 UnityGaussianSplatting 包Unity Asset Store和对于 Unreal EngineUEGaussianSplatting 插件Unreal Engine Marketplace就是此类开发的示例。
最近协作 3D 平台 Spline 实施了另一个解决方案该解决方案通过一个非常令人兴奋的演示展示了对 3D 高斯泼溅的支持此处是进一步讨论。 我们预计未来将会发布更多插件和工具进一步改善数字产品中对高斯分布的支持。 8、Android 上的高斯泼溅
虽然 Luma AI 和 Polycam 等公司的高斯泼溅管道瞄准了 iOS 和 Web但最近 Kiri Innovations 团队在其新的 Kiri Engine 3.0 中宣布支持 Android这是一款适用于 Android 和 iOS 设备的 3D 扫描应用程序。
Kiri Engine 最初于 2022 年作为摄影测量工具发布可根据源照片重建 3D 模型。 3D 高斯溅射的加入代表了一项重大进步允许创建和查看高质量、可能快速渲染的对象或场景的 3D 表示。 9、3D 高斯斑点查看器示例
Luma AI 和其他平台提供了高斯泼溅的交互式示例将日常场景变成身临其境的体验。
此处托管一些基于 WebGL 的 3D 高斯泼溅捕获示例。
令人难以置信的是这些工具还可以与旧图像一起使用生成过去事件的吸引人的高斯图。 2009 年的“MTV 电影奖”就是这样红地毯上设有“时尚 360 度旋转”舞台最近被用来拍摄几位知名艺术家的照片。
例如查看这个栩栩如生的 Miley Cyrus 的高斯 Splats 捕获 10、挑战和未来方向
尽管 3D 高斯泼溅具有令人鼓舞的优势但它仍面临计算强度和实现复杂性等挑战。 然而随着研究深入克服这些障碍以及 SIGGRAPH 等论坛和会议上的讨论推动进一步创新未来看起来是光明的。 在最近的解决方案中有人尝试减小 Gaussian Splats 文件的大小例如程序员 Aras Pranckevičius 的解决方案。
