自己怎样做海外网站,茂名优化网站建设,高端网站建设必须要满足哪些要求,北京快速建站模板这篇文章是对镜头模糊场进行表征学习的研究#xff0c;镜头的模糊场也就是镜头的 PSF 分布#xff0c;镜头的 PSF 与物距#xff0c;焦距#xff0c;光学系统本身的像差都有关系#xff0c;实际的 PSF 分布是非常复杂而且数量也很多#xff0c;这篇文章提出用一个神经网络…这篇文章是对镜头模糊场进行表征学习的研究镜头的模糊场也就是镜头的 PSF 分布镜头的 PSF 与物距焦距光学系统本身的像差都有关系实际的 PSF 分布是非常复杂而且数量也很多这篇文章提出用一个神经网络 MLP 来进行表征学习相当于将镜头的 PSF 分布都压缩在了一个神经网络模型里面。
Abstract
光学模糊是光学镜头的固有性质因为实际镜头都存在各种各样的像差光学模糊与物距焦距入射光线的波长都有关系。光学镜头的表现可以用点扩散函数也就是 PSF 来表示实际镜头的 PSF 场非常复杂。这篇文章提出一种标定的方法来构建这样一个实际光学镜头的 PSF 场然后设计了一个高维的神经表征来学习这个 PSF 场。文章中用 MLP 来建模这个神经表征这个镜头模糊场可以准确地获得镜头在成像面的不同成像位置不同对焦设置以及不同深度下的 PSF这些不同的 PSF 都可以表示成与 sensor 有关的一个函数。这个神经网络的表征同时考虑了镜头的离焦衍射效应以及各种像差同时也考虑了特定 sensor 的性质比如 color filters 以及与 pixel 有关的 micro lens。为了学习实际摄像模组的模糊场文章将此形式化成一般的非盲反卷积问题通过一批少量的实采数据构成的 focal stack直接训练这个 MLP 网络结构。同时文章也构建了第一个与镜头模糊场相关的数据集而且这个数据集是一个 5 维的模糊场的数据集。这套方法可以很方便地快速迁移到不同的镜头模组上。
Introduction
一个实际的光学成像系统需要考虑到镜头的离焦像差以及衍射效应等如何精确地刻画这些性质对成像系统的影响是一个非常大挑战而且这个问题随着自动驾驶以及手机摄影的兴起也已经变得越来越重要了。
光学模糊一般是用 PSF 来刻画PSF 也叫点扩散函数表示的是一个理想点光源通过镜头到达 sensor 像面上的能量分布真实光学系统的 PSF 建模是一个非常挑战的问题因为 PSF 与很多因素包括光源物距焦距设置波长等都有关系。
目前 PSF 的表示有三种方法参数法非参数法以及基于几何或者傅里叶光学的模拟方法
参数法基于理想的镜头或者成像模型来表示 PSF比如基于高斯分布泽尼克系数塞德尔系数等方式这类方法的表示能力有限非参数法一般是通过对 sensor 像面进行一系列的采样来估计 PSF这类方法需要通过反卷积的方法来求解出当前光学系统的 PSF或者通过设置一个点光源逐步扫描的方式获取 sensor 像面上每个位置的 PSF这类方法相对来说会更为准确但是效率比较低模拟法是通过将光学系统进行物理成像模拟仿真得到光学系统的 PSF这类方法需要真实的光学系统参数有的时候实际的光学设备很难获取到这些参数
上面这些方法估计出来的 PSF 都是独立存在的有多少个 PSF就需要存多少个 PSF本文的一个创新点还在于把整个 PSF 的空间分布用一个更加紧凑的神经网络来表示。文章中用的是 MLP一个非常经典的神经网络神经网络的拟合能力已经是众所周知的强大可以拟合非常连续的 PSF 分布以及非常复杂的 PSF 的形态为了训练这样一个 MLP, 也需要构建相应的数据集所以文章也提出了一种高效地构建 PSF 数据集的方法所以总得来说文章的主要创新有两点
实际成像系统的 PSF 分布的标定与构建文章提出了一种方法可以对不同的成像设备包括手机单反都能进行 PSF 的标定与估计利用神经网络 MLP 对镜头模糊场 PSF 的分布进行拟合形成一个更加紧凑的镜头模糊场的表示 Learning lens blur fields
文章整个的 pipeline 如下所示 Lens Blur Field Representation
假设真实环境中有一个点光源 p ∈ R 3 \mathbf{p} \in \mathbb{R}^{3} p∈R3 距离镜头为 d d d通过透视投影点光源从三维空间投影到二维的相机平面投影后的坐标为 x ~ ∈ R 2 \tilde{\mathbf{x}} \in \mathbb{R}^{2} x~∈R2然后通过镜头的内参最后转换到图像平面其坐标为 x ∈ R 2 {\mathbf{x}} \in \mathbb{R}^{2} x∈R2从三维空间投影到二维图像平面与镜头的焦距 f f f成像的物距 d d d 以及sensor 的类型 c c c 有关dual-pixel 类型的 sensor 会有一个视差最终的图像坐标与三维空间坐标的映射关系可以表示成如下所示 x invproj ( x , d , f , c ) (1) \mathbf{x} \text{invproj}(\mathbf{x}, d, f, c) \tag{1} xinvproj(x,d,f,c)(1)
整个镜头的模糊场表示为 PSF θ ( x , d , f , u ) \text{PSF}_{\theta}(\mathbf{x}, d, f, \mathbf{u}) PSFθ(x,d,f,u)其中 θ \theta θ 表示神经网络 MLP 的参数 PSF θ ( x , d , f , u ) \text{PSF}_{\theta}(\mathbf{x}, d, f, \mathbf{u}) PSFθ(x,d,f,u) 描述的是距离点光源 p \mathbf{p} p 在像面的投影 x \mathbf{x} x 为 u \mathbf{u} u 的范围内的能量分布或者说理想点光源模糊成什么样子。其中的 c c c 表示与 sensor 类型相关或者说与 PSF 的形态相关的参数对于普通的 Bayer 模式的 sensor c c c 是 4对于黑白 sensor 来说 c c c 是 1对于带 dual-pixel 类型的 sensor 来说需要在原来的基础上乘以 2
Continuous Image Formation
假设镜头对距离其为 d d d 的一个平面成像如果是理想成像那就是没有模糊的成像 I ^ ( c ) ( x , d , f ) A ( c ) ( p ) E ( c ) ( p , f ) (2) \hat{I}^{(c)}(\mathbf{x}, d, f) A^{(c)}(\mathbf{p}) E^{(c)} (\mathbf{p}, f) \tag{2} I^(c)(x,d,f)A(c)(p)E(c)(p,f)(2)
其中 A ( c ) ( p ) A^{(c)}(\mathbf{p}) A(c)(p) 表示真实平面的光照性质体现了真实的环境光照与平面材质相互作用下的光照性质 E ( c ) ( p , f ) E^{(c)} (\mathbf{p}, f) E(c)(p,f) 表示能量效率最终实际的模糊图像可以由如下的表达式表示 I ( c ) ( x , d , f ) ∫ μ PSF θ ( x , d , f , u ) ⋅ I ^ ( c ) ( x − u , d , f ) d u (3) {I}^{(c)}(\mathbf{x}, d, f) \int_{\mathbf{\mu}} \text{PSF}_{\theta}(\mathbf{x}, d, f, \mathbf{u}) \cdot \hat{I}^{(c)}(\mathbf{x}-\mathbf{u}, d, f)d\mathbf{u} \tag{3} I(c)(x,d,f)∫μPSFθ(x,d,f,u)⋅I^(c)(x−u,d,f)du(3) u \mathbf{u} u 表示 x \mathbf{x} x 的一个邻域范围。
为了能够学习这个模糊场的神经表示可以构建如下的损失函数 arg min θ ∑ t , c , i ; x ∈ P ∥ I ( c ) ( x , d i , f i ) − ∑ u PSF θ ( c ) ( x , d i , f i , u ) ⋅ I ^ t ( c ) ( x − u , d i , f i ) ∥ 2 2 (4) \argmin_{\theta} \sum_{t,c,i; \mathbf{x}\in \mathcal{P}} \left \| {I}^{(c)}(\mathbf{x}, d_{i}, f_{i}) - \sum_{\mathbf{u}} \text{PSF}_{\theta}^{(c)}(\mathbf{x}, d_i, f_i, \mathbf{u}) \cdot \hat{I}_{t}^{(c)}(\mathbf{x} - \mathbf{u}, d_i, f_i) \right \|_{2}^{2} \tag{4} θargmint,c,i;x∈P∑ I(c)(x,di,fi)−u∑PSFθ(c)(x,di,fi,u)⋅I^t(c)(x−u,di,fi) 22(4) subject to PSF θ ( c ) ≥ 0 \text{subject to} \quad \text{PSF}_{\theta}^{(c)} \ge 0 subject toPSFθ(c)≥0
表达式 (4) 里外面的求和表示对所有像素的通道 c c c所有的 sensor 像素点 x \mathbf{x} x所有的焦距 f i f_i fi 及物距 d i d_i di其中 $ 1 \le i \le N_{I} 以及对所有的 s e n s o r 类型 以及对所有的sensor 类型 以及对所有的sensor类型 1 \le t \le N_{T}$表达式内的求和表示一个卷积的离散求和形式是对公式3的一个近似如果 d d d 是一个固定的物距那么所表示的模糊场是一个 5 维的模糊场 ( f , t , c , x , u ) (f, t, c, \mathbf{x}, \mathbf{u}) (f,t,c,x,u)如果 d d d 也是一个变量那就是一个 6 维的模糊场 ( d , f , t , c , x , u ) (d, f, t, c, \mathbf{x}, \mathbf{u}) (d,f,t,c,x,u)。
文章中使用 MLP 来表示这样一个模糊场为了训练这样一个 MLP文章中是通过获取 RAW 图来进行训练同时只对 RAW 图上能够测量的通道像素值进行卷积求和也就是说 RAW 图会进行通道拆分然后每个通道单独计算当前通道的 PSF文章中用到的 MLP 有 7 层最后一层用的是 sigmoid 激活函数其它层的激活函数是 RELU。
为了提升计算效率文章中也假设 PSF 在一个局部区域内可以认为是相对类似的细微的变化几乎可以忽略不计这样对 x \mathbf{x} x 采样的时候可以不用采得很密可以每个 patch 估计一个 PSF文章中将每个 patch 的大小定义为 PSF size 的 1.5 倍。
Image Acquisition Procedure
接下来文章介绍了如何获取有模糊图像以及没有模糊的图像以构成训练数据对整个流程步骤如上图所示通过透视投影畸变以及 shading 获得一张没有模糊的图像 I ^ ( c ) \hat{I}^{(c)} I^(c) 同时通过拍摄屏幕获得一张模糊图像 I ( c ) {I}^{(c)} I(c)模糊图像类似通过了镜头的光学像差的退化没有模糊的图像类似通过镜头前的真实场景因为从真实场景到镜头成像之间还有坐标的变换畸变以及 shading 的影响所以为了让这两张图像对齐需要做预处理。
Homography Estimation首先是投影矩阵 H H H 的估计也就是单应性矩阵的估计这一步是让没有模糊的图像与实际拍摄的图像进行坐标对齐为了估计这样一个投影矩阵需要进行标定文章中使用了一组特定的 pattern也就是两张图一张是黑底上面有很多白色的圆点另外一张是白底上面有很多黑色的圆点如下图所示 通过将 albedo dotgrid images 与拍摄的 dotgrid images 的圆点检测出来然后计算这些圆点的圆心圆心坐标在两张图像之间是不一样的通过 RANSAC 算法计算这些匹配圆心之间的坐标转换关系进而得到这个投影矩阵。 Lens Distortion Estimation第二个需要考虑的是镜头的放大率以及镜头的畸变为了解决镜头的放大率的影响文章中先拍摄一组 focal stack 的图像然后合成一张全对焦的图像然后估计每个 out-of-focus 图像中圆点圆心与全对焦图像圆点圆心的映射关系这个映射关系是一个尺度关系 S ( x ~ , d i , f i , c ) S(\tilde{\mathbf{x}}, d_i, f_i, c) S(x~,di,fi,c)。至于镜头的畸变文章中是用一个六阶的 Brown-Conrady 模型去模拟这个径向畸变 D ( x ~ , c ) D(\tilde{\mathbf{x}}, c) D(x~,c),这个畸变模型对所有的 f i , d i f_i, d_i fi,di 都一样。 Radiometric Compensation第三个要考虑的是 shading correction文章中叫照度补偿因为真实镜头的光照能量会呈现中间强四周弱的分布文章中用一张全黑图以及一张全白图来表示环境的最弱光照以及最强光照拍摄这两张图之后作为 I m i n , I m a x I_{min}, I_{max} Imin,Imax然后所有图像可以认为是这两张图像的一个线性组合 I ^ ( x ) [ 1 − A ( invproj ( x , d i , f i ) ) ] I m i n ( x ) A ( invproj ( x , d i , f i ) ) I m a x ( x ) \hat{I}(\mathbf{x}) [1 - A(\text{invproj}(\mathbf{x}, d_i, f_i))] I_{min}(\mathbf{x}) A(\text{invproj}(\mathbf{x}, d_i, f_i)) I_{max}(\mathbf{x}) I^(x)[1−A(invproj(x,di,fi))]Imin(x)A(invproj(x,di,fi))Imax(x)
Image caputure, 前面介绍的是对 albedo 图像的预处理albedo 图像类似理想图像表示真实环境的光照分布接下来是考虑实际成像也就是实拍的图像文章中是通过拍摄屏幕的方式来获取实际退化的图像文章中用的是一个 32 英寸的 4K 显示屏将镜头平行放置在屏幕前面某个距离下然后进行拍摄不同的距离屏幕在镜头中的成像大小不同近距离情况下屏幕可以占满整个成像面远距离情况下屏幕只能占据像面的一部分所以远距离情况下需要移动镜头或者移动屏幕以保证最终的屏幕能在整个成像面都有成像。
Results
最后是实验部分文章对比了不同的方法也对不同的镜头模糊场做了测试包括仿真的 PSF实际手机的镜头模糊场以及实际单反的镜头模糊场。
