网站注册页面html,企业app怎么做,易优cms和织梦cms的区别,电商主图制作软件前言 本期我们将深入讨论ISP流程中的去马赛克处理。我们熟知#xff0c;彩色图像由一个个像元组成#xff0c;每个像元又由红、绿、蓝#xff08;RGB#xff09;三通道构成。而相机传感器只能感知光的强度#xff0c;无法直接感知光谱信息#xff0c;即只有亮暗而没有颜色…前言 本期我们将深入讨论ISP流程中的去马赛克处理。我们熟知彩色图像由一个个像元组成每个像元又由红、绿、蓝RGB三通道构成。而相机传感器只能感知光的强度无法直接感知光谱信息即只有亮暗而没有颜色。因此相机厂商通常在传感器前面加上滤色器来透过不同波段的光。想要得到彩色图像理论上需要给每个像元加上RGB三个通道对应波段的滤色器。厂商们为了节约成本通常采用颜色滤波器阵列CFAColor Filter Array给不同的像元按照阵列排序加上不同波段的滤色器。有了CFA每个像元只记录对应波段的信息为了获得完整彩色图像我们在ISP流程中通过去马赛克处理给图像恢复色彩。因此我们可以称去马赛克处理为灰色图像融合为彩色图像的神来之笔。 ▲传感器感光示意图 对于不同的CFA类型成像器件像素单元接收的光强信号不同相应的去马赛克方法也不一样因此去马赛克方法与CFA的类型高度相关。 颜色滤波器阵列 接下来小彩将针对几个有代表性的CFA进行具体讨论。 RGGB ▲RGGB型CFA RGGB型CFA也被称为Bayer阵列是一种最典型、最成熟的CFA可以透过红、绿、蓝三种光线。RGGB型CFA以2×2像元为基本单元其中包括1个红光滤色器、1个蓝光滤色器和2个绿光滤色器。这样设计的传感器有50%的空间用于接收绿光符合人眼对绿色更敏感的事实。虽说利用该CFA可以从绿色通道图像中获得较好的视觉细节但是整体透光量不足色彩信息损失较大所以在暗光环境下拍摄表现较差。 RGBW ▲RGBW型CFA RGBW型CFA由柯达公司于2007年提出2012 年索尼便将其应用于自家图像传感器产品线中2015 年华为 P8 相机也是采用索尼的 RGBW 传感器 IMX278。 RGBW型CFA取消了2×2基本单元中第二排的绿光滤色器这使得所有光线都可以透过这个无滤色器的像元称之为W像元。这样设计的好处是可以增大透光量增强暗光拍摄能力。同时其缺点也较为明显由于减少了一个滤色器色彩信息损失较大导致拍摄出来的图像色彩普遍较为寡淡而且因为W像元透光量大而易于导致过曝。 RYYB ▲RYYB型CFA 2014年安森美公司提出RYYB型CFA随后在2019年华为和索尼联合发布了RYYB产品。该CFA的2×2基本单元中的绿光滤色器被替换成黄光滤色器。由于黄光波峰介于绿光与红光之间Y像元能同时接收红光与绿光的能量从而使整体感光能力提升40%。 这样的设计在保持原有色彩信息的同时也能增大透光量能适应各种拍摄场景。其缺点是在2×2基本单元中两个黄光滤色器捕获的光能量远超红光和蓝光滤色器而单个像元可接收的最大能量又是有限的 导致在一些光线强烈的场景如果优先考虑 R、B 像元的可接收最大能量那么 Y 像元接收的光能量就可能会溢出造成过曝如果优先满足 Y 像元的可接收最大能量那么 R、B 像元就可能欠曝光最终导致大光比环境下宽容度不够高。此外RYYB型CFA需要对捕获的黄光进行红、绿分离而这一步骤依赖于ISP流程中的校色算法容易对最终图像产生偏色影响。 Others 除了上面提到的三种类型还存在如Diagonal StripeCYGMHirakawLukac Plataniotis等其它形式的CFA这里不再赘述。 ▲Diagonal stripeCYGMHirakawaDMCNN-VD-Pa设计的CFA 无论是哪种类型的CFA都无法完美地解决目前摄影行业中的图像记录颜色信息问题。因此CFA设计固然重要而与之搭配的去马赛克算法也是图像记录颜色的重要环节。 传统去马赛克算法 去马赛克的传统方法通常指插值法。早期研究人员利用最近邻插值、双线性插值、双三次插值和三次B样条插值等方法简单地预测图像像元中缺失的通道值。 ▲双线性插值预测绿色通道驱动值 这样简单地对缺省值做插值算法忽略了图像边缘结构与三个通道之间的相关性这可能会导致生成的图像存在拉链效应、伪彩与图像模糊等问题。 ▲拉链效应左与伪彩问题右 后来研究人员针对这个问题提出了基于色差一致性的插值算法即在同一个图像中两个相邻像素间对应通道的像素值差近似相等。色差插值算法可视为以色差一致性为约束条件的双线性插值。该算法虽从理论分析上更严谨实际结果也更优秀但仍存在着在图像高频部分表现不足的问题。 与色差插值法类似的色比插值法是以“两个相邻像素间对应通道的像素值比近似相等”为约束条件但该算法在像素值为0时无法使用。 ▲色差插值法示意图 色差插值法没有考虑到图像纹理方向而是无差别使用邻域色差故其效果在高频区的效果一般。为此HA算法Hamilton Adams插值算法于1997年被提出其在色差插值法的基础上利用像元间的梯度来判断纹理方向梯度小的地方被认为是纹理方向进而使用这个方向的色差进行插值。该算法改进了普通色差插值法的缺点在实际测试中取得了更高的PSNR。 2010年Pekkucuksen和 Altunbasak进一步改进了色差插值法提出基于梯度的无阈值算法(gradient based threshold freeGBTF) 。该方法利用色差梯度计算每个方向的权重然后根据每个方向的权重结合来自各个方向的估计对图像像素值进行插值。 2013年Kiku等人在GBTF的框架上提出了残差插值residual interpolationRI。该算法将GBTF法中的色差插值替换为残差插值残差为最初采样到的像素值与初步估计值之间的差值为广大学者提供了新的去马赛克思路。之后其他学者基于此方法提出了更多有建设性的去马赛克算法例如最小化拉普拉斯残差插值算法MLRI、迭代残差算法IRI、自适应残差插值算法ARI等。 ▲GBTF左与RI右算法框架 AI去马赛克算法 目前相关研究者提出了基于AI的ISP概念即在传统的ISP流程中加入AI而去马赛克、去噪等模块融入AI算法往往会有较好的效果提升。 自人们发现卷积神经网络在提取图像特征方面有良好表现后众多研究人员尝试利用该类网络进行去马赛克处理。目前热门的方法可以分为三类即分段式去马赛克、端到端去马赛克和联合其它任务的去马赛克算法。 分段式去马赛克算法遵循传统去马赛克流程通常是对Bayer阵列进行去马赛克处理。该类型算法先恢复采样率较高的G通道并以此为先验信息再推导出R、B通道的值。 ▲二段式去马赛克算法 CDM-CNN 端到端去马赛克算法指的是输入马赛克图像并直接输出重建后图像的算法。该类算法凭借其重建效率高、泛化能力强的优点获得众多研究人员的青睐。最早Syu等人根据董超提出的超分辨率卷积网络提出了应用于去马赛克操作的DMCNNDemosaicing-CNN与DMCNN-VDDMCNN-very deep算法不但可以轻松应对Bayer阵列并且对于其它任何类型CFA也有优秀的图像重建效果。 ▲端到端去马赛克算法 DMCNN蓝色层为卷积层 除了利用简单卷积堆叠研究人员还提出了采用残差网络、密集连接网络、U-Net网络与生成对抗网络等完成去马赛克处理的方法。 除上述的分段式去马赛克算法与端到端去马赛克算法外考虑到通过CFA采集到的图像存在噪声大、采样率低的问题还有相关研究人员提出了将去马赛克、去噪、超分辨等任务联合处理的方法。 小结 去马赛克是ISP流程中的一项卓越技术通过巧妙的插值和处理技巧能够高效而准确地还原图像中缺失的彩色细节为用户呈现出真实自然的色彩效果。 目前去马赛克算法取得了长足的进展无论是传统插值算法还是深度学习法都有优秀的重建效果。在未来可以进一步改进去马赛克算法的自适应能力使其能够更好地适应不同的拍摄场景和光照条件。除此之外我们还可以优化算法以提高实时性能确保用户在拍摄和预览中能够获得高质量的彩色图像。
