木材模板.网站,宁夏网站建设价格,做网站怎么给客户打电话,网络营销策略文献综述--------声明#xff0c;本文为转载整理-------
ISP各个模块功能介绍#xff1a; 各模块前后效果对比#xff1a;
黑电平补偿#xff08;BLC#xff09; 在理想情况下#xff0c;没有光照射的像素点其响应值应为0。但是#xff0c;由于杂质、受热等其它原因的影响本文为转载整理-------
ISP各个模块功能介绍 各模块前后效果对比
黑电平补偿BLC 在理想情况下没有光照射的像素点其响应值应为0。但是由于杂质、受热等其它原因的影响传感器存在着暗电流使得没有光照射到的像素点也会产生响应。 ▲ 黑电平补偿前效果图 ▲ 黑电平补偿后效果图 a.暗电流 物理器件不可能是理想的 由于杂质、 受热等其他原因的影响 即使没有光照射到象素 象素单元也会产生电荷 这些电荷产生了暗电流。 而且 暗电流与光照产生的电荷很难进行区分。 b.Black Level Black Level 是用来定义图像数据为 0 时对应的信号电平。由于暗电流的影响 传感器出来的实际原始数据并不是我们需要的黑平衡 数据不为0 。 所以为减少暗电流对图像信号的影响可以采用的有效的方法是从已获得的图像信号中减去参考暗电流信号。一般情况下 在传感器中 实际像素要比有效像素多 如下图所示 像素区头几行作为不感光区 实际上 这部分区域也做了 RGB 的 color filter 用于自动黑电平校正 其平均值作为校正值 然后在下面区域的像素都减去此矫正值 那么就可以将黑电平矫正过来了。 镜头校正LSC 由于镜头本身的物理性质传感器捕获的图像会表现出中心亮度高、边缘亮度低的特点。为了输出一个亮度均匀的图像需要对图像进行镜头阴影Lens Shading校正。 校正的方法是根据一定的算法计算每个像素对应的亮度校正值从而补偿周边衰减的亮度。通常镜头校正方法有二次项校正、四次项校正等。 ▲ 镜头校正前效果图 ▲ 镜头校正后效果图 坏点校正BPC 由于传感器可能存在部分缺陷像素导致一些像素点输出信号不正常出现白点或黑点也就是坏点。同时随着传感器老化也可能会出现更多的坏点。因此需要对坏点进行修复。 所谓坏点是指像素阵列中与周围像素点的变化表现出明显不同的像素因为图像传感器是成千上万的元件工作在一起因此出现坏点的概率很大。一般来讲坏点分为三类第一类是死点即一直表现为最暗值的点第二类是亮点即一直表现为最亮值的点第三类是漂移点就是变化规律与周围像素明显不同的像素点。由于图像传感器中CFA的应用每个像素只能得到一种颜色信息缺失的两种颜色信息需要从周围像素中得到。如果图像中存在坏点的话那么坏点会随着颜色插补的过程往外扩散直到影响整幅图像。因此必须在颜色插补之前进行坏点的消除。 (1)坏点:坏点为全黑环境下输出图像中的白点 高亮环境下输出图像中的黑点。(2)坏点修复方法:一般情况下 RGB 信号应与景物亮度呈线性响应关系 但由于 Senor 部分 pixel 不良导致输出的信号不正常 出现白点或黑点。坏点修复方法通常有两种一种是自动检测坏点并自动修复 另一种是建立坏点像素链表进行固定位置的坏像素点修复 这种方式是 OTP 的方式。 ▲ 坏点校正前效果图 ▲ 坏点校正后效果图 去马赛克Demosaic 因为传感器只能感知光的强度而不能直接感知光谱信息。因此需要在传感器前加上滤光板来选取波段。但是如果每个像素点都同时感知RGB三个分量则需要三块滤光板这样不仅成本高而且难度大。因此通常采用Bayer型的色彩滤波阵列Color Filter ArraysCFA来获取场景的光谱信息。 Bayer型CFA 传感器感光示意图 从上面的示意图可见每个像素只能探测一个通道的光信息所以理想的Bayer图是一个较为昏暗的马赛克图。然而为了获得彩色图像需要计算出每个像素缺失的其它两个通道的响应值即进行颜色插值处理。通常经典处理方法包括最近邻域法、Bilinear插值、Cubic插值等。 去噪声Denoise 使用 cmos sensor获取图像光照程度和传感器问题是生成图像中产生大量噪声的主要因素。同时 当信号经过ADC 时 又会引入其他一些噪声。 这些噪声会使图像整体变得模糊而且丢失很多细节 所以需要对图像进行去噪处理空间去噪传统的方法有均值滤波、 高斯滤波等。但是 一般的高斯滤波在进行采样时主要考虑了像素间的空间距离关系 并没有考虑像素值之间的相似程度 因此这样得到的模糊结果通常是整张图片一团模糊。 所以 一般采用非线性去噪算法 例如双边滤波器 在采样时不仅考虑像素在空间距离上的关系 同时加入了像素间的相似程度考虑 因而可以保持原始图像的大体分块 进而保持边缘。 不同ISP的去噪模块可能会在不同的环节进行但去噪原理没有本质不同。 ▲ 去噪前效果图 ▲ 去噪后效果图 自动白平衡AWB 白平衡就是针对不同色温条件下通过调整摄像机内部的色彩电路使拍摄出来的影像抵消偏色更接近人眼的视觉习惯。白平衡可以简单地理解为在任意色温条件下摄像机镜头所拍摄的标准白色经过电路的调整使之成像后仍然为白色。这是一种经常出现的情况但不是全部白平衡其实是通过摄像机内部的电路调整改变蓝、绿、红三个CCD电平的平衡关系使反射到镜头里的光线都呈现为消色。如果以偏红的色光来调整白平衡那么该色光的影像就为消色而其他色彩的景物就会偏蓝补色关系。白平衡是一个很抽象的概念最通俗的理解就是让白色所成的像依然为白色如果白是白那其他景物的影像就会接近人眼的色彩视觉习惯。调整白平衡的过程叫做白平衡调整白平衡调整在前期设备上一般有三种方式预置白平衡、手动白平衡调整和自动跟踪白平衡调整。通常按照白平衡调整的程序推动白平衡的调整开关白平衡调整电路开始工作自动完成调校工作并记录调校结果。如果掌握了白平衡的工作原理那么使用起来会更加有的放矢得心应手。 备注消色就是指黑白灰三种颜色。黑白灰的物体对光源的光谱成分不是有选择地吸收和反射而是等量吸收和等量反射各种光谱成分。这时物体看上去没有了色彩。对各种光谱成分全部吸收的表面看上去是黑色等量吸收一部分等量反射一部分的表面是灰色反射绝大部分而吸收极小部分是白色。消色和任何色彩搭配在一起都显得和谐协调。 白平衡原理摄像机内部有三个CCD电子耦合元件他们分别感受蓝色、绿色、红色的光线在预置情况下这三个感光电路电子放大比例是相同的为111的关系白平衡的调整就是根据被调校的景物改变了这种比例关系。比如被调校景物的蓝、绿、红色光的比例关系是211蓝光比例多色温偏高那么白平衡调整后的比例关系为122调整后的电路放大比例中明显蓝的比例减少增加了绿和红的比例这样被调校景物通过白平衡调整电路到所拍摄的影像蓝、绿、红的比例才会相同。也就是说如果被调校的白色偏一点蓝那么白平衡调整就改变正常的比例关系减弱蓝电路的放大同时增加绿和红的比例使所成影像依然为白色。 自动白平衡是依赖数码相机里的测色温系统测出红光和蓝光的相对比例。再依据次数据调整曝光产生红、绿、蓝电信号的增益。自动白平衡最大的优势是简单、快洁。但有时按它的调整拍摄离准确的色彩还原还相距甚远。有时它还会帮倒忙。 ▲ 白平衡处理前效果图 ▲ 白平衡处理后效果图 颜色校正Color Correction 在校正完白平衡后需要进行彩色的校正。因为人眼对可见光的频谱响应度和半导体传感器频谱响应度之间存在差别故而得到的颜色RGB值会存在偏差因此必须对颜色进行校正。通常可用一个3x3的颜色变化矩阵来进行颜色校正。 伽马校正Gamma Correction 人眼与相机的感光特性不同。为了让图像与人眼感知的色貌相符合需要将相机采集的图像进行伽马校正这里不多做介绍。 ▲ 人眼与相机的感光特性 图像压缩 最后为了减小图像占用的存储空间通常会将图像数据进行压缩丢弃那些肉眼无法识别的信息再用一些编码技术来提高信息利用率。其中最常用的编码格式当然就是JPG 格式了。 关于转换
关于raw(bayer)数据转换rgb数据 RGB图, 即为三色图, 一个像素点就由RGB三种颜色构成的混合色, 而bayer图一个像素就只有一个颜色, 或R或G或B. 因为bayer一个像素点只有一种颜色, 需要借助这个像素点周围的颜色对它进行插值(填充)另外的两种颜色, 它本身的颜色就不用插了接下来介绍一下Bayer 。 图像在将实际的景物转换为图像数据时 通常是将传感器分别接收红、 绿、 蓝三个分量的信息 然后将红、 绿、 蓝三个分量的信息合成彩色图像。 该方案需要三块滤镜 这样价格昂贵且不好制造 因为三块滤镜都必须保证每一个像素点都对齐。 通过在黑白 cmos 图像传感器的基础上 增加彩色滤波结构和彩色信息处理模块就可以获得图像的彩色信息 再对该彩色信息进行处理 就可以获得色彩逼真的彩色图像。通常把彩色图像传感器表面覆盖的滤波称为彩色滤波阵列 Color Filter Arrays CFA 。 目前最常用的滤镜阵列是棋盘格式的 已经有很多种类的 其中绝大多数的摄像产品采用的是原色贝尔模板彩色滤波阵列 Bayer Pattern CFA 如图 2 所示 R、 G、 B 分别表示透红色、 透绿色和透蓝色的滤镜阵列单元 图 3 比较形象地展示了此过程。由于人的视觉对绿色最为敏感 所以在 Bayer CFA 中 G 分量是 R 和 B 的二倍 在每个像素点上只能获取一种色彩分量的信息然后根据该色彩分量的信息通过插值算法得到全色彩图像。 关于色彩空间转换 在传输和存储上可以节省带宽和存储空间例如一个RGB图像可以在捕捉之后转换为YCbCr格式用来减少存储和传输负担。在显示图象之前再转回为RGB在不同场合上可以根据需要做出转换适应各种图像格式的需要例如在做图像处理时算法可能需要YUV格式图像而图像在屏幕显示需要RGB格式图像有了色彩空间转换就可以用一种格式的图像满足不同的图像格式要求。YUV 是一种基本色彩空间 人眼对亮度改变的敏感性远比对色彩变化大很多 因此 对于人眼而言 亮度分量Y 要比色度分量U、V 重要得多。 所以 可以适当地抛弃部分U、V分量 达到压缩数据的目的。 其他
关于色温 所谓色温简而言之就是定量地以开尔文温度K来表示色彩。英国著名物理学家开尔文认为假定某一黑体物质能够将落在其上的所有热量吸收而没有损失同时又能够将热量生成的能量全部以“光”的形式释放出来的话它便会因受到热力的高低而变成不同的颜色。例如当黑体受到的热力相当于500—550℃时就会变成暗红色达到10501150℃时就变成黄色温度继续升高会呈现蓝色。光源的颜色成分与该黑体所受的热力温度是相对应的任何光线的色温是相当于上述黑体散发出同样颜色时所受到的“温度”这个温度就用来表示某种色光的特性以区别其它这就是色温。打铁过程中黑色的铁在炉温中逐渐变成红色这便是黑体理论的最好例子。色温现象在日常生活中非常普遍相信人们对它并不陌生。钨丝灯所发出的光由于色温较低表现为黄色调不同的路灯也会发出不同颜色的光天然气的火焰是蓝色的原因是色温较高。正午阳光直射下的色温约为5600 K阴天更接近室内色温3200K。日出或日落时的色温约为2000K烛光的色温约1000K。 关于色温的规律 色温越高光色越偏蓝色温越低则偏红。某一种色光比其它色光的色温高时说明该色光比其它色光偏蓝反之则偏红同样当一种色光比其它色光偏蓝时说明该色光的色温偏高反之偏低。由于人眼具有独特的适应性使我们有的时候不能发现色温的变化。比如在钨丝灯下呆久了并不会觉得钨丝灯下的白纸偏红如果突然把日光灯改为钨丝灯照明就会觉查到白纸的颜色偏红了但这种感觉也只能够持续一会儿。摄像机的CCD并不能像人眼那样具有适应性所以如果摄像机的色彩调整同景物照明的色温不一致就会发生偏色。白平衡就是为了避免偏色的出现。从而引出白平衡概念。 总结 本文介绍了相机在使用传感器记录拍摄景物的光学信号后进行的常见功能处理。可见整个ISP处理流程非常复杂。在我们点击拍照按钮时手机中的ISP芯片实际正在飞速地运转。也正是得益于这项成熟的技术我们可以在瞬间记录下美好生活。 除了以上提到的ISP中还有许多其它模块如HDR、自动曝光控制 (AEC)、锐化等这些模块都对最终成像结果产生了重要的影响。
