保定网站建设方案咨询,数字创意设计包括哪些行业,网上申报流程,济宁网站建设500元yolo#xff0c;暗光目标检测 论文#xff1a;PE-YOLO 1. 简介
卷积神经网络#xff08;CNNs#xff09;在近年来如何推动了物体检测的发展。许多检测器已经被提出#xff0c;而且在许多基准数据集上的性能正在不断提高。然而#xff0c;大多数现有的检测器都是在正常条… yolo暗光目标检测 论文PE-YOLO 1. 简介
卷积神经网络CNNs在近年来如何推动了物体检测的发展。许多检测器已经被提出而且在许多基准数据集上的性能正在不断提高。然而大多数现有的检测器都是在正常条件下对高质量图像进行研究。在真实环境中经常会出现许多糟糕的光照条件如夜晚、暗光和曝光过度这些条件会降低图像的质量影响检测器的性能。
前人的解决方案…略
本文采用了金字塔增强网络PENet和YOLOv3。首先PENet使用拉普拉斯金字塔将图像分解为四个不同分辨率的组件。然后我们提出了一个细节处理模块DPM来增强图像的细节该模块由上下文分支和边缘分支组成。此外我们还提出了一个低频增强滤波器LEF来捕获低频语义并防止高频噪声。PE-YOLO采用端到端的联合训练方法并且只使用正常的检测损失来简化训练过程。我们在低光照物体检测数据集ExDark上进行了实验结果表明与其他暗物体检测器和低光照增强模型相比PE-YOLO取得了先进的结果在mAP上达到78.0%在FPS上达到53.6%可以适应不同的低光照条件下的物体检测。
2. 相关工作
2.1 目标检测
略
2.2 低照图像增强
低光照增强任务的目标是通过恢复图像细节和纠正色彩失真来提高人类的视觉感知并为如物体检测等高级视觉任务提供高质量的图像。张等人提出了一种名为Kind的模型它可以通过不同照度的配对图像进行训练无需地面真实值。郭等人提出了Zero DCE它将低光照增强任务转化为特定图像的曲线估计问题。吕等人提出了一种多分支低光照增强网络MBLLEN该网络在不同级别提取特征并通过多分支融合生成输出图像。崔等人提出了一种名为Illumination Adaptive Transformer (IAT)的模型通过动态查询学习来构建端到端的Transformer。在低光照增强模型恢复图像细节后检测器的效果得到了改善。然而大多数低光照增强模型都很复杂并且对检测器的实时性能有很大影响。
2.3 恶劣条件下的目标检测
IA-YOLO该模型通过自适应增强每个图像来提高检测性能。他们提出了一个可微分的图像处理DIP模块用于处理恶劣天气并使用了一个小型的卷积神经网络CNN-PP来调整DIP的参数。在IA-YOLO的基础上Kalwar等人提出了GDIP-YOLO。GDIP提出了一个门控机制允许多个DIP并行操作。秦等人提出了检测驱动增强网络DENet用于在恶劣天气条件下进行物体检测。崔等人提出了一种用于暗物体检测的多任务自动编码变换MAET探索了照明转换背后的潜在空间。
3. 网络 首先我们使用高斯金字塔将图像I分解为不同分辨率的子图像。然后我们提出了一个细节处理模块DPM和一个低频增强滤波器LEF来增强每个尺度的组件。在拉普拉斯金字塔中每一层都是通过减去上一层的高斯金字塔后上采样得到的。当重构图像时我们只需要执行2的逆操作即可恢复原始的高分辨率图像。这种方法允许我们在保持图像质量的同时降低图像的复杂性和计算需求。
拉普拉斯金字塔在底部时更关注细节信息而高层时更关注全局信息。所以提出了细节增强模块和低频增强模块
3.1 细节增强模块 分为上下文模块和边缘细节模块
3.2 低频增强模块 低频组件包含了图像中的大部分语义信息它们是检测器预测的关键信息。为了丰富重构图像的语义我们提出了低频增强滤波器LEF来捕获组件中的低频信息。我们首先通过卷积层将组件f转换为f。我们使用动态低通滤波器来捕获低频信息并使用平均池化进行特征过滤只允许低于截止频率的信息通过。不同语义的低频阈值是不同的。考虑到Inception的多尺度结构我们使用了大小为1×1、2×2、3×3、6×6的自适应平均池化
4. 实验
数据ExDark7363张图像10种不同的照度条件 训练608x608SGD, Batch8, 30epoch,12个类
首先将PE-YOLO与其他低光照增强模型进行了比较。由于低光照增强模型缺乏检测能力他们将使用与PE-YOLO相同的检测器对所有增强后的图像进行实验。他们将mAP的IoU阈值设定为0.5并展示了性能比较结果。结果发现直接在YOLOv3之前使用低光照增强模型并不能显著提高检测性能 234应该都只是图像增强的方法。 虽然增强了图像但是检测指标并不是最好的
和其他暗光检测器的对比 结果显示PE-YOLO在物体检测中更为准确。与DENet和使用LOL数据集预训练的IAT-YOLO相比PE-YOLO在mAP上分别提高了0.7%和0.2%并且PE-YOLO在FPS上也几乎是最高的。这些数据表明PE-YOLO更适合在暗环境中进行物体检测。
网络结构对比实验 2个增强模块的有效性
