布吉建网站,wordpress导航读取,wordpress改网站地址,怀柔重庆网站建设今天来介绍一下数据增强中的平移shft操作和卷积网络中的平移不变性。
1、什么是平移
Shift 平移是指在数据增强#xff08;data augmentation#xff09;过程中#xff0c;通过对输入图像或目标进行位置偏移#xff08;平移#xff09;#xff0c;让目标在图像中呈现出…今天来介绍一下数据增强中的平移shft操作和卷积网络中的平移不变性。
1、什么是平移
Shift 平移是指在数据增强data augmentation过程中通过对输入图像或目标进行位置偏移平移让目标在图像中呈现出不同的位置。Shift 平移的目的是增加训练数据的多样性从而提高模型对目标在不同位置上的泛化能力。
具体的平移以及操作步骤可以参考这篇详解数据增强中的平移shft操作-CSDN博客
1.1、平移的定义
平移是将目标或图像内容在水平或垂直方向上移动。平移范围shift range定义平移的最大像素数例如 ±16 像素表示目标可以随机移动 -16 到 16 像素。
1.2、操作步骤
以图像为例
输入目标所在的图像即“搜索区域”和目标框目标的坐标。平移操作 选择一个随机平移的值从范围 [−r,r]如 -16 到 16 像素中随机生成一个水平平移值 Δx和一个垂直平移值 Δy。移动目标框将目标框的位置平移为(xΔx,yΔy)。对整个图像应用相应的平移图像的内容会被相应地向左、右、上或下移动边界位置的空白部分可以用填充值如 0、均值或镜像填充补充。
具体示例假设我们有一张 255×255像素的图像目标位于中心位置。
未平移0-shift 目标始终在图像中心。输出的目标框位置不变例如(128,128)。16-shift 随机生成 Δx10和 Δy−12目标向右移动 10 像素向上移动 12 像素。输出的目标框位置为 (138,116)。32-shift 假设 Δx−20Δy25目标向左移动 20 像素向下移动 25 像素。输出的目标框位置为 (108,153)。
2、什么是平移不变性
定义平移不变性是指当输入图像或特征图中的物体发生位置平移时模型的输出不会因为这种平移而改变。 换句话说如果我们将目标在输入图像中向某个方向移动模型的输出如特征图或预测结果也应该随之平移而不发生其他变化。例子假设一个模型能正确识别目标“猫”在图像的中心。如果我们把“猫”平移到图像的左边模型也应该能够以相同的准确度识别“猫”。重要性在视觉任务如目标检测与跟踪中目标可能出现在图像的任何位置。如果模型具有平移不变性就能在不同位置上正确地识别目标而不是依赖目标固定出现在某个位置如中心。
3、为什么填充padding会破坏平移不变性
卷积操作中的填充 卷积神经网络CNN通常会在输入图像边界加上填充padding以保持输出特征图的大小不变。常见的填充方法是零填充用0填充边缘即在图像周围增加一圈“0”值。填充破坏平移不变性的原因 当目标发生平移时图像边界附近的特征会受到填充值如0的影响而非目标本身的真实像素值。这会导致模型对目标位置的响应不一致。举例假设一个目标平移到图像边缘其周围的像素会被填充值取代导致卷积结果与目标在中心时不同。这种边界效应直接破坏了平移不变性。当目标平移到边界时模型的感受野中包含了填充值非目标信息这会使模型输出的特征发生偏移或变化。
4、为什么引入随机平移shift能缓解填充对平移不变性的破坏
该问题在这篇论文中进行了详细的分析具体可看这篇分享
论文速读SiamRPN利用深度网络实现Siamese视觉跟踪的进化-CSDN博客SiamRPN利用深度网络实现Siamese视觉跟踪的进化-CSDN博客 1引入shift的作用
随机平移指在训练时将目标的位置在图像中随机移动一定范围shift range。例如目标可以被随机平移±16或±32像素这相当于模拟目标在图像中出现的各种位置。
2随机平移如何缓解问题
打破中心偏置 如果训练中目标总是在中心模型会习惯性地“认为”目标只会出现在中心即学习了一个中心偏置。随机平移让目标出现在图像的不同位置迫使模型学习处理目标在各种位置的情况而不是依赖中心区域的特性。增加边界数据的多样性 随机平移可以让目标多次接近边界从而让模型在边界位置“见过”更多真实的数据而不仅仅是填充值。这缓解了填充导致的边界效应使模型学会更好地处理边界位置的输入。
3训练效果的改善
在训练中随机平移目标后模型学习到的分布更接近真实世界中目标的位置分布目标可能出现在任何位置而不是总在中心。这使得模型在测试时表现得更加鲁棒不再依赖目标的具体位置。
5、Shift 平移在数据增强中的意义
多样性增加 Shift 平移让目标在训练集中出现在不同位置而不是总在中心位置。增强了模型的泛化能力使其能够处理目标在图像中任何位置的情况。缓解中心偏置 如果目标总是出现在中心模型可能会依赖中心区域的特性中心偏置。Shift 平移打破了这种依赖使模型能够更均匀地处理图像中的所有位置。边界学习 Shift 平移可以使目标更频繁地出现在图像的边界区域帮助模型学习如何处理边界效应尤其是填充padding对模型的影响。
