自适应网站开发,开发软件的网站平台,相亲网站的女人 做直播的,跨境电商怎么注册店铺【论文阅读】MC#xff1a;用于语义图像分割的深度卷积网络弱监督和半监督学习 文章目录 【论文阅读】MC#xff1a;用于语义图像分割的深度卷积网络弱监督和半监督学习一、介绍二、联系工作三、方法四、实验结果 Weakly- and Semi-Supervised Learning of a Deep Convolutio…【论文阅读】MC用于语义图像分割的深度卷积网络弱监督和半监督学习 文章目录 【论文阅读】MC用于语义图像分割的深度卷积网络弱监督和半监督学习一、介绍二、联系工作三、方法四、实验结果 Weakly- and Semi-Supervised Learning of a Deep Convolutional Network for Semantic Image Segmentation 深度卷积神经网络在大量具有强像素级标注的图像上进行训练 研究具挑战性的问题
弱标注的训练数据(如边界框或图像级标签来自一个或多个数据集的少量强标记和许多弱标记图像的组合中学习用于语义图像分割的DCNNs
开发了期望最大化(EM)方法
在PASCAL VOC 2012图像分割基准上进行训练 一、介绍
在PASCAL VOC 数据集上
将DCNN与全连通条件随机场CRF相结合获得高分辨率分割。 我们开发了新的方法来从弱注释中训练DCNN图像分割模型无论是单独的还是与少量强注释相结合
现有的从这种非常弱的标签训练语义分割模型的方法使用多实例学习MIL技术
开发了新的在线期望最大化EM方法
估计潜在像素标签受弱注释约束和使用随机梯度下降SGD优化DCNN参数之间交替
EM方法在半监督场景中也很出色
主要贡献
提出了用于图像级或边界框注释训练的EM算法适用于弱监督和半监督设置。少量像素级注释图像与大量图像级或边界框注释图像相结合时获得了优异的性能数据集之间组合弱注释或强注释可以产生进一步的改进 二、联系工作
仅使用图像级标签训练分割模型一直是一个具有挑战性的问题
他们都为这个问题开发了基于MIL的算法
推断分割时考虑了弱标签 边界框注释用于语义分割3D边界框实现了汽车分割的人类级精度。边界框注释也常用于交互式分割
分割方法可以有效地估计出足够准确的对象片段用于训练DCNN语义分割系统 三、方法
这使用DCNN来预测每个像素的标签分布然后使用全连接密集CRF来平滑预测同时保留图像边缘
专注于从弱标签训练DCNN参数的方法仅在测试时使用CRF 完全监督的情况 θ是DCNN参数的矢量同时标签分布的公式为 Image-level annotations
当只有图像级注释可用时我们可以观察到图像值x和图像级标签z但像素级分割y是潜在变量保存以下概率图形模型 其实感觉提出弱监督的人简直是天才仅依靠图像级的label就可以生成像素级的label
算法步骤: bfgbbg比背景更提升当前的前景类别以鼓励全对象覆盖并避免将所有像素分配给背景的退化解决方案
在实践中采用了算法1的变体自适应地设置依赖于图像和类的偏差bl以便将图像区域的规定比例分配给背景或前景对象类 EM 与 MIL进行对比
基于EM的方法与最近两种用于学习语义图像分割模型的多实例学习MIL方法进行比较是有指导意义的
MIL分类在图像分类任务中效果良好但它不太适合分割
DCNN被调整为专注于最独特的对象部分而不是捕捉整个对象例如人体 边界框注释
Bbox-Rect方法相当于简单地将边界框内的每个像素视为相应对象类的正示例。
通过将属于多个边界框的像素分配给面积最小的边界框来解决歧义。
探索了第二种Bbox-Seg方法在该方法中我们执行自动前景/背景分割
分别划分
边界框的中心区域框内像素的α%约束为前景边界框外的像素约束为背景 我们的第三种Bbox EM Fixed方法是一种EM算法它允许我们在整个训练过程中细化估计的分割图 混合强注释和弱注释
我们通常可以访问大量的弱图像级注释图像并且只能为这些图像中的一小部分获取详细的像素级注释
将固定比例的强/弱注释图像捆绑到每个小批量中
在每次迭代时使用EM算法来估计弱注释图像的潜在语义分割。 四、实验结果
数据集所提出的训练方法在PASCAL VOC 2012分割基准上进行评估该基准由20个前景对象类和一个背景类组成
MS-COCO 2014数据集有80个前景对象类和一个背景类并在像素级别进行了注释 为了模拟只有弱注释可用的情况并进行公平的比较例如对所有设置使用相同的图像我们从像素级注释生成弱注释
而当只有图像级注释可用时小FOV128×128表现更好
将DCNN和密集CRF训练阶段解耦并通过交叉验证来学习CRF参数
