第6课 语义分割与MMSegmentation

1. 语义分割简介

• 任务：将图像按照物体的类别分割成不同的区域，等价于对每个像素进行分类
• 应用
  • 无人驾驶
  • 人像分割
  • 智能遥感
  • 医疗影像分析
• 语义分割 vs 实例分割 vs 全景分割
  • 语义分割：仅考虑像素的类别，不分割同一类的不同实体
  • 实例分割：分割不同的实体，仅考虑前景物体
  • 全景分割：背景仅考虑类别，前景需要区分实体
• 基本思路
  • 按颜色分割
  • 逐像素分类
    • 滑窗计算：效率底下
    • 卷积计算
      • 计算复用
      • 全连接层要求固定大小输入
      • 全连接层的卷积化
• 全卷积网络 2015
  • 上采样

    • 双线性插值
      
      

    • 转置卷积：可学习的上采样层
      
      

    • 基于多层级特征的上采样

      • 结合低层次和高层次特征图
• UNet 2015
  • 逐级融合高低层特征

2. 上下文信息

• PSPNet 2016
  

3. 空洞卷积与Deeplab系列算法

• Deeplab系列
  • 使用空洞卷积解决网络中的下采样问题
    • 图像分类模型中的下采样层使输入尺寸变小
      • 如果将池化层和卷积中的步长去掉
        • 可以减少下采样次数
        • 特征图就会变大，需要对应增大卷积核，以维持相同的感受野，但会增加大量参数
        • 使用空洞卷积（Dilated Convolution/Atrous Convolution），在不增加参数的情况下增大感受野
          
  • 条件随机场
  • 空间金字塔池化
  • Encoder-Decoder

3. 语义分割模型的评估

• 基于交并集的评估指标
  • accuracy
  • iou
  • dice

4. MMSegmentation