做网站千篇一律,wordpress设置横向菜单,怎样做google网站,深圳网站建设一般多少钱Introduction
提出的目的#xff1a; 1.现有的应用像自动驾驶#xff0c;AR等来说都是需要temporal localization beyond image-level segmentation#xff08;时序定位而不仅是图片分割#xff09; 2. 一个好的分割模型不应该仅仅局限于图片领域#xff0c;而是图视频两…Introduction
提出的目的 1.现有的应用像自动驾驶AR等来说都是需要temporal localization beyond image-level segmentation时序定位而不仅是图片分割 2. 一个好的分割模型不应该仅仅局限于图片领域而是图视频两者兼具 3. 视频的分割需要进行时空分割物体需要有时空分割的能力比起图片分割更为困难。除此之外视频相较于图片会有物体被遮挡等问题即更为困难的分割。除此之外视频拥有多帧的特点如何“高效”处理这些帧也是一个难点。毕竟没卡 0.0
Our work
提出了集合图片和视频的分割模型将图片当作一帧的图片图片-short video-long video我们的工作集中于Promptable Visual Segmentation (PVS) task可以人先指定感兴趣的区域作为prompt生成时空maskthe spatio-temporal mask (i.e., a ‘masklet’)其他帧基于这个mask然后得到提示也进行分割。从intro看出就是提了一个memory将之前分割结果和交互历史进行存储以便后续分割得到prompt。 Our streaming architecture is a natural generalization of SAM to the video domain, processing video frames one at a time, equipped with a memory attention module to attend to the previous memories of the target object. 一个更general的版本但是感觉看起来方法不新emmm我到看方法部分再看看。memory部分其实是比较常用的。 We employ a data engine to generate training data by using our model in the loop with annotators to interactively annotate new and challenging data. - 利用这个模型生成了更好的数据集不局限于特定的类别而是包括物体的组件等都有标注。并且这个数据engine生成速度很快8*faster而且生成的数据包括一些特别小的部分和时而消失时而出现的物体。更快生成更接近现实的标注数据效果超过了之前sam在所有图片领域分割效果打败了所有视频物体分割benchmark模型且效果是所有图片视频分割benchmark中最好的而且是zero-shot泛化能力强。交互步骤也降低了速度也更快了。 总的话来说更快更好的general视频图片分割模型。SAM2的流式处理架构使得它能够逐帧处理视频数据这在实时应用中非常有用。重点
Model
新任务Task: promptable visual segmentation- 这是一个比较general的任务你可以给的prompt随意一帧也可以在多帧可以是点击也可以是一个bbox或者mask等。比起其他的分割任务它这个是所有此类任务的集合。Our work shares a similar goal to these works to segment objects across videos with a good interactive experience, and we build a strong model along with a large and diverse dataset in pursuit of this goal 模块 感觉每个模块都用效果好的和速度快的来试
Image encoder. 和之前不一样用了一个有多尺度特征的编码器 hierarchical image encoder因为可以在mask decoder用上解决高分辨率问题这也是它速度快的原因比较轻量化。在后续补充说明中强调了用了哪种位置编码反正没用相对位置编码看了看实验部分主要是为了速度和效率考虑的。Memory attention. We use vanilla attention operations for self- and cross-attention, allowing us to benefit from recent developments in efficient attention kernels。补充说明了加了2d位置编码Prompt encoder and mask decoder. 此模块主要强调 prompt的general以及不同prompt的处理方法。然后mask decoder有两块不一样一是 用了 skip connection to incorporate high-resolution information for mask decoding。二是显示的建模 是否存在prompt需要分割的物体we add an additional head that predicts whether the object of interest is present 。视频有些帧可能目标物体消失了补充说明部分是说如果不确定物体时候输出多个mask - Memory encoder. 将生成的mask进行conv编码原来的image encoder出来的编码 再进一个conv得到的feat存储进bank中其实我有个疑问那如果这个mask是错误的呢是不是要正确的才存储或者说分数要达到一定程度。Memory bank. 这个bank存储上面encoder的编码和prompt frame编码利用了一个 FIFO 队列来存储即先进先出存储当前帧的前N帧context最相关更有借鉴价值其实这个FIFO在很多视频地方也用过的。前面的内容统一称为spatial feature maps。还有一类也存储了即object pointers作为high-level 特征也是轻量化的特征。并且上述两类特征中前N帧特征会加入时序位置编码来让模型学会short-term object motion。 补充说明编码是将256dim的特征分成了4个token每个token64dim变得更smaller实验部分说的。
DATA AND TRAINING
提了一个很大的数据集 训练用了很多trick可以去看看补充部分后续有时间看吧。
Question
我其实还有一些问题 比如 这里面黄色这块内容为什么有了memory就能解决这个问题呢。
Conclusion
感觉收获满满 1.每个组件之前都有怎么组合能够达到效果最好效率最高。 2.提了一个非常nice的数据集是对这个行业的非常大的贡献。 3.怎么选择好的pretrain encoder 4.memory如何轻量化和最有价值化相信每个搞video的人多多少少都知道memory哈哈哈… 5.实时处理是亮点随机prompt来让整体更方便用户交互使用也是亮点 膜拜~
另外其他资料 知乎写的也比较nice
