Transformer-Based Visual Segmentation: A Survey - CV技术指南（公众号）

前言 Vision Transformers 为各种分割任务提供了强大、统一甚至更简单的解决方案。本调查全面概述了基于Transformers 的视觉分割，总结了最近的进展。本文首先回顾背景，包括问题定义、数据集和先前的卷积方法。接下来，总结了一个 meta 架构，它统一了所有最近基于 transformer 的方法。本文还介绍了几个密切相关的设置，包括 3D 点云分割、基础模型调整、域感知分割、高效分割和医学分割。此外，在几个成熟的数据集上编译和重新评估审查的方法。最后，确定了该领域的开放挑战，并提出了未来研究的方向。

欢迎关注公众号 CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。

CV各大方向专栏与各个部署框架最全教程整理

【CV技术指南】CV全栈指导班、基础入门班、论文指导班全面上线!!

论文： https:// arxiv.org/pdf/2304.0985 4.pdf

Page： https:// github.com/lxtGH/Awesom e-Segmenation-With-Transformer

论文出发点

与 CNN 方法相比，大多数基于 Transformers 的方法具有更简单的 pippline 但性能更强。由于基于 Transformer 的视觉模型迅速兴起，一些方法对视觉 Transformer 进行了多项调查。然而，他们中的大多数主要关注通用 Transformers 设计及其在几个特定视觉任务中的应用。还没有关于使用 ViT 进行视觉分割或基于查询的对象检测的调查。由此作者试图进行总结这些工作并继续跟踪这个不断发展的领域。

本文系统地介绍了基于 Transformer 的视觉分割方法的最新进展。首先定义任务、数据集和基于 CNN 的方法，然后转向基于 Transformer 的方法，涵盖现有方法和未来的工作方向。其调查从方法细节的更技术角度对现有的代表作品进行了分组。特别是，首先将现有方法的核心框架总结为元体系结构。通过改变元架构的组件，将现有方法分为六类，包括Representation Learning、Decoder中的交互设计、Optimizing Object Query、Using Query For Association、Conditional Query Generation。

Background

Datasets and Metrics

具体的数据集信息如下：

通用对于 SS 和 VSS，常用的指标是并集平均交集 (mIoU)，它计算输出图像和视频掩码与 GT 之间的像素级兴趣联合。对于 IS，指标是掩码均值平均精度（mAP），它是通过用掩码 IoU 替换框 IoU 从目标检测扩展而来的。对于 VIS，度量是 3D mAP ，它以时空方式扩展掩模 mAP 。对于 PS，指标是全景质量 (PQ)，它通过设置固定阈值 0.5 来统一事物和事物预测。对于 VPS，常用的指标是视频全景质量 (VPQ) 和分段跟踪质量 (STQ)。前者将 PQ 扩展到时间窗口计算中，而后者以逐像素的方式将分割和跟踪解耦。此外，还有其他指标，包括像素精度和时间一致性。

METHODS: A SURVEY

基于 transformer 的分割的关键技术，例如 meta 架构包含一个特征提取器、对象查询和一个转换器解码器。

同时，本文从五个方面回顾了基于变换器的分割方法：

本文将解码器设计分为两组：一组用于改进图像分割中的交叉注意设计，另一组用于视频分割中的时空交叉注意设计。前者侧重于设计更好的解码器，以改进原始 DETR 中的原始解码器。后者将基于查询的对象检测器和分割器扩展到 VOD、VIS 和 VPS 的视频域，重点是对时间一致性和关联进行建模。经典方法的总结对比如下：

论文出发点

Background

Datasets and Metrics

METHODS: A SURVEY

相关领域方法