距离Meta AI发布“分割一切”大模型SAM已两年,这个横空出世的视觉利器凭借在零样本分割任务中惊艳的泛化能力,迅速成为计算机视觉领域的“现象级”存在。

两年来,围绕SAM的创新从未停歇:从轻量化改造突破部署限制,到领域微调适配医疗、遥感等专业场景,再到与多模态模型跨界融合——这个以Transformer架构为骨、灵活提示机制为魂的基础模型,早已从单一分割工具进化为视觉研究的“基础设施”,持续催生着从学术探索到产业落地的无限可能。

另外,我精选了十几篇篇SAM顶刊论文,涵盖最新改进方案、跨领域应用与技术突破。感兴趣的d d ,希望能帮到你~

论文 这里哦【CV实验室】

【论文1:CVPR2025】Every SAM Drop Counts: Embracing Semantic Priors for Multi-Modality Image Fusion and Beyond

Qualitative demonstrations of SOTA approaches across commonly used datasets, including TNO, RoadScene, M3 FD and FMB.

Qualitative demonstrations of SOTA approaches across commonly used datasets, including TNO, RoadScene, M3 FD and FMB.

1.研究方法

A overall workflow of our proposed method

A overall workflow of our proposed method

论文提出一种名为SAGE的融合方法,该方法利用Segment Anything Model(SAM) 的语义知识,设计语义持久注意力(SPA)模块通过持久存储库保留源信息并提取高层语义先验,同时引入双级优化驱动的蒸馏机制及三元组损失,使学生网络有效提取知识,消除推理时对SAM的依赖。

2.论文创新点

Differences between the proposed method and existIng mainstream comparative approaches:

Differences between the proposed method and existIng mainstream comparative approaches:

  1. 提出一种新颖的融合框架,利用SAM的语义先验,有效平衡视觉质量和下游任务适应性。

  2. 设计的语义持久注意力(SPA)模块,利用持久存储库高效保留源信息,同时提取高层语义表示。

  3. 开发双级优化蒸馏方案,将SPA处理的信息转移到子网络,在推理过程中有效将融合过程与SAM解耦。

论文链接:https://arxiv.org/html/2503.01210v1

【论文2:CVPR2025】ROS-SAM: High-Quality Interactive Segmentation for Remote Sensing Moving Object

The recognition and annotation of these remote sensing video moving objects are particularly challenging due to factors such as small object sizes, lack of distinct features, sparse distribution, and other complexities.

The recognition and annotation of these remote sensing video moving objects are particularly challenging due to factors such as small object sizes, lack of distinct features, sparse distribution, and other complexities.

1.研究方法

Overview of the proposed method

Overview of the proposed method

该研究提出ROS-SAM方法,基于Segment Anything Model(SAM),通过LoRA微调图像编码器实现高效域适应并保留泛化能力,增强深层网络层提升特征辨别力,在掩码解码器中融合全局上下文与局部边界细节,同时设计新的数据 pipeline 以提升模型在遥感数据上的分割质量。

2.论文创新点

Illustration of introducing LoRA.

Illustration of introducing LoRA.

 Illustration of the mask decoder

Illustration of the mask decoder

  1. 基于SAM提出ROS-SAM,结合遥感领域知识优化掩码解码器,实现高质量遥感视频运动目标分割预测。

  2. 设计新的数据 pipeline,训练时引入更多多尺度目标,推理时专注于单个目标的高质量预测,提升模型对遥感数据的适配性。

  3. 相比原始SAMROS-SAM在遥感视频数据集上使IoU提升13%,且在现有遥感目标跟踪数据集上展现出优异的零样本能力。

论文链接:https://arxiv.org/abs/2503.12006

Logo

加入社区!打开量化的大门,首批课程上线啦!

更多推荐