【机器视觉】Segment Anything模型（SAM） C# 推理

Facebook开源的Segment Anything是一个基于大型预训练模型的计算机视觉工具，它使用一种新的范式来处理图像分割任务。这个范式不依赖于传统的预训练加微调（pretrain+finetune）方法，而是通过提示（prompt）加上预训练的基础模型（foundation model）来实现。Segment Anything的目标是能够处理包括交互式分割、边缘检测、超级像素化、目标提议生成、前景分割、语义分割、实例分割、全景分割等多种计算机视觉领域的任务1。

Segment Anything模型（SAM）的架构主要包括三个部分：

1. 图像编码器：使用标准的ViT（Vision Transformer）作为图像编码器，将原始图像编码成向量。

2. 提示编码器：将支持的提示内容编码成向量。

3. 掩码解码器：输出原图尺寸上的前后景概率以及IoU分数。

SAM模型通过构造合适的提示，可以实现对新样本的零样本（zero-shot）能力，这意味着它可以在没有额外训练数据的情况下处理新的图像类型。例如，通过提供一个点或边界框作为提示，SAM能够生成与之相关的图像分割掩码。这种方法的优势在于它可以灵活地应用于各种不同的分割任务，并且具有很强的泛化能力。

此外，Facebook还发布了与S