link | 介绍 | 目的 |
(CVPR,2023)SAN:用于开放词汇语义分割的边缘适配网络_开放词汇的语义分割-优快云博客 | 关于语义分割的cvpr论文介绍 | 找到语义分割论文中的性能评价指标都有什么 |
论文1:CAT-Seg https://arxiv.org/pdf/2303.11797 | 语义分割论文 | 性能、效率的评价指标整理 |
论文2:SAN https://arxiv.org/pdf/2302.12242 | 语义分割论文 | 性能、效率的评价指标整理 |
论文3:FCN-8s https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7478072 | 语义分割论文 | 性能、效率的评价指标整理 |
论文4:SegNet | 语义分割论文 | 性能、效率的评价指标整理 |
论文5:ZegFormer https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9879044 | 语义分割论文 | 性能、效率的评价指标整理 |
语义分割联合边缘检测的多任务学习思路总结_多任务 语义分割-优快云博客 | CVPR2020的Joint Semantic Segmentation and Boundary Detection using Iterative Pyramid Contexts提出联合多任务学习框架用于语义分割和语义边缘检测 | 找到语义边缘检测论文中的性能评价指标都有什么 |
https://www.cnblogs.com/ariel-dreamland/p/8571727.html | CASENet: Deep Category-Aware Semantic Edge Detection(CASENet:深度分类感知语义边缘检测)---CVPR2017 文章说的是语义边缘检测,可用于图像语义分割。 | |
论文6:SEAL https://openaccess.thecvf.com/content_ECCV_2018/papers/Zhiding_Yu_SEAL_A_Framework_ECCV_2018_paper.pdf | 语义边缘检测论文 | 性能、效率的评价指标整理 |
论文7:RINDNet https://arxiv.org/pdf/2108.00616 | 语义边缘检测论文 | 性能、效率的评价指标整理 |
论文8:DFF https://arxiv.org/pdf/1902.09104 | 语义边缘检测论文 | 性能、效率的评价指标整理 |
论文9:STEAL https://arxiv.org/pdf/1904.07934 | 语义边缘检测论文 | 性能、效率的评价指标整理 |
论文9:STEAL
在这篇论文中,作者使用了以下性能和效率的评价指标来衡量语义边缘检测算法的表现:
-
Maximum F-Measure (MF) at optimal dataset scale (ODS): 这是用来衡量边界预测准确性的一个指标。它表示在最佳数据集尺度下的最大F分数。
-
Average Precision (AP): 这是用来衡量边界预测精度的平均精度值。
-
Intersection over Union (IoU): 这是用来评估改进后的粗略标注数据质量的一个指标,特别是在模拟粗略标注数据和真实粗略标注数据的场景中。
针对论文提出的STEAL算法,以下是一些具体的性能指标结果:
-
在SBD test set上,使用重新注释的高质量数据集时,STEAL算法在MF(ODS)上比CASENet提高了超过4%,在AP上提高了18.61%。
-
在Cityscapes val set上,STEAL算法在MF(ODS)上的表现从CASENet的87.06%提升到了88.13%,而在AP上的表现则从CASENet的54.58%提升到了88.83%。
具体数值如下:
-
MF(ODS)的提升:从CASENet的74.84%提升到了80.15%(带有NMS Loss和Active Alignment)。
-
AP的提升:从CASENet的50.53%提升到了76.74%(带有NMS Loss和Active Alignment)。
这些改进表明STEAL算法在处理带有噪声的注释数据集和提高语义边缘检测精度方面是非常有效的。
论文8:DFF
在这篇论文《Dynamic Feature Fusion for Semantic Edge Detection》中,作者使用了以下性能评价指标来衡量语义边缘检测(Semantic Edge Detection, SED)算法的效果:
-
Maximum F-measure (MF) at optimal dataset scale (ODS): 这是用来评估边缘检测性能的主要指标,它衡量的是模型在不同匹配距离阈值下的性能,并找出最优的匹配距离阈值。
-
Mean F-measure (MF): 计算所有类别的平均F-measure值。
针对论文提出的Dynamic Feature Fusion (DFF)算法,作者报告了以下性能指标:
-
在Cityscapes数据集上,使用ResNet50作为backbone网络,输入尺寸为512×512时,DFF模型的MF (ODS)达到了80.7%。
-
在Cityscapes数据集上,使用ResNet101作为backbone网络,输入尺寸同样为512×512时,DFF模型的MF (ODS)表现略优于ResNet50版本,但具体数值没有在摘要中提及。
-
在SBD数据集上,DFF模型的MF (ODS)达到了75.4%。
这些结果表明DFF模型在语义边缘检测任务上取得了很好的性能,并且在不同的数据集和网络架构下都能取得较好的结果。论文中还提到,DFF模型在Cityscapes数据集上的性能超过了所有现有的、已建立的方法,达到了新的最佳状态。
论文7:RINDNet
在这篇论文中,作者在语义边缘检测方面使用了以下性能评价指标:
-
Fixed Contour Threshold (ODS): 固定轮廓阈值,用于评估边缘检测的性能。
-
Per-Image Best Threshold (OIS): 每张图片最佳阈值,用于找到最佳的边缘检测阈值。
-
Average Precision (AP): 平均精度,用于衡量边缘检测的整体准确性。
针对论文提出的RINDNet算法,这些指标的具体数值如下:
-
对于Reflectance Edges (REs),性能指标分别是:
-
ODS: 0.478
-
OIS: 0.521
-
AP: 0.414
-
-
对于Illumination Edges (IEs),性能指标分别是:
-
ODS: 0.280
-
OIS: 0.337
-
AP: 0.168
-
-
对于Normal Edges (NEs),性能指标分别是:
-
ODS: 0.489
-
OIS: 0.522
-
AP: 0.440
-
-
对于Depth Edges (DEs),性能指标分别是:
-
ODS: 0.697
-
OIS: 0.724
-
AP: 0.705
-
-
平均性能指标 (Average) 为:
-
ODS: 0.486
-
OIS: 0.526
-
AP: 0.432
-
这些结果展示了RINDNet在不同类型的边缘检测任务中的表现,以及与现有最先进方法相比的性能提升。
论文1:CAT-Seg
在这篇论文中,作者在语义分割方面的性能评价指标主要包括:
-
mIoU (mean Intersection over Union): 用于衡量模型预测的分割结果与真实标注之间的重叠程度。具体的mIoU数值在论文中有所提及,例如在ADE20K数据集的847类别(A-847)上,CAT-Seg模型取得了16.0 mIoU,在PASCAL Context数据集的459类别(PC-459)上取得了23.8 mIoU。
-
Accuracy: 准确率,虽然在提供的文本中没有直接提到,但它通常也是衡量语义分割性能的一个指标。
效率评价指标包括:
-
参数数量 (Param.): 论文中提到CAT-Seg模型的参数数量为70.3M(百万参数)。
-
GFLOPs (Giga Floating Point Operations per Second): 论文中提到CAT-Seg模型的推理GFLOPs为2,121.1。
-
推理时间 (Inference time): 论文中提到CAT-Seg模型的推理时间为0.54秒,这是在单个RTX 3090 GPU上测量的结果。
-
训练时间 (Training time): 论文中提到CAT-Seg模型的训练时间为875.5分钟。
-
内存消耗 (Memory consumption): 论文中提到CAT-Seg模型在训练时的内存消耗为20.9 GiB。
论文2:SAN
在这篇论文中,作者使用了以下性能和效率的评价指标:
-
性能指标:
-
主要使用**mean Intersection-over-Union (mIoU)**来衡量模型在语义分割任务上的性能。mIoU 是一个常用的评价指标,它计算的是预测的分割图与真实标注图之间的交并比的平均值,通常用来评价分割任务的好坏。
-
-
效率指标:
-
参数数量 (Param.):表示模型中可训练参数的总数,以百万 (M) 为单位。
-
浮点运算次数 (GFLOPs):表示模型在处理图像时所需的浮点运算次数,这个指标可以用来评估模型的计算复杂度。
-
推理速度 (FPS):即每秒帧数,用来衡量模型在实际应用中的处理速度。
-
具体数值如下:
-
对于 CLIP ViT-B/16 模型,作者的方法 (SAN) 在 ADE-847、PC-459、ADE-150、PC-59 和 VOC 数据集上的 mIoU 分别为 10.1、12.6、27.5、53.8 和 94.0。
-
使用集合技巧 (ensemble trick) 后,相应的 mIoU 提升到 10.7、13.7、28.9、55.4 和 94.6。
-
在效率方面,SAN 方法的参数数量为 8.4M,GFLOPs 为 64.3,推理速度为 15.2 FPS。
论文3:FCN-8s
在这篇论文中,作者使用了以下性能和效率的评价指标:
-
性能指标:
-
像素准确率 (Pixel Accuracy):计算每个类别预测正确的像素数占该类别总像素数的比例。
-
平均准确率 (Mean Accuracy):所有类别的像素准确率的平均值。
-
平均交并比 (Mean Intersection over Union, mIoU):计算每个类别的交并比,然后取平均值得到。这是语义分割中常用的评价指标,它衡量预测的分割图与真实标注图之间的重叠程度。
-
频率加权交并比 (Frequency Weighted Intersection over Union, f.w. IU):考虑类别频率的加权交并比,给予类别频率更高的类别在计算交并比时更大的权重。
-
-
效率指标:
-
推理时间 (Inference Time):模型对一张图像进行推理所需的时间。
-
具体数值如下:
-
在PASCAL VOC 2011和2012测试集上,作者提出的FCN-8s模型达到了62.7%和62.2%的平均交并比(mIoU),相比于之前最好的方法有20%的相对改进。
-
在NYUDv2数据集上,作者的方法在RGB-HHA late fusion配置下达到了65.4%的像素准确率和49.5%的平均交并比。
-
在SIFT Flow数据集上,作者的方法在16像素步长配置下达到了85.2%的像素准确率、51.7%的平均准确率、39.5%的平均交并比,以及76.1%的频率加权交并比。
推理时间方面,作者提到对于典型图像,推理时间少于五分之一秒,具体数值为大约175毫秒。这表明了FCN在保持高精度的同时,也具有较快的推理速度。
论文4:SegNet
在这篇论文中,作者使用了以下性能和效率的评价指标:
-
性能指标:
-
全局准确率 (Global Accuracy, G):衡量在整个数据集中正确分类的像素的百分比。
-
类别平均准确率 (Class Average Accuracy, C):所有类别的预测准确率的平均值。
-
平均交并比 (Mean Intersection over Union, mIoU):所有类别的交并比的平均值,是一个更严格的性能度量,因为它对错误的正面预测进行了惩罚。
-
边界F1分数 (Boundary F1-measure, BF):基于加州大学伯克利分校的轮廓匹配得分,用于评估预测和真实标签之间的类边界的准确性。
-
-
效率指标:
-
参数数量 (Params):模型中的可训练参数数量。
-
浮点运算次数 (GFLOPs):模型进行一次前向传播所需的浮点运算次数,用于衡量模型的计算复杂度。
-
推理时间 (Inference Time):模型对一张图像进行推理所需的时间,以毫秒为单位。
-
具体数值如下:
-
在CamVid数据集上,SegNet-Basic在全局准确率 (G) 上达到了89.1%,在类别平均准确率 (C) 上达到了75.7%,在平均交并比 (mIoU) 上达到了62.4%,在边界F1分数 (BF) 上达到了83.0%。
-
在SUN RGB-D数据集上,SegNet在全局准确率 (G) 上达到了70.73%,在类别平均准确率 (C) 上达到了30.82%,在平均交并比 (mIoU) 上达到了22.52%,在边界F1分数 (BF) 上达到了9.16%。
效率方面,SegNet在推理时的内存需求非常低,只需要存储最大池化索引,因此在内存效率方面具有优势。在计算资源方面,SegNet的前向传播时间为422.50毫秒,后向传播时间为488.71毫秒,GPU训练内存为6803MB,GPU推理内存为1052MB,模型大小为117MB。这些指标显示了SegNet在保持较高性能的同时,也具有较低的计算和内存需求。
论文5:ZegFormer
在这篇论文中,作者使用了以下性能和效率的评价指标:
-
性能指标:
-
Class-Related Segmentation Metric:包括在见过的类别(Seen)、未见过的类别(Unseen)以及它们的调和平均值(Harmonic)上的mean Intersection-over-Union (mIoU)。这些指标用于评估模型在不同类别上的语义分割性能。
-
Class-Agnostic Grouping Metric:使用边界的精度-召回率-F1分数(Precision-recall-F1, Pb, Rb, Fb)作为评估指标,用于评估模型在类别无关的图像分组任务上的性能。
-
-
效率指标:
-
论文中没有明确列出具体的效率指标,如推理时间或参数数量等。通常在评估模型效率时,会考虑模型的推理时间(inference time)、模型大小(model size)或参数数量(number of parameters)等指标。
-
具体数值如下:
-
在COCO-Stuff数据集上,ZegFormer模型在见过的类别上达到了37.4的mIoU,在未见过的类别上达到了21.4的mIoU,调和平均值为27.2。
-
在PASCAL VOC数据集上,ZegFormer模型在见过的类别上达到了86.4的mIoU,在未见过的类别上达到了63.6的mIoU,调和平均值为73.3。
-
在ADE20k-Full数据集上,ZegFormer模型在未见过的类别上达到了5.3的mIoU,与完全监督模型的性能相当。
对于类别无关的分组指标,ZegFormer在COCO-Stuff数据集上的Fb、Pb和Rb分别为50.4、44.0和58.9,显示出在类别无关的分组任务上相较于基线模型有显著提升。
论文6:SEAL
在这篇论文中,作者使用了以下性能和效率的评价指标来衡量语义边缘检测算法的效果:
-
最大F-Measure (MF) 在最优数据集尺度 (Optimal Dataset Scale, ODS): 这是一个常用的评价指标,用于衡量模型在特定尺度下的性能。它结合了精度(Precision)和召回率(Recall)来提供一个单一的性能度量。
-
类别级别的精度和召回率曲线:这些曲线提供了对每个类别边缘检测性能的深入分析。
-
原始(Raw)和细化(Thin)模式:原始模式考虑了预测的局部质量,而细化模式则是传统方法,通常在匹配前对预测结果进行细化。
-
实例敏感性(Instance-sensitive):考虑了实例之间的边缘,即使这些实例属于同一类别。
-
非实例敏感性(Non-Instance-Sensitive, non-IS)模式:在这种模式下,算法不考虑实例之间的区分。
针对论文提出的SEAL算法,以下是一些具体的性能指标数值:
-
在SBD测试集上(原始标签):
-
SEAL在"Thin"模式下的平均MF分数是73.8%。
-
SEAL在"Raw"模式下的平均MF分数是70.3%。
-
-
在SBD测试集上(重新注释的标签):
-
SEAL在"Thin"模式下的平均MF分数是67.0%。
-
SEAL在"Raw"模式下的平均MF分数是64.4%。
-
-
在SBD测试集上,使用与[52]相同的基准和真实标注:
-
SEAL的平均MF分数是74.4%。
-
-
在Cityscapes验证集上:
-
SEAL在"Thin"模式下的平均MF分数是69.1%。
-
SEAL在"Raw"模式下的平均MF分数是65.5%。
-
请注意,这些数值是论文中提供的部分结果摘录。具体的数值会根据不同的设置(如"Thin"或"Raw"模式)和数据集(如SBD或Cityscapes)有所变化。论文中还包含了更详细的表格,列出了SEAL算法在各个类别上的具体性能数值。