【学习笔记】昇思25天学习打卡(D10)CV01-FCN图像语义分割.ipynb

全卷积网络(FCN)实战(1),零基础Python入门 🍅 硬核资料:关注即可领取PPT模板、简历模板、行业经典书籍PDF。🍅 技术互助:技术群大佬指点迷津,你的问题可能不是问题,求资源在群里喊一声。🍅 面试题库:由技术群里的小伙伴们共同投稿,热乎的大厂面试真题,持续更新中。🍅 知识体系:含编程语言、算法、大数据生态圈组件(Mysql、Hive、Spark、Flink)、数据仓库、Python、前端等等。既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Python开发知识点,真正体系化! 阅读详情

FCN图像语义分割

全卷积网络(Fully Convolutional Networks,FCN)是UC Berkeley的Jonathan Long等人于2015年在Fully Convolutional Networks for Semantic Segmentation[1]一文中提出的用于图像语义分割的一种框架。

FCN是首个端到端(end to end)进行像素级(pixel level)预测的全卷积网络。

语义分割

图像语义分割(semantic segmentation)是图像处理和机器视觉技术中关于图像理解的重要一环,AI领域中一个重要分支,常被应用于人脸识别、物体检测、医学影像、卫星图像分析、自动驾驶感知等领域。

语义分割的目的是对图像中每个像素点进行分类。与普通的分类任务只输出某个类别不同,语义分割任务输出与输入大小相同的图像,输出图像的每个像素对应了输入图像每个像素的类别。

模型简介

FCN主要用于图像分割领域,是一种端到端的分割方法,是深度学习应用在图像语义分割的开山之作。通过进行像素级的预测直接得出与原图大小相等的label map。因FCN丢弃全连接层替换为全卷积层,网络所有层均为卷积层,故称为全卷积网络。

全卷积神经网络主要使用以下三种技术:

  1. 卷积化(Convolutional)
  2. 上采样(Upsample)
  3. 跳跃结构(Skip Layer)

网络特点

  1. 不含全连接层(fc)的全卷积(fully conv)网络,可适应任意尺寸输入。
  2. 增大数据尺寸的反卷积(deconv)层,能够输出精细的结果。
  3. 结合不同深度层结果的跳级(skip)结构,同时确保鲁棒性和精确性。

数据处理

使用PASCAL VOC 2012数据集与SDB数据集进行混合。

数据预处理

由于PASCAL VOC 2012数据集中图像的分辨率大多不一致,无法放在一个tensor中,故输入前需做标准化处理。

网络构建

FCN网络的流程如下:

  1. 输入图像image,经过pool1池化后,尺寸变为原始尺寸的1/2。
  2. 经过pool2池化,尺寸变为原始尺寸的1/4。
  3. 接着经过pool3、pool4、pool5池化,大小分别变为原始尺寸的1/8、1/16、1/32。
  4. 经过conv6-7卷积,输出的尺寸依然是原图的1/32。
  5. FCN-32s是最后使用反卷积,使得输出图像大小与输入图像相同。
  6. FCN-16s是将conv7的输出进行反卷积,使其尺寸扩大两倍至原图的1/16,并将其与pool4输出的特征图进行融合,后通过反卷积扩大到原始尺寸。
  7. FCN-8s是将conv7的输出进行反卷积扩大4倍,将pool4输出的特征图反卷积扩大2倍,并将pool3输出特征图拿出,三者融合后通反卷积扩大到原始尺寸。

训练准备

导入VGG-16部分预训练权重

FCN使用VGG-16作为骨干网络,用于实现图像编码。

损失函数

使用交叉熵损失函数来计算FCN网络输出与mask之间的交叉熵损失。

自定义评价指标 Metrics

  • Pixel Accuracy(PA, 像素精度)
  • Mean Pixel Accuracy(MPA, 均像素精度)
  • Mean Intersection over Union(MloU, 均交并比)
  • Frequency Weighted Intersection over Union(FWIoU, 频权交井比)

模型训练

导入VGG-16预训练参数后,实例化损失函数、优化器,使用Model接口编译网络,训练FCN-8s网络。

模型评估

使用自定义的评价指标进行模型评估。

模型推理

使用训练的网络对模型推理结果进行展示。

总结

FCN的核心贡献在于提出使用全卷积层,通过学习让图片实现端到端分割。与传统使用CNN进行图像分割的方法相比,FCN有两大明显的优点:

  1. 可以接受任意大小的输入图像,无需要求所有的训练图像和测试图像具有固定的尺寸。
  2. 更加高效,避免了由于使用像素块而带来的重复存储和计算卷积的问题。

同时FCN网络也存在待改进之处:

  1. 得到的结果仍不够精细。
  2. 对各个像素进行分类,没有充分考虑像素与像素之间的关系。

Reference
教程来自:
https://gitee.com/mindspore/docs/blob/r2.3/tutorials/application/source_zh_cn/cv/fcn8s.ipynb

MindSpore实现图像分类之数据处理部分 简单介绍下图片分类模型的日常用处:例如给定数字图像,判断图像所属的类别:猫、狗、飞机、汽车等等。如果用函数来表示这个过程如下: def classify(image): label = model(image) return label 首先需要准备好本次演示使用的CIFAR-10数据集,可从MindSpore官网教程的实现图片分类页面中下载,数据集简介如下。 进入本次正题,处理数据集,下面是具体的操作说明和代码实现 先将数据预加载出来和预处理 加载数据集 ... 阅读详情

相关推荐

FCN网络结构图.zip

基于PASCAL的FCN网络结构图,使用Caffe深度学习框架绘制,内容为FCN8s.png,FCN16s.png,FCN32s.png

昇思25天学习打卡营第3天|onereal

前几天不能运行代码,经过排查是因为我的浏览器是搜狗的,换成Chrome问题解决了。按照提示学习了《应用实践/计算机视觉/FCN图像语义分割.ipynb》并且尝试运行代码,开始训练,最后看到图片变化。

onereal的代码 393

旋转矩阵推导

推导前提: 坐标使用右手坐标系,角度逆时针旋转为正。 绕X轴旋转角度为 俯仰角 即Pitch 绕Y轴旋转角度为 偏航角 即Yaw(Head) 绕Z轴旋转角度为 翻滚角 即Roll 一、平面二维坐标点的旋转 如右图所示,根据三角函数关系,可以列出向量OP与OP’的坐标表示形式: x = |OP|•cosα x′ = |OP|•cos(α+β) y = |OP|•sinα y′ = |OP|•sin(α+β) 将P′(x′,y′)表达式展开: x′ =

suixinger_lmh的随笔 1384

MindSpore社区活动:UNet-2D的图像分割

Unet提出的初衷是为了解决医学图像分割的问题。Unet网络非常的简单前半部分就是特征提取后半部分是上采样。在一些文献中把这种结构叫做。

qq_30030015的博客 538

影刀初级考试操作题2

题型E主要考察了Excel的操作,总体上难度不大,流程也很少。有些细节地方比如是追加还是覆盖,多试几次就没问题了。

weisili2012的博客 1万+

MT6816角度传感器SPI通信避坑指南:从数据手册到稳定读取的3个关键步骤

本文详细解析了MT6816角度传感器SPI通信中的常见问题与解决方案,包括寄存器地址计算、SPI时序配置和数据校验等关键步骤。通过实测波形和代码示例,帮助工程师避开数据手册中的隐藏陷阱,实现稳定可靠的角度数据读取,特别适用于高精度电机控制场景。

weixin_42520573的博客 519

MindSpore实现图片分类

MindSpore图片分类 实验介绍 本实验主要介绍使用MindSpore在CIFAR-10数据集上训练ResNet50。本实验使用MindSpore model_zoo中提供的ResNet50模型定义,以及MindSpore官网教程在云上使用MindSpore里的训练脚本。 实验目的 了解如何使用MindSpore加载常用的CIFAR-10图片分类数据集。 了解MindSpore的model_zoo模块,以及如何使用model_zoo中的模型。 了解ResNet50这类大模型的基本结构和编程方法。 预

kewei chen 6043

【学习记录】IIC驱动ICM42670+卡尔曼滤波+四元数姿态角解算

ICM42670陀螺仪可以使用iic驱动,单片机平台使用GD32f305VE。

liarsup的博客 8271

Mindspore大模型平台脑部MRI图像分割任务

UNet是一种经典的神经网络架构,最初由Olaf Ronneberger等人于2015年提出。UNet主要应用于图像分割任务,特别是医学图像分割。该架构以其U形状的网络结构而得名,因为它由对称的收缩路径(编码器)和扩展路径(解码器)组成,形成了一个U形状的整体结构。UNet由编码器和解码器组成[论文]U-Net论文链接本项目基于公开的模型仓库下的MindSpore预训练文件和公开的数据集实现迁移学习,在昇思大模型平台体验训练、评估和推理可视化全流程MRI图像分割的开发体验。

weixin_64426947的博客 1468

论文阅读笔记(一)细粒度图像检索

0、参考文献 [1]见微知著 http://geek.csdn.net/news/detail/191718 [2]Xiu-Shen Wei 《Selective Convolutional Descriptor Aggregation for Fine-Grained Image Retrieval》 [3]Lingxi Xie 《Fine-Grained Image Search》 1...

huang2818138的博客 1万+

我用C#实现上位机数据一键导出Excel:从乱码到百万行数据秒级导出的实战技巧

ExcelWorksheet worksheet = package.Workbook.Worksheets.Add("日报表");// 1. 标题(合并单元格)worksheet.Cells["A1"].Value = $"产线日报表 -DateTimeNowToString// 2. 表头和数据(同上)worksheet.Cells["A3"].Value = "时间";// ...省略表头和数据填充// 3. 合计行(公式计算)

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 714

华为开源自研AI框架昇思MindSpore应用案例:Mask-RCNN实现实例分割

Mask R-CNNMaskRCNN是一种概念简单、灵活、通用的目标实例分割框架,在检测出图像中目标的同时,还为每一个实例生成高质量掩码。这种称为Mask R-CNN的方法,通过添加与现有边框检测分支平行的预测目标掩码分支,达到扩展Faster R-CNN的目的。Mask R-CNN训练简单,运行速度达5fps,与Faster R-CNN相比,开销只有小幅上涨。此外,Mask R-CNN易于推广到其他任务。例如,允许在同一框架中预测人体姿势。

Yeats_Liao的博客 1568

【STK】手把手教你利用STK进行关联分析仿真01-STK/CAT模块介绍

今天主要介绍接近分析工具CAT。

weixin_44184852的博客 1108

昇思MindSpore学习总结九——FCN语义分割

全卷积网络(Fully Convolutional Networks,FCN)是UC Berkeley的Jonathan Long等人于2015年在Fully Convolutional Networks for Semantic Segmentation[1]一文中提出的用于图像语义分割的一种框架。

qq_41566819的博客 1229

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

昇思MindSpore 应用学习-FCN图像语义分割-优快云

全卷积网络(Fully Convolutional Networks,FCN)是UC Berkeley的Jonathan Long等人于2015年在Fully Convolutional Networks for Semantic Segmentation[1]一文中提出的用于图像语义分割的一种框架。 FCN是首个端到端(end to end)进行像素级(pixel level)预测的全卷积网络。 在具体介绍FCN之前,首先介绍何为语义分割: 图像语义分割(semantic segmentation)是图像

青云的博客 1371

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

昇思25天学习打卡营第11天|SSD目标检测

SSD,全称Single Shot MultiBox Detector,是Wei Liu在ECCV 2016上提出的一种目标检测算法。使用Nvidia Titan X在VOC 2007测试集上,SSD对于输入尺寸300x300的网络,达到74.3%mAP(mean Average Precision)以及59FPS;对于512x512的网络,达到了76.9%mAP ,超越当时最强的Faster RCNN(73.2%mAP)。具体可参考论文[1]。

读书 行路 做人 成事 1012

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

《昇思25天学习打卡营第1天|MindSpore快速入门》

建立数据集MindSpore的dataset使用数据处理流水线(Data Processing Pipeline),需指定map、batch、shuffle等操作。这里我们使用map对图像数据及标签进行变换处理,然后将处理好的数据集打包为大小为64的batch。类是构建所有网络的基类,也是网络的基本单元。对数据集进行迭代访问,查看数据和标签的shape和datatype。在本教程中,我们使用Mnist数据集,自动下载完成后,使用。提供的数据变换进行预处理。实现高效的数据预处理。包含所有网络层的定义,

989

全卷积网络(FCN)实战:使用FCN实现语义分割

FCN对图像进行像素级的分类,从而解决了语义级别的图像分割(semantic segmentation)问题。与经典的CNN在卷积层之后使用全连接层得到固定长度的特征向量进行分类(全联接层+softmax输出)不同,FCN可以接受任意尺寸的输入图像,采用反卷积层对最后一个卷积层的feature map进行上采样, 使它恢复到输入图像相同的尺寸,从而可以对每个像素都产生了一个预测, 同时保留了原始输入图像中的空间信息, 最后在上采样的特征图上进行逐像素分类。 下图是语义分割所采用的全卷积网络(FCN)的结构示

二爷的博客 2648

MindSpore训练并测试UNet

pytorch风格大致类似,nn.Cell对应pytorch中的nn.Module注意MindSpore卷积,如果存在padding,需要设置pad_mode='pad'import osreturn outreturn out。

qq_46463876的博客 489

技术干货 | 基于 MindSpore 实现图像分割之平均表面距离

顾名思义,Meansurfacedistance这个指标就是P中所有点的表面距离的平均。这个指标又可称为AverageSymmetricSurfaceDistance(ASSD),它也是医疗图像分割竞赛CHAOS中的一个评估指标。今天为大家带来的内容是Meansurfacedistance平均表面距离的原理介绍及MindSpore的实现代码。今天简单的讲解一下Meansurfacedistance平均表面距离。当我们评价图像分割的质量和模型表现时,经常会用到各类表面距离的计算。...

Kenji_Shinji的博客 1988

全卷积网络FCN详细讲解(超级详细哦)

原文链接:https://blog.csdn.net/qq_41760767/article/details/97521397?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task ...

qq_43703185的博客 1万+

MindSpore Lite体验------实现一个图像分割应用

转载地址:https://bbs.huaweicloud.com/forum/thread-107580-1-1.html 作者:KAIKAI 1、教程地址:https://www.mindspore.cn/tutorial/lite/zh-CN/master/quick_start/image_segmentation.html# 2、Android Studio 安装地址:https://developer.android.com/studio 3、下载图像分割image_segmentatio

Beef_EATER的博客 531

FCN 实战

2019 March 06 fcn FCN 实战 FCN 8s-Caffe-VOC 复现 1. 环境配置 编译安装 caffe, 并安装 python 接口:https://github.com/BVLC/caffe 下载FCN网络模型:https://github.com/shelhamer/fcn.berkeleyvision.org 2. 数据集说明 PASCAL VOC 语义...

测试 858

技术干货 | 基于 MindSpore 实现图像分割之豪斯多夫距离

表示最大距离分位数,取值范围为0-100,它表示的是计算步骤4中,选取的距离能覆盖距离的百分比,一般是选取了95%,那么在计算步骤4中选取的不是最大距离,而是将距离从大到小排列后,取排名为5%的距离。即h(A,B)实际上首先对点集A中的每个点ai到距离此点ai最近的B集合中点bj之间的距离‖ai-bj‖进行排序,然后取该距离中的最大值作为h(A,B)的值;·由式(1)知,双向Hausdorff距离H(A,B)是单向距离h(A,B)和h(B,A)两者中的较大者,它度量了两个点集间的最大不匹配程度。......

Kenji_Shinji的博客 1032

Zig 设计哲学与核心特性 · 0.17 学习手册

本文为Zig 0.17完整学习手册,基于B站19讲视频整理,全面适配Zig 0.17.1版本。涵盖设计哲学(如“一切可见”、显式内存分配)、核心特性(?T、错误即值、comptime、SIMD)及工程实践(Allocator心智模型、零堆分配、Async I/O)。所有代码经实测通过,标注过时写法并提供迁移指南,附30个可运行示例与附录索引,助力开发者从入门迈向系统级编程。

代码过客 145
上一篇: 【学习笔记】昇思25天学习打卡(D09)初学10-使用静态图加速.ipynb
下一篇: 【学习笔记】昇思25天学习打卡(D11)CV02-ResNet50图像分类.ipynb
UnseenMe
博客等级 码龄20年 193粉丝 35原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值