【学习笔记】昇思25天学习打卡(D10)CV01-FCN图像语义分割.ipynb

全卷积网络(FCN)实战(1),零基础Python入门 🍅 硬核资料:关注即可领取PPT模板、简历模板、行业经典书籍PDF。🍅 技术互助:技术群大佬指点迷津,你的问题可能不是问题,求资源在群里喊一声。🍅 面试题库:由技术群里的小伙伴们共同投稿,热乎的大厂面试真题,持续更新中。🍅 知识体系:含编程语言、算法、大数据生态圈组件(Mysql、Hive、Spark、Flink)、数据仓库、Python、前端等等。既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Python开发知识点,真正体系化! 阅读详情

FCN图像语义分割

全卷积网络(Fully Convolutional Networks,FCN)是UC Berkeley的Jonathan Long等人于2015年在Fully Convolutional Networks for Semantic Segmentation[1]一文中提出的用于图像语义分割的一种框架。

FCN是首个端到端(end to end)进行像素级(pixel level)预测的全卷积网络。

语义分割

图像语义分割(semantic segmentation)是图像处理和机器视觉技术中关于图像理解的重要一环,AI领域中一个重要分支,常被应用于人脸识别、物体检测、医学影像、卫星图像分析、自动驾驶感知等领域。

语义分割的目的是对图像中每个像素点进行分类。与普通的分类任务只输出某个类别不同,语义分割任务输出与输入大小相同的图像,输出图像的每个像素对应了输入图像每个像素的类别。

模型简介

FCN主要用于图像分割领域,是一种端到端的分割方法,是深度学习应用在图像语义分割的开山之作。通过进行像素级的预测直接得出与原图大小相等的label map。因FCN丢弃全连接层替换为全卷积层,网络所有层均为卷积层,故称为全卷积网络。

全卷积神经网络主要使用以下三种技术:

  1. 卷积化(Convolutional)
  2. 上采样(Upsample)
  3. 跳跃结构(Skip Layer)

网络特点

  1. 不含全连接层(fc)的全卷积(fully conv)网络,可适应任意尺寸输入。
  2. 增大数据尺寸的反卷积(deconv)层,能够输出精细的结果。
  3. 结合不同深度层结果的跳级(skip)结构,同时确保鲁棒性和精确性。

数据处理

使用PASCAL VOC 2012数据集与SDB数据集进行混合。

数据预处理

由于PASCAL VOC 2012数据集中图像的分辨率大多不一致,无法放在一个tensor中,故输入前需做标准化处理。

网络构建

FCN网络的流程如下:

  1. 输入图像image,经过pool1池化后,尺寸变为原始尺寸的1/2。
  2. 经过pool2池化,尺寸变为原始尺寸的1/4。
  3. 接着经过pool3、pool4、pool5池化,大小分别变为原始尺寸的1/8、1/16、1/32。
  4. 经过conv6-7卷积,输出的尺寸依然是原图的1/32。
  5. FCN-32s是最后使用反卷积,使得输出图像大小与输入图像相同。
  6. FCN-16s是将conv7的输出进行反卷积,使其尺寸扩大两倍至原图的1/16,并将其与pool4输出的特征图进行融合,后通过反卷积扩大到原始尺寸。
  7. FCN-8s是将conv7的输出进行反卷积扩大4倍,将pool4输出的特征图反卷积扩大2倍,并将pool3输出特征图拿出,三者融合后通反卷积扩大到原始尺寸。

训练准备

导入VGG-16部分预训练权重

FCN使用VGG-16作为骨干网络,用于实现图像编码。

损失函数

使用交叉熵损失函数来计算FCN网络输出与mask之间的交叉熵损失。

自定义评价指标 Metrics

  • Pixel Accuracy(PA, 像素精度)
  • Mean Pixel Accuracy(MPA, 均像素精度)
  • Mean Intersection over Union(MloU, 均交并比)
  • Frequency Weighted Intersection over Union(FWIoU, 频权交井比)

模型训练

导入VGG-16预训练参数后,实例化损失函数、优化器,使用Model接口编译网络,训练FCN-8s网络。

模型评估

使用自定义的评价指标进行模型评估。

模型推理

使用训练的网络对模型推理结果进行展示。

总结

FCN的核心贡献在于提出使用全卷积层,通过学习让图片实现端到端分割。与传统使用CNN进行图像分割的方法相比,FCN有两大明显的优点:

  1. 可以接受任意大小的输入图像,无需要求所有的训练图像和测试图像具有固定的尺寸。
  2. 更加高效,避免了由于使用像素块而带来的重复存储和计算卷积的问题。

同时FCN网络也存在待改进之处:

  1. 得到的结果仍不够精细。
  2. 对各个像素进行分类,没有充分考虑像素与像素之间的关系。

Reference
教程来自:
https://gitee.com/mindspore/docs/blob/r2.3/tutorials/application/source_zh_cn/cv/fcn8s.ipynb

MindSpore实现图像分类之数据处理部分 简单介绍下图片分类模型的日常用处:例如给定数字图像,判断图像所属的类别:猫、狗、飞机、汽车等等。如果用函数来表示这个过程如下: def classify(image): label = model(image) return label 首先需要准备好本次演示使用的CIFAR-10数据集,可从MindSpore官网教程的实现图片分类页面中下载,数据集简介如下。 进入本次正题,处理数据集,下面是具体的操作说明和代码实现 先将数据预加载出来和预处理 加载数据集 ... 阅读详情

相关推荐

FCN网络结构图.zip

基于PASCAL的FCN网络结构图,使用Caffe深度学习框架绘制,内容为FCN8s.png,FCN16s.png,FCN32s.png

昇思25天学习打卡营第3天|onereal

前几天不能运行代码,经过排查是因为我的浏览器是搜狗的,换成Chrome问题解决了。按照提示学习了《应用实践/计算机视觉/FCN图像语义分割.ipynb》并且尝试运行代码,开始训练,最后看到图片变化。

onereal的代码 393

GPU大规模集群运维

CUDA(Compute Unified Device Architecture),是显卡厂商NVIDIA推出的通用并行计算平台和程序模型,该架构使GPU能够解决复杂的计算问题。它包含了CUDA指令集架构(ISA)以及GPU内部的并行计算引擎。开发人员可以使用C语言来为CUDA架构编写程序,所编写出的程序可以在支持CUDA的处理器上以超高性能运行。CUDA官方文档CUDA的软件环境允许开发者使用C++等高级编程语言开发程序。

weixin_42795092的博客 1742

MindSpore社区活动:UNet-2D的图像分割

Unet提出的初衷是为了解决医学图像分割的问题。Unet网络非常的简单前半部分就是特征提取后半部分是上采样。在一些文献中把这种结构叫做。

qq_30030015的博客 538

西门子1200,与V90和步科MD60第三方伺服PN通讯

需要注意的是回零方式的选择,因为V90是绝对值编码器,这里回零模式选择模式7,系统自动根据编码器反馈以及组态的机械参数,计算出轴的位置,并且掉电保持。在线访问中,找到对应的网卡,以及下面扫描到的设备,可以在线修改ip地址和profinet名称,注意一定要和组态中的完全一致。以上硬件组态上完成,主要是gsd文件导入后,添加硬件,建立连接,修改ip和profinet名称,添加报文。1- 博图V18内,设备组态,网络视图中,拖入V90以及MD60伺服,并与PLC创建连接。向厂家索要GSD文件,PN的描述文件。

weixin_37596954的博客 2468

GNSS/INS松组合导航实战:如何用卡尔曼滤波提升定位精度(附MATLAB代码)

本文深入探讨了GNSS/INS松组合导航的工程实践,详细阐述了如何利用卡尔曼滤波算法融合卫星与惯性数据以提升定位精度。内容涵盖从仿真环境搭建、误差状态卡尔曼滤波器(ESKF)设计,到状态与观测方程实现、噪声参数调试及常见问题排查的全过程,并提供了可直接运行的MATLAB代码,为开发高精度、鲁棒的组合导航系统提供实战指南。

weixin_29057163的博客 166

MindSpore实现图片分类

MindSpore图片分类 实验介绍 本实验主要介绍使用MindSpore在CIFAR-10数据集上训练ResNet50。本实验使用MindSpore model_zoo中提供的ResNet50模型定义,以及MindSpore官网教程在云上使用MindSpore里的训练脚本。 实验目的 了解如何使用MindSpore加载常用的CIFAR-10图片分类数据集。 了解MindSpore的model_zoo模块,以及如何使用model_zoo中的模型。 了解ResNet50这类大模型的基本结构和编程方法。 预

kewei chen 6043

基于CODESYS与EtherCAT的步进电机单轴控制实践

本文详细介绍了基于CODESYS平台与EtherCAT总线技术实现步进电机单轴控制的完整实践流程。从硬件选型、软件工程创建、EtherCAT主从站配置,到运动控制功能块编程与在线调试,手把手指导读者完成从零到一的搭建,并提供了常见问题的排坑指南,帮助自动化开发者快速掌握这一高效、灵活且成本可控的工业运动控制解决方案。

hh234的博客 491

Mindspore大模型平台脑部MRI图像分割任务

UNet是一种经典的神经网络架构,最初由Olaf Ronneberger等人于2015年提出。UNet主要应用于图像分割任务,特别是医学图像分割。该架构以其U形状的网络结构而得名,因为它由对称的收缩路径(编码器)和扩展路径(解码器)组成,形成了一个U形状的整体结构。UNet由编码器和解码器组成[论文]U-Net论文链接本项目基于公开的模型仓库下的MindSpore预训练文件和公开的数据集实现迁移学习,在昇思大模型平台体验训练、评估和推理可视化全流程MRI图像分割的开发体验。

weixin_64426947的博客 1468

VBA学习笔记6:将多个工作表中满足条件的数据汇总到同一个工作表

VBA学习笔记6:将多个工作表中满足条件的数据汇总到同一个工作表

weixin_45355881的博客 4708

【AI深究】合成数据(Synthetic Data)深度解析:原理、算法与工程实践——全网最详细流程|核心原理、主流方法、数学表达、工程实践与细节、未来趋势|GAN、VAE、语言模型LLM合成如GPT

大家好,我是爱酱。本篇延续将会系统梳理合成数据(Synthetic Data)的核心原理、主流方法、数学表达、工程实践与未来趋势,结合数学公式,帮助你全面理解这一AI建模的关键技术。 注:本文章含大量数学算式、详细例子说明及大量代码演示,大量干货,建议先收藏再慢慢观看理解。新频道发展不易,你们的每个赞、收藏跟转发都是我继续分享的动力!

AI人工智能爱酱~你的AI学习好帮手~ 4948

华为开源自研AI框架昇思MindSpore应用案例:Mask-RCNN实现实例分割

Mask R-CNNMaskRCNN是一种概念简单、灵活、通用的目标实例分割框架,在检测出图像中目标的同时,还为每一个实例生成高质量掩码。这种称为Mask R-CNN的方法,通过添加与现有边框检测分支平行的预测目标掩码分支,达到扩展Faster R-CNN的目的。Mask R-CNN训练简单,运行速度达5fps,与Faster R-CNN相比,开销只有小幅上涨。此外,Mask R-CNN易于推广到其他任务。例如,允许在同一框架中预测人体姿势。

Yeats_Liao的博客 1568

【RT-DETR实战】159、改进九:知识蒸馏从YOLOv8教师模型学习

摘要: 本文探讨了知识蒸馏在RT-DETR目标检测模型中的应用挑战与实践经验。作者以YOLOv8作为教师模型,针对特征对齐、损失函数设计和训练策略等核心问题,提出了适配器模块、动态权重调整和多阶段训练等优化方案。文章重点分析了教师模型选择、特征图匹配、损失函数组合等关键环节的实战技巧,并总结了蒸馏模型部署时的注意事项。通过实验验证,作者指出知识蒸馏应关注模型"思维方式"的迁移而非简单特征复制,并强调合理评估指标和教师模型选择的重要性。最后,作者分享了技术迭代中的边际效应认知,为工业场景下的模型优化提供了实用

企鹅码农的专属播客,分享10多年的实战案例和经验解读,包含YOLO、RT-DETR、AI等各个工作领域。 268

昇思MindSpore学习总结九——FCN语义分割

全卷积网络(Fully Convolutional Networks,FCN)是UC Berkeley的Jonathan Long等人于2015年在Fully Convolutional Networks for Semantic Segmentation[1]一文中提出的用于图像语义分割的一种框架。

qq_41566819的博客 1229

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

昇思MindSpore 应用学习-FCN图像语义分割-优快云

全卷积网络(Fully Convolutional Networks,FCN)是UC Berkeley的Jonathan Long等人于2015年在Fully Convolutional Networks for Semantic Segmentation[1]一文中提出的用于图像语义分割的一种框架。 FCN是首个端到端(end to end)进行像素级(pixel level)预测的全卷积网络。 在具体介绍FCN之前,首先介绍何为语义分割: 图像语义分割(semantic segmentation)是图像

青云的博客 1371

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

昇思25天学习打卡营第11天|SSD目标检测

SSD,全称Single Shot MultiBox Detector,是Wei Liu在ECCV 2016上提出的一种目标检测算法。使用Nvidia Titan X在VOC 2007测试集上,SSD对于输入尺寸300x300的网络,达到74.3%mAP(mean Average Precision)以及59FPS;对于512x512的网络,达到了76.9%mAP ,超越当时最强的Faster RCNN(73.2%mAP)。具体可参考论文[1]。

读书 行路 做人 成事 1012

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

《昇思25天学习打卡营第1天|MindSpore快速入门》

建立数据集MindSpore的dataset使用数据处理流水线(Data Processing Pipeline),需指定map、batch、shuffle等操作。这里我们使用map对图像数据及标签进行变换处理,然后将处理好的数据集打包为大小为64的batch。类是构建所有网络的基类,也是网络的基本单元。对数据集进行迭代访问,查看数据和标签的shape和datatype。在本教程中,我们使用Mnist数据集,自动下载完成后,使用。提供的数据变换进行预处理。实现高效的数据预处理。包含所有网络层的定义,

989

全卷积网络(FCN)实战:使用FCN实现语义分割

FCN对图像进行像素级的分类,从而解决了语义级别的图像分割(semantic segmentation)问题。与经典的CNN在卷积层之后使用全连接层得到固定长度的特征向量进行分类(全联接层+softmax输出)不同,FCN可以接受任意尺寸的输入图像,采用反卷积层对最后一个卷积层的feature map进行上采样, 使它恢复到输入图像相同的尺寸,从而可以对每个像素都产生了一个预测, 同时保留了原始输入图像中的空间信息, 最后在上采样的特征图上进行逐像素分类。 下图是语义分割所采用的全卷积网络(FCN)的结构示

二爷的博客 2648

MindSpore训练并测试UNet

pytorch风格大致类似,nn.Cell对应pytorch中的nn.Module注意MindSpore卷积,如果存在padding,需要设置pad_mode='pad'import osreturn outreturn out。

qq_46463876的博客 489

技术干货 | 基于 MindSpore 实现图像分割之平均表面距离

顾名思义,Meansurfacedistance这个指标就是P中所有点的表面距离的平均。这个指标又可称为AverageSymmetricSurfaceDistance(ASSD),它也是医疗图像分割竞赛CHAOS中的一个评估指标。今天为大家带来的内容是Meansurfacedistance平均表面距离的原理介绍及MindSpore的实现代码。今天简单的讲解一下Meansurfacedistance平均表面距离。当我们评价图像分割的质量和模型表现时,经常会用到各类表面距离的计算。...

Kenji_Shinji的博客 1988

全卷积网络FCN详细讲解(超级详细哦)

原文链接:https://blog.csdn.net/qq_41760767/article/details/97521397?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task ...

qq_43703185的博客 1万+

MindSpore Lite体验------实现一个图像分割应用

转载地址:https://bbs.huaweicloud.com/forum/thread-107580-1-1.html 作者:KAIKAI 1、教程地址:https://www.mindspore.cn/tutorial/lite/zh-CN/master/quick_start/image_segmentation.html# 2、Android Studio 安装地址:https://developer.android.com/studio 3、下载图像分割image_segmentatio

Beef_EATER的博客 531

FCN 实战

2019 March 06 fcn FCN 实战 FCN 8s-Caffe-VOC 复现 1. 环境配置 编译安装 caffe, 并安装 python 接口:https://github.com/BVLC/caffe 下载FCN网络模型:https://github.com/shelhamer/fcn.berkeleyvision.org 2. 数据集说明 PASCAL VOC 语义...

测试 858

技术干货 | 基于 MindSpore 实现图像分割之豪斯多夫距离

表示最大距离分位数,取值范围为0-100,它表示的是计算步骤4中,选取的距离能覆盖距离的百分比,一般是选取了95%,那么在计算步骤4中选取的不是最大距离,而是将距离从大到小排列后,取排名为5%的距离。即h(A,B)实际上首先对点集A中的每个点ai到距离此点ai最近的B集合中点bj之间的距离‖ai-bj‖进行排序,然后取该距离中的最大值作为h(A,B)的值;·由式(1)知,双向Hausdorff距离H(A,B)是单向距离h(A,B)和h(B,A)两者中的较大者,它度量了两个点集间的最大不匹配程度。......

Kenji_Shinji的博客 1032

Zig 设计哲学与核心特性 · 0.17 学习手册

本文为Zig 0.17完整学习手册,基于B站19讲视频整理,全面适配Zig 0.17.1版本。涵盖设计哲学(如“一切可见”、显式内存分配)、核心特性(?T、错误即值、comptime、SIMD)及工程实践(Allocator心智模型、零堆分配、Async I/O)。所有代码经实测通过,标注过时写法并提供迁移指南,附30个可运行示例与附录索引,助力开发者从入门迈向系统级编程。

代码过客 145
上一篇: 【学习笔记】昇思25天学习打卡(D09)初学10-使用静态图加速.ipynb
下一篇: 【学习笔记】昇思25天学习打卡(D11)CV02-ResNet50图像分类.ipynb
UnseenMe
博客等级 码龄20年 193粉丝 35原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值