【论文阅读笔记】[Semantic Segmentation] FC-DenseNet阅读笔记

最新推荐文章于 2024-04-18 23:00:13 发布
原创 最新推荐文章于 2024-04-18 23:00:13 发布 · 4k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#deep learning #Semantic Segmentation #FC-DenseNet

本文是关于FC-DenseNet在语义图像分割领域的研究笔记，探讨了FC-DenseNet如何结合DenseNet的优点，通过密集块和上采样操作在不需要预训练和后处理的情况下取得State-of-the-Art结果。FC-DenseNet结构深但参数少，有效地解决了特征映射爆炸问题。训练策略包括像素级交叉熵损失、初始化、RMSprop优化器和数据增强。实验证明，FC-DenseNet在CamVid和Gatech数据集上表现优秀。

jingwenlai 2018-8-15

# 简介 & 主要贡献

Tiramisu - FC-DenseNet (https://arxiv.org/abs/1611.09326),

经典的semantic image segmentation的方法基于CNN，主要包含3个组件：

(a) 一个downsampling path,主要用来提取特征

(b) 一个upsampling path，被训练用来在输出结果中逐步恢复输入精度

(c) 可选地，一个后处理模块(如Conditional Radom Fields)来优化模型输出。

经典的U-Net即是这种结构。

DenseNet在图像分类中获得了非常优异的结果，其结构更精准且更易于训练。

FC-DenseNet在无预训练及后处理的情况下，在CamVid, Catech数据集上获得了state-of-the-art的结果。并且，该结构含更少的参数，且易于训练。

Code& Experiments: https://github.com/SimJeg/FC-DenseNet/blob/master/train.py

A GOOD alternative implementation(pyTorch) & Explanation: https://github.com/bfortuner/pytorch_tiramisu

 

# 实现思路及方法

最低0.47元/天 解锁文章
（论文阅读笔记）Semantic-Aware Domain Generalized Segmentation
qq_43571475的博客
05-10 1984
论文地址：https://arxiv.org/abs/2204.00822 源码地址：GitHub - leolyj/SAN-SAW: This is the code related to "Semantic-Aware Domain Generalized Segmentation" (CVPR 2022) 一、背景 不使用任何目标域数据，将分割模型训练为领域不变。现有的方法解决这个问题是把数据标准化为统一的分布。然而作者认为这种标准化推动了全局的归一化，但产生的特征没有足够的识别力来获得清晰
论文笔记 DIAL: Deep Interactive and Active Learning for Semantic Segmentation in Remote Sensing
Aaaha_jasper的博客
12-02 1163
遥感中的半自动学习结合主动学习
FC-DenseNet
weixin_45622568的博客
08-14 381
TD层里要做Max Pooling是为了把尺度做小，TU就是进行逆卷积或者反卷积，去放大特征图的一个过程。DB里边可能有n个（n=4，5，7.....）右侧没有设置跃层连接是因为再上采样的过程中通道数应该越来越少，但是由于DB输出的特征图非常的多，可能会导致特征图爆炸。c代表按层叠加起来，TD相当于进行特征减小（下采样），TU相当于进行特征放大（上采样），FC-DenseNet是将DenseNet改成全卷积的网络。DB+TD将特征升高，TU+DB将特征降低，
基于FC_DenseNet深度学习网络自动分割肺癌放疗中的危及器官.pdf
08-18
基于FC_DenseNet深度学习网络自动分割肺癌放疗中的危及器官.pdf
Python-用于图像语义分割FCDenseNet的TensorFlow实现
08-10
用于图像语义分割Fully Convolutional DenseNet (A.K.A 100 layer tiramisu)的TensorFlow实现
深度学习_DenseNet_FC-DenseNet
Monday_getStart的博客
07-20 1808
昨天学习了较为经典的DenseNet,今天来做一些总结，可能也会在以后的学习中经常用到。 1. DenseNet研究的背景 在DenseNet出现前，一般卷积神经网络提升效果的方向都是从深度和宽度出发，比如ResNet，其从深度出发，解决梯度消失的问题，要么宽，比如GoogleNet的Inception结构。 而DenseNet从特征出发，通过更好的利用特征来达到更好的效果和更少的参数。 2. DenseNet的优点 与ResNet类似，它也有解决梯度消失的问题 因为其每一层的结构，特征的传递性更强，更好
densenet网络结构_FC-DENSENET用于图像分割学习笔记
weixin_39793420的博客
11-29 1231
近日使用FC Dense Net 做分割，记录学习使用过程。FC-DenseNet 原文链接：https://arxiv.org/abs/1611.09326 《The One Hundred Layers Tiramisu: Fully Convolutional DenseNets for Semantic Segmentation》初次使用此网络，第一眼是被这个名字吸引的，Tiramisu ...
Rich feature hierarchies for accurate object detection and semantic segmentation论文笔记
qq_58739479的博客
04-18 1186
文献的研究目的是为了提高对象检测和语义分割的准确性，特别是在PASCAL VOC这样的标准数据集上。研究的核心是提出一种名为R-CNN（Regions with CNN features）的新型算法，该算法通过结合区域提议和卷积神经网络（CNN）来实现更精确的对象定位和分类。研究方法包括以下几个关键步骤：1. **区域提议提取**：- 使用自底向上的方法，如Selective Search，从图像中提取可能包含对象的区域提议。这些提议作为后续处理的输入。
论文阅读理解 - Fully Convolutional Instance-aware Semantic Segmentation
长风破浪会有时，直挂云帆济沧海
06-01 7226
Fully Convolutional Instance-aware Semantic Segmentation Paper Code 主要基于： - FCNs for Semantic Segmentation 基于FCN的语义分割. 传统FCNs卷积具有平移不变性， 但实例分割需要平移可变. - instance mask proposal 实例 mask 候选 现阶段i...
FCDenseNet（转载）
weixin_45622568的博客
09-21 340
这个Transition Up包含了一个转置卷积，用于对特征图进行上采样，上采样得到的特征图和左边DB输出的特征图进行skip connection（即concat），由于上采样操作增加了特征图的大小以及数量，从而需要更多的内存，解决办法就是：将DB的输入和输出不按通道进行concat，因此转置卷积只作用于最后一层DB的输出，而不是concat所有的特征图。,xl-1]表示将0到 l-1层的输出feature map按通道进行合并，而resnet是做值的相加，通道数是不变的。
FCN-DenseNet
谢军的博客
10-31 2445
FCN-DenseNet
DenseNets
鹊踏枝-码农的专栏
02-05 2255
DenseNets网络架构与ResNet有点相像，都是把L-1层的输出作为L层的输入，同时DenseNets作为L+1,...,L+n的输入，这也就是dense含义的所在了，下面看一些大致的网络架构，如下图： 由上图的网络架构可以明显的看出，DenseNet是把第0,...,L-1层输出的feature maps（第0层表示输入图像）拼接层一个张量（tensor）feature
Fully Convolutional DenseNets for Semantic Segmentation
PartyPartyAnimal的博客
11-23 3408
论文：https://arxiv.org/abs/1611.09326 代码：https://github.com/SimJeg/FC-DenseNet摘要典型的分割体系结构由下列部分组成： （a）负责提取粗略语义特征的下采样路径; （b）训练上采样路径以将模型输出的分辨率恢复至输入图像分辨率大小; （c）处理模块（例如，条件随机场）来优化模型预测。（可选）本文扩展DenseNet为全卷积网
The One Hundred Layers Tiramisu: Fully Convolutional DenseNets for Semantic Segmentation_2016
sunyao_123的博客
07-19 4339
作者：Simon Jégou Michal Drozdzal David VazquezAbstract 典型的语义分割架构由（a）一条下采样路径，负责提取粗的语义特征，再加一个（b）一条上采样路径，负责回复图像分辨率，和一个可选的后处理模块（比如，条件随机场）来精调模型预测。 最近一个新的架构DenseNets，主意来源于：如果每层直接连接其他层，就像前馈机制一样，网络会变
DenseNet笔记
MA201506的博客
01-10 350
一、DenseNet的优点 减轻梯度消失问题 加强特征的传递 充分利用特征 减少了参数量 二、网络结构公式 对于每一个DenseBlock中的每一个层, [x0,x1,…,xl-1]表示将0到l-1层的输出feature map做concatenation。concatenation是做通道的合并，就像Inception那样。而前面resnet是做值的相加...
【FC-DenseNet】The One Hundred Layers Tiramisu：Fully Convolutional DenseNets for Semantic Segmentation
OneCoder的博客
01-14 916
CVPRW(CVPR workshops) 2017 【论文名字：提拉米苏】 文章目录概述细节ResultsConclusions 概述 要解决的问题 语义分割，没针对什么特别的问题，算是站在巨人的肩膀继续建造上层吧。 采用的方法 利用了DenseNets的结构的Dense连接 结果如何 achieve state-of-the-art results在Camvids和Gatec...
TFCNs（一种用于医学图像分割的CNN变换器混合网络）
weixin_45622568的博客
08-15 595
然后在通道维度上对Xi‘进行全局平均池化运算（global AvgPool-）以获得Xi''，并对Xi''进行归一化运算（Normalization）以对数据进行均匀化，从而获得Xi''^， Xi''^=Xi‘ −µB/√σ^2B+ε以加速训练过程的收敛和精度提高，其中µB表示一个批次的平均值，σB表示该批次的标准差，ε是确保分母不为零的最小正值。ResMLP内部的连接如公式（4）、（5），其中，GELU表示GELU[6]非线性层，L表示线性层，α表示相关权重参数，这是一个学习参数。，以更有效地传输信息。
机器学习及深度学习技术在海洋科学方面的应用
热门推荐
qq_39917365的博客
03-29 1万+
目前机器学习及深度学习技术在海洋科学方面的应用大概有以下几方面： （1）监测海洋生物多样性(Monitoring marine biodiversity) Bermant P C等人将机器学习技术运用到对抹香鲸生物声学的研究，利用卷积网络来构造回声定位点击检测器，旨在对抹香鲸声学数据生成的频谱图进行分类。实验结果展示点击检测器在对650个频谱图进行分类时达到了99.5％的准确度。[1] 。 为了解...
【论文阅读笔记】对比学习与语义分割
anlianzhiye的博客
10-23 1239
【论文阅读笔记】对比学习与语义分割
如何运行awesome-semantic-segmentation-pytorch-master
最新发布
10-31
要运行 `awesome-semantic-segmentation-pytorch` 项目（通常是一个基于 PyTorch 的语义分割工具库），你需要正确配置环境并按照项目的结构和说明进行操作。该项目由 Zhang Ge 维护，GitHub 地址通常是：https://github.com/username/awesome-semantic-segmentation-pytorch （注意：你提到的 `awesome-semantic-segmentation-pytorch-master` 是下载后本地文件夹名）。 下面是如何运行该项目的详细步骤： --- ### ✅ 步骤 1：克隆或下载项目 如果你还没有代码，先从 GitHub 克隆： ```bash git clone https://github.com/chenyuntc/awesome-semantic-segmentation-pytorch.git cd awesome-semantic-segmentation-pytorch ``` 或者你已经下载了 ZIP 包并解压为 `awesome-semantic-segmentation-pytorch-master`，进入该目录即可。 --- ### ✅ 步骤 2：创建虚拟环境（推荐） 使用 `conda` 或 `venv` 创建独立环境： ```bash # 使用 conda conda create -n semseg python=3.8 conda activate semseg # 安装 PyTorch（根据你的 CUDA 版本选择） # 例如：CUDA 11.8 conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia # 或 CPU 版本 # conda install pytorch torchvision torchaudio cpuonly -c pytorch ``` --- ### ✅ 步骤 3：安装依赖 项目通常包含 `requirements.txt`，如果没有可以参考常见依赖手动安装： ```bash pip install opencv-python numpy matplotlib tensorboard tqdm scikit-image ``` 有些版本还依赖 `py-spy` 或 `tensorboardX`，请查看项目根目录是否有 `requirements.txt`： ```bash pip install -r requirements.txt ``` --- ### ✅ 步骤 4：准备数据集 常见的语义分割数据集如： - Pascal VOC - Cityscapes - COCO - ADE20K 以 **Pascal VOC** 为例： ```bash # 在项目目录下创建 data 文件夹 mkdir data cd data # 下载 Pascal VOC 数据集（脚本可能已提供） wget http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar tar -xvf VOCtrainval_11-May-2012.tar ``` 确保数据结构类似： ``` data/ └── VOCdevkit/ └── VOC2012/ ├── JPEGImages/ # 图像 ├── SegmentationClass/ # 标注 └── ImageSets/Segmentation/train.txt ``` --- ### ✅ 步骤 5：运行训练或测试脚本 项目中通常有如下目录结构： ``` experiments/ ├── segmentation/ ├── voc/ └── fcn_resnet50.yaml scripts/ train.py test.py models/ datasets/ ``` #### 训练一个模型（如 FCN + ResNet50 on VOC） ```bash python scripts/train.py --model fcn --backbone resnet50 --dataset voc --lr 1e-3 --epochs 50 --batch-size 8 ``` #### 测试模型 ```bash python scripts/test.py --model fcn --backbone resnet50 --dataset voc --resume runs/voc/fcn_resnet50/checkpoint.pth.tar ``` #### 可视化预测结果 ```bash python scripts/demo.py --model fcn --backbone resnet50 --dataset voc --image-path demo/example.jpg ``` --- ### ✅ 常见问题解决 | 问题 | 解决方案 | |------|---------| | ModuleNotFoundError: No module named 'models' | 添加当前路径到 PYTHONPATH：<br>`export PYTHONPATH=.:$PYTHONPATH` | | DataLoader worker exited unexpectedly | 设置 `--num-workers 0` 关闭多进程加载 | | CUDA out of memory | 减小 `--batch-size`，或使用更小模型 | --- ### ✅ 示例代码：训练脚本调用（train.py 简化版逻辑） ```python import torch from torch import nn from torch.utils.data import DataLoader from datasets.voc import VOCSegmentation from models.fcn import FCNResNet import time # 参数设置 device = torch.device("cuda" if torch.cuda.is_available() else "cpu") epochs = 50 lr = 1e-3 batch_size = 8 # 数据集 train_dataset = VOCSegmentation(root='data/VOCdevkit', split='train') train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True, num_workers=4) # 模型 model = FCNResNet(nclass=21).to(device) criterion = nn.CrossEntropyLoss(ignore_index=255) optimizer = torch.optim.SGD(model.parameters(), lr=lr, momentum=0.9, weight_decay=1e-4) # 训练循环 for epoch in range(epochs): model.train() running_loss = 0.0 for i, (images, targets) in enumerate(train_loader): images = images.to(device) targets = targets.to(device) outputs = model(images) loss = criterion(outputs, targets) optimizer.zero_grad() loss.backward() optimizer.step() running_loss += loss.item() if i % 10 == 0: print(f"Epoch [{epoch+1}/{epochs}], Step [{i}/{len(train_loader)}], Loss: {loss.item():.4f}") print(f"Epoch [{epoch+1}] Average Loss: {running_loss / len(train_loader):.4f}") torch.save(model.state_dict(), f"checkpoints/fcn_resnet50_voc_{epoch+1}.pth") ``` > 注意：实际项目中使用的是封装好的 `Trainer` 类和 YAML 配置文件驱动训练。 --- ### ✅ 小贴士 - 查看 `experiments/` 目录下的 `.yaml` 文件了解超参数。 - 训练日志和权重保存在 `runs/` 目录。 - 使用 `tensorboard` 查看训练过程： ```bash tensorboard --logdir runs ``` --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值