【可视化CNN】《Visualizing and Understanding Convolutional Networks》深入解析

最新推荐文章于 2021-10-26 20:48:05 发布
最新推荐文章于 2021-10-26 20:48:05 发布
阅读量1.8k 收藏 12
点赞数 3
CC 4.0 BY-SA版权
分类专栏： DeepLearning 目标识别 文章标签： 卷积网络可视化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Gerwels_JI/article/details/84790378

0 为什么选择这篇Paper？

  1. 2014年ECCV上的一篇经典文献：《Visualizing and Understanding Convolutional Networks》，可以说是可视化理解CNN领域的开山之作。
  2. 一般给出输入图像，晋国CONV-RELU-POOL-SOFTMAX/SVM得到Score，但中间内容对于我们来说是未知的
    在这里插入图片描述
    本文就是让炼丹师在调参或改动网络结构并提高最终的目标精度的时候，明白自己设计的CNN网络的每一层到底学习到了什么特征。
  3. 自2014年发表至今有2000多的引用量，学习这篇文章，可以很好的站在可视化的角度来理解如何学习到精确的特征来提高你的精度，对于今后深入理解CNN有很大的帮助。
  4. 题外之言：深度学习作为人工智能领域的“黑(xuan)盒(xue)”，而CNN又作为深度学习中的又一大“黑(xuan)盒(xue)”，其已经在CV的诸多领域取得了极大的成功和进展。但是，至今没有人能够“打开黑盒”，从数学原理上予以解释。这对理论研究者，尤其是数学家来说当然是不可接受的，但换一个角度来说，我们终于创造出了无法完全解释的事物，这也未尝不是一种进步了！

今天我们讨论的重点：Visualizing ConvNet

1 Preview

1.1 我们能从Paper中学到什么？

  1. CNN的每一层输出的Map学习到了什么东西
  2. 通过反卷积网络方法，从可视化角度深入理解CNN
  3. make more smaller filter and more deeper network

1.2 本文的四个实验

1.2.1 Experiment 1: Visualization Issue

  • 从不同层中随机选取一组Feature map，并执行卷积步骤的反向过程：unpooling -> Relu -> Conv Filter (先前相对应卷积层的权值的转置)
  • 监控在训练epochs中的输出map
  • 使用visualization来构建一个更好的network
    在这里插入图片描述

1.2.2 Experiment 2: Occlusion Issue

遮挡输入图像中目标的部分图像。若model的预测精度受到影响，我们可以推断这个网络没有学习到目标的特别特征（也就是被遮挡的部分没有被学习到）；若遮挡前后model对图像的预测精度没有影响，There’s a problem！。
在这里插入图片描述

1.2.3 Experiment 3: Similarity Between Different Feature Map

实验二的更为细节版本，使用求平均灰度值的方块取遮挡图像，并计算其汉明距离(hamming distance)，比较其feature map difference的相似度是多大。
在这里插入图片描述

1.2.3 Experiment 4: New Architecture<

最低0.47元/天 解锁文章

200万优质内容无限畅学
基于FPGA实现CNN参数量化技术的实践与心得
Sn_Mn的博客
07-01 2354
在上一篇中提到了在FPGA中实现网络，因为网络过于臃肿而难以综合，因此随后通过资料的查阅发现参数量化这一技术能够大大降低网络的复杂度。但在我调研过程中，我发现网络上关于参数量化的FPGA实现资料太少，因此我打算将这一过程记录下来，希望能够通过这篇博客与大家分享这一技术的实现过程以及我的一些心得。
浅谈《Visualizing and Understanding Convolutional Networks》
one__day的博客
07-05 430
内容简介： 此文是Matthew D. Zeiler在2014年发表在ECCV上的文章，当时基于CNN 的模型已经初露峥嵘，表现不俗，但探究不深，对于CNN为何取得如此好的效果以及如何改进网络结构没有明确的答案，这也正是该文重点研究分析的两个问题。作者通过反卷积手段实现可视化，通过可视化来分析每层的特征以及特征如何随模型训练而发生变化等，从而更好地改进模型结构。文章内容： 反卷积实现可视化： 作者以标准的有监督的cnn模型为基础，在每个卷积层后面附加了一个反卷积层，反卷积层...
2013-Visualizing and Understanding Convolutional Networks
05-21
Large Convolutional Network models have recently demonstrated impressive classication performance on the ImageNet benchmark (Krizhevsky et al., 2012). However there is no clear understanding of why they perform so well, or how they might be improved. In this paper we address both issues. We introduce a novel visualization technique that gives insight into the function of intermediate feature layers and the operation of the classier. Used in a diagnostic role, these visualizations allow us to nd model architectures that outperform Krizhevsky et al. on the ImageNet classication benchmark. We also perform an ablation study to discover the performance contribution from dierent model layers. We show our ImageNet model generalizes well to other datasets: when the softmax classier is retrained, it convincingly beats the current state-of-the-art results on Caltech-101 and Caltech-256 datasets.
《Visualizing and Understanding Convolutional Networks》翻译
ShaneneD的博客
04-12 1431
原文：https://arxiv.org/pdf/1311.2901.pdf摘要最近，大型卷积网络模型在ImageNet基准测试中表现出令人印象深刻的分类性能（Krizhevsky et al。，2012）。 然而，对于他们为什么表现如此出色以及他们如何改进他们没有清楚的认识。 在本文中，我们解决了这两个问题。 我们介绍了一种新颖的可视化技术，可以深入了解中间要素图层的功能以及分类器的操作。 用于...
Visualizing and Understanding Convolutional Networks
Flora_9的博客
10-22 233
大的卷积网络模型表现出了比较好的分类效果。然而有两个问题：一，为什么大的卷积网络表现好。二，卷积网络还可以怎样进行改善。这篇文章针对这两个问题，引入一种可视化技术，洞察中间特征层的作用和分类器的操作。 推动卷积神经网络发张主要有三个因素：1.更大的训练集，数百万标签样本能够被利用起来。2.GPU的性能得到了提升。3.更好的模型规范化策略的发展，比如dropout。虽然取得了比较好的进展，但是如果...
[论文笔记]Visualizing and Understanding Convolutional Networks
qq_40079310的博客
08-02 510
Visualizing and Understanding Convolutional Networks 文章目录Visualizing and Understanding Convolutional Networks1：大纲总览2：Approach操作详解：Unpooling:操作详解：Rectification:操作详解：Filtering:3：可视化结果分析 1：大纲总览 ​ 随着(1)可利...
Visualizing and Understanding Convolutional Networks.zip
03-16
"Visualizing and Understanding Convolutional Networks" 主题涉及到的核心是研究如何更好地理解和解释CNN的工作原理，这对于优化模型性能、提升模型可解释性以及解决黑箱问题至关重要。 卷积神经网络由多个层次...
Visualizing and Understanding Convolutional Networks (2).zip
03-16
本资料《Visualizing and Understanding Convolutional Networks (2)》深入探讨了CNN的可视化方法和技术，以帮助我们更好地理解和优化这些模型。 1. **卷积层的理解**：CNN的核心在于卷积层，它通过滤波器（filter...
Visualizing and Understanding Convolutional Networks.pdf
12-30
《Visualizing and Understanding Convolutional Networks》这篇论文探讨了理解CNN性能背后的原因以及如何改进模型。作者提出了一种新颖的可视化技术，该技术能揭示中间特征层的功能以及分类器的工作原理。通过诊断...
Visualizing and Understanding Convolutional Networks(神经网络可视化)理解
造未来
12-15 388
作者的核心思想要点： feature map的可视化 一般的卷积神经网络某一层的输出，都是将Input Image，经过多次的Conv、ReLU、Pooling作用后的得到的结果。 举个简单又不失一般性的单层卷积神经网络模型： 现在我们想知道Pooling后得到的96个112x112的feature maps中的一个feature map到底学到的是啥？怎么做？ 一个直观的想法是将1...
【论文阅读】Visualizing and Understanding Convolutional Networks
博客标题不能为空我也没办法
10-26 785
可视化神经网络内部细节的方法
visualizing and understanding convolutional networks
03-16
卷积神经网络(Convolutional Neural Network, CNN)是一种用于图像...可视化CNN是理解它的工作原理和调整超参数的有效方法之一。常见的可视化方法有：网络结构可视化、卷积核可视化、特征图可视化、可解释性可视化等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值