《图解深度学习》学习笔记（六）

最新推荐文章于 2025-01-04 10:10:50 发布

原创

最新推荐文章于 2025-01-04 10:10:50 发布 · 594 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#神经网络 #算法 #python #计算机视觉 #机器学习

本文介绍了深度学习的各种工具，如Theano、Pylearn2、Caffe、Chainer、TensorFlow和PyTorch。重点讨论了深度学习在物体识别中的应用，包括AlexNet的创新和反卷积网络的引入。此外，还提到了物体检测的R-CNN、Fast R-CNN和Faster R-CNN方法，以及分割、回归问题和网络可视化的进展。最后，展望了深度学习的未来，如强化学习的DeepQ-Network和图像生成技术DeepDream。

第七章深度学习工具

1、Theano

在学习Theano时，我们必须了解共享变量的概念。由于函数的输入和输出是Python的Numpy数组，所以每次调用这些函数时，GPU都需要将其复制到内存里。如果使用共享变量，GPU就可以从共享变量中获取数据，无须每次都将数据复制到内存里。通过使用共享变量，使用误差反向传播算法等梯度下降法估计参数时，就无须每次调整时都将符号变量复制到内存中，因此运算速度能够得到提高。将训练样本也作为共享变量，即可避免每次调整时都将训练样本复制到内存中。共享变量的创建可以使用share函数。

2、Pylearn2

基于Theano的数值运算，通过并行计算加速运算过程。通过yaml文件配置定义网络以及和训练有关的设置，并将其赋值给train.py中的参数。与xml相似，是一种数据序列化表达格式。

3、Caffe

4、训练系统——DIGITS

直观清晰的用户界面。

5、Chainer

日本公司开发

6、TensorFlow

核心部分采用C++编写以实现高效计算，其函数接口支持C++和python两种编程语言。

7、小结

8、Pytorch

第八章深度学习的现在和未来。

一、物体识别

深度学习最初是被用于物体识别的，而目前其物体识别性能已居于绝对的领先地位，各种应用案例不断见诸报端。

1、AlexNet

2012年举办的物体识别挑战赛（ ILSVRC 2012 ）是深度学习在图像识别领域得以迅速发展的一个转折点。以往的物体识别主要依靠对SIFT等尺度不变特征变换方法和支持向量机等机器学习方法的组合应用来提升性能。 2012年以后，深度学习一跃成为物体识别的核心方法。

在ILSVRC2012中获胜的卷积神经网络名为AlexNet。其网络结构如图8.3所示，包含5个卷积层和3个全连接层，在第1,2,5个卷积层之后进行池化操作。使用激活函数ReLU并在全连接层引入Dropout是AlexNet网络的创新点，也是识别性能得以提升的主要原因。这些改进抑制了过拟合。

经此一役，以往不受重视的卷积神经网络终于向世人展示了它的可能性。并且表明了GPU能够加速训练。卷积神经网络自动学习得到的卷积核能够捕捉到多个方向的边缘以及颜色渐变。能够捕捉边缘梯度的卷集合，已经非常接近以往由研究者们设计出来的卷积核。此外，卷积神经网络自动学习得到的卷积核还能捕捉到网纹图像等很难手工设计的复杂形状。

2、反卷积、反池化操作引入到AlexNet

反卷积网络：引入反卷积层，能够把卷积结果恢复为原始的图像和特征图。通过反卷积进行恢复后，我们可确认单元对哪些图像产生了反映。这样就可以从视觉上直观地确认训练后的网络的好坏。如果事先保存池化起始坐标，那么即便进行了池化操作，图像也能被恢复为原始图像。2013年在AlexNet网络训练中引入该处理后，赢得比赛。