《深度学习实战》---学习篇（1）

第1章 工具与技术
1.1 神经网络的类型
1.1.1 全连接网络
全连接网络的每个输出单元都是输入的加权和。“全连接”一词是由神经网络的每个输出都与输入相连接这个特性而来。写成表达式为：
y=Wx
其中y为输出向量，W为权重矩阵，x为输入向量
为了增强网络表现力，在矩阵乘法后面跟一个非线性激活函数，通常有tanh，ReLU，sigmoid等等。矩阵乘法和后面，后面的激活函数一起构成了神经网络的一层。通常全连接网络作为网络的最后一层分类层，该层的输出数量与需要分类的数量相同。
1.1.2 卷积网络
卷积网络（CNN）使用很少的参数来训练图像分类器。卷积是CNN对的基础性操作。卷积不是一次应用在整个图像上，而是一次扫描图像的一个小窗口。在每个位置上，卷积应用一个核函数，单个核函数被称为滤波器，结果得到一个新的、更小的图像。通过子采样来减少图像尺寸。子采样包括跨步卷积和池化两种方式，跨步卷积是指在图像上滑动卷积滤波器时，简单地跳过1个或几个像素，操作得到的结果是尺寸更小的图像。池化包括最大值池化和平均值池化，这是一种特殊的卷积。将多个卷积层和池化层连接到一起之后，CNN在网络的顶部使用一个或两个全连接层来输出预测结果。
1.1.3 循环网络
循环神经网络(RNN)常用来处理序列输入。序列问题一次处理问题的一部分，而不是完整处理单个实例。神经网络需要记住它看到的东西，循环神经网络提供了这样一种机制，允许建立一个能够处理不同长度的模型。但如果输入太长，通常需要将它们分割为较小尺寸的片段，独立训练每个片段。但RNN对长输入序列的预测效果比较差，主要原因在于梯度消失。每次通过激活函数，都有一定的概率以较小的梯度通过。一旦某个单元出现这种情况，训练信号就无法传递，导致学习极其缓慢或整个网络不再继续学习。长短期记忆网络(LSTM)解决了这个问题，但详细情况不再介绍。
1.1.4 对抗网络和自动编码器
神经网络的隐层包含了图像的一种表示，这种表示包含了明显比图像少的信息，通过这个表示可以重构图像，这就产生了一种压缩形式。这就是自动编码器。
对抗网络把问题分成生成网络和对抗网络。生成网络输入一个小的随机种子，产生一个图像。判别网络尝试去输入判断的图像是否是真的或者来自于生成网络。
1.2 数据获取
1.2.1 维基百科
1.2.2 维基数据
1.2.3 开放街区地图
1.2.4 Twitter
1.2.5 古腾堡计划
1.2.6 Flickr
1.2.7 互联网档案馆网站
1.2.8 爬虫