人工智能笔记10 --深度学习

原创已于 2022-05-24 13:03:39 修改 · 790 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #人工智能 #神经网络

于 2022-05-24 13:03:16 首次发布

人工智能入门专栏收录该内容

23 篇文章

订阅专栏

本文介绍了卷积神经网络（CNN）和循环神经网络（RNN）的基本原理与应用。CNN因其局部连接、权重共享和下采样特性在图像处理中表现出色，常用于图像识别和分类。RNN则因其循环结构和记忆能力，适合处理时序数据，如自然语言处理任务。两者在各自的领域中展现出强大的功能和广泛的应用前景。

Ø 模拟生物神经元行为的机器，有与生物神经元相对应的部件，输入层接受外界输入信号传递给输出层, 输出层是M-P神经元（阈值逻辑单元）

Ø 结构包括权重（突触）、偏置（阈值）及激活函数（细胞体），输出为0或1（使用sgn阶跃函数时）。

l 单层感知机的学习能力非常有限, 只能解决线性可分问题
l 与、或、非问题是线性可分的, 因此感知机学习过程能够求得适当的权值向量. 而异或问题不是
线性可分的, 感知机学习不能求得合适解
l 对于非线性可分问题, 如何求解？
• 输出层与输入层之间的一层神经元, 被称之为隐层或隐藏层, 隐藏层
和输出层神经元都是具有非线性激活函数的功能神经元

• 前馈神经网络（全连接神经网络、多层感知机）
Ø 各神经元分别属于不同的层，层内无连接。
Ø 相邻两层之间的神经元全部两两连接。
Ø 隐藏层和输出层神经元都是具有非线性激活函数的功能神经元。
Ø 整个网络中无反馈，信号从输入层向输出层单向传播，可用一个有向无
环图表示

神经网络的参数求解-反向传播算法（BP）
与最优化方法（如梯度下降法）结合使用，
用来训练人工神经网络（参数求解）。

1.卷积神经网络

为什么需要卷积神经网络？
全连接前馈神经网络：权重矩阵的参数非常多
参数数量巨大，占用大量内存
神经网络训练耗时，难以收敛

全连接前馈神经网络：很难提取局部不变特征
自然图像中的物体都具有局部不变性特征：尺度缩放、平移、旋转等操作不影响其语义信息

生物学上感受野（Receptive Field）的机制
在视觉神经系统中，一个神经元的感受野是指视网膜上的特定区域，只有这个区域内的刺激才能够激活该神经元。

卷积神经网络的本质
• 一种前馈神经网络
• 用卷积层（局部连接）代替全连接层

特性：
• 局部连接
• 权重共享
• 空间或时间上的下采样

主要操作：
卷积和池化
（• 减少参数，加速训练• 提取局部不变特征）

• 一维卷积（convolution）

给定一个输入向量 $x$ 和滤波器 $w$ （ $w$ 是 $K$ 维向量）, 卷积的输出为：
$yt=∑k=1Kwkxt+ky_t=\sum^K_{k=1}w_kx_{t+k}$
$w_k$ 是滤波器（filter）或卷积核（convolution kernel）负责特定步长内的特征提取（局部特征）

Filter取 $[1, 0, - 1]$
在这里插入图片描述

• 一维卷积扩展

引入滤波器的滑动步长S 和零填充P
在这里插入图片描述

• 二维卷积

• 在图像处理中，图像是以二维矩阵的形式输入到神经网络中，因此需要二维卷积
输入矩阵 $X$ 和滤波器 $W（ W ∈ R^{U×V}) ）$ 的二维卷积定义为：
$Y = W X$
$Yij=∑u=1U∑v=1VWuvXi+u,j+vY_{ij}=\sum^U_{u=1}\sum^V_{v=1}W_{uv}X_{i+u,j+v}$
负责特定区域内的特征提取（局部特征)

简单来说就是把一个矩形区域和另一个规定好的矩形相乘，中间的点的值用乘积来替换
在这里插入图片描述

如果是步长为1，每次只需要向右平移一步

需要注意的是，长宽会各自减少2，如果想得到的卷积层不变，最好原图像长宽也加2

像上图就是 $5×55\times 5$ 变为 $3×33\times 3$

如果是针对RGB图像，分成三个维度进行处理的话，要重复三次二维卷积（区别于三位卷积）

卷积总结：
• 通过滤波器提取图片中的局部特征，跟生物学中的感受野机制类似。
• 每种滤波器负责一种特征模式的提取。

池化

卷积虽然可以显著减少连接的个数，但每个滤波器得到的特征维度仍然比较高。
引入池化（pooling）：一种下采样方法，可以大大降低特征的维度。

卷积神经网络结构

• 卷积神经网络是由卷积层、池化层、全连接层交叉堆叠而成。
Ø 趋向于小卷积、大深度
Ø 趋向于全卷积（设置不同步长，池化层比例降低）
在这里插入图片描述

Ø 卷积网络：可以堆叠N 个连续的卷积块，然后再接K 个全连接层（N 的取值区间比较大，比如1 ∼ 100或
者更大；K一般为0 ∼ 2）。
Ø 卷积块：连续M 个卷积层和b个池化层（M通常设置为2 ∼ 5，b为0或1）

2 卷积网络应用

非常成功的手写数字识别网络-LeNet-5 。
• 基于 LeNet-5 的手写数字识别系统在 90 年代被美国很多银行使用，用来识别支
票上面的手写数字。
• LeNet-5 共有 7 层（2池化、2卷积，3连接

在这里插入图片描述

• 2012 年图像分类比赛（ILSVRC）冠军-AlexNet
Ø top 5 错误率：冠军16% VS 亚军 26%
Ø 第一个现代深度卷积网络模型
• 首次使用了很多现代深度卷积网络的一些技术方法
– 使用GPU进行并行训练，采用了ReLU作为非线性激活函数，使
用Dropout防止过拟合，使用数据增强
Ø 5个卷积层、3个池化层和3个全连接层
在这里插入图片描述
AlphaGo
• 分布式系统：1202 个CPU 和176 块GPU
• 单机版：48 个CPU 和8 块GPU
• 走子速度：3 毫秒-2 微秒

3 循环神经网络（Recurrent Neural Network, RNN)

为什么需要循环神经网络?
前馈网络
• 连接存在层与层之间，每层的节点之间是无连接的。（无循环）
• 输入和输出的维数都是固定的，不能任意改变。无法处理变长的序列数据。
假设每次输入都是独立的，也就是说每次网络的输出只依赖于当前的输入。

有限状态自动机：状态（ $S_t$ ）依赖于当前的输入（ $x$ ）和上一步的状态（ $S_{t-1}$ ）
在这里插入图片描述
循环神经网络使用带自反馈的神经元
• 能够处理任意长度的时序数据。
• 具有记忆能力，当前隐藏层表示（ $h_t$ ）依赖于当前输入（ $x_t$ ）和上一步隐藏层表示( $h_{t-1}$ )

$h_t=f(h_{t-1},x_t)$
在这里插入图片描述

简单循环网络（ Simple Recurrent Network ， SRN ）

状态更新：
$h_T=f(Uh_{t-1}+Wx_t+b)$
• 一个完全连接的循环网络是任何非线性动力系统的近似器。

定理6.1 循环神经网络通用近似定理
如果一个完全连接的循环神经网络有足够数量的sigmoid隐藏神经元，它可以任意准确率近似一个非线性动力系统
$s_t=g(s_{t-1},x_t)$
$y_t=o(s_t)$
$s_t$ 是时刻的隐状态， $x_t$ 是外部输入， $g (\cdot)$ 是可测的状态转换函数, $o (\cdot)$ 是连续输出函数，对状态空间的紧致性没有限制

FNN：模拟任何函数
RNN：模拟任何程序
（计算过程）

4 循环神经网络应用

同步的序列到序列模式

• 信息抽取(Information Extraction，IE)
Ø 从无结构的文本中抽取结构化的信息，形成知识

异步的序列到序列模式

卷积神经网络和循环神经网络比较

	卷积神经网络	循环神经网络
结构	前馈网络，使用滤波器和池化	循环网络，使用带反馈的神经元，（上一步结果反馈）
输入/输出	输入和输出维度固定（如图像分类中图像像素数固定，类别数固定）	大小不固定（如机器翻译中输入文本长度不固定，输出的翻译文本长度不固定）
理想的适用场景	空间数据（如图像）	时序数据（如文本或视频）
应用举例	图像识别和分类、图像分析等	自然语言处理（中文分词、机器翻译、情感分类等）

• 卷积神经网络

• 卷积：提取局部特征
• 池化：下采样，降低特征维度
• 典型结构：卷积层、池化层、全连接层
• 应用：图像识别和分类、图像分析

• 循环神经网络

• 使用带反馈的神经元，具有记忆能力
• 状态更新： 输出依赖于当前输入和前一步输出
• 应用：自然语言处理（中文分词、机器翻译等