神经网络学习--开始之前

神经网络学习–基础知识

一、九步学习法

1、基本概念
2、线性回归
3、线性分类
4、非线性回归
5、非线性分类
6、模型的推理与部署
7、深度神经网络
8、卷积神经网络
9、循环神经网络

二、学习方法

1、提出问题：

先提出一个与现实相关的假想问题，为了由浅入深，这些问题并不复杂，是实际的工程问题的简化版本。

2、解决方案：

用神经网络的知识解决这些问题，从最简单的模型开始，一步步到复杂的模型。

3、原理分析：

使用基本的物理学概念或者数学工具，理解神经网络的工作方式。

4、可视化理解：

可视化是学习新知识的重要手段，由于我们使用了简单案例，因此可以很方便地可视化。

三、符号约定

符号	含义
$x$	训练用样本值
$x_1$	第一个样本或样本的第一个特征值，在上下文中会有说明
$x_{12},x_{1,2}$	第1个样本的第2个特征值
$X$	训练用多样本矩阵
$y$	训练用样本标签值
$y_1$	第一个样本的标签值
$Y$	训练用多样本标签矩阵
$z$	线性运算的结果值
$Z$	线性运算的结果矩阵
$Z1$	第一层网络的线性运算结果矩阵
$\sigma$	激活函数
$a$	激活函数结果值
$A$	激活函数结果矩阵
$A1$	第一层网络的激活函数结果矩阵
$w$	权重参数值
$w_{12},w_{1,2}$	权重参数矩阵中的第1行第2列的权重值
$w{1}_{12},w{1}_{1,2}$	第一层网络的权重参数矩阵中的第1行第2列的权重值
$W$	权重参数矩阵
$W1$	第一层网络的权重参数矩阵
$b$	偏移参数值
$b_1$	偏移参数矩阵中的第1个偏移值
$b{2}_1$	第二层网络的偏移参数矩阵中的第1个偏移值
$B$	偏移参数矩阵（向量）
$B1$	第一层网络的偏移参数矩阵（向量）
$X^T$	X的转置矩阵
$X^{-1}$	X的逆矩阵
$loss,loss(w,b)$	单样本误差函数
$J,J(w,b)$	多样本损失函数