阅读摘录 ： TensorFlow Keras 深度学习人工智能实践应用

发展必备条件

1）大数据分布式存储与运算

2）GPU、TPU并行计算

GPU，图形处理器。

TPU，Tensor Processing Unit，由Google公司2016年研发，专为深度学习特定用途设计的特殊规格的逻辑芯片（IC）。

1.2 机器学习介绍
1）机器学习的训练数据由特征（features）和预测目标（Label）组成。

features：描述数据的特征类型

label：描述特征的异同

2）机器学习根本逻辑：训练=》预测

1.3 机器学习分类

有监督学习：数据具备特征和预测目标两种属性。

无监督学习：数据只有特征，但是没有预测目标属性。

增强式学习：借助定义动作（Action）、状态（States）、奖励（Rewards）的方式不断训练机器循序渐进，学会执行某项任务的算法。

1.4 深度学习分类
模仿人类神经网络工作方式，一般分为输入层、输出层和隐藏层，由于存在多个隐藏层，被称为深度学习。

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

第2章 深度学习的原理
2.1 神经元的信息传导
1）神经元基本构造：

轴突：传递信息；树突：接收信息；突触：传送机制

2）神经元的数学表达：

y=activation function（Wx+b）

W是权系数矩阵

x为输入信息

y为接收信息

b为偏差值（bias）

activation function为激活函数，用以对信息传递机制的约束，常见为Sigmoid或ReLU

3）激活函数

一般激活函数为非线性，从而让该网络具备一定的非线性问题处理能力。

4）Sigmoid激活函数

常见的Sigmoid公式为：

其值域为（0，1），有效定义域为（-5，5），可以理解为中值滤波器。

5）ReLU激活函数

小于临界值，忽略刺激；大于临界值，保留刺激，可以理解为高通或者因果滤波器。

2.4 反向传播算法进行训练

损失函数，常使用交叉熵 Cross Entropy

其中，obs表示观测数据的label，cal为预测数据的label，这也意味着利用反向传播算法是建立在有监督学习基础上的，需要给出数据的明确label值。