HCIP-AI神经网络基础

1、深度学习的预备知识

• 数据集，包括样本与特征，样本是研究的对象，特征是区别样本的一些描述

• 学习方法分类
  1、监督学习算法——有正确答案，也就是样本有标签
  2、无监督学习算法——没有正确答案的，也就是样本没有标签
  3、半监督学习算法——有一些数据是有标签的，有一部分的数据没有标签，用过对有标签的数据进行训练来给无标签的数据加上标签
  4、强化学习——会和环境不断进行交互，达到优化算法的一个结果，比如如果算法运行契合，就会有奖励，否则加以惩罚，这样不断训练就会得到一个不断优化的算法

• 凹凸函数——损失函数(达到最小值)
  1、连接任意的集合中的两个点，如果这些点都在集合中，说明这是一个凸集，如果有一些点不在集合中，说明这是一个凹集
  2、相同的连接函数上任意两个点，如果函数上的点都在连线的上面，说明这只一个凸函数，否则这是一个凹函数。
  
  3、非凸函数转换凸函数
  在非凸函数中我们想要找到一个最优点，可能会受到很多局部最优点的干扰，这个时候，转换成凸函数，有局部最优点变成全局最优点。
  
  4、凸优化
  

• 损失函数——希望找到一个最小值
  1、神经网络中使用的代价函数被称为损失函数Loss Function。损失函数衡量了评分函数的预测与真实标签的吻合度。
  2、Loss的值会都设置为与吻合程度负相关，如果算法公式是正相关的，定义损失函数的时候会加上负号，调整为负相关。
  3、交叉熵损失函数Cross Entropy/Softmax Loss：
  

• 梯度下降法：对交叉熵损失函数的迭代优化，理解梯度下降法，w为权重
  
  1、批量梯度下降BGD：每一次更新权重的时候使用所有训练的数据，但是数据量很大的时候效率太低，但是能取到全局的最优点
  2、随机梯度下降SGD：随机挑选一个样本，有可能达到的是局部最优，这种方式容易对噪声敏感
  3、小批量梯度下降MBGD：每次只随机选一部分数据，对权重进行更新。

2、人工神经网络ANN

<