knn、cnn

（1）K-近邻（KNN)算法

  对于未知类别属性数据集中的点：

   1、计算已知类别数据集中的点与当前点的距离；

   2、按照距离依次排序；

   3、选取与当前距离最小的K个点；

   4、确定前K个点所在类别的出现频率；

   5、返回前K个点出现的频率最高的类别作为当前点预测分类。

(2)CNN

cnn组成[INPUT- CONV- RELU -POOL -FC]

输入层+卷积层+激活函数+池化层+全连接层

       

1、准备样本数据，均是以一个batch进行接入，如图片16张，32张一起传入

  2、前向传播，获得损失函数

  3、反向传播，获得梯度

  4、运用梯度更新权重

（3）RNN

xt：表示第t,t=1,2,3···步的输入

st：表示隐层的第t步的状态，它是网络的记忆单元

st=f(Uxt+Wst -1),其中f一般是非线性的激活函数

ot：是第t步的输出

RNN缺点：

   1、出现梯度消失现象

   2、计算量太大