pytorch

pytorch

全连接神经网络：

梯度计算：

误差函数：
优化算法：

1. 初始化情况
2. 学习速率
3. Escape minima（动量）

kaggle：

激活函数及其梯度：

1. RELU(0~1)
2. Sigmod(0~1)
3. Tanh(-1~1)
4. 阶梯函数

Question：
1.梯度是向量，方向指向增长最快的方向

ANSERSER:
1.梯度的反方向：函数下降最快的方向
2.为什么一直沿着梯度反方向，就能到达低点：
每一步都走梯度下降最快的方向（这里是无法知道最低点的位置的，只能知道现在位置的梯度方向），详情考虑下山的情况。

Voronoi图：又叫泰森多边形或Dirichlet图，它是由一组由连接两邻点直线的垂直平分线组成的连续多边形组成。
对于点集里 { p 0 , p 1 , … , p n } \{p_0,p_1,\dots,p_n\} {p0​,p1​,…,pn​}的种子点$p_k$，它的Voronoi区域$R_k$定义为：
R k = { x ∈ X ∣ d ( x , p k ) < d ( x , p i ) , i ∈ { 0 , 1 … , n } , i ≠ k } R_k=\{x\in X\vert d(x,p_k)<d(x,p_i),i\in\{0,1\dots,n\},i\neq k\} Rk​={x∈X∣d(x,pk​)<d(x,pi​),i∈{0,1…,n},i​=k}