深度学习入门-斋藤

1 python入门

广播：矩阵乘法时如果矩阵维度不一致，低维矩阵自动向另一个矩阵看齐补全维度

flatten() 转化为1维数组

x=np.array([1,2,3])

x[np.array([1,2])] 对array[1,2,3]获取下标为1，2d 元素

x[x>2] 获取x中大于2的元素

np.dot 矩阵乘法

2 感知机

3 神经网络

分类一般输出层用softmax（加和为1，可表示概率）

回归问题一般没限制，可以没有

4 激活函数

sigmoid 慢，梯度弥散

relu 快

softmax 分类

5 损失函数

MSE 均方误差，二年级学过，((x1-xmean)^2 + ... + (xn-xmean)^2) / n

交叉熵 softmax + NLLLoss

6 优化函数

SGD 随机梯度下降

adam ada + m(momentum)