nn的博客

深度学习书籍推荐

工具：TF、pytorch、mxnet、pphow to choose an AI project1\small开始2、automate tasks,not

注意本文章内容都来自网易云课堂 深度学习微专业课程正交化 orthogonalization1、在训练训练集的时候如果训练集收敛的不好，考虑使用更大的网络，或者改变优化算法（sgd\RMSprop\adam）2、在dev set上拟合的不好正则化，或者使用更大的训练集3、在test set 上拟合不好使用更大的dev set数据4、在现实世界中表现较好如果在现实使用中表现的不好，那么可能是test...

可以想象成v是速度，dw是加速度。momentum动量。一般β设置成0.9是比较合适的一般可能写成v=βv+dv,那么相当于两边都成1/（1-β）。也就是学习率α是上面公式中的1/（1-β）倍就可以了...

关于参数的调优：现在较大的范围内试试参数，然后在再一个比较好的参数范围内选择。10-z次方选择参数。z=-5~5;batch normalization 是对每次的minibatch 做某一个层的减均值除方差，然后乘以阿尔法加β，然后再通过激活函数。阿尔法和β也是要训练的参数。batch normalization有正则化的作用，但是不能当作是正则化。类似dropout,每个minibatch可以...

因为第一，机器学习算法一般在超越了人的表现之后就难以再上升了。比如一张模糊的照片，判断是否猫，人和机器都何难判断。z这个不可能再上升的情况叫做Bayes error.是理论上最好的结果了。一般机器学习算法接近人的表现的时候，就已经近这个最优的解了。第二，当机器学习算法超过或者接近人的表现的时候，就很难在根据某些人工的工具去提升这个算法了。比如和人工标注的结果进行比较，使得找出问题，然后使算...

 dev set(development set)和test set最好来自统一分布。dev set 和test set 不能太长，这样影响测试效率。并且当测试集不对的时候尽快改。还有一种策略是统计cost的时候，增加某些类别的权值。比如将不是猫也不是小黄图的图像分类成小黄图，这样是非常错误的。评估指标要尽早的建立方便模型的选择...

注意输入的特征需要归一化。因为如果特征的范围不一样，那么网络需要优化的函数会是一个狭长的圆，这样不利于快速的收敛。使用L2范数的时候，需要多次测试lambda的值哪个好early stopping根据训练error和dev data 的error曲线找到合适和stopping 位置。但是这种方式实际上是综合了需要cost function还要兼顾不要过拟合（需要设置正则化项等）...

L1范数和L2范数

超参数就是神经网络中，虽然不是实际的参数W,b,但是会影响最终训练效果的参数。比如，学习率、batchsize等



#numpy中的向量说明，防止一些奇怪的bug出现import numpy as npa=np.random.randn(5)In [2]: aOut[2]:array([ 1.46701856, 0.63680735, 0.23052999, -0.34198406, -0.16955206])In [3]: a.TOut[3]:array([ 1.467018...

#在python中可以使用numpy,简单的实现向量的运算#z=np.dot(w.t,x)+b#numpy examplesimport numpy as npA=np.array([[56.0,0.0,4.4,68.0], [1.2,104.0,52.0,8.0], [1.8,135.0,99.0,0.9]])print(A)[[ 56. ...

logistic regression向量方法实现

1、logistic Regression可以看到当y=1的时候，要想loss function小那么y^=1当y=0时，要想loss function小那么y^=02、logistic regression求导

深度学习为什么越来越火？因为现在的数据越来越多（图像数据、传感器数据等等）。传统的分类器处理大规模的数据并不一定带来好的效果。但是使用深度学习。越多的数据越有利于网络的训练效果。结构化数据与非结构化数据结构化数据是例如各种表格和数字非结构化数据是图像、文字等。但是现在网络越来越能够处理这些非结构化数据了向大神提问邮件地址...