机器学习知识点整理

Vectorization非向量化和向量化的区别：在jupyter notebook上：import timea=np.random.rand(1000000)b=np.random.rand(1000000)tic=time.time()c=np.dot(a,b)toc=time.time()print ("vectorized version:"+ str(1000*(toc-...

分析机器学习问题时，有一些基本套路，可以避免我们南辕北辙。如果在training set上表现不佳，应当训练一个更大的网络或者用更好的最佳化演算法（如adam）；如果dev set，对应regularization或bigger training set；如果training 和dev set都表现好，test set表现差，对应bigger dev set；如果这三者表现都不错，...

Hyperparameter tuning学习速率alpha的设定十分重要。在随机选取时，不要用grid，而是随机选点，如下图，因为可能某个超参数比另一个效果更显著，所以随机选时可以给这个显著参数更多的机会（25个值而非5个值）。之后可以小范围再进行密度更高的抽样，如下图：另外，可以选取恰当的scale来研究超参数，比如0.0001-0.1，可以把尺度设为0.0001-0.001，0.001-0....

Machine Learning Application本周学习如何在实际运用中使神经网络高效工作。训练神经网络，你必须做很多决定：神经网络多少层？每层多少隐藏单元？学习速率多少？用什么激活函数？而这些超参数并不常常一次性猜中，所以需要idea->code->experiment的不断循环。关于测试集大小问题：当数据量巨大时，测试集所占比例可以变小（如30%->10%）另一个准则...

Mini-batch gradient descent假设有5000000样本，我们选取每一个小训练集有1000个样本，则：算法如下，实际上就是分成5000份然后做循环：代价函数对比：当mini-batch的大小等于训练集大小m，就是批量梯度下降。梯度下降时噪声小，步长大，可以达到最小值，下图蓝色线。缺点：在每次迭代中风遍历整个训练集，花费时间长。当mini-batch的大小为1，就是随机梯度下降...

Forward Propagation in a Deep Network对第l层来说：Z^[l]=W^[l]*A^[l-1]+b^[l]A^[l]=g^[l](Z^[l])这个地方是可以对1...l...n层做一个for loop。Getting your matrix dimensions rightW^[l]的维度为(n^[l],n^[l-1])，b^[l]的维度为(n^[l],1)dW的维...

第二周的课程，首先是重温神经网络编程的基本知识。Binary classification逻辑回归是二元分类问题。比如：根据图片判断cat or not的问题。这时，图像矩阵包含的元素总数为64*64*3（红绿蓝三色 64*64为图像大小）所以用n(x)=12288表示输入特征向量x的维度；输出y为1或0（标签）。当测试用例为m个时，给出的X:这种nx*m写法比m*nx在神经网络的运用时会更简单。...

Neural Network Overview一个神经元构成（其中a=yhat）：那么，当有两层隐藏层时，具体的计算过程，是每层有每层的w和b，进行上述z[1]->a[1]->z[2]->a[2]->L的运算，其中z[1]和z[2]的输入分别为w[1]，b[1]和w[2]，b[2]。同样，在神经网络中，也会像逻辑回归一样，计算后向传播的da[2]，dz[2]，dw[2]，d...

第一门课：神经网络和深度学习，会包含四周的课程，将学习如何建立神经网络，包括深度神经网络，以及如何用数据训练它。在这门课的结尾，将建立一个神经网络识别猫。what is a neural network?一张图解释什么是ReLU函数，就像房价预测的曲线是一样的：（同时这张图展示了什么是单个的神经元neuron）影响房价的不同因素共同决定了housing price：（这时，输入x参数是大小，卧室数...