qq_37705280的博客

推荐三篇文章，写的相当清楚，在这记录一下，方便以后查阅1、关于梯度下降算法：https://lumingdong.cn/summary-of-gradient-descent-algorithm.html2、关于梯度下降中学习率设定策略：https://lumingdong.cn/setting-strategy-of-gradient-descent-learning-rate.html#快照集成和随机加权平均（Snapshot_Ensembling_And_Stochastic_Weig

简单来说BN原理就是，在训练深层神经网络的过程中, 由于输入层的参数在不停的变化, 因此, 导致了当前层的分布在不停的变化, 这就导致了在训练的过程中, 要求 learning rate 要设置的非常小（就像是游戏中的通过表演去传递一个消息，每一层可能都表演的不一样，到最后就完全变形了，所以需要一点一点的学，学习率不能设置太大）, 另外, 对参数的初始化的要求也很高. 作者把这种现象称为internal convariate shift. Batch Normalization 的提出就是为了解决这个问题.

推荐博客https://blog.youkuaiyun.com/sinat_36618660/article/details/99650804https://blog.youkuaiyun.com/comway_Li/article/details/105016725https://blog.youkuaiyun.com/longe20111104/article/details/88397152

增加稀疏性（降低过拟合风险）----Dropout、LRNDropout Dropout是怎么做到防止过拟合的呢？首先，想象我们现在只训练一个特定的网络，当迭代次数增多的时候，可能出现网络对训练集拟合的很好，但是对验证集的拟合程度很差的情况。所以，我们有了这样的想法：可不可以让每迭代随机的去更新网络参数，引入这样的随机性就可以增加网络generalize 的能力。所以就有了d...

SVM中的对偶问题以及KKT条件

SVM中的核函数和SMO

SVM的拟合过程1、怎么做二分类的思路，简单说就是确定一条直线,也就是确定参数w和b。参数w和b知道后，再给一个样本x,带入到上面的公式，如果y≥+1，就判断为正类（+1），如果y≤-1，就判断为负类（-1）。这条直线或超平面怎么找呢？假设标签为{+1，-1}。要想更好的分开这两类数据，在数据上划出两条线，使这两类数据之间的间隔最大，对应图中的虚线。在两条虚线的中间画一条直线，对应图中橙色...

SVM的来历 SVM作为机器学习中的一大霸主（虽然今时不同往日），对机器学习领域产生了很大的影响。SVM的相关原理看的时间比较久，所以想记录一下，想说清楚这件事需要比较多的文字，所以文章比较长（分为几部分），我们先谈谈SVM的来历 1、Logistic回归我们就先从logistic回归谈起，我们都知道线性回归是试图学得一个线性模型，以尽可能准确的预测实值输出标记。假如我们将线...

import numpyimport scipy.specialimport matplotlib.pyplotimport cv2import osclass neuralNetwork: def __init__(self,Inodes,Hnodes,Onodes,Lrate): #初始化函数 self.inodes=Inodes...