suasan的博客

机器学习总结一：范数L0范数和L1范数L2范数对应代码w∗=argminw∑iL(yi,f(xi;w))+λψ(w)w^* = argmin_w \sum_iL(y_i, f(x_i;w)) + \lambda\psi(w)w∗=argminw​i∑​L(yi​,f(xi​;w))+λψ(w)监督学习过程：最小化误差同时规划参数。例如公式中的L项作用是拟合数据，λψ(w)\lambda\ps...

深度学习总结二：优化器梯度下降momentumAdaRMSPropAdam对应代码梯度下降逻辑回归代码附梯度下降w变化曲线用于对比momentum动量法，原理在于一个方向的速度可以积累，而且越积累越大；通过不同训练样本求得梯度时，在最优的方向的梯度，始终都会增大最优方向上的速度。因此，可以减少许多震荡。对用代码：self.w_update = self.gamma * self....

深度学习总结三：特征处理流程数据审查判断共线性（相关性）的方法：判断异常值的方法：数据清洗缺失值处理噪声值处理不一致数据处理异常值处理重复值处理共线性处理数据集成实体识别冗余属性识别数据变化简单函数变化数据标准化连续数据离散化属性构造小波变化判断是否改变量纲和分布数据规约数据验证相关性分析-xmind正态性检验一致性检验特征选择sklearn中总结的衡量指标![在这里插入图片描述](https:/...

深度学习总结四：逻辑回归总结逻辑回归步骤常见问题参考逻辑回归代码公式推导逻辑回归步骤逻辑回归是一个分类算法。所以大致步骤如下：sigmoid函数二分类对线性函数y=wx+by = wx + by=wx+b使用sigmoid函数包装为σ(y)\sigma(y)σ(y)，输出[0,1][0,1][0,1]的概率值。大于0.5为正样本，小于0.5为负样本。优点：计算代价不高，易于理解和实...

深度学习__AlexNet成就特点结构论文链接代码成就2012年ImageNet项目的大规模视觉识别挑战(ILSVRC)冠军。特点使用ReLU函数代替sigmoid作为激活函数，避免梯度消失。因为sigmoid函数的导数属于(0,1/4)，在反向传播过程中(1/4)n(1/4)^n(1/4)n就趋近0。ReLU函数的导数为常数。使用dropout防止过拟合。提出LRN(较少使用)...

深度学习总结六:VGG网络结构网络特性网络训练论文代码网络结构网络特性证明了网络的深度在一定程度上提升了模型的效果。2个33的卷积核相当于1个55的卷积核，并且前者训练参数更少。网络C比B多一个1*1的卷积核，即增加一个非线性函数，增加模型复杂度。网络D在C的基础上将11卷积核修改为33卷积核，增大感受野，效果更好。网络训练使用带有动量的mini-batch梯度下降法，...

深度学习总结六:GoogleNet网络特性网络训练网络特性增加网络深度的同时，增加网络的宽度(增加网络的复杂度，会导致过拟合)。2.使用全连接层代替平均池化(top1分类提升0.6%)网络训练对图像数据使用min-subtraction处理对输入数据使用1X1卷积降低网络输入层的维度。使用分布式机器学习系统训练。异步随机梯度下降0.9动量对图像的各个大小块进行采样，其大小均...