Britesun的博客

梯度消失问题与如何选择激活函数什么是梯度消失？梯度消失有什么影响？是什么原因？解决方案有哪些？如何选择激活函数？1. 什么是梯度消失？梯度消失，常常发生在用基于梯度的方法训练神经网络的过程中。当我们在做反向传播，计算损失函数对权重的梯度时，随着越向后传播，梯度变得越来越小，这就意味着在网络的前面一些层的神经元，会比后面的训练的要慢很多，甚至不会...

此系列三篇文章的原文链接 面试笔试整理1：深度学习机器学习面试问题准备（必会） 1、神经网络基础问题（1）Backpropagation（要能推倒） 　　后向传播是在求解损失函数L对参数w求导时候用到的方法，目的是通过链式法则对参数进行一层一层的求导。这里重点强调：要将参数进行随机初始化而不是全部置0，否则所有隐层的数值都会与输入相关...

面试笔试整理4：机器学习面试问题准备（进阶） 一、问题杂烩1、PCA的第二主成分 第二个主成分时域第一成分方向正教的差异性次大方向。 2、什么时候用组合的学习模型 只有当各个模型之间没有相关性的时候组合起来是最好用的。但是一般来说，弱相关的模型组合比较好用。 3、多重共线性 多重共线性是指当两个特征的相关性很大的时候，会对参数模型...

面试笔试整理5：项目问题准备 1、课题从目的 -> 意义 -> 难点 -> 如何解决的 -> 用了什么方法为什么要用这些方法 -> 创新点。 2、实习经历 实习期间主要负责华为HC大会的推荐算法以及数据分析，用过SQL Server，制作过报表。 3、自己曾经做过一些比赛，但是结果不是很好，不过还是准备写到简历里

原文链接 Stanford机器学习课程笔记——LR的公式推导和过拟合问题解决方案     1. Logistic Regression    前面说的单变量线性回归模型和多变量线性回归模型，它们都是线性的回归模型。实际上，很多应用情况下，数据的模型不是一个简单的线性表示就可以搞定的...