JetLee的博客

线性回归linear regression梯度下降gradient descent标准方程normal equation线性回归（linear regression）梯度下降（gradient descent）通过不断迭代使得cost function最小化，选择出我们需要的parameter θ\thetahypothesis: hθ(x)=θ0∗x0+θ1

大规模机器学习学习大数据集随机梯度下降大规模机器学习现在的机器学习比以前运行的更好，是因为现在我们有着极其庞大的数据集来训练我们的算法。学习大数据集我们已经知道一种获得高性能机器学习模型的途径是采用低偏差的学习算法并用大数据进行训练。 这是一个对易混淆单词分类的例子，只要用大量数据进行训练，效果就看起来非常好。 但是大数据机器学习有其问题——计算问题...

推荐系统问题组成基于内容的推荐算法协同过滤协同过滤算法矢量化：低阶矩阵分解实施细节：均值规范化推荐系统通过推荐系统我们可以领略一点关于特征学习的思想。问题组成 从一个例子入手，这是一个预测电影评分的例子，通过预测结果我们可以推荐给用户可能喜欢的电影。基于内容的推荐算法 nunun_u代表用户的数量，nmnmn_m代表电影的数量。 假设对...

异常检测异常检测定义异常检测算法异常检测vs监督学习多元高斯分布异常检测异常检测定义我们按常规从一个例子入手： 这是一个飞机引擎的例子，有很多包括特征x1：产生的热量，x2：振动强度 等等… 收集了很多数据集（m个），这是没有标签的数据，然后来了一个新的飞机引擎，测出新的数据xtestxtestx_{test}。在图中可以看出，如果xtestxtes...

降维降维的定义及作用一：数据压缩降维作用二：数据可视化降维算法：主成分分析（PCA）降维降维（dimensionality reduction）作为课程中所讲的第二种无监督学习方法。降维的定义及作用一：数据压缩我们假设一个数据集有很多特征，我们提取其中的两个，一个是物体的厘米长度，一个是物体的英寸长度。这其实是一种高度冗余的表现。那么我们可以将2D转化为1...

聚类无监督学习介绍聚类的作用k-means优化目标如何初始化k-means及避开局部最优选取聚类数量聚类无监督学习介绍在无监督学习中，我们的数据不带有任何标签（y值）： 我们希望通过这些不带标签的输入，找到一些隐含在数据中的结构。比如上图，我们可以找到两组分开的点集（簇）。这种能找到这些簇的方法我们称之为聚类算法。聚类的作用...

支持向量机核函数一核函数二怎么选取标记点如何选择参数C使用SVM支持向量机核函数一为了使用SVM构造复杂的非线性分类器，我们使用核（kernel）这个概念。 我们先从一个非线性分类案例入手： 我们使用f1，f2，f3…来表示特征x1，x2，x1x2…，得到theta0+theta1f1+theta2f2+theta3x3+… l是x对应的...

支持向量机优化目标大间距分类器的直观解释大间距分类器背后的数学解释支持向量机监督学习针对复杂非线性方程优化目标先从逻辑回归出发，下面是我们熟悉的假设函数和Sigmoid图像： 我们希望逻辑回归做什么：如果y=1，那么我们希望假设函数h约等于1，即希望z远远大于0；如果y=0，那么我们希望h约等于0，即希望z远远小于0。 接下来我们来看逻辑回归...

反向传播算法back propagation algorithm代价函数反向传播算法（back propagation algorithm）代价函数

神经网络neural networks生物学上的神经元神经元的数学定义神经网络计算向量化神经网络（neural networks）生物学上的神经元 （图片来自百度图片） 从三张图片中可以看到，神经元由细胞体，轴突和树突构成。在两个神经元传送脉冲的过程中，神经元1将脉冲从其轴突传出，神经元2的树突接受1传出的脉冲。神经元的数学定义 （图片来自吴

过度拟合overfitting什么是过度拟合如何解决过拟合问题正则化正则化线性回归正则化逻辑回归过度拟合（overfitting）什么是过度拟合欠拟合：如果一个算法没有很好的拟合数据，比如一个本应该用二次多项式拟合的数据用了线性去拟合，导致最后拟合数据的效果很差。我们称之为欠拟合（underfitting）或者高偏差（high bias）。 过拟合：如果一个应该

多类别分类（multi-class classification）问题类别标签不止两个（0或者1），有多个（0，1，2，3…），例如邮件分类有工作、朋友、家庭等，天气分类有晴朗、多云、雨、雪等。一对多方法（one-versus-all method）解决多类别分类问题我们可以转化为二元分类问题。假设我们现在有三个类别（0，1，2），先将0作为一个类别，1和2作为另一个类别，此时问题

分类算法classification problem逻辑回归logistic regression分类算法（classification problem）逻辑回归（logistic regression）hypothesis： hθ(x)=g(θTx)g(z)=11+e−zh_\theta(x) = g(\theta^Tx)\\g(z) = \frac{1}{1+e

信息检索（IR）中的两个指标：NDCG和MAP [TOC]来源：https://blog.youkuaiyun.com/simple_the_best/article/details/52296608https://makarandtapaswi.wordpress.com/2012/07/02/intuition-behind-average-precision-and-map/NDCG（...