光与热的博客

1. The Problem of Overfitting 1 还是来看预测房价的这个例子，我们先对该数据做线性回归，也就是左边第一张图。 如果这么做，我们可以获得拟合数据的这样一条直线，但是，实际上这并不是一个很好的模型。我们看看这些数据，很明显，随着房子面积增大，住房价格的变化趋于稳定或者说越往右越平缓。因此线性回归并没有很好拟合训练数据。 我们把此类情况称为欠拟合(underfitting

牛顿法 主要有两方面的应用：1. 求方程的根；2. 求解最优化方法；一. 为什么要用牛顿法求方程的根？       问题很多，牛顿法 是什么？目前还没有讲清楚，没关系，先直观理解为 牛顿法是一种迭代求解方法（Newton童鞋定义的方法）。               假设 f(x) = 0 为待求解方程，利用传统方法求解，牛顿法求解方程的公式：f(x0+Δx) = f(x0) + f′(x

本文将首先简单介绍指数族分布，然后介绍一下广义线性模型（generalized linear model, GLM), 最后解释了为什么逻辑回归（logistic regression, LR) 是广义线性模型的一种。指数族分布指数族分布 (The exponential family distribution),区别于指数分布（exponential distribution)。在概率统计中，若某

转自http://blog.youkuaiyun.com/zouxy09/article/details/24971995

转自http://www.cnblogs.com/pinard/p/6029432.html名词解释1.最大似然估计最大似然估计：现在已经拿到了很多个样本（你的数据集中所有因变量），这些样本值已经实现，最大似然估计就是去找到那个（组）参数估计值，使得前面已经实现的样本值发生概率最大。因为你手头上的样本已经实现了，其发生概率最大才符合逻辑。这时是求样本所有观测的联合概率最大化，是个连乘积，只要取对数，

转自http://www.cnblogs.com/pinard/p/5970503.html

交叉验证是在机器学习建立模型和验证模型参数时常用的办法。交叉验证，顾名思义，就是重复的使用数据，把得到的样本数据进行切分，组合为不同的训练集和测试集，用训练集来训练模型，用测试集来评估模型预测的好坏。在此基础上可以得到多组不同的训练集和测试集，某次训练集中的某样本在下次可能成为测试集中的样本，即所谓“交叉”。　　　　　那么什么时候才需要交叉验证呢？交叉验证用在数据不是很充足的时候。比如在我日常项目里

转自http://www.cnblogs.com/pinard/p/5976811.html

一、偏倚（bias）和方差(variance)在讨论线性回归时，我们用一次线性函数对训练样本进行拟合（如图1所示）；然而，我们可以通过二次多项式函数对训练样本进行拟合（如图2所示），函数对样本的拟合程序看上去更“好”；当我们利用五次多项式函数对样本进行拟合（如图3所示），函数通过了所有样本，成为了一次“完美”的拟合。图3建立的模型，在训练集中通过x可以很好的预测y，然而，我们却不能预期该模型能够很

特征空间的隐式映射：核函数    咱们首先给出核函数的来头：在上文中，我们已经了解到了SVM处理线性可分的情况，而对于非线性的情况，SVM 的处理方法是选择一个核函数 κ(⋅,⋅) ，通过将数据映射到高维空间，来解决在原始空间中线性不可分的问题。    此外，因为训练样例一般是不会独立出现的，它们总是以成对样例的内积形式出现，而用对偶形式表示学习器的优势在为在该表示中可调参数的个数不依赖输入属性

内容提要这篇博客的主要内容有： 1. 简述支持向量机（SVM）的一般记号 2. 介绍了函数间隔和几何间隔 3. 最大间隔分类器是什么 4. 为了得到最大间隔分类器解，而介绍了一些与拉格朗日有关的理论（拉格朗日乘数法，KKT条件，对偶性质） 5. 求解最大间隔分类器方法推导。其实推导出来的这个方法就是支持向量机。支持向量机(SVM)，通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上

研究了半天，终于对“超平面”有了个初步了解。         n 维空间中的超平面由下面的方程确定:                                                 其中，w 和 x 都是 n 维列向量，x 为平面上的点，w 为平面上的法向量，决定了超平面的方向，b 是一个实数，代表超平面到原点的距离。且

什么是逻辑回归？Logistic回归与多重线性回归实际上有很多相同之处，最大的区别就在于它们的因变量不同，其他的基本都差不多。正是因为如此，这两种回归可以归于同一个家族，即广义线性模型（generalizedlinear model）。这一家族中的模型形式基本上都差不多，不同的就是因变量不同。如果是连续的，就是多重线性回归；如果是二项分布，就是Logistic回归；如果是Poisson分布，就

梯度下降算法学习笔记内容来自于斯坦福大学《机器学习与数据挖掘公开课》。介于算法中用到了许多线性代数的知识。所以我感觉有必要先对线性代数的基础知识做一个回顾和梳理。1基础概念和记号线性代数对于线性方程组可以提供一种简便的表达和操作方式，例如对于如下的方程组：4x1-5x2=13-2x1+3x2=-9可以简单的表示成下面的方式：X也是一个矩阵，为(x1,x2)T，当然你可以看成一个列向量。

package recommendimport org.apache.log4j.{Level, Logger}import org.apache.spark.mllib.recommendation.{ALS, MatrixFactorizationModel, Rating}import org.apache.spark.rdd.RDDimport org.apache.spark.sql

一、矩阵分解模型。用户对物品的打分行为可以表示成一个评分矩阵A(m*n)，表示m个用户对n各物品的打分情况。如下图所示：其中，A(i,j)表示用户user i对物品item j的打分。但是，用户不会对所以物品打分，图中？表示用户没有打分的情况，所以这个矩阵A很多元素都是空的，我们称其为“缺失值（missing value）”。在推荐系统中，我们希望得到用户对所有物品的打分情况，如果用户没有对一个

http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92#.E4.B8.AD.E6.96.87.E8.AF.91.E8.80.85” title=”” />