小白的专栏

高数不是很好，本科的时候身边同学都是90好几，满分的水平，自己只在80左右徘徊，最近看了好多方法都涉及泰勒展开这么个知识点。今天就来整理整理。主要包括下面这几点，什么是泰勒展开，以及为什么要泰勒展开。泰勒展开是以简单的多项式来近似x0邻域内的函数，展开越多，近似程度越高。

转自：http://blog.youkuaiyun.com/wsj998689aa/article/details/39547771上学的时候，就一直很好奇，模式识别理论中，常提到的正则化到底是干什么的？渐渐地，听到的多了，看到的多了，再加上平时做东西都会或多或少的接触，有了一些新的理解。1. 正则化的目的：防止过拟合！2. 正则化的本质：约束（限制）要优化的参数。

最近在看Yang大牛稀疏表示论文的代码，发现里面很多的操作的用到了矩阵的列归一化，这里谈一谈列归一化的实现，以及其带来的好处。矩阵的列归一化，就是将矩阵每一列的值，除以每一列所有元素平方和的绝对值，这样做的结果就是，矩阵每一列元素的平方和为1了。举个例子，矩阵[1,2,3]',将其归一化的结果就是[0.2673,0.5345,0.8018]。其平方和就为1了。Y

转自：http://blog.youkuaiyun.com/mousever/article/details/50513409缘起这篇博客的想法来源于知乎的一个关于多元线性回归的变量选择问题。从该问题的提问描述，以及回答中看出，很多人在做变量选择时，眼光依然局限于R 2  R2或者Ajusted−R 2  Ajusted−R2,以及P−Value P−Value之中。记得计量课上，

转自：http://blog.youkuaiyun.com/slade_sha/article/details/53164905先看一波过拟合：图中，红色的线存在明显的过拟合，绿色的线才是合理的拟合曲线，为了避免过拟合，我们可以引入正则化。下面可以利用正则化来解决曲线拟合过程中的过拟合发生，存在均方根误差也叫标准误差，即为√[∑di^2/n]=Re，n为测量次数

异方差性（heteroscedasticity ）是相对于同方差而言的。所谓同方差，是为了保证回归参数估计量具有良好的统计性质，经典线性回归模型的一个重要假定：总体回归函数中的随机误差项满足同方差性，即它们都有相同的方差。如果这一假定不满足，即：随机误差项具有不同的方差，则称线性回归模型存在异方差性。对于异方差性的回归问题，需要用到加权最小二乘法。以下内容转自：https://zhua

在数学最优问题中，拉格朗日乘数法（以数学家约瑟夫·路易斯·拉格朗日命名）是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法。这种方法将一个有n 个变量与k 个约束条件的最优化问题转换为一个有n + k个变量的方程组的极值问题，其变量不受任何约束。这种方法引入了一种新的标量未知数，即拉格朗日乘数：约束方程的梯度（gradient）的线性组合里每个向量的系数。此方法的证明牵涉到偏微分，

上一章讲了流形学习，那么流形是什么还没解决，于是找到了一篇比较科普性质的文章，这里与大家分享转自：http://songshuhui.net/archives/31297/1854年，28岁的黎曼在哥廷根大学发表就职演讲。这个职位是所谓无薪讲师，他的收入完全来自于听课的学生所缴纳的学费。即使是争取这样一个职位， 也需要提供一篇就职论文以及发表一个就职演讲。1853年他提交了

最近对文章中的惩罚函数不是很理解，今天整理一下。讲到惩罚函数，首先要提到约束问题，所谓的约束问题就是在一定的约束条件下，求得问题的最优解例如 min f（x） s.t. gi(x)>0,hj(x)=0   i=1,..m,j=1,2,...l。其中s.t.是subject to的缩写，即服从，满足的意思。这类问题的可行解法是梯度下降算法，或者是序列无约束优化方法：即通过求解一系列无约束

在阅读相关文献的时候，经常会遇到梯度下降，坐标下降，牛顿迭代这样的术语，今天把他们的概念整理一下。梯度下降 整理自百度梯度下降法是一个最优化算法，通常也称为最速下降法。顾名思义，梯度下降法的计算过程就是沿梯度下降的方向求解极小值（也可以沿梯度上升方向求解极大值）。其迭代公式为  ,其中  代表梯度负方向，  表示梯度方向上的搜索步长。梯度

一.背景   5月9号到北大去听hulu的讲座《推荐系统和计算广告在视频行业应用》，想到能见到传说中的项亮大神，特地拿了本《推荐系统实践》求签名。讲座开始，主讲人先问了下哪些同学有机器学习的背景，我恬不知耻的毅然举手，真是惭愧。后来主讲人在讲座中提到了最小二乘法，说这个是机器学习最基础的算法。神马，最基础，我咋不知道呢！ 看来以后还是要对自己有清晰认识。   回来赶紧上百度，搜了下什么

转自：http://blog.youkuaiyun.com/heyongluoyao8/article/details/52462400## 机器学习中常见的损失函数    一般来说，我们在进行机器学习任务时，使用的每一个算法都有一个目标函数，算法便是对这个目标函数进行优化，特别是在分类或者回归任务中，便是使用损失函数（Loss Function）作为其目标函数，又称为代价函数(Cost Function