Miao.Loud

一. 最小二乘法我们以最简单的一元线性模型来解释最小二乘法。什么是一元线性模型呢？ 监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归。回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为

一.介绍      梯度下降法（gradient descent）是求解无约束最优化问题的一种常用方法，有实现简单的优点。梯度下降法是迭代算法，每一步需要求解目标函数的梯度向量。    二.应用场景     1.给定许多组数据（xi, yi），xi（向量）为输入，yi为输出。设计一个线性函数y=h（x）去拟合这些数据。     2.感知机：感知机（perceptron）为二

数据挖掘课上面老师介绍了下决策树ID3算法，我抽空余时间把这个算法用C++实现了一遍。决策树算法是非常常用的分类算法，是逼近离散目标函数的方法，学习得到的函数以决策树的形式表示。其基本思路是不断选取产生信息增益最大的属性来划分样例集和，构造决策树。信息增益定义为结点与其子结点的信息熵之差。信息熵是香农提出的，用于描述信息不纯度(不稳定性)，其计算公式是Pi为子集合中不同

1. 梯度下降法梯度下降法的原理可以参考：斯坦福机器学习第一讲。我实验所用的数据是100个二维点。如果梯度下降算法不能正常运行，考虑使用更小的步长(也就是学习率)，这里需要注意两点：1）对于足够小的,  能保证在每一步都减小；2）但是如果太小，梯度下降算法收敛的会很慢；总结：1）如果太小，就会收敛很慢；2）如果太大，就不能保证每一次迭代都减小，也

废话：最近朋友在学习推荐系统相关，说是实现完整的推荐系统，于是我们三不之一会有一些讨论和推导，想想索性整理出来。在文中主要以工程中做推荐系统的流程着手，穿插一些经验之谈，并对于推荐系统的算法的学术界最新的研究进展和流派作一些介绍。当然由于我做推荐系统之时还年幼，可能有很多偏颇甚至错误的见解，就当抛砖引玉，还请各位大大指点。  Reading lists

作为一个推荐系统的菜鸟，在机器学习领域的鄙视链中，我感觉一直地位不高，时常被搞NLP CV语音等高科技技术的朋友鄙视。最近甚至被人问，推荐算法开源包多如牛毛，我们为什么还要专门的推荐算法工程师？（难道想要辞退我！？惊）不得不说，我想吐槽这个观点很久了。事实上搞推荐的工作不等于 import IBCF 或者 import time SVD++ import tensor啊摔！

交叉验证是一种用来评价一个统计分析的结果是否可以推广到一个独立的数据集上的技术。主要用于预测，即，想要估计一个预测模型的实际应用中的准确度。它是一种统计学上将数据样本切割成较小子集的实用方法。于是可以先在一个子集上做分析， 而其它子集则用来做后续对此分析的确认及验证。交叉验证的理论是由Seymour Geisser所开始的。 它对于防范testing hypotheses su