mmc2015的专栏

1）简单说明2）再说logistic回归3）支持向量机的假设表示4）函数间隔（functional margin）和几何间隔（geometric margin）    4.1）函数间隔    4.2）几何间隔5）最优间隔分类器（optimal margin classifier）6）简单总结1）简单说明    支持向量

机器学习补充系列国际权威的学术组织the IEEE International Conference on Data Mining (ICDM，国际数据哇局会议) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART，它们在数据挖掘领域都产生

机器学习补充系列国际权威的学术组织the IEEE International Conference on Data Mining (ICDM，国际数据哇局会议) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART，它们在数据挖掘领域都产生

6）拉格朗日对偶（Lagrange duality）先抛开上一节的二次规划（最小值）问题。对于存在等式约束的极值问题求解，通过引入拉格朗日算子构造拉格朗日公式就可以完美解决。对于存在不等式约束的极值问题求解，如下：        我们定义更一般化的拉格朗日公式：因为我们求解的是最小值，而这里的已经不严格等于0，而是小于等于0，我们虽然可以将调整成很大的正值以使函数的结果

9）规则化和不可分割情况（Regularization and the non-separable case）    之前的讨论都是建立在样例线性可分的假设上，当样例线性不可分时，我们可以尝试使用核函数将特征映射到高维，这样很可能就可分了。然而，映射后我们也不能100%保证可分。这时候我们应该允许一些点游离并在模型中违背限制条件（函数间隔大于1）。对应下面两幅图，我们更希望得到第一幅而不是第二

机器学习补充系列国际权威的学术组织the IEEE International Conference on Data Mining (ICDM，国际数据哇局会议) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART，它们在数据挖掘领域都产生

机器学习补充系列国际权威的学术组织the IEEE International Conference on Data Mining (ICDM，国际数据哇局会议) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART，它们在数据挖掘领域都产生

1）Octave Tutorial    rand、randn、hist、sqrt、ones、zeros、printf、eye。。。。

机器学习补充系列国际权威的学术组织the IEEE International Conference on Data Mining (ICDM，国际数据哇局会议) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART，它们在数据挖掘领域都产生

1）问题描述2）协方差矩阵的限制3）多元高斯分布的边缘分布和条件分布4）因子分析的例子5）因子分析模型6）因子分析的EM估计‘7）简单总结1）问题描述   之前我们考虑的训练数据中样例的个数m都远远大于其特征个数n，这样不管是进行回归、聚类等都没有太大的问题。   然而当训练样例个数m太小，甚至m变成奇异阵（），也就是说不存在，根

0）回归和分类本来是一个事情，区别是：目标是连续值的称为回归，目标是离散值的称为分类。1）线性回归（Linear Regression）——拟合连续数据2）加权线性回归（Weighted Linear Regression）——lazy，similar to KNN3）logistic回归——拟合0/1二值分类问题4）误差函数（error function）5）最小化误

0）GDA要求输入特征x是连续型随机变量；朴素贝叶斯分类方法适用于输入特征x是离散值的情况，主要目的是确定后验概率p(x|y)。1）朴素贝叶斯模型（Naive Bayes Model）    1.1）朴素贝叶斯假设   1.2）朴素贝叶斯模型的构建——以邮件分类为例    1.3）应用朴素贝叶斯模型分类新邮件    1.4）朴素贝叶斯模型的一些问题2）拉普拉斯平

1）关于梯度下降    学习速率α太大甚至会导致发散；（梯度会随着迭代逐渐增大以致发散）    学习速率α太小学习比较慢，但最终会收敛；    最后强调，只要α足够小，一定会收敛，且不必到后面人工减小α的值！（梯度会随着迭代逐渐减小）

1）Convex Functions and Jensen’s inequality2）Derivation of the EM-algorithm1）Convex Functions and Jensen’s inequalityif f is a convex function, X is r.v, then:      。特别地，当且仅当，也就是说X是

1）问题起源   真实的训练数据总是存在各种各样的问题：    1、 比如拿到一个汽车的样本，里面既有以“千米/每小时”度量的最大速度特征，也有“英里/小时”的最大速度特征，显然这两个特征有一个多余。   2、 拿到一个数学系的本科生期末考试成绩单，里面有三列，一列是对数学的兴趣程度，一列是复习时间，还有一列是考试成绩。我们知道要学好数学，需要有浓厚的兴趣，所以第二项与第一项强相关，第

============================================================================【课程综述】============================================================================第一课时：    机器学习的定义【 The Definition of Ma

1）交叉验证（Cross validation）    1.1）hold-out cross validation或者称为简单交叉验证    1.2）k-fold cross validation（k-折叠交叉验证）    1.3）leave-one-out cross validation2）特征选择（Feature selection）    2.1）封装特征选

1）K-means聚类算法（K-means Clustering Algorithm）描述2）2-means聚类算法（K-means Clustering Algorithm）效果展示图片3）k-means聚类算法（K-means Clustering Algorithm）收敛性简述4）支持k-means聚类算法（K-means Clustering Algorithm）有效性的...

1

1）问题描述    1、上节提到的PCA是一种数据降维的方法，但是只对符合高斯分布的样本点比较有效，那么对于其他分布的样本，有没有主元分解的方法呢？    2、经典的鸡尾酒宴会问题（cocktail party problem）。假设在party中有n个人，他们可以同时说话，我们也在房间中一些角落里共放置了n个声音接收器（Microphone）用来记录声音。宴会过后，我们从n个麦克风中得到

在之前的讨论中，我们总是给定一个样本x，然后给出或者不给出label y。之后对样本进行拟合、分类、聚类或者降维等操作。然而对于很多序列决策或者控制问题，很难有这么规则的样本。比如，四足机器人的控制问题，刚开始都不知道应该让其动那条腿，在移动过程中，也不知道怎么让机器人自动找到合适的前进方向；比如，象棋的AI，每走一步实际上也是一个决策过程，虽然对于简单的棋有A*的启发式方法，但在局势复杂时，仍然

机器学习补充系列国际权威的学术组织the IEEE International Conference on Data Mining (ICDM，国际数据哇局会议) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART，它们在数据挖掘领域都产生

机器学习补充系列国际权威的学术组织the IEEE International Conference on Data Mining (ICDM，国际数据哇局会议) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART，它们在数据挖掘领域都产生

1）判别模型和生成模型（Discriminative/Generative Model）2）高斯判别分析（Gaussian Discriminant Analysis(GDA)）  2.1） 多元正态分布  2.2） 高斯判别模型分析  2.3） 利用高斯判别模型进行分类  2.4）高斯判别分析（GDA）与logistic回归的关系1）判别模