ytusdc的博客

监督学习的任务就是从数据中学习一个模型（或者得到一个目标函数，也叫分类器），应用这一模型，对给定的输入X预测相应的输出Y。这个模型的一般形式为决策函数Y=f(X)或者条件概率分布P(Y|X)。监督学习方法又可以分为生成方法(generative approach)和判别方法(discriminative approach)。所学到的模型分别为生成模型(generative model)和判别模

  直接上链接，写的很好   https://www.cnblogs.com/pinard/p/5970503.html

为什么正则化能够降低过拟合 ：https://hit-scir.gitbooks.io/neural-networks-and-deep-learning-zh_cn/content/chap3/c3s5ss2.html正则化的解释：https://hit-scir.gitbooks.io/neural-networks-and-deep-learning-zh_cn/content/cha...

支持向量机通俗导论（理解SVM的三层境界）作者：July 。致谢：pluskid、白石、JerryLead。说明：本文最初写于2012年6月，而后不断反反复复修改&优化，修改次数达上百次，最后修改于2016年11月。声明：本文于2012年便早已附上所有参考链接，并注明是篇“学习笔记”，且写明具体参考了pluskid等人的文

看似最小二乘估计与最大似然估计在推导得到的结果很相似，但是其前提条件必须引起大家的注意！！！对于最小二乘估计，最合理的参数估计量应该使得模型能最好地拟合样本数据，也就是估计值和观测值之差的平方和最小，其推导过程如下所示。其中Q表示误差，Yi表示估计值，Yi'表示观测值。对于最大似然法，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大，也就是概

引言　机器学习栏目记录我在学习Machine Learning过程的一些心得笔记，涵盖线性回归、逻辑回归、Softmax回归、神经网络和SVM等等，主要学习资料来自网上的免费课程和一些经典书籍，免费课程例如Standford Andrew Ng老师在Coursera的教程以及UFLDL Tutorial，经典书籍例如《统计学习方法》等，同时也参考了大量网上的相关资料（在后面列出）。

原文地址：https://www.cnblogs.com/pinard/p/5970503.html在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。1. 梯度　　　　在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形

带你搞懂朴素贝叶斯分类算法      贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。这篇文章我尽可能用直白的话语总结一下我们学习会上讲到的朴素贝叶斯分类算法，希望有利于他人理解。1  分类问题综述 对于分类问题，其实谁都不会陌生，日常生活中我

原文地址:http://blog.youkuaiyun.com/songzitea/article/details/23131609#t0引 言在博文【模式识别PR和模式的概念】介绍了相关的模式识别与模式的概念。在本节描述所要讨论的问题之前，再提一下对于待识别的物理对象的描述问题。假设一个待识别的物理对象用其d个属性观察值描述，称之为d个特征，这组成一个d维的特征向量，而这d维待征所有可能的取值范

转载出处：http://blog.youkuaiyun.com/eternity1118_      模式识别问题中，我们分类时最希望分类错误率可以降到最低，因此从这个目标出发，得到的分类决策就被称作最小错误率贝叶斯决策，该决策规则可写为：                   (1)1.两类决策：        式(1)中，对于所有x，P(e|x)和p(x)

先验概率（Prior probability）在贝叶斯统计中，先验概率分布，即关于某个变量 p 的概率分布，是在获得某些信息或者依据前，对 p 的不确定性进行猜测。例如， p 可以是抢火车票开始时，抢到某一车次的概率。这是对不确定性（而不是随机性）赋予一个量化的数值的表征，这个量化数值可以是一个参数，或者是一个潜在的变量。先验概率仅仅依赖于主观上的经验估计，也就是事先根据已有的知识的推断，

原文地址：https://www.cnblogs.com/maybe2030/p/4946256.html阅读目录1. 拉格朗日乘数法的基本思想 2. 数学实例 3. 拉格朗日乘数法的基本形态 4. 拉格朗日乘数法与KKT条件 　　拉格朗日乘数法（Lagrange Multiplier Method）之前听数学老师授课的时候就是一知半解，现在越发感觉拉格朗日乘数法应用的广泛性，...