NBW_GX的博客

机器学习的主要任务 机器学习主要任务分为监督学习和无监督学习监督学习 监督学习又包括回归和分类 回归：主要就是用来预测数据，根据现有数据来的数据，常见的就是曲线拟合 分类：就是将实例数据划分到具体的分类中 之所以叫做监督学习，就是这类算法必须要知道预测什么无监督学习 无监督学习任务主要有聚类和密度估计，同时也可以减少特征值的个数 聚类：将数据集合分为由类似的对象

统计学中，似然函数是一种关于统计模型参数的函数。给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率：L(θ|x)=P(X=x|θ).似然函数在推断统计学（Statistical inference）中扮演重要角色，尤其是在参数估计方法中。在教科书中，似然常常被用作“概率”的同义词。但是在统计学中，二者有截然不同的用法。概率描述了已知参数时的随机变

两种随机变量的极大似然估计1.若总体X为离散型，其概率分布列为其中  为为未知参数。设  是取自总体的样本容量为n的样本，则  的联合分布律为  。又设  的一组观测值为  ，易知样本  取到观测值  的概率为这一概率随  的取值而变化，它是  的函数，称

1） 最大似然估计 MLE给定一堆数据，假如我们知道它是从某一种分布中随机取出来的，可是我们并不知道这个分布具体的参，即“模型已定，参数未知”。例如，我们知道这个分布是正态分布，但是不知道均值和方差；或者是二项分布，但是不知道均值。 最大似然估计（MLE，Maximum Likelihood Estimation）就可以用来估计模型的参数。MLE的目标是找出一组参数，使得模型产生出观测数据

作者：马索萌链接：https://www.zhihu.com/question/26006703/answer/199057388来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。深度学习的资料非常多，但这也成为了深度学习坑最大的地方，学习者很容易迷失在各种资料当中，最后只看了个皮毛。所以，我认为学习深度学习一开始就要盯着你挑选的那么一两个资料学

1.什么是熵（Entropy）在 信息论 里面，熵是对不确定性的测量，熵越高，则能传输越多的信息，熵越低，则意味着传输的信息越少。熵度衡量了系统的不确定性，当我们缺乏对某个系统的知识，其不确定性也随着增加。例如 抛硬币，在理想情况下他们无法预测出现的是正面还是反面，此时熵达到最大。但是对于“明天太阳从东方升起”，我们完全可以依靠目前的知识，预测该事件肯定会发生，信息熵最小。熵的定义

k值得选择会对k近邻的结果产生重大的影响 如果选择较小的K值，就相当于用较小的邻域中的训练实例进行预测，“学习”的近似误差会减小，只有输入实例较近的训练实例才会对预测结果起作用。但缺点是“学习”的估计误差会增大，预测结果会对近邻实例点非常敏感。如果邻近的实例点恰巧是噪声，预测就会出错。换句话说，k值得减小就意味着整体模型非常复杂，容易发生过拟合 如果选择较大的k值，就相当于用较大邻域中的训

Logistic回归为概率型非线性回归模型，是研究二分类观察结果与一些影响因素之间关系的一种多变量分析方法。通常的问题是，研究某些因素条件下某个结果是否发生，比如医学中根据病人的一些症状来判断它是否患有某种病。 在讲解Logistic回归理论之前，我们先从LR分类器说起。LR分类器，即Logistic Regression Classifier。在分类情形下

作者：陶轻松链接：https://www.zhihu.com/question/26526858/answer/131591887来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。遇到对偶问题呢，一定要先回归基础，不要急着去看结论：首先，咱们了解一下【对偶】的定义是什么，简单的说，就是从一个不同的角度去解答相似问题，但是问题的解是相通的，甚至

很多人能讲出一大堆哲学理论来阐明这一对区别。但我觉得，从工程师角度来讲，这样理解就够了:频率 vs 贝叶斯 = P(X;w) vs P(X|w) 或 P(X,w)你是把参数当作一个待确认系数 还是一个随机变量。-------------------------------------------------------------------------------------