weixin_43999137的博客

机器学习算法基础：熵、条件熵、交叉熵

机器学习常用的评估指标分类算法常见的评估指标1、混淆矩阵（Confuse Matrix）2、准确率（Accuracy）3、精确率（Precision）4、召回率（Recall）5、F1 Score6、P-R曲线（Precision-Recall Curve）7、ROC（Receiver Operating Characteristic）金融风控预测类常见的评估指标1、KS(Kolmogorov-Smirnov)2、ROC3、AUC分类算法常见的评估指标1、混淆矩阵（Confuse Matrix）（1

硬分类，我们直接需要输出观测对应的分类。这类模型的代表为：线性判别分析（Fisher 判别）感知机软分类，产生不同类别的概率，这类算法根据概率方法的不同分为两种生成式（根据贝叶斯定理先计算参数后验，再进行推断）：高斯判别分析（GDA）和朴素贝叶斯等为代表GDANaive Bayes判别式（直接对条件概率进行建模）：Logistic 回归...

概率论、统计学相信大家都有了解或者上课学过，还有不少人认为概率论也就P(A)+P(B)=1P(A)+P(B)=1P(A)+P(B)=1如此简单，包括曾经的我哈，大学概率论满分，也觉得概率论、统计学就那样嘛，不难。但随着深入的学习，概率论、统计学是机器学习的基础。它们构成了机器学习的全部，我们必须非常清晰地分辨它们，找出它们之间的区别。参考blog：机器学习（二十五）— 极大似然估计（MLE）...

一维情况 MLE高斯分布在机器学习中占有举足轻重的作用。在 MLE 方法中：一般地，高斯分布的概率密度函数PDF写为：带入 MLE 中我们考虑一维的情况首先对 的极值可以得到 ：于是：其次对 中的另一个参数 ，有：于是：值得注意的是，上面的推导中，首先对 求 MLE， 然后利用这个结果求 ，因此可以预期的是对数据集求期望时 是无偏差的：但是当对 求 期望的时候由于使...