秦刚刚-优快云博客

原创最大熵模型中条件熵的来源(远离“熵不起”)

写在前面的话：机器学习中，很多地方都会用到条件熵(例如：决策树里面的信息增益与信息增益比的计算；最大熵模型等)，但是很多教材或者博客中都只是直接给出了条件熵的计算公式，并没有讲清楚它是怎么来的，这很容易让大家(尤其是我，哈哈哈)知其然不知其所以然，云里雾里的。因此，我看了一下资料，包括《数学之美》以及一些博客，算是弄明白了一点，同时我觉得有必要写出来让更多跟我一样存在过疑惑的人能看到并且解除疑惑。...

2019-03-01 22:53:24 501 1

原创概率论中PDF、PMF和CDF的区别与联系

在概率论中，经常出现PDF、PMF和CDF，那么这三者有什么区别与联系呢？1. 概念解释PDF：概率密度函数（probability density function）, 在数学中，连续型随机变量的概率密度函数（在不至于混淆时可以简称为密度函数）是一个描述这个随机变量的输出值，在某个确定的取值点附近的可能性的函数。PMF : 概率质量函数（probability mass funct...

2019-03-01 17:13:28 112087 4

原创深入浅出最大似然估计

对于正在学习机器学习算法的同学来说，相信大家对这两个名词很眼熟吧，但是二者的用法与区别是不是很清楚呢？如果是，那么恭喜你，you are so cow！(哈哈哈^^)如果没有，那也没有关系，because you are so lucky！我将会总结在这篇以及下篇博客里。这里我们通过一个例子来进行阐述，假设我们遇到的是下面这样的问题：1. 例子假设我们需要调查我们学校的男生和女生的身高分...

2019-02-28 21:58:44 2044 1

原创机器学习中的Bias(偏差)，Error(误差)，和Variance(方差)有什么区别和联系？

相信大家在学习K折交叉验证方法(KKK-fold Cross-Validation)的时候常常会不理解以下总结：当KKK值大的时候，我们会有更少的Bias(偏差), 更多的Variance。当KKK值小的时候，我们会有更多的Bias(偏差), 更少的Variance。首先，我们应该明确何为偏差(Bias)和方差(Variance)以及它们与误差(Error)的关系?其次，我们应该明...

2019-02-28 12:56:56 975

原创 Python中*args和**kwargs的区别

该问题也可以叫做：在Python中如何使用可变长参数列表？首先我们应该明确的是，在python语言中，可以在函数定义中使用*args和kwargs传递可变长参数。其中，*args用作传递非命名键值可变长参数列表（位置参数）；kwargs用作传递键值可变长参数列表。其次，上面这句话到底是什么意思呢？下面我将会以举例的形式来说明二者的用法与区别。1. *args的使用方法*args 用来将参数...

2019-02-21 17:26:52 726 1

原创秦刚刚的机器学习成长之路之集成学习(Ensemble Learning)总结

写在前面的话：从去年11月开始研究集成学习方法，刚开始只是基于决策树知识零散地学习了RF(Random Forest)、AdaBoost(Adaptive Boosting)、GBDT(Gradient Boosting Decision Tree)、XGBoost(eXtreme Gradient Boosting)这四种方法，但是到后面发现这四种方法已经囊括了当前比较流行且高效的集成算法，所以...

2019-02-20 20:48:24 401

原创秦刚刚的机器学习成长之路之朴素贝叶斯法

写作背景：为了对所学知识进行一个总结，写下了秦刚刚的机器学习成长之路系列。欢迎大家的批评和指正^^本文主要分五个部分来对朴素贝叶斯进行一个循序渐进的讲解贝叶斯定理特征条件独立假设朴素贝叶斯估计法的参数估计总结注意：在学习与朴素贝叶斯相关的东西时，一定要时刻清楚朴素贝叶斯的前提是假设属性相互独立！！！1. 贝叶斯定理贝叶斯定理是一种在已知其他概率的情况下求概率的方法。概率论与...

2019-02-18 18:30:40 732

原创秦刚刚的机器学习成长之路之感知机VS支持向量机

写作背景：前段时间看了李航的《统计学习与分析》这本书，受益良多。刚开始一味地以手写的形式记录下来，但是后来觉得这样既不环保也不利于随时查看，因此觉得有必要写成博客与大家分享与讨论。1.感知机感知机是二类分类的线性模型，其目标是求得一个能够将训练数据集正实例点和负实例点完全正确分开的分离超平面，如下图所示（L1，L2和L3都可以作为分离超平面）：感知器模型为：f(x)=sign(w⋅x+...

2019-01-13 18:11:34 638

原创秦刚刚的机器学习成长之路之高斯核函数为什么能将原始空间映射为无穷维空间(核函数)

写作背景：很多时候数据在低维空间的时候很难将它们区别开来，所以需要借助核函数将其映射到高维空间中，例如谱聚类，SVM等算法。但是一开始，这其中的原理很多人不知道(例如我啦，哈哈哈)，因此有了这篇简单的文章_1.核函数的作用及意义低维计算，高维表现2.高斯核函数为什么能将原始空间映射为无穷维空间？思路：从泰勒展开式的角度来解释，如下：exe^xex的泰勒展开式为：(1)ex=1+x+x2...

2019-01-11 22:41:19 2446 1

原创秦刚刚的机器学习成长之路之SVM原理（SMO算法详解）

SMO算法详解（Sequential Minimal Optimization）写作背景：最近在学SVM算法，在看了一些资料后，发现：很多书籍（例如：《机器学习》）或资料在讲解SVM算法时，都只是讲到了为了计算方便，可以将SVM算法需要求解的原始问题转化为它的对偶问题，然后使用SMO算法求解对偶问题，但是却没有详细解释SMO算法的具体解法。在我苦恼之际，实验室师兄分享给我一篇讲得很好的博客，因此...

2019-01-11 15:52:48 1249 4

转载信息熵公式的来源

信息熵公式的来源之所以会写这篇博客，是因为在上一篇博客：秦刚刚的机器学习成长之路之决策树总结https://blog.youkuaiyun.com/yzcjwddbdgg/article/details/85251353中，决策树在进行特征选择的时候用到了信息增益和信息增益比，这两者的本质就是信息熵公式。在网上看了很多相关讲解，我个人觉得通过以下几篇文章就能很好的弄清楚这一问题：http...

2018-12-26 10:29:02 1242

原创秦刚刚的机器学习成长之路之决策树总结

决策树之分类树和回归树本文主要讲解最常用的3种决策树（ID、C4.5和CART），为了更加系统和全面的认识这3种常用的决策树算法，我将从以下4个部分进行讲解：1.决策树学习算法步骤有哪些？2.常用的决策树算法有哪几种？3.决策树剪枝4.Gini指数与熵的关系1.决策树学习算法步骤有哪些？决策树学习算法通常包括以下3个步骤：特征选择选取对训练数据具有分类能力的特征。换句话说，特...

2018-12-25 17:23:00 573 1

秦刚刚的博客