机器学习(Machine Learning)
关注
分享
扫一扫
文章平均质量分 91
jbb0523
彬彬有礼
展开
-
Friedman test以及后续检验Nemenyi test和Bonferroni-Dunn test
题目：Friedman test以及后续检验Nemenyi test和Bonferroni-Dunn test在做算法对比时，往往需要对实验结果进行统计检验。Friedman test是一种常用的检验，用来比较k个算法在N个数据集上的整体表现性能。但Friedman test只能给出k个算法的性能之间是否存在差异，如果存在差异，还需要进行“后续检验”(post-hoc test)，常用的后续检验方法包括Nemenyi test和Bonferroni-Dunn test。Nemenyi test适用于原创 2020-11-23 12:22:30 · 20680 阅读 · 10 评论 -
将LIBSVM用于多分类时根据svmtrain输出结果得到各OvO分类超平面的法向量w和偏移项b
题目：将LIBSVM用于多分类时根据svmtrain输出结果得到各OvO分类超平面的法向量w和偏移项b 在前面曾讨论过《由LIBSVM的svmtrain输出结果得到分类超平面的法向量w和偏移项b》（链接https://blog.youkuaiyun.com/jbb0523/article/details/80918214），介绍了LIBSVM用于二分类时根据模型返回参数得到超平面方程参数w和...原创 2019-12-02 19:38:19 · 2748 阅读 · 12 评论 -
机器学习（西瓜书）注解：第6章 支持向量机
题目：机器学习（西瓜书）注解：第6章 支持向量机经常听人说南大周老师所著的《机器学习》（以下统称为西瓜书）是一本入门教材，是一本科普性质的教科书。在该书第十次印刷之际，周老师在“如何使用本书”中也提到“这是一本入门级教科书”。然而，本人读起来却感觉该书远不止“科普”“入门”那么简单，书中的很多公式需要思考良久方能推导，很多概念需要反复咀嚼才能消化。边读边想着是不是应该将自己学习时遇到的一些知识...原创 2018-09-12 16:19:30 · 2925 阅读 · 3 评论 -
机器学习（西瓜书）注解：第3章 线性模型
题目：机器学习（西瓜书）注解：第3章 线性模型 本次更新第3章，线性模型。针对该章注解有任何问题欢迎在此留言~ 本章是全书第1部分（介绍机器学习基础知识）的最后一章，章节标题为“线性模型”； 抛开3.1节不谈，3.2节、3.3节、3.4节分别介绍了一个线性模型，分别是线性回归、对率回归、线性判别分析，其中3.2节是回归任务，3.3节和3.4节是...原创 2018-09-26 15:45:37 · 1130 阅读 · 0 评论 -
机器学习（西瓜书）注解：第10章 降维与度量学习
题目：机器学习（西瓜书）注解：第10章 降维与度量学习 本次更新第10章，降维与度量学习。针对该章注解有任何问题欢迎在此留言~ 从该章目录中可以看出10.2节至10.5节均为降维方法，其中10.2节的MDS和10.3节的PCA为线性降维方法，而10.4节的KPCA和10.5节的流形学习（含Isomap和LLE两种方法）为非线性降维方法，但作者为什么将k近邻学习和度...原创 2018-09-22 11:42:34 · 2268 阅读 · 8 评论 -
机器学习（西瓜书）注解：第13章 半监督学习
机器学习（西瓜书）注解：第13章 半监督学习 本次更新第13章，半监督学习。针对该章注解有任何问题欢迎在此留言~ 监督学习和无监督学习是机器学习的两个学习范型(paradigm)。对于监督学习来说，要求训练样本具有标记信息；而对于无监督学习来说，则不需要训练样本具有标记信息。若在监督学习中没有足够的有标记样本，而是具有大量的无标记样本（在现实世界中正是如此，详见...原创 2018-10-21 16:06:15 · 1535 阅读 · 2 评论 -
机器学习（西瓜书）注解：第4章 决策树
机器学习（西瓜书）注解：第4章 决策树 本次更新第4章，决策树。针对该章注解有任何问题欢迎在此留言~ 本章作为西瓜书“介绍经典而常用的机器学习方法”的开篇，通篇以“西瓜”为例进行讲解，通俗易懂。个人感觉最可能会让人产生困惑的知识点是决策树三种递归返回情形（参见4.1节的详细解释）、缺失值处理的具体细节（参见式(4.12)的解释，具体还得自己琢磨一下4.4.2节的...原创 2018-10-26 21:14:22 · 1576 阅读 · 1 评论 -
机器学习（西瓜书）注解：第11章 特征选择与稀疏学习
机器学习（西瓜书）注解：第11章 特征选择与稀疏学习 本次更新第11章，特征选择与稀疏学习。针对该章注解有任何问题欢迎在此留言~ 其实本章后三节的内容更多属于信号处理领域，前四节虽然在介绍机器学习中的特征选择问题，但也是一个很笼统的介绍，包括“过滤式”算法、“包裹式”算法、“嵌入式”算法也是通用的概念；因此本章与其说是介绍机器学习特征选择的相关知识，倒不如说是介...原创 2018-10-24 20:56:04 · 1500 阅读 · 2 评论 -
机器学习（西瓜书）注解：第9章 聚类
机器学习（西瓜书）注解：第9章 聚类 本次更新第9章，聚类。针对该章注解有任何问题欢迎在此留言~ 本章介绍无监督学习中最典型的任务：聚类。正如书中第217页阅读材料说到：聚类也许是机器学习中“新算法”出现最多、最快的领域。因此本章勉强采用了“列举式”的叙述方式，相较于其它各章给出了更多的算法描述。 除了本章介绍的k均值算法、学习向量量化、高斯混...原创 2019-04-05 21:14:50 · 1530 阅读 · 2 评论 -
机器学习（西瓜书）注解：第8章 集成学习
机器学习（西瓜书）注解：第8章 集成学习 本次更新第8章，集成学习。针对该章注解有任何问题欢迎在此留言~ 本章内容整体上看并不复杂，可以看成是作者的英文专著《Ensemble Methods: Foundations and Algorithms》（https://book.douban.com/subject/10494228/，据悉该书中文版即将由电子工业出...原创 2019-04-06 09:46:41 · 1668 阅读 · 10 评论 -
机器学习（西瓜书）注解：第7章 贝叶斯分类器
机器学习（西瓜书）注解：第7章 贝叶斯分类器 本次更新第7章，贝叶斯分类器。针对该章注解有任何问题欢迎在此留言~ 本章内容很多，但读完本章后的感觉可能会是这样的：除了7.3节的朴素贝叶斯分类器看的很爽快，其它似乎什么也没看懂；7.1节的贝叶斯定理和7.2节的极大似然估计本就是本科概率论中的内容，似乎什么都知道却也什么都不知道，熬过了7.4节的半朴素贝叶斯分类器和...原创 2019-04-06 10:14:48 · 1508 阅读 · 6 评论 -
机器学习（西瓜书）注解：第5章 神经网络
机器学习（西瓜书）注解：第5章 神经网络 本次更新第5章，神经网络。针对该章注解有任何问题欢迎在此留言~ 本章讲解最为详细的一部分内容当属5.3节的BP算法，掌握BP算法是理解深度神经网络基础之一。当年BP算法的提出使多层网络的训练成为可能，掀起了神经网络研究的第二次高潮（参见西瓜书第120页的小故事），虽然近些年BP算法的作者Hinton曾说要将BP算法推翻（...原创 2019-06-18 15:58:24 · 1960 阅读 · 3 评论 -
机器学习（西瓜书）注解：第12章 计算学习理论
机器学习（西瓜书）注解：第12章 计算学习理论 本次更新第12章，计算学习理论。针对该章注解有任何问题欢迎在此留言~ 相信本章是很多读者望而却步的一章，相信本章是很多以本书为教材的老师在讲课时会直接跳过的一章，相信本章是很多资深机器学习研究者都不予理睬的一章…… 但既然已经入了机器学习这个坑，总感觉如果不去了解一点儿有关本章的内容，少点什么似的...原创 2019-09-23 21:37:38 · 1458 阅读 · 3 评论 -
由LIBSVM的svmtrain输出结果得到分类超平面的法向量w和偏移项b
题目：由LIBSVM的svmtrain输出结果得到分类超平面的法向量w和偏移项b 相信很多人都会使用LIBSVM软件包，svmtrain和svmpredict两个函数分别完成训练和预测：svmtrain输出训练模型，然将将训练模型作为svmpredict的输入参数即可得预测结果。训练模型作为一个中间变量似乎从来没有出现过，但对于很多人来说这的确已经足够了；然而，这并不能满足我们在...原创 2018-07-04 20:48:15 · 15758 阅读 · 14 评论 -
有关属性离散化算法CACC的再次补充说明
题目：有关属性离散化算法CACC的再次补充说明 在《贝叶斯网络结构学习之连续参数处理方法》中，开篇就提到“首先必须说明：严格来说，这不是一篇完整的文档，因为文档最后并没有给出确定的结果，至少个人不认为文档引用的几个程序一定是正确的。”，在上一篇《有关属性离散化算法CACC的补充说明》给出了一个肯定性的回答：文中提到的两个CACC实现版本中Julio Zaragoza的实现代码是正确的...原创 2018-06-06 17:05:15 · 1458 阅读 · 3 评论 -
有关属性离散化算法CACC的补充说明
题目：有关属性离散化算法CACC的补充说明 在《贝叶斯网络结构学习之连续参数处理方法》中，开篇就提到“首先必须说明：严格来说，这不是一篇完整的文档，因为文档最后并没有给出确定的结果，至少个人不认为文档引用的几个程序一定是正确的。”，本篇给出一个肯定性的回答：文中提到的两个CACC实现版本中Julio Zaragoza的实现代码是正确的。 本篇补充说明主要是为了复现CAC...原创 2018-04-07 18:02:53 · 1972 阅读 · 12 评论 -
写点什么吧，作为机器学习分类的开篇……
本打算用一年的时间将压缩感器的基本算法学完，可自从今年五月份把OMP类的算法学完之后就开始各种忙碌，到了六月份，本来抽出些时间打算学习基追踪类算法，也找了最优化类的参考书，也花了些许时间去看单纯形算法，但后来又忙起来了，七月份、八月份一直不得闲，学习计划不得不搁置，到了九月份更是晕头转向的忙了一个月，身体还给拖后腿，不是牙疼就是口腔溃疡，或者就是感冒咳嗽，直到现在咳嗽都没好完全，牙也不敢吃凉的或热原创 2015-10-05 16:41:44 · 3260 阅读 · 4 评论 -
马尔可夫毯（Markov Blanket）
题目：马尔可夫毯（Markov Blanket） 最近接触到马尔可夫毯（MarkovBlanket）这个概念，发现网上资料不多，通俗易懂的解释甚少，查了一些资料后，决定写一个总结。 提到马尔可夫毯，就会有一堆从名字上看很相近的概念，比如马尔可夫链（Markov Chain, MC）、隐马尔可夫模型（Hidden Markov Model, HMM）、马尔可夫原创 2017-11-02 14:28:02 · 26587 阅读 · 13 评论 -
贝叶斯网络结构学习若干问题解释
题目：贝叶斯网络结构学习若干问题解释 本篇主要为后续讲解具体结构学习算法打基础，共解释以下几个问题： 1、用于贝叶斯网络结构学习的数据集如何存储？ 2、学得的贝叶斯网络结构如何存储？ 3、什么是节点顺序order？ 4、什么是节点的最大父母个数max_fan_in？ 为了方便说明问题，引用如...原创 2017-12-14 17:07:28 · 19351 阅读 · 19 评论 -
贝叶斯网络结构学习之K2算法（基于FullBNT-1.0.4的MATLAB实现）
题目：贝叶斯网络结构学习之K2算法（基于FullBNT-1.0.4的MATLAB实现） 有关贝叶斯网络结构学习的一基本概念可以参考：贝叶斯网络结构学习方法简介 有关函数输入输出参数的解释可以参考：贝叶斯网络结构学习若干问题解释 对于应用贝叶斯评分进行结构学习的研究，国外的学者做了很多相关的工作。其中最著名的是Cooper和Herskovi...原创 2017-12-14 17:38:30 · 30307 阅读 · 18 评论 -
贝叶斯网络结构学习之MCMC算法（基于FullBNT-1.0.4的MATLAB实现）
题目：贝叶斯网络结构学习之MCMC算法（基于FullBNT-1.0.4的MATLAB实现） 有关贝叶斯网络结构学习的一基本概念可以参考：贝叶斯网络结构学习方法简介 有关函数输入输出参数的解释可以参考：贝叶斯网络结构学习若干问题解释 本篇所基于的马尔可夫链蒙特卡罗(Markov Chain Monte Carlo, MCMC)原创 2017-12-14 19:22:58 · 15880 阅读 · 30 评论 -
贝叶斯网络结构学习（基于BDAGL工具箱的MATLAB实现）
题目：贝叶斯网络结构学习（基于BDAGL工具箱的MATLAB实现） 有关贝叶斯网络结构学习的一基本概念可以参考：贝叶斯网络结构学习方法简介 有关函数输入输出参数的解释可以参考：贝叶斯网络结构学习若干问题解释 注意到BDAGL工具箱比前面介绍的BNT工具箱在时间上还要早一些，但由于琢磨BDAGL一段时间后并没有找到任何头绪，后原创 2017-12-14 19:44:40 · 8081 阅读 · 5 评论 -
贝叶斯网络结构学习之连续参数处理方法
题目：贝叶斯网络结构学习之连续参数处理方法 注：本文有更新，参见《有关属性离散化算法CACC的补充说明》。以下为原文： 首先必须说明：严格来说，这不是一篇完整的文档，因为文档最后并没有给出确定的结果，至少个人不认为文档引用的几个程序一定是正确的。 前面介绍了三种学习贝叶斯网络结构的Matlab实现，但都限于数据集的数据是离散型的，即贝叶斯网络每个节点的取值...原创 2017-12-14 20:36:15 · 10146 阅读 · 3 评论 -
贝叶斯网络结构学习方法简介
题目：贝叶斯网络结构学习方法简介 贝叶斯网络（Bayesiannetwork, BN）结构学习就是从给定的数据集中学出贝叶斯网络结构，即各节点之间的依赖关系；只有确定了结构才能继续学得网络参数，即表示各节点之间依赖强弱的条件概率。对于普通人来说（非贝叶斯网络的专业研究人员，仅一般使用者），希望的是能够有那么一个函数，函数的输入是数据集，输出即为贝叶斯网络结构。目前确实有很多贝叶斯原创 2017-12-14 16:56:46 · 39506 阅读 · 12 评论 -
贝叶斯网络参数学习（基于FullBNT-1.0.4的MATLAB实现）
题目：贝叶斯网络参数学习（基于FullBNT-1.0.4的MATLAB实现） 贝叶斯网络学习分为结构学习和参数学习，前面用三篇分别介绍了两个工具箱共三个贝叶斯网络结构学习方法： 贝叶斯网络结构学习之K2算法（基于FullBNT-1.0.4的MATLAB实现） 贝叶斯网络结构学习之MCMC算法（基于FullBNT-1.0.4的MATLAB实现） ...原创 2017-12-27 20:06:22 · 30834 阅读 · 27 评论 -
贝叶斯网络与最大可能解释(MPE)问题
题目：贝叶斯网络与最大可能解释(MPE)问题 近来学习贝叶斯网络推理(inference，或译为推断)，看到了最大可能解释（MostProbable Explanation, MPE）这个概念，感觉有些困惑，于是查了一些资料~ 其实，应该有很多人对MPE感到困惑，例如文献[1]中就明确提到：“the problem comes in many variants and...原创 2018-03-04 16:31:16 · 8121 阅读 · 3 评论 -
贝叶斯网络推理算法简单罗列
题目：贝叶斯网络推理算法简单罗列 上一篇《贝叶斯网络与最大可能解释(MPE)问题》理清了最大可能解释（Most Probable Explanation, MPE）的概念，接下来准备在MATLAB中基于工具箱FullBNT-1.0.4实现贝叶斯网络推理，但在此之前还是走马观花式地看一下贝叶斯网络推理算法，本篇取名为“罗列”意味着非常简略的提及一下，因此不要期待能够学得什么具体内容，仅...原创 2018-03-04 16:52:36 · 35514 阅读 · 1 评论 -
贝叶斯网络推理之最大可能解释问题（基于FullBNT-1.0.4的MATLAB实现）
题目：贝叶斯网络推理之最大可能解释问题（基于FullBNT-1.0.4的MATLAB实现） 看本篇前，如果对最大可能解释的概念不汪楚，可以阅读《贝叶斯网络与最大可能解释(MPE)问题》，如果想简单了解贝叶斯网络推理算法，可以阅读《贝叶斯网络推理算法简单罗列》，尤其是常用的联结树算法（junction tree），在文中附录摘有详细解释。 在BNT工具箱中，最大可能解释问...原创 2018-03-04 17:13:11 · 6321 阅读 · 0 评论 -
贝叶斯网络推理之后验概率问题（基于FullBNT-1.0.4的MATLAB实现）
题目：贝叶斯网络推理之后验概率问题（基于FullBNT-1.0.4的MATLAB实现） 看本篇前，可以简单浏览《贝叶斯网络与最大可能解释(MPE)问题》，通过与MPE问题的对比了解后验概率问题的概念；如果想简单了解贝叶斯网络推理算法，可以阅读《贝叶斯网络推理算法简单罗列》，尤其是常用的联结树算法（junction tree），在文中附录摘有详细解释。 在BNT工具箱中，...原创 2018-03-04 17:30:51 · 12645 阅读 · 9 评论 -
贝叶斯网络综合应用
题目：贝叶斯网络综合应用 截止到现在，已经讨论了贝叶斯网络结构学习、贝叶斯网络参数学习、贝叶斯网络推理，现在应该可以应用贝叶斯网络建模了。实际中，出发点一般是一个数据集，根据数据集首先学得贝叶斯网络结构(有向无环图DAG)，进而学得贝叶斯网络参数(条件概率表CPT)，完成贝叶斯网络学习；根据学得的贝叶斯网络，可以完成一些推理。 贝叶斯系列的目录： ...原创 2018-03-04 17:37:24 · 11838 阅读 · 8 评论 -
batch gradient descent和stochastic/incremental gradient descent
题目：batch gradient descent和stochastic/incremental gradient descent 由于斯坦福机器学习公开课的影响力，网上已有各种解析文章，但当我想找个程序时却没有搜索到，因此这里不再去谈具体内容，只给出个人编写的matlab代码。 下面给出batch gradient descent和stochastic/inc原创 2015-10-05 16:59:24 · 2637 阅读 · 0 评论