机器学习
关注
分享
扫一扫
菜到怀疑人生
这个作者很懒，什么都没留下…
展开
-
机器学习——SVM预备知识 拉格朗日乘子法的推导
以下内容仅供参考，如有错误，欢迎指出文章目录什么是拉格朗日乘子法预备知识——水平集只具有一个等式约束的最优化问题问题描述问题的解决方案拉格朗日乘子法为什么有效的简单推导什么是拉格朗日乘子法以下内容摘自周志华老师的《机器学习》拉格朗日乘子法是一种寻找多元函数在一组约束条件下的极值的方法，通过引入拉格朗日乘子，可将有d个变量与k个约束条件的最优化问题转换为具有d+k个变量的无约束优化问题...原创 2019-01-16 22:16:07 · 683 阅读 · 0 评论 -
机器学习——SVM预备知识 拉格朗日对偶推导与证明
以下内容均为个人理解，如有错误，欢迎指出以下内容在周志华老师《机器学习》的基础上加以理解而成，首先先明白，SVM之所以引入拉格朗日对偶，是为了降低算法复杂度，并且引入核函数时，在数学上更加自然，因此在本文的推导过程中，会发现不等式约束越来越多，好在通过SMO算法，我们可以高效求解这个问题问题描述考虑具有m个等式约束和n个不等式约束，可行域D非空的优化问题minxf(x)s.t&nb...原创 2019-01-12 09:53:18 · 1271 阅读 · 0 评论 -
机器学习——硬间隔SVM
以下内容均为个人观点，如有错误，欢迎指出终于到支持向量机这个大魔王了文章目录什么是支持向量机什么是支持向量机考虑二分类问题，我们需要在空间中找一个划分超平面，使位于两侧的样本大体上属于不同的类...原创 2019-01-23 18:20:30 · 1772 阅读 · 0 评论 -
机器学习——软间隔SVM
以下内容均为个人理解，如有错误，欢迎指出文章目录硬间隔SVM的问题软间隔SVM什么是软间隔SVM软间隔SVM的数学表达式软间隔SVM的求解SMO算法求解软间隔SVM硬间隔SVM的问题硬间隔要求间隔之间不存在任何点，这点要求非常苛刻，这也导致了硬间隔SVM对于异常点非常敏感，由于噪声的因素，可能属于A类的点分布在B类中（异常点），此时硬间隔将无法找到一个划分超平面，因此，我们导出了软间隔S...原创 2019-01-24 19:02:41 · 6466 阅读 · 0 评论 -
机器学习——多维缩放MDS
以下内容均为个人理解，如有错误，欢迎指出文章目录什么是多维缩放推导过程什么是多维缩放多维缩放（Mutiple Dimensional Scaling）是一种经典的降维方法，是一种无监督算法，其目的是使降维后的数据之间的距离保持不变推导过程符号表符号名含义DDDm个样本在原始空间的距离矩阵xix_ixi第i个样本的坐标，维度为ddistijdi...原创 2019-01-31 21:30:44 · 1604 阅读 · 0 评论 -
机器学习——主成分分析（PCA）
以下内容均为个人理解，如有错误，欢迎指出文章目录什么是主成分分析PCA的一点个人理解推导过程什么是主成分分析主成分分析（PCA）常用于降维，是一种无监督算法。在周志华老师的《机器学习》一书中，将PCA的降维目的分为最近重构性和最大可分性，最近重构性部分有一丝问题（由于逆矩阵的作用与原矩阵的几何效用相反，基于投影点重构的点和原样本点是相等的，故书中式10.14的值应该等于0），故本文主要讨...原创 2019-02-02 08:14:00 · 1289 阅读 · 4 评论 -
机器学习——XGBoost
以下内容均为个人理解，如有错误，欢迎指出文章目录什么是XGBoostXGBoost的推导过程XGBoost的目标函数模型学习与训练误差XGBoost为什么要使用弱分类器Bagging的偏差与方差Boosting的偏差与方差什么是XGBoost以下内容摘自一文读懂机器学习大杀器XGBoost原理XGBoost是boosting算法的其中一种。Boosting算法的思想是将许多弱分类器集...原创 2019-02-10 08:13:03 · 893 阅读 · 0 评论 -
机器学习——EM算法
以下内容均为个人理解，如有错误，欢迎指出文章目录什么是EM算法什么是隐变量什么是极大似然估计EM算法的过程本文将先阐明EM算法的概念，接着说明EM算法的过程，然后介绍其推导过程，最后对EM算法的收敛性作出证明。什么是EM算法EM算法是一类通过迭代进行极大似然估计的优化算法，用于对包含隐变量或缺失数据的概率模型进行参数估计。什么是隐变量可以表示缺失数据，或概率模型中任何无法直接观测...原创 2019-02-09 15:54:40 · 708 阅读 · 0 评论 -
机器学习——随机森林
以下内容均为个人理解，如有错误，欢迎指出文章目录什么是随机森林什么是Bagging如何生成随机森林基学习器的训练数据集"随机"的含义Bagging集成学习的评测方法随机森林的参数什么是随机森林以下内容摘自周志华老师的《机器学习》随机森林是Bagging的一个扩展变体，它在以决策树为基学习器构建的Bagging集成的基础上，进一步在决策树的训练过程中引入随机属性的选择什么是Bag...原创 2019-02-10 08:34:51 · 869 阅读 · 0 评论 -
机器学习——拉格朗日插值与牛顿插值
以下内容均为个人理解，如有错误，欢迎指出文章目录什么是插值预备知识拉格朗日插值法牛顿插值法什么是插值摘自百度百科在离散数据的基础上补插连续函数，使得这条连续曲线通过全部给定的离散数据点本节博客介绍拉格朗日插值法与牛顿插值法预备知识对于一个二维平面上的离散点，若其满足函数的定义，即一个x，只对应一个y，则可以唯一确定一个多项式函数为了证明上述结论，我们需要证明这个多项式...原创 2019-01-05 23:17:17 · 3481 阅读 · 0 评论 -
机器学习——隐马尔科夫模型
文章目录什么是概率图模型什么是隐马尔科夫模型（HMM）HMM的三大基本问题问题一的解决——前向-后向算法前向概率后向概率问题一的解决方案使用前向概率解决问题一使用后向概率解决问题一利用前-后向概率求解问题一参考文献什么是概率图模型摘自周志华老师的《机器学习》1概率图模型是一类用图来表达变量相关关系的概率模型，最常见的是用一个节点表示一个或一组随机变量，节点之间的边表示随机变量之间的概率相关...原创 2018-12-23 15:08:18 · 627 阅读 · 0 评论 -
机器学习——基本术语
令D={X1，X2，X3.......Xm}，则D表示包含m个示例的数据集，每个示例由d个属性描述，则每个示例Xi=（Xi1；Xi2；....... Xid）是d维空间的一个向量，d维空间的每个坐标轴称为“属性”，属性的取值称为“属性值”，所形成的d维空间称为“属性空间”、“样本空间”、“输入空间”，d称为样本Xi的“维度”。从数据中学得的模型的过程称为“学习”或是“训练”，这个过程通原创 2018-01-26 16:37:13 · 389 阅读 · 0 评论 -
python数据挖掘与机器学习——python和相关的数据挖掘与机器学习库的安装
目前3.7版本的python不是很稳定，有些库还不支持，不太建议下载。首先，登陆python官网 点击打开链接，选择对应的系统，如下图;博主的系统为windows，选择windows。根据自己的系统选择对应的安装包，这里解释一下不同安装包的区别：x86是32位，x86-64是64位。web-based installer 是需要通过联网完成安装的executable installer 是可执行文...原创 2018-02-13 15:21:19 · 660 阅读 · 0 评论 -
机器学习——线性判别分析
文章目录什么是线性判别分析线性判别分析的作用基本思想如何将点投影到直线上二分类线性判别分析如何刻画类别的中心点之间的距离如何刻画投影后相同类别的散乱程度如何用式1.9与式1.6刻画LDA的两个关键点什么是线性判别分析引自周志华老师的《机器学习》线性判别分析是一种经典的线性学习方法，给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能的近，异类样例的投影点尽可能原，在对新样...原创 2018-11-21 20:56:28 · 5760 阅读 · 2 评论 -
机器学习——线性回归
文章目录什么是线性回归如何衡量 Yi' 与 Yi 的差别一元线性回归模型多元线性回归模型线性回归的基本用途什么是线性回归引用维基百科对线性回归的定义：线性回归（Linear regression）是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归，大于一个...原创 2018-11-18 10:58:32 · 3806 阅读 · 0 评论 -
机器学习——逻辑回归
一下理解均为本人的个人理解，如有错误，欢迎指出什么是逻辑回归logistic回归又称logistic回归分析，是一种广义的线性回归分析模型设想有这么一种情况，有一组数据，因变量只有0和1两种取值，我们想用一个函数去拟合这组数据，传统的线性回归的因变量取值是连续的，而逻辑回归用于处理因变量取值0-1时的函数拟合的情况，逻辑回归处理的是令人头疼的离散值连续化的问题（参考资料逻辑回归）...原创 2018-12-02 16:58:07 · 6602 阅读 · 0 评论 -
机器学习——决策树（ID3、C4.5、CART）
以下均为个人理解，如有错误，欢迎指出文章目录什么是决策树什么是决策树决策树就是一个用于决策的树，回想一下，在二叉树中，当我们想判断某个值在不在树中时，我们会将这个值从上到下比较树中的节点，如果这个值在...原创 2018-12-09 19:38:30 · 663 阅读 · 0 评论 -
机器学习——单层前馈神经网络与BP算法
以下内容均为个人理解，如有错误，欢迎指出文章目录什么是BP算法什么是人工神经网络M-P神经元模型常用的激活函数以及优缺点sigmoid函数Tanh函数什么是BP算法摘自维基百科反向传播（英语：Backpropagation，缩写为BP）是“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。该方法对网络中所有权重计算损失函数的梯度。这个...原创 2018-12-18 21:13:57 · 12808 阅读 · 17 评论