Machine Learning
关注
分享
扫一扫
文章平均质量分 87
Elong_Hu
Live to Make A Difference.
展开
-
d2l自动微分练习
课后题自动微分自动微分为什么计算二阶导数比一阶导数的开销要更大？简单来说就是会造成梯度维数的增大，标量对向量的求导是一个向量，在此基础上再对向量求导就会变成一个矩阵，进一步的会变成张量。在运行反向传播函数之后，立即再次运行它，看看会发生什么。运行时异常，之前的结果已经被释放，而且给出了提示，说要使用retain_graph=True就能够保证结果不被释放。RuntimeError: Trying to backward through the graph a second time, but原创 2022-01-19 11:59:05 · 2946 阅读 · 0 评论 -
台大林轩田机器学习基石学习笔记（一键直达）
机器学习基石，从内核展示了机器学习原理是每个机器学习工程师必看的经典教程。还有就是林老师很帅！什么是机器学习？PLA算法机器学习的VC维度机器学习中的噪音机器学习中的错误衡量机器学习之线性回归机器学习之梯度下降法机器学习之多元分类机器学习之非线性分割机器学习之特征转换与过拟合机器学习之正则化机器学习之模型检验分享主流机器学习教程最后致敬林轩田老师，感谢！...原创 2018-02-13 11:57:32 · 4358 阅读 · 0 评论 -
机器学习之Adaboost（机器学习技法）
逐步增强法（AdaptiveBoosting）引例逐步增强法的主要思想就是拿着一堆很弱的模型可以合成一个非常强大的模型（这一点与Bagging十分相似）。一个案例对算法的直观描述在课堂上老师让小孩去辨识图中那些是苹果，由于小孩的思维比较简便所以他们一次只能够学到一条规则： 一号同学说苹果是圆的所以他在一些图片的辨识上回犯错如下，所有的错误都放大显示所有的正确的都相对缩小： 这时我们的做法就是将一号...原创 2018-03-11 20:45:07 · 2661 阅读 · 0 评论 -
机器学习之神经网络（机器学习技法）
神经网络的动机感知器的线性融合前面我们知道了将简单的模型进行融合之后会得到一个非常强大的模型。我们试着将感知器（简单的二元分类模型）做线性融合之后得到下图：其中每一个节点都是一个感知器，其第一层的感知器都是由前一层X向量与W权重的线性组合，而第二层的感知器又是由前一层的得到的小的感知器g与新一轮的权重α线性组合而成。最后得到的线性模型如上图右所示。用融合模型做逻辑运算我们试着用上面的融合模型去解决...原创 2018-03-17 21:57:44 · 14117 阅读 · 1 评论 -
机器学习之深度学习（机器学习技法）
深层神经网络先说说神经网络神经网络是由一个个的神经元所构成，其中每个神经元的内部都封装着一个线性或者是非线性的模型。每一个节点都会对应一个权重向量W。这个向量会与前面的输入所组合（透过tanh函数）组合后的输出又当做是新一轮的输入。我们希望模型的预测与我们的标签一样，那么我们最终的权重的大小就应该和物体的特点所一致这就是权重的意义。同时也说明了我们中间的隐藏层的转换就是我们对资料特征的萃取。最后我...原创 2018-03-18 21:21:32 · 1227 阅读 · 0 评论 -
机器学习之Blending与Bagging（机器学习技法）
一个融合的故事今天我的朋友向我荐股（这只股涨还是跌）我该怎么办，有以下的4种解决方法：①我只接受我最信任的朋友的意见（Validation模型检验）。②我让我的朋友们去投票然后选择票数最高的那一股。③我让我的朋友们去投票但是每个人投票的权重不同。④结合预测的情况去找不同的人，比如说科技股的叫A...传统股的叫B...这样我们就把这些人的意见（能够做的事情）就融合起来了。一些数学上的表示 ①用val...原创 2018-03-13 22:37:01 · 1515 阅读 · 0 评论 -
机器学习之RBFNetwork（机器学习技法）
Radial Basis Function Network 什么是Radial Basis Function放射：说明我们的计算只与我们资料点x之间的距离有关。基本函数：我们要将放射计算的模型进行线性组合。如果把整个模型组合的过程想象成一种投票。实务上我们首先计算放射函数模型，根据资料点与中心的距离决定它应该拿到多少票。然后再乘上它要投的是同意或者反对的票。最后得到一个与距离相关的函数模型。得到函...原创 2018-03-24 22:36:09 · 6903 阅读 · 0 评论 -
机器学习之梯度提升树（机器学习技法）
梯度提升树模型（Gradient Boosted Decision Tree）与随机森林的对比前面提到的随机森林使用Bagging的方式融合起来，也就是使用bootstrapping进行抽样得到不同的样本再加上不同的特征选择训练出不同的决策树g来然后进行不同种类的融合最后组成森林。提升树模型则是使用了Adaboost模型的融合方式。Adaboost模型主要强调模型在每一次做决策的时候都会调整模型对...原创 2018-04-07 22:01:32 · 5165 阅读 · 0 评论 -
台大林轩田机器学习技法集成学习完全解读
Blending与BaggingAdaboost决策树（Decision Tree）随机森林（Random Forest）梯度提升树（GBDT）最后感谢林轩田老师！原创 2018-04-07 22:07:07 · 486 阅读 · 0 评论 -
台大林轩田机器学习技法完全解读
支持向量机（SVM）完全解读集成学习完全解读神经网络深度学习完全解读感谢林轩田老师！原创 2018-04-07 22:11:14 · 596 阅读 · 0 评论 -
台大林轩田机器学习基石&技法完全解读
台大林轩田机器学习基石学习笔记（一键直达）台大林轩田机器学习技法完全解读（一键直达）感谢林轩田老师！原创 2018-04-07 22:14:17 · 848 阅读 · 0 评论 -
机器学习之矩阵分解（机器学习技法）
特征编码二进制向量编码现实生活中有很多的多类别问题，比如说星座、血型、科目等等。机器学习中要处理这些多类别问题就会用到像决策树和随机森林这样的模型。但是这样多类别问题的模型实在太稀缺如果我们想要让其它数值模型也能够解决这些问题的话就需要将这些多元的类别编码将类别特征转换成数值特征。比如将血型编码如下图所示：用线性网络萃取特征现在有一个电影的推荐系统，我们现在有的数据就是每一个用户对每一部电影的评分...原创 2018-03-25 17:12:00 · 4291 阅读 · 0 评论 -
台大林轩田机器学习技法神经网络深度学习完全解读
笔者能力有限欢迎大家批评 : -)机器学习之神经网络机器学习之深度学习机器学习之RBFNetwork机器学习之矩阵分解原创 2018-03-25 17:17:46 · 1071 阅读 · 0 评论 -
机器学习之决策树（机器学习技法）
决策树决策树在集成学习中的地位整个集成学习会按照是否有线程的小的模型（g）分为两种。如果我们有g的话我们就会用blending。如果想一边学习g一边融合模型就会用到Bagging或AdaBoost。①在biending中如果是用平均组合的话可以用平均投票的方式，如果每个g所占的权重不同的时候就可以用线性模型组合这些g（此时这些g可以当做是原始资料的一种特征转换）。如果我们的投票活动与具体的情况有关...原创 2018-03-31 22:16:18 · 726 阅读 · 0 评论 -
机器学习之随机森林（机器学习技法）
随机森林（RandomForest）集成学习中的Bagging通过bootstrapping的方式进行抽取不同的资料从每一堆资料中学得一个小的模型g，然后再将这些小的模型进行融合进而得到一个更为稳定的大的模型G。决策树模型通过递归的方式按照某些特征进行分支得到更小的树，最后通过检测不纯度来决定是否停止切割。这个模型受资料影响较大，所以得到的模型不够稳定。如果将这两种学习模型合在一起就会构成一个既稳...原创 2018-04-06 17:03:12 · 1823 阅读 · 0 评论 -
矩阵的意义
说明一直想总结一下以前读过的一片文章来概括一下自己对矩阵的重新认识。首先说明一下这篇文章是《神奇的矩阵》建议大家有空可以去读一下原文这是一片很不错的文章。作者洋洋洒洒的讲述了矩阵背后的意义，让我对矩阵的认识上升了一个台阶。在此感谢作者！我在这里只是对自己所学的总结。相信大家读完之后一定能够明白一些矩阵的核心概念背后的物理意义。空间首先说空间的特质就是可以容纳运动，这里的运动更加准确的来...原创 2018-06-12 21:53:32 · 29033 阅读 · 8 评论 -
机器学习之核函数逻辑回归（机器学习技法）
从软间隔SVM到正则化从参数ξ谈起在软间隔支持向量机中参数ξ代表某一个资料点相对于边界犯错的程度，如下图：在资料点没有违反边界时ξ的值为0，在违反边界时的值就会大于0。所以总的来说ξ的值等于max(1 - y(WZ + b) , 0)。所以我们把问题合并如下：这样这个问题就变成了一个没有条件的问题。与L2正则化的关系上述简化后的问题与L2的正则化极其相似：它们的目标都是最小化W²与一个错误衡量的和...原创 2018-02-24 18:48:13 · 8743 阅读 · 0 评论 -
机器学习之软间隔支持向量机（机器学习技法）
为什么要软间隔SVM硬边距SVM的过拟合对于硬边距SVM产生过拟合的原因主要有两点：①我们选用的模型复杂度太高 ②我们坚持要将资料严格的分开。如下：从直觉来说Φ1虽然有一些犯错的地方但是它的模型复杂度较低不容易过拟合。我们不在执着于将资料严格分开（容忍一些小错误），我们想要的是较低的复杂度的模型来降低过拟合的危险。软边距SVM的诞生在pocket算法中我们的思想是找到犯错误最小的模型，它不执著与将...原创 2018-02-21 20:04:18 · 7426 阅读 · 1 评论 -
机器学习之核函数支持向量机（机器学习技法）
为什么要有个核函数在对偶支持向量机中我们谈到要避开特征转换后高VC维度空间给我们带来的计算复杂度的影响。但是单单的对偶问题没有实现这一点，对偶问题只是让计算看起来避开了VC维度带来的影响，但是这个VC维度还是潜藏在了计算的过程中。上图是SVM的拉格朗日对偶问题转换为标准的二次规划问题（以下称之为QP问题）的结果。其中QD矩阵的计算中包含了Z向量的内积。而Z向量是由原始X空间（它的VC维度为d）经过...原创 2018-02-20 09:44:53 · 4455 阅读 · 0 评论 -
分享主流机器学习教程
你要的都在这里内含吴恩达老师，林轩田老师，龙星计划等主流机器学习视频原创 2018-02-03 23:17:30 · 604 阅读 · 0 评论 -
机器学习之梯度下降法（机器学习基石）
从二元分类到罗吉斯回归在预测一个病人的患病情况的时候如果我们单纯的想预测下一个病人是否患病那么就会用到二元分类。但是如果我们现在预测某个病人患病的概率是多大的话显然二元分类就满足不了我们的要求于是就诞生了Logistic Regression。Logistic Regression的假设模型我们现在拥有的资料并不是我们所预期的类似于（某个病人，患病的概率）这样的资料，我们拥有的是（某个病人，是否患...原创 2018-02-07 12:40:01 · 1647 阅读 · 0 评论 -
机器学习中的噪音（机器学习基石）
noise的产生在机器学习中我们在独立随机抽样的时候会出现一些搞错的信息，这些错误的数据我们称之为杂讯（或者噪音 noise），一般可以归结为一下两种（以二分为例）：输出错误：1.同样的一笔数据会出现两种不同的评判 2.在同样的评判下会有不同的后续处理。输入错误：1.在收集数据的时由于数据源的随机性会出现错误（比如说，客户在填信息的时候出现的误填）noise的情况下VC维度的可用性在有nois...原创 2018-02-01 23:59:20 · 20878 阅读 · 1 评论 -
机器学习之特征转换与过拟合（机器学习基石）
什么是特征转换特征转换就是将原始资料（不容易数据化）转换为有意义的资料（能够数据化），或者说是计算机能够处理的资料。比如说我们可以将像素点转换为一些有强度特制的，对称性的资料以便我们从中找出规律。还比如我们上次提到的X空间-->Z空间-->X空间的方法（一个非线性分割的例子详情请点击打开链接）。特征转换遇到的问题当我们将一个低维度的非线性的模型转换成高维度的线性模型的时候我们会有3方面...原创 2018-02-10 10:09:52 · 2655 阅读 · 0 评论 -
机器学习之正则化（机器学习基石）
正则化的目标在机器学习问题中有时会由于资料量太少、有杂讯或者是学习模型的复杂度太高会导致一种Ein≈0（样本内的错误率）但是Eout（实际估计中的错误率）很高的现象这种现象就叫过拟合（详情请点击打开链接了解过拟合）。正则化的目标就是要优化这种过拟合的现象，而且正则化是通过降低模型复杂度来解决过拟合的。直观的理解如下图：正则化的前置步骤前提说明：在以下的案例中所有的模型都经过了特征转换，都转换成了高...原创 2018-02-11 11:11:45 · 1037 阅读 · 2 评论 -
机器学习之支持向量机回归（机器学习技法）
核函数山脊回归Represent Theorem表达理论就是指如果一个模型是带有L2正则化的线性模型，那么它在最佳化的时候的权重参数值W*将能够用Z空间的资料的线性组合来表示。它的推论就是L2的正则化线性模型能够核函数化如下图所示：现在我们的目标就是用核函数的方式去解决回归问题，而且希望像解决普通线性回归问题一样得到一个一步登天的解。核函数山脊回归问题山脊回归问题是一个典型的带有L2正则化的问题，...原创 2018-02-26 23:34:36 · 12242 阅读 · 0 评论 -
台大林轩田支持向量机（SVM）完全解读
欢迎批评机器学习之线性支持向量机机器学习之对偶支持向量机机器学习之核函数支持向量机机器学习之软间隔支持向量机机器学习之核函数逻辑回归机器学习之支持向量机回归最后感谢林轩田老师。...原创 2018-02-26 23:40:38 · 3266 阅读 · 0 评论 -
机器学习之线性回归（机器学习基石）
引子在一个二元分类的问题中我们通常得到的结果是1/0，而在分类的过程中我们会先计算一个得分函数然后在减去一个门槛值后判断它的正负若为正则结果为1若为负结果为0。事实上从某种角度来看线性回归只是二元分类步骤中的一个截取它没有后面取正负号的操作，它的输出结果为一个实数而非0/1。我们称这样的数学模型为线性回归。在传统上统计学家给出的结果是如下：它的物理意义就是要提取多笔资料的...原创 2018-02-05 11:08:22 · 2838 阅读 · 0 评论 -
机器学习中的错误衡量（机器学习基石）
为什么有个错误衡量在看完周志华老师《机器学习》中的归纳偏好中有这样的描述：归纳偏好就是要做出学习算法本身“什么样的模型更好”的假设。在这里我们要给模型的好坏下一个定义如果算法A比算法B好，那么一定要定义什么是好。在没有定义什么是好之前我们无法找到我们的模型要训练的方向。那么反过来当我们遇到错误的时候我们就要给错误下一个定义。举一个例子，在战争时期我打死一个敌人对于我方来说是一件好事原创 2018-02-03 23:11:56 · 726 阅读 · 0 评论 -
机器学习的VC维度（机器学习基石）
一个小问题引出的大思考我们首先玩一个简单的找规律游戏2 , 4 ......请问第三个数是多少，6？ 8？ 5？又或者是其它。假如我是一个命题人你的回答可能都对又可能都错。因为满足这样的规律事实上是有无穷个而不能想当然。看来机器学习在这个小的数据集上面跑是无法学到东西，无法做出预测的。就算是这道题的包装也可能只是规律更加复杂了，这样的题严格的来说是没有答案或者有无原创 2018-01-31 12:27:03 · 8219 阅读 · 4 评论 -
一张图搞定机器学习的种类（机器学习基石）
原创 2018-01-28 21:01:52 · 1039 阅读 · 0 评论 -
机器学习之模型检验
模型检验的目的随着学习算法种类，特征转换方式，正则化方式等等的增加，在不同的组合之下我们就会得到种类非常多的学习模型。而在实务上我们通常想要的就是那个Eout最小的模型，所以我们在面临众多的学习模型的时候需要作出选择，而模型检验结果的好坏正是我们作出选择的依据。下图为一个学习模型的不同组成方式：模型选择问题通过Eout选择模型？这是不可行的。我们希望在得到的模型中选择一个做的最好的模型g要使得它的...原创 2018-02-13 11:41:43 · 9555 阅读 · 0 评论 -
机器学习之多元分类（机器学习基石）
一个案例如上图所示我们要使用一些线性模型来分割这四种不同的图案，利用以前学过的二元分类我们可以将某一个种类分别从整体中分离出来。比如将图通是方块和不是方块的做二元分类，是三角形的和不是三角形的进行分类等等，然后我们得到下图：问题的出现如上图所示我们在单独的分割中可以分别将我们想要的目标图案分割出来，但是我们将这些图标片综合起来看得到下图：在图中带有标号的区域就是公共区域，在公共区域内的判断是矛盾的...原创 2018-02-08 10:31:32 · 4127 阅读 · 0 评论 -
机器学习之线性支持向量机（机器学习技法）
胖的就是好的（以二元分类为例）直觉的选择现在我们已经能够分割线性的资料了，但是由于以前的算法（PLA，Pocket，etc.）具有一些随机性所以我们得到的线性模型不尽相同。如下图：在图中所有的模型（超平面）都能够分割样本中的资料，而且在VC上限的保证下这3个模型好像没有什么不同。但是仅仅凭借直觉我们可能会选择第3个仿佛有什么好处。一个全新的角度我们做机器学习的目标就是模型要在测试的资料上表现的好（...原创 2018-02-17 01:08:45 · 2154 阅读 · 6 评论 -
机器学习之对偶支持向量机（机器学习技法）
为什么要有一个对偶问题一般SVM的求解一般SVM的求解我们的目标就是最小化W²而且伴随着一个条件如下图：在实务上我们通常把这个标准问题转化为一个二次规划的问题（以下称之为QP问题）然后使用软件去解决这个问题找到最优的b，W：在我们得到一个线性的SVM的时候我们可以通过特征转换让SVM变成更为强大的非线性分类器。遇到的问题和我们的目标在解决QP问题是时我们会遇到d+1个变量和N个约束条件，有时候由于...原创 2018-02-18 18:47:09 · 1243 阅读 · 1 评论 -
什么是机器学习？
一句话说明机器学习（MachineLearning）简单的一句话：让机器从数据中学习，进而得到一个更加符合现实规律的模型，通过对模型的使用使得机器比以往表现的更好，这就是机器学习。详解：数据：从现实生活抽象出来的一些事物或者规律的特征进行数字化得到。学习：在数据的基础上让机器重复执行一套特定的步骤（学习算法）进行事物特征的萃取，得到一个更加逼近于现实的描述（这个描述是一个模型它原创 2018-01-26 20:53:49 · 7226 阅读 · 3 评论