妖白的奇幻漂流世界

说到机器学习，初学者听到最多的就是 损失函数了吧 我对这个词也是一头雾水 好像今天一个定义明天又是一个定义 ，读了大量的文章和博客 终于有点起色 （感谢论坛各位大佬）这里用自己的简单语言大致说下什么是损失函数 如果一个地方看不懂就换个博客看 总会有适合你的文章 万一这篇就是了呢首先我们需要了解损失函数的定义是什么：衡量模型模型预测的好坏可能这么说有点小小的抽象 ，那么在解释

 个人认为讲解的最好的一篇GBDT入门文章 转载地址：https://www.cnblogs.com/ScorpioLu/p/8296994.html从提升树出发，——》回归提升树、二元分类、多元分类三个GBDT常见算法。提升树 梯度提升树 回归提升树 二元分类 多元分类  面经 提升树在说GBDT之前，先说说提升树（boosting tree）。说到提升（...

损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可以表示成如下式子：其中，前面的均值函数表示的是经验风险函数，L代表的是损失函数，后面的是正则化项（r...

 原文地址：https://www.cnblogs.com/earendil/p/8872001.html Baggging 和Boosting都是模型融合的方法，可以将弱分类器融合之后形成一个强分类器，而且融合之后的效果会比最好的弱分类器更好。 Bagging:先介绍Bagging方法：Bagging即套袋法，其算法过程如下： 从原始样本集中抽取训练集。每轮从原...

转载请声明出处http://blog.youkuaiyun.com/zhongkejingwang/article/details/42264479 什么是PCA？  在数据挖掘或者图像处理等领域经常会用到主成分分析，这样做的好处是使要分析的数据的维度降低了，但是数据的主要信息还能保留下来，并且，这些变换后的维两两不相关！至于为什么？那就接着往下看。在本文中，将会很详细的解答这些问题：PCA、SVD、特征值、...

 转自：http://www.mathchina.net/dvbbs/dispbbs.asp?boardid=4&Id=1732

转载：https://blog.youkuaiyun.com/q383700092/article/details/586057151监督与非监督区别2L1L2区别3生成模型和判别模型区别 像贝叶斯lda 等就是生成模型计算过概率分布之类的1svm算法的原理如何组织训练数据如何调节惩罚因子如何防止过拟合svm的泛化能力增量学习2神经网络参数相关比如参数的范围如何防止过拟合隐藏层点的个数多了怎样少了怎样什么情况...

最通俗理解的方法 无公式选自知乎大神 https://www.zhihu.com/question/23971601假设你有两个传感器，测的是同一个信号。可是它们每次的读数都不太一样，怎么办？取平均。再假设你知道其中贵的那个传感器应该准一些，便宜的那个应该差一些。那有比取平均更好的办法吗？加权平均。怎么加权？假设两个传感器的误差都符合正态分布，假设你知道这两个正态分布的方差，用这两个方差值，（此处...

转自知乎 ：https://zhuanlan.zhihu.com/p/32960452 通俗易懂 https://zhuanlan.zhihu.com/p/30676249 数学解释 https://zhuanlan.zhihu.com/p/23987221 一些参数理解通过前面的学习和讲解，我们知道了AdaBoost是一种ensem...

因为一个模型仅仅重复了刚刚训练过的样本的标签，这种情况下得分会很高，但是遇到没有训练过的样本就无法预测了。这种情况叫做过拟合。为了避免过拟合，一个常见的做法就是在进行一个（有监督的）机器学习实验时，保留一部分样本作为测试集（X_test, y_test）。为了提高训练数据的泛化能力，我们把训练集和测试集对半划分，即：X_test：y_test=1：1，test_size=0.5。但是仅仅如此，再训...

http://blog.youkuaiyun.com/pipisorry/article/details/46618991生成模式（Generating Patterns）1、确定性模式（Deterministic Patterns）：确定性系统　　考虑一套交通信号灯，灯的颜色变化序列依次是红色-红色/黄色-绿色-黄色-红色。这个序列可以作为一个状态机器，交通信号灯的不同状态都紧跟着上一个状态。　　　　　　注...

 首先介绍下什么是L1 L2正则化：https://blog.youkuaiyun.com/jinping_shi/article/details/52433975  正则化（Regularization）机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1ℓ1-norm和ℓ2ℓ2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。...