小熊哥哥的博客

常见的机器学习模型：感知机，线性回归，逻辑回归，支持向量机，决策树，随机森林，GBDT，XGBoost，贝叶斯，KNN，K-means等；常见的机器学习理论：过拟合问题，交叉验证问题，模型选择问题，模型融合问题等；K近邻：算法采用测量不同特征值之间的距离的方法进行分类。优点：1.简单好用，容易理解，精度高，理论成熟，既可以用来做分类也可以用来做回归；2.可用于数值型数据和离散型数据；3...

在这个阶段，突然感觉学习是一个有意思的事情，我们在一开始阶段会经历很多无聊乏味的小日子，从不知所云开始，一点点懂得滋味，也不知道是从哪一秒开始，脑子里看到相关的书也能翻上几页了。在这个过程中很感谢一路同行的伙伴。很喜欢的一句诗是‘我们都是单独的灵魂‘’，但是在彼此碰撞之后会有绚烂的光火。一、集成学习集成学习，通过构建并结合多个学习器来完成学习任务。只包含有同种类型的个体学习器，这样的集成前提是...

一、XGBXGBoost是boosting算法中的一种。Boosting算法的思想是将许多弱分类器集成在一起形成一个强分类器。因为XGBoost是一种提升树模型，所以它是将许多树模型集成在一起，形成一个很强的分类器。而所用到的树模型则是CART回归树模型。二、cart树ps(第一期在决策树部分有进行过梳理，这里只简单叙述一下）1）决策树CART采用GINI值衡量节点纯度；如果是回归树，采...

一、写在前面的碎碎念像所有游戏的开端差不多，一年前一个人就孤零零的冲上了图像处理的道路，过程曲折而充满着冒险的意味，不断地摸索试探慢慢前行，发现一扇门背后连接着的是一个世界。当我走进那扇门的时候，我也就开始进入一个新的世界。从图像处理一路走来，也许一开始都是艰难曲折，但是感觉事情做着做着也就没那么艰难了。二、机器学习的一些基本概念9+...

一、GBDT在提升算法中有两个主要思想，一个是Adaboost另一个是Gradient Boosting Decison Tree(梯度提升决策树）。提升树是以分类树或者回归树为基本分类器的提升方法，是目前性能较好的一种方法。在GBDT的迭代中，假设我们前一轮迭代得到的强学习器是ft−1(x)f_{t−1}(x)ft−1​(x), 损失函数是L(y,ft−1(x)))L(y,f_{t−1}(x)...

一、信息论基础熵，划分数据集的大原则是：将无序数据变得更加有序，但是各种方法都有各自的优缺点，信息论是量化处理信息的分支科学，在划分数据集前后信息发生的变化称为信息增益，获得信息增益最高的特征就是最好的选择，所以必须先学习如何计算信息增益，集合信息的度量方式称为香农熵，或者简称熵。主要研究对一个信号能够提供信息的多少进行量化。主要通过log进行运算，其中以e为底，那么计算单位为奈特，如果底数是...

一些胡说八道如何来说说我最近几天的状态呢？由于感冒的原因，最近就是状态很不好，脑子里一团浆糊，不能思考，也找不出头绪。最近几天都是看见药也不想吃，神经性头痛，一丝一丝的剥离着自己的活力，在颓废了差不多两三天的时候，想想还是吃药吧，毕竟也熬了那么几天没靠自身痊愈，拖着也不是那么回事。希望我们所有的人都能减少或者避免疾病困扰，自由的生活，如果有理想就辛勤的追逐，如果没有那就自由的活着，吹吹空调...

第6章 支持向量机6.1 间隔与支持向量样本数据集：(x10,x20,x30,…,xm0x11,x21,x31,…,xm1x12,x22,x32,…,xm2x13,x23,x33,…,xm3…x1n,x2n,x3n,…,xmn)其中xnm表示第m个样本的第n个特征,这里对每一个样本添加一个x0=1\begin{pmatrix} x_1^0,x_2^0,x_3^0,\dots,x_m^0 \...