柳小葱的博客

????今天我们就来介绍一下机器学习中最最最出名的算法xgboost，我们一章主要是对xgboost中的超参数进行讲解，关于xgboost的具体原理我将在后面为大家讲解，以前的文章内容如下????:决策树模型: sklearn之决策树.决策树概念: 决策树详解.线性回归模型: sklearn机器学习之线性回归模型.朴素贝叶斯: sklearn之朴素贝叶斯.集成算法: 机器学习之集成算法.由于种种原因，MacBook m1芯片在anaconda上使用命令conda install xgboos

????上次我们学习了数据处理中的特征处理，主要包括归一化、标准化、二值化、独热编码等，对数据做完处理后，接下来就应该进行数据的降维处理了，对于数据处理感兴趣的同学可以查看????:python机器学习之特征工程: python机器学习之数据探索.python机器学习之特征工程: python机器学习之特征处理.????今天我们要学的是数据的降维部分，数据的降维主要是将高维向量空间的数据点印射到低纬空间中，当然也可以从低纬度转换到高维度中，在实际应用中，高维度空间包含较多的冗余信息与噪声信息，从而

☀️前面我们讲述了对数据建模之前需要对数据进行数据探索，探索完之后应该干些啥？没错，接下来就是特征工程！对数据探索感兴趣的同学可以查看下面的文章????:python机器学习之特征工程: python机器学习之数据探索.????今天我们要学习的内容是特征工程，特征工程的好坏决定了机器学习的上限！特征工程是从原始数据提取特征的过程，这些特征可以很好地描述数据，并利用特征建立的模型在未知数据上的性能表现达到最优，特征工程主要包括特征使用、特征获取、特征处理、特征选择和特征监控。类功能说明

????今天我们来讲解数据建模之前需要处理的工作。

????俗话说三个臭皮匠，顶个诸葛亮，今天来介绍一下集成算法，集成算法是博主特别感兴趣的一个算法，因为集成算法中包含了迄今为止分类准确度最高的算法之一的XGBOOST，但是在此之前还是有其他的集成算法值得学习的。我们上次学习的内容依旧放在这里????:决策树模型: sklearn之决策树.决策树概念: 决策树详解.线性回归模型: sklearn机器学习之线性回归模型.朴素贝叶斯: sklearn之朴素贝叶斯.今天我们将讲解各种形式的集成算法，让我们开始吧！1.集成算法介绍集成算法顾名思义

????上次我们讲到了决策树算法，都是基于sklearn实现的，这次我们要学习的内容是朴素贝叶斯，何为“朴素”，朴素的含义即特征之间相互独立，没有关联关系。对以前内容感兴趣的小伙伴可以参考以下内容????:决策树模型: sklearn之决策树.线性回归模型: sklearn机器学习之线性回归模型.????今天我们来学习第二个概率模型，朴素贝叶斯，概率模型是不需要做标准化的,请大家牢记！目录1.贝叶斯公式简介2.朴素贝叶斯的应用3.朴素贝叶斯的种类3.1 贝努力朴素贝叶斯3.2 高斯朴素贝叶斯3.

????上次学习了sklearn中的线性回归API有兴趣的同学可以查看下面的链接????:线性回归模型: sklearn机器学习之线性回归模型.决策树概念: 决策树详解.????今天我们要学习的内容是决策树，决策树是概率模型，主要有ID3、C4.5和CART树，sklearn中只有ID3和CART树，决策树是很非常重要的分类和回归算法，以及衍生出来的集成算法都是很重要的算法。1.决策树的API首先介绍决策树的API，树的种类由criterion参数决定from sklearn.tree im

⭐️几天没写博客了，接着来，接下来的内容主要涉及机器学习的sklearn的API的章节，本章节将开启机器学习的入门的课程????:该系列学习主要是讲sklearn中机器学习API的使用。该系列只会涉及较少的原理知识。只会涉及基础概念。目录1.线性回归模型的概念2.sklearn实现2.1 简单的直线2.2 两点定线3. 广义线性回归模型3.1线性回归的性能表现4. 岭回归——L2正则化5. 套索回归——L1正则化参考资料1.线性回归模型的概念2.sklearn实现线性回归的APIfrom

其实在很早以前写过一期SVM,只不过当时对SVM只是初步的了解，现在重新来看，其实SVM还是有很多值得学习的地方。1.SVM介绍SVM可以理解为：使用了支持向量的算法，支持向量机是一种基于分类边界分界的方法。以二维数据为例，如果训练数据分布在二维平面上的点，它们按照其分类聚焦在不同的区域。基于分类边界的分类算法的目标：通过训练，找到这些分类之间的边界（如果是直线的，称为线性划分，如果是曲线的，称为非线性划分）。过程如上述三个图，SVM就是试图把棍放在最佳的位置上，最好让棍两边有尽可能大的间隙，这

1.Apriori关联分析的介绍这一部分可以看我的上一篇博文，里面主要介绍了关联分析的原理。链接: python机器学习之关联分析（Apriori）.2.案例背景与分析过程现代商品种类繁多，顾客往往会纠结选择买啥，尤其对于选择困难症的顾客来说，选择商品更是难上加难。繁杂的选购往往会给顾客带来疲惫的购物体验。对于部分商品，比如面包和牛奶，薯片和可乐等，是顾客经常同时购买的东西，当这些东西距离十分遥远时，就会减小顾客的购买欲望。因此，为了获取最大销售利润，我们需要了解销售什么样的商品、采用什么样的促销手

#关于神经网络的手写体分类并测试import tensorflow as tffrom PIL import Imageimport numpy as npmodel_path="/home/cc1997/Desktop/model_save/mnist.ckpt"model=tf.keras.models.Sequential([ tf.keras.layers.Flatten(), tf.keras.layers.Dense(128,activation="relu"),

在机器学习中，除了聚类算法外，Aprior算法也是在数据集中寻找数据之间的某种关联关系，通过该算法，我们可以在大规模的数据中发现有价值的价值，比如著名的啤酒与尿布的案例就是一种关联分析。本文将详细介绍Apriori算法挖掘数据的原理以及案例。1.Apriori算法的原理我们先介绍一些Apriori算法中的概念1.1 项集项集是项的集合，包含k个项的集合称为k项集，如{啤酒，尿布}就是个2项集。项集在所有事务中出现的次数总和称为绝对支持度或支持度计数。频繁项集：某项集的支持度计算满足预定的要求即

K-近邻算法的原理1.计算已知类别数据集中的每个点与当前点之间的距离：2.选取与当前点最近的K个点3.确定在这K个点中每种类别的频率4.选取频率最大的类别作为当前点的类别sklearn中的API

1.决策树（decision tree）决策树就是一棵树，一颗决策树包含一个根节点、若干个内部结点和若干个叶结点；叶结点对应于决策结果，其他每个结点则对应于一个属性测试；每个结点包含的样本集合根据属性测试的结果被划分到子结点中；根结点包含样本全集，从根结点到每个叶子结点的路径对应了一个判定测试序列。2.构建决策树2.1 如何选择测试属性？测试属性（分支属性）的选择顺序影响决策树的结构甚至决策树的准确率——信息增益、信息增益率、Gini指标。2.2 如何停止划分样本？从归根节点测试属性开始，每个