丨汀、的博客

本人最近打算整合ML、DRL、NLP等相关领域的体系化项目课程，方便入门同学快速掌握相关知识。声明：部分项目为网络经典项目方便大家快速学习，后续会不断增添实战环节（比赛、论文、现实应用等）上述机器学习项目为最经典的项目，但由于原课程依赖的算法库和算子替换导致部分程序无法运行，本次贡献点在于按照自己思路进行项目整合，其次是对bug修复保证案例全部调通，

如果探索的数据集侧重数据展示，可以选PandasGUI；如果只是简单了解基本统计指标，可以选择和Sweetviz；如果需要做深度的数据探索，那就选择dtale。

异常检测：探索数据深层次背后的奥秘《下篇》---高维数据异常检测：孤立森林

异常检测：探索数据深层次背后的奥秘《中篇》

异常检测：探索数据深层次背后的奥秘《上篇》

数据挖掘18大算法实现以及其他相关经典DM算法：决策分类，聚类，链接挖掘，关联挖掘，模式挖掘。图算法，搜索算法等

2021 “AI Earth” 人工智能创新挑战赛，以 “AI 助力精准气象和海洋预测” 为主题，旨在探索人工智能技术在气象和海洋领域的应用。本赛题的背景是厄尔尼诺 - 南方涛动(ENSO)现象。ENSO现象是厄尔尼诺(EN)现象和南方涛动(SO)现象的合称，其中厄尔尼诺现象是指赤道中东太平洋附近的海表面温度持续异常增暖的现象，南方涛动现象是指热带东太平洋与热带西太平洋气压场存在的气压变化相反的跷跷板现象。

【机器学习入门与实践】入门必看系列，含数据挖掘项目实战：模型融合、特征优化、特征降维、探索性分析等，实战带你掌握机器学习数据挖掘专栏详细介绍：【机器学习入门与实践】合集入门必看系列，含数据挖掘项目实战：数据融合、特征优化、特征降维、探索性分析等，实战带你掌握机器学习数据挖掘。本专栏主要方便入门同学快速掌握相关知识。声明：部分项目为网络经典项目方便大家快速学习，后续会不断增添实战环节（比赛、论文、现实应用等）专栏订阅：数据挖掘-机器学习专栏主要讲解了数据探索性分析：查看变量间相关性以及找出关键变量；数据特征

该方案在数据处理部分采用了滑窗来构造数据集，这是序列预测问题中常用的增加数据量的方法。另外，该方案中增加了一组月份特征，个人认为在时序场景中增加的这组特征收益不高，更多的是通过模型挖掘序列中的依赖关系，并且由于维度增加会使得训练数据占用的资源大大增加，对模型的效果提升不明显。不过在其他场景中这种特征构造方法仍然是值得借鉴的。

本赛题的目标，就是基于历史气候观测和模式模拟数据，利用T时刻过去12个月(包含T时刻)的时空序列，预测未来1 - 24个月的Nino3.4指数。NetCDF4支持按层级的组（Groups）来组织数据，类似于文件系统中的目录，Groups中可以包含Variables、Dimenions、Attributes对象以及其他Groups对象，Dataset会创建一个特殊的Groups，称为根组（Root Group），类似于根目录，使用Dataset.createGroup方法创建的组都包含在根组中。

集成模型内置的cv函数可以较快的进行单一参数的调节，一般可以用来优先确定树模型的迭代次数数据量较大的时候（例如本次项目的数据），网格搜索调参会特别特别慢，不建议尝试集成模型中原生库和sklearn下的库部分参数不一致，需要注意，具体可以参考xgb和lgb的官方APIxgb原生库APIsklearn库下xgbAPIlgb原生库APIsklearn库下lgbAPI由于相关算法原理篇幅较长，本文推荐了一些博客与教材供初学者们进行学习。简单平均和加权平均是常用的两种比赛中模型融合的方式。其优点是快速、简单。

赛题以金融风控中的个人信贷为背景，要求选手根据贷款申请人的数据信息预测其是否有违约的可能，以此判断是否通过此项贷款，这是一个典型的分类问题。通过这道赛题来引导大家了解金融风控中的一些业务背景，解决实际问题，帮助竞赛新人进行自我练习、自我提高。赛题以预测金融风险为任务，数据集报名后可见并可下载，该数据来自某信贷平台的贷款记录，总数据量超过120w，包含47列变量信息，其中15列为匿名变量。

了解赛题赛题概况数据概况预测指标分析赛题数据读取pandas分类指标评价计算示例回归指标评价计算示例EDA探索载入各种数据科学以及可视化库载入数据总览数据概况判断数据缺失和异常了解预测值的分布特征分为类别特征和数字特征，并对类别特征查看unique分布数字特征分析类别特征分析用pandas_profiling生成数据报告特征工程导入数据删除异常值特征构造特征筛选建模调参，相关原理介绍与推荐线性回归模型决策树模型GBDT模型。

在进行归回模型训练涉及主流ML模型：决策树、随机森林，lightgbm等；在模型验证方面：讲解了相关评估指标以及交叉验证等；同时用lgb对特征进行优化；最后进行基于stacking方式模型融合。

火力发电的基本原理是：燃料在燃烧时加热水生成蒸汽，蒸汽压力推动汽轮机旋转，然后汽轮机带动发电机旋转，产生电能。在这一系列的能量转化中，影响发电效率的核心是锅炉的燃烧效率，即燃料燃烧加热水产生高温高压蒸汽。锅炉的燃烧效率的影响因素很多，包括锅炉的可调参数，如燃烧给量，一二次风，引风，返料风，给水水量；以及锅炉的工况，比如锅炉床温、床压，炉膛温度、压力，过热器的温度等。经脱敏后的锅炉传感器采集的数据（采集频率是分钟级别），根据锅炉的工况，预测产生的蒸汽量。数据分成训练数据（train.txt）和测试数据（tes

在降维过程中可以使用类别的先验知识经验，而像PCA这样的无监督学习则无法使用类别先验知识；LDA在样本分类信息依赖均值而不是方差的时候，比PCA之类的算法较优。LDA不适合对非高斯分布样本进行降维，PCA也有这个问题LDA降维最多降到类别数 k-1 的维数，如果我们降维的维度大于 k-1，则不能使用 LDA。当然目前有一些LDA的进化版算法可以绕过这个问题LDA在样本分类信息依赖方差而不是均值的时候，降维效果不好LDA可能过度拟合数据,

BP神经网络具有以下优点：非线性映射能力：BP神经网络实质上实现了一个从输入到输出的映射功能，数学理论证明三层的神经网络就能够以任意精度逼近任何非线性连续函数。这使得其特别适合于求解内部机制复杂的问题，即BP神经网络具有较强的非线性映射能力。自学习和自适应能力：BP神经网络在训练时，能够通过学习自动提取输入、输出数据间的“合理规则”，并自适应地将学习内容记忆于网络的权值中。即BP神经网络具有高度自学习和自适应的能力。

简单易用。提供了主流的Python\C++\R语言接口，用户可以轻松使用LightGBM建模并获得相当不错的效果。高效可扩展。在处理大规模数据集时高效迅速、高准确度，对内存等硬件资源要求不高。鲁棒性强。相较于深度学习模型不需要精细调参便能取得近似的效果。LightGBM直接支持缺失值与类别特征，无需对数据额外进行特殊处理相对于深度学习模型无法对时空位置建模，不能很好地捕获图像、语音、文本等高维数据。

对目标函数进行了泰勒展示的二阶展开，可以更加高效拟合误差。提出了一种估计分裂点的算法加速CART树的构建过程，同时可以处理稀疏数据。提出了一种树的并行策略加速迭代。为模型的分布式算法进行了底层优化。XGBoost是基于CART树的集成模型，它的思想是串联多个决策树模型共同进行决策。那么如何串联呢？XGBoost采用迭代预测误差的方法串联。举个通俗的例子，我们现在需要预测一辆车价值3000元。

具有很好的解释性，模型可以生成可以理解的规则。可以发现特征的重要程度。模型的计算复杂度较低。模型容易过拟合，需要采用减枝技术处理。不能很好利用连续型特征。预测能力有限，无法达到其他强监督模型效果。方差较高，数据分布的轻微改变很容易造成树结构完全不同。参考链接：https://tianchi.aliyun.com/course/278/3422本人最近打算整合ML、DRL、NLP等相关领域的体系化项目课程，方便入门同学快速掌握相关知识。

SVM优缺点优点有严格的数学理论支持，可解释性强，不依靠统计方法，从而简化了通常的分类和回归问题；能找出对任务至关重要的关键样本（即：支持向量）；采用核技巧之后，可以处理非线性分类/回归任务；最终决策函数只由少数的支持向量所确定，计算的复杂性取决于支持向量的数目，而不是样本空间的维数，这在某种意义上避免了“维数灾难”。缺点训练时间长。当采用SMO 算法时，由于每次都需要挑选一对参数，因此时间复杂度为ON2O(N^2)ON2，其中NNN为训练样本的数量；

k近邻方法是一种惰性学习算法，可以用于回归和分类，它的主要思想是投票机制，对于一个测试实例x, 我们在有标签的训练数据集上找到和最相近的k个数据，用他们的label进行投票，分类问题则进行表决投票，回归问题使用加权平均或者直接平均的方法。knn算法中我们最需要关注两个问题：k值的选择和距离的计算。kNN中的k是一个超参数，需要我们进行指定，一般情况下这个k和数据有很大关系，都是交叉验证进行选择，但是建议使用交叉验证的时候，k∈[2,20]，使用交叉验证得到一个很好的k值。

朴素贝叶斯算法（Naive Bayes, NB) 是应用最为广泛的分类算法之一。它是基于贝叶斯定义和特征条件独立假设的分类器方法。由于朴素贝叶斯法基于贝叶斯公式计算得到，有着坚实的数学基础，以及稳定的分类效率。NB模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。当年的垃圾邮件分类都是基于朴素贝叶斯分类器识别的。什么是条件概率，我们从一个摸球的例子来理解。我们有两个桶：灰色桶和绿色桶，一共有7个小球，4个蓝色3个紫色，分布如下图：从这7个球中，随机选择1个球是紫色的概率p是多少？先选择桶。

逻辑回归（Logistic regression，简称LR）虽然其中带有"回归"两个字，但逻辑回归其实是一个模型，并且广泛应用于各个领域之中。虽然现在深度学习相对于这些传统方法更为火热，但实则这些传统方法由于其独特的优势依然广泛应用于各个领域中。而对于逻辑回归而且，最为突出的两点就是其和。

相关文章：特征工程详解及实战项目【参考】数据挖掘---汽车车交易价格预测[一](测评指标；EDA)

相关文章：特征工程详解及实战项目【参考】数据挖掘---汽车车交易价格预测[一](测评指标；EDA)数据挖掘机器学习---汽车交易价格预测详细版本[二]｛EDA-数据探索性分析｝数据挖掘机器学习---汽车交易价格预测详细版本[三]｛特征工程、交叉检验、绘制学习率曲线与验证曲线｝数据挖掘机器学习---汽车交易价格预测详细版本[四]｛嵌入式特征选择（XGBoots,LightGBM），模型调参（贪心、网格、贝叶斯调参）｝数据挖掘机器学习---汽车交易价格预测详细版本[五]｛模型融合(Sta

题目出自阿里天池赛题链接：零基础入门数据挖掘 - 二手车交易价格预测-天池大赛-阿里云天池相关文章：特征工程详解及实战项目【参考】数据挖掘---汽车车交易价格预测[一](测评指标；EDA)数据挖掘机器学习---汽车交易价格预测详细版本[二]｛EDA-数据探索性分析｝数据挖掘机器学习---汽车交易价格预测详细版本[三]｛特征工程、交叉检验、绘制学习率曲线与验证曲线｝前言因为文档是去年弄的，很多资料都有点找不到了，我尽可能写的详细。后面以2021年研究生数学建模B题为例【空气质量预.

题目出自阿里天池赛题链接：零基础入门数据挖掘 - 二手车交易价格预测-天池大赛-阿里云天池相关文章：特征工程详解及实战项目【参考】数据挖掘---汽车车交易价格预测[一](测评指标；EDA)数据挖掘机器学习---汽车交易价格预测详细版本[二]｛EDA-数据探索性分析｝数据挖掘机器学习---汽车交易价格预测详细版本[三]｛特征工程、交叉检验、绘制学习率曲线与验证曲线｝前言因为文档是去年弄的，很多资料都有点找不到了，我尽可能写的详细。后面以2021年研究生数学建模B题为例【空气质量预.

题目出自阿里天池赛题链接：零基础入门数据挖掘 - 二手车交易价格预测-天池大赛-阿里云天池相关文章：特征工程详解及实战项目【参考】数据挖掘---汽车车交易价格预测[一](测评指标；EDA)数据挖掘机器学习---汽车交易价格预测详细版本[二]｛EDA-数据探索性分析｝前言因为文档是去年弄的，很多资料都有点找不到了，我尽可能写的详细。后面以2021年研究生数学建模B题为例【空气质量预报二次建模】再进行一个教学。首先讲几个问题：数据清洗、特征选择作用和方法。1.常见的特征工程.

题目出自阿里天池赛题链接：零基础入门数据挖掘 - 二手车交易价格预测-天池大赛-阿里云天池相关文章：特征工程详解及实战项目【参考】数据挖掘---汽车车交易价格预测[一](测评指标；EDA)前言因为文档是去年弄的，很多资料都有点找不到了，我尽可能写的详细。后面以2021年研究生数学建模B题为例【空气质量预报二次建模】再进行一个教学。1.题目讲解数据来自 Ebay Kleinanzeigen 报废的二手车，数量超过 370,000，包含 20 列变量信息，为了保证 比赛的公平性，将会

题目出自阿里天池赛题链接：https://tianchi.aliyun.com/competition/entrance/231784/introduction1.简介：比赛要求参赛选手根据给定的数据集，建立模型，二手汽车的交易价格。来自 Ebay Kleinanzeigen 报废的二手车，数量超过 370,000，包含 20 列变量信息，为了保证 比赛的公平性，将会从中抽取 10 万条作为训练集，5 万条作为测试集 A，5 万条作为测试集 B。同时会对名称、车辆类型、变速箱、model、燃油类型、