qq_35740095的博客

之前写的-线性回归基础https://blog.youkuaiyun.com/qq_35740095/article/details/88066655Github–PyTorch版本《动手学深度学习》(Dive into Deep Learning)【《动手学深度学习》参考资料】：https://shimo.im/mindmaps/jkhHr3pCkCYwWWgR...

文章目录代码代码import numpy as npfrom sklearn import datasetsdataset = datasets.load_boston()print(dataset.get('feature_names'))# 使用第6-8列feature，即AGE(1940年以前建成的自住单位的比例),# DIS(距离五个波士顿就业中心的加权距离),RAD(距离高...

数据竞赛整理数据EDA数据清洗深度清洗特征工程模型选择模型融合数据EDA数据分析缺失值分析特征分析是否有单调特征列特征nunique分布统计特征值出现的频次大于100的特征label分布不同的特征值的样本的label的分布数据清洗缺失值分析及处理缺失值出现的原因分析采取合适的方式对缺失值进行填充异常值分析及处理根据测试集数据的分布处理训练集的数据分布使用合适的方法找...

模型融合1.个体学习器2.集成学习(ensemble learning)3.boosting和bagging①boosting②bagging4.结合策略①平均法②投票法③学习法5.随机森林思想6.随机森林的推广①extra trees②Totally Random Trees Embedding（TRTE）③Isolation Forest（IForest）7.随机森林优缺点优点缺点8.随机森林...

模型融合INTRODUCTION模型融合的三个信条：1.群众的力量是伟大的 — 集体智慧INTRODUCTION模型融合简单来说就是通过对一组的基分类器以某种方式进行组合，以提升模型整体性能的方法。模型融合不能起到决定性作用，在影响模型结果的因素中，一般来说是数据>特征>模型>模型融合。在业界流传着这么一句话，数据和特征决定了机器学习的上限，而模型和算法只是在逼近这个上限....

波士顿房产数据集波士顿房产数据集：使用sklearn.datasets.load_boston即可加载相关数据。该数据集共有 506 个观察，13 个输入变量和1个输出变量。基于该数据对波士顿房产数据集做最简单的线性回归，这里只考虑房间数特征。回归算法评价指标MSE，RMSE，MAE、R2代码#导入用到的库import sklearn.datasets as dataset...

目录1、前向分布算法2、负梯度拟合3、二分类4、多分类5、回归6、损失函数sklearn参数资料1、前向分布算法前向分布算法可以理解为将最终模型的所有参数，逐步分解为各个基函数的参数，逐步计算每一个基函数的权重。2、负梯度拟合针对损失函数拟合方法的问题，大牛Freidman提出了用损失函数的负梯度来拟合本轮损失的近似值。3、二分类4、多分类5、回归6、损失函数...

1、CART树CART假设决策树是二叉树，内部结点特征的取值为“是”和“否”，左分支是取值为“是”的分支，右分支是取值为“否”的分支。这样的决策树等价于递归地二分每个特征，将输入空间即特征空间划分为有限个单元，并在这些单元上确定预测的概率分布，也就是在输入给定的条件下输出的条件概率分布。CART算法由以下两步组成：决策树生成：基于训练数据集生成决策树，生成的决策树要尽量大；决策树剪枝：用...

目录1、线性回归2、线性回归的损失函数、代价函数、目标函数3、参数解析求解3.1、均方误差的高斯噪声模型假设3.2、目标函数推导3.3、解析求解4、梯度下降求解5、L1、L2正则6、线性回归的评估指标7、线性回归sklearn参数1、线性回归线性回归的数据集的形式为多个属性X与一个对应的Y，目的是求解X与Y之间的线性映射关系，优化求解参数的目标是降低预测值与Y之间的差别，“差别”的度量方式有...

目录个体学习器集成学习(ensemble learning)boosting和bagging①boosting②bagging结合策略①平均法②投票法③学习法随机森林思想随机森林的推广①extra trees②Totally Random Trees Embedding（TRTE）③Isolation Forest（IForest）随机森林优缺点优点缺点随机森林 sklearn参数参考链接个体学...