qq_27018963-优快云博客

原创多变量线性回归实现

内容概要如何使用K折交叉验证来搜索最优调节参数如何让搜索参数的流程更加高效如何一次性的搜索多个调节参数 K折交叉验证交叉验证的过程选择K的值（一般是10），将数据集分成K等份使用其中的K-1份数据作为训练数据，另外一份数据作为测试数据，进行模型的训练使用一种度量测度来衡量模型的预测性能交叉验证的优点交叉验证通过降低模型在一次数据分割中性能表现上的方差来保证模型性能的稳定性...

2019-03-05 15:37:54 422

from sklearn.datasets import load_boston from sklearn.linear_model import LinearRegression, SGDRegressor from sklearn.model_selection import train_test_split from sklearn.preprocessing import Standard...

2019-03-03 14:26:12 230

原创 python实现线性回归

1 线性回归 def Linear_regression(): # get train data data =np.loadtxt('data.csv',delimiter=',') #define hyperparamters #learning_rate is used for update gradient #defint the number ...

2019-03-02 23:29:21 239

原创线性回归算法梳理

线性回归算法梳理目录 1. 基础知识 1.1 有监督学习 1.2 无监督学习 1.3 过拟合与欠拟合 2. 线性回归的原理 3. 线性回归损失函数、代价函数、目标函数的概念 4. 一元线性回归的参数求解公式推导 5. 多元线性回归的参数求解公式推导 6. 线性回归的评估指标 7. 参考资料文中肯定有许多描述不恰当、理解不到位的地方，希望大神们拍正。另外文中一些段落是...

2019-03-01 16:59:33 217

原创 XGB算法框架梳理

XGB算法框架梳理目录 1. XGB算法原理 2. 损失函数 3. 正则化 4. 缺失值处理 5. 应用场景 6. sklearn参数 7. 参考资料 1. XGB算法原理目标建立K个回归树，使得树群的预测值尽量接近真实值（准确率）而且有尽量大的泛化能力（更为本质的东西），从数学角度看这是一个泛函最优化，多目标，定义目标函数：直观上看，目标要求预测误差尽量小，叶子节点尽量少，节...

2019-02-01 17:10:03 1065

原创 GBDT算法框架

GBDT算法梳理目录 1. 基础知识 1.1 决策树 1.2 前向分步算法 1.3 负梯度 2. GBDT简介 3. GBDT算法推导 4. GBDT算法应用场景 5. GBDT算法sklearn实现 6. GBDT算法参数调优 7. 参考资料文中肯定有许多描述不恰当、理解不到位的地方，希望大神们拍正。另外文中一些段落是在引用了一些其它博文的话的基础上的理解，如有侵...

2019-01-28 19:08:46 1049

原创随机森林算法框架

随机森林框架梳理目录 1. 基础知识 1.1 何为集成学习 1.2 集成学习一般流程 1.3 模型融合方法 1.4 如何选择基分类器 2. 随机森林简介 3. 随机森林算法推导 4. 随机森林算法分析 4. 随机森林算法应用场景 5. 随机森林算法sklearn实现 6. 随机森林算法参数调优 7. 参考资料 1. 基础知识 1.1 何为集成学习面对一个机...

2019-01-27 15:51:20 2455 1

qq_27018963的博客