- 博客(10)
- 收藏
- 关注
RSS订阅原创 任务三 XGB算法梳理
CART树CART是决策树算法之一，它可用于分类问题也可用于回归问题。它与ID3、C4.5等算法不同的是，在节点分支的时候，它每次仅分成左、右两个节点，即它假设决策树是二叉树。另外，它在选择最优分割变量与最优分割点的准则也有所不同算法原理CART树的生成就是递归地构建二叉决策树的过程。对回归树用平方误差最小化准则，对分类树用基尼指数最小化准则，进行特征选择，生成二叉树。损失函数分裂结点...
2019-03-05 21:43:02
356
原创 进阶任务四
【Task4 Linear Regression(多变量)】(2天)波士顿房产数据(完整数据)实现多变量(手写代码)数据标准化(手写代码)网格搜索调参5 from sklearn.linear_model import LinearRegression对比import numpy as npimport matplotlib as mplimport matplotlib.py...
2019-03-03 22:39:20
266
原创 初级任务三 决策树算法梳理
信息论基础（熵 联合熵 条件熵 信息增益 基尼不纯度）熵：描述一个时间的不确定性联合熵：A与B同时发生的信息熵条件熵：在A发生的情况下B发生的信息熵信息增益：Gain为A为特征对训练数据集D的信息增益，它为集合D的经验熵H(D)与特征A给定条件下D的经验条件熵H(D|A)之差基尼不纯度：基尼不纯度,是指将来自集合中的某种结果随机应用在集合中，某一数据项的预期误差率2.决策树的不同分...
2019-03-03 22:31:21
330
原创 GBDT算法梳理
1.前向分布算法一颗生成好的 决策树，假设其叶子节点个数为TT，该 决策树是由所有叶子节点对应的值组成的向量w∈RTw∈RT，以及一个把特征向量映射到叶子节点索引（Index）的函数q:Rd→{1,2,⋯,T}q:Rd→{1,2,⋯,T}组成的。因此，策树可以定义为ft(x)=wq(x)ft(x)=wq(x)。决策树的复杂度可以由正则项Ω(ft)=γT+12λ∑Tj=1w2jΩ(ft)=γT+...
2019-03-02 19:54:16
277
原创 代码实现简单线性回归(单变量)，房价预测
背景说明：房价预测，x为房屋面积与户型，y为房屋售价import numpy as npx=[[1,10,1],[1,20,1],[1,30,1],[1,30,2],[1,70,3],[1,70,2]]x=np.mat(x)print(x)print(x[1])print(x.T[1])#取单个x特征y=[0.8,1.2,2.2,2.5,5.5,5.2]h=lambda th0,t...
2019-03-02 19:25:50
1300
原创 逻辑回归算法梳理
逻辑回归算法梳理1、逻辑回归与线性回归的联系与区别区别：逻辑回归预测值返回的离散值，线性回归返回的连续值联系：2、 逻辑回归的原理逻辑回归就是这样的一个过程：面对一个回归或者分类问题，建立代价函数，然后通过优化方法迭代求解出最优的模型参数，然后测试验证我们这个求解的模型的好坏3、逻辑回归损失函数推导及优化4、 正则化与模型评估指标正则有L1&L2正则，也有综合L1&...
2019-03-02 19:20:27
901
原创 随机森林算法梳理 任务一
集成学习概念集成学习的思想是将若干个学习器(分类器&回归器)组合之后产生一个新学习器。弱分类器(weak learner)指那些分类准确率只稍微好于随机猜测的分类器(errorrate < 0.5)；个体学习器概念单个独立的基学习器boosting baggingBagging方法又叫做自举汇聚法(Bootstrap Aggregating)，思想是：在原始数据集...
2019-02-28 10:15:30
438
原创 算法梳理进阶线性回归 任务一
机器学习的一些概念(有监督、无监督、泛化能力、过拟合欠拟合(方差和偏差以及各自解决办法)、交叉验证)用已知某种或某些特性的样本作为训练集，以建立一个数学模型，再用已建立的模型来预测未知样本，此种方法被称为有监督学习与监督学习相比，无监督学习的训练集中没有人为的标注的结果泛化能力，模型的预测能力线性回归的原理回归算法是一种比较常用的机器学习算法，用来建立“解释”变量(自变量X)和观测...
2019-02-28 01:38:43
500
原创 线性回归算法梳理
机器学习的一些概念有监督：有目标值Y无监督：无目标值Y泛化能力：在预测集上的预测能力过拟合欠拟合(方差和偏差以及各自解决办法)：测试集预测能力不好叫欠拟合，在测试集上OK，训练集NG；方差能解决过你和问题，偏差能解决欠拟合问题交叉验证：将样本分为N分，按照一定的划分方式划分训练集和测试集，互相交叉验证线性回归的原理找到Y的关于x的线性相关函数，使得Y与X之间存在线性关系线性回归损...
2019-02-28 01:13:48
397
转载 mysql学习第二天
第一部分：导入示例数据库第一步：打开数据库D:\software\mysql-5.7.18-winx64\bin>mysql -hlocalhost -uroot -pEnter password: ******Welcome to the MySQL monitor. Commands end with ; or \g.Your MySQL connection id is 2...
2019-02-28 00:41:18
148
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人