- 博客(4)
- 收藏
- 关注
RSS订阅原创 线性回归
在统计学中，线性回归是利用线性回归方程的最小平方函数对自变量和因变量之间关系进行建模的一种回归分析。这种函数是称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单线性回归，多于一个自变量情况的叫做多元线性回归。 其表达式为 ϵ(i)=y(i)−θTx(i)\epsilon^{(i)} = y^{(i)} - \theta^Tx^{(i)}ϵ(i)=y(i)−θTx(i) 线性回归的假设前提是误差服从正态分布，即因变量服从正态分布。当 μ = 0，σ = 1 时的正态分布是标准正态分布。 f(x)=
2020-05-20 17:57:44
536
原创 逻辑回归
目录回归与分类逻辑回归函数推导正则化L1与L2的选择 回归与分类 在机器学习中，模型根据预测结果的不同分为回归与分类。如果我们希望模型预测一个或者多个连续值，这类问题被称为回归问题，像常见的未来股票价格的估计、未来温度估计等都是回归问题。还有一类呢是分类问题，模型的预测结果是一个离散值，也就是只有固定的种类的结果，常见的有垃圾邮件识别等。 让我们先回到线性回归，线性回归中 y=WX+by = WX + by=WX+b。我们可以通过 WWW 和 bbb 求出 XXX 对应的 yyy，这里的 yyy 是一个连续
2020-05-19 15:53:45
206
原创 Bagging & Boosting
目录BaggingBoostingAdaboostGBDTXgboostBagging和Boosting的异同 集成学习中，主要分为Bagging、Boosting以及Stacking，由于Stacking在项目中并不常用，在此我们就不展开赘述。 Bagging 从原始样本集中使用Bootstraping的方法随机抽取n个训练样本，共进行k轮抽取，得到k个训练集。（有些样本可能会被多次抽取到，有些样本可能一次都没有被抽中，k个训练集之间是相互独立的） 每个训练集得到一个模型，k个训练集共得到k个模型。（可
2020-05-13 16:13:11
359
原创 决策树
目录决策树熵ID3计算信息熵计算信息增益C4.5计算属性分裂信息度量计算信息增益率CART剪枝预剪枝后剪枝 决策树 决策树(DecisionTree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。 常见的决策树算法有ID3、C4.5以及CART。但在讨论这些之前，我们先了解一下熵的概念。 熵 熵 这个概念最早起源于物理学，在物理学中是用来度量
2020-05-13 16:12:29
810
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人