大志的博客

决策树属于监督学习算法，是一种树状结构模型，可应用与分类与回归场景。决策树的三要素：特征选择、决策树的生成 和 决策树的剪枝。1、特征选择决策树在划分子树的特征过程中，通常会使用以下三种划分准则：信息增益、信息增益比、基尼系数。1.1 信息增益熵度量随机变量 YYY 的不确定性，熵值越大，随机变量的不确定性就越大。H(Y)=−∑i=1kpilogpiH(Y)=- \sum_{i=...

逻辑回归属于监督学习算法中，分类算法的一种，主要应用在二分类场景中，也可应用在多分类场景。概述简单点说，Logistic回归模型就是将线性回归的结果输入一个Sigmoid函数，将回归值映射到0~1区间，表示输出的类别“1”的概率。模型线性回归的表达式如下：yi=wxi+by_i=wx_i+byi​=wxi​+bSigmoid函数：σ(z)=11+e−z\sigma(z)=\frac{...

线性回归属于监督学习算法中，回归算法的一种，主要应用场景是连续数值型变量的预测问题。模型线性回归的模型为：yi^=wxi+b\hat{y_i}=wx_i+byi​^​=wxi​+b其中 w:特征权重w:特征权重w:特征权重，b:偏置值b:偏置值b:偏置值，yi^为自变量的预测值\hat{y_i} 为自变量的预测值yi​^​为自变量的预测值，xi为因变量x_i为因变量xi​为因变量，yi为自...