- 博客(10)
- 收藏
- 关注
RSS订阅原创 机器学习——三种决策树及python代码实现
《机器学习：公式推导与代码实践》鲁伟著读书笔记。决策树（Decision tree）是一种最基础的机器学习方法。决策树的原理是基于特征对数据实例按照条件不同进行不断划分，最终达到分类或者回归的目的。决策树模型的核心概念包括：特征选择方法、决策树构造过程和决策树剪枝。特征选择特征选择从本质上讲就是依据训练集数据从多个特征中选取出具有分类能力的特征。通常情况下，在决策树模型中，我们有三种方式来选取最优特征：信息增益、信息增益比和基尼指数。信息增益为了更好地解释信息增益的概念，我们需要引入**信息熵（I
2022-03-19 22:57:17
2155
原创 机器学习——K近邻分类算法及python代码实现
《机器学习：公式推导与代码实践》鲁伟著读书笔记。K近邻（K-nearest neighbor，K-NN）算法是一种经典的监督学习的分类方法。K近邻算法是依据新样本与k个与其相邻最近的样本的类别来进行分类的，所以K近邻算法不像前面所学习到的机器学习其他方法一样，将有标签的样本用来训练模型，而是直接计算新样本与所有样本点的距离来确定分类情况的。K近邻算法的三要素为：k值的选择、距离的度量方式和分类决策规则。...
2022-03-12 12:53:12
6612
原创 机器学习——奇异值分解
奇异值分解的计算过程我们知道奇异值分解的表达式为：A=UΣVTA=U\Sigma V^{\mathrm{T}}A=UΣVT那如何求解UUU、Σ\SigmaΣ和VVV这三个矩阵呢？计算ATAA^{T}AATA的特征值，通过得到的特征值进一步计算得到A矩阵的奇异值；通过计算得到的奇异值，构造与A矩阵维数相同的矩阵Σ\SigmaΣ；计算ATAA^{T}AATA对应的单位特征向量并按照对应特征值从大到小的顺序构建ATAA^{T}AATA特征向量矩阵VVV，也为A的右奇异矩阵；UUUA的左奇异矩阵为A
2022-03-08 15:12:45
1932
原创 机器学习——线性判别分析原理及python代码实现
《机器学习：公式推导与代码实践》鲁伟著读书笔记。线性判别分析（Linear Discriminant Analysis，LDA）是一种经典的线性分类方法，其基本思想是将数据投影到低维空间，使得同类数据尽可能接近，异类数据尽可能疏远，所以线性判别分析也是一种监督降维算法。LDA公式推导线性判别分析的基本思想是将数据集投影到一条直线上，使得同类样本的投影点尽可能接近，不同类样本的投影点尽可能疏远。按此原理训练完成之后，将新样本投影到该直线上，根据投影点的位置来确定新样本点的类别。以二维变量为例，“+”表示正
2022-03-08 13:47:55
8292
2
原创 机器学习——L1和L2正则化对回归模型的影响
《机器学习：公式推导与代码实践》鲁伟著读书笔记。回归模型拓展对于回归模型来说，目标变量有许多影响因素。但是这么多影响因素之中，总有少数关键因素对目标变量的变化起着重要的影响。面对过多影响因素的回归模型来说，若仅仅采用传统的回归模型对其进行求解的话，拟合效果不尽如人意。针对这种情况，LASSO回归和Ridge回归模型便可以来解决影响因素较多的回归问题。LASSO回归原理推导LASSO回归模型又可以称之为最小绝对收缩和选择算子回归模型。但是为什么要用LASSO回归模型呢？我们要从“机器学习——线性回归模
2022-03-05 14:27:52
1710
原创 机器学习——对数几率回归模型及python代码实现
《机器学习：公式推导与代码实践》鲁伟著读书笔记。上一章介绍了线性回归的数学推导过程以及python实现，可以知道线性回归模型就是对数据进行线性拟合或者说是回归，然后采用训练好的模型对未来数据进行预测。那能否运用线性模型对一些数据进行分类呢，这就需要运用对数几率回归模型（logistics regression，LR）这种线性分类模型。对数几率回归的数学原理在对数几率回归中，我们需要将线性回归模型的预测值转化为0/1值，而不是去逼近真实标签yyy。而取值范围为（0，1），单调可微的Sigmoid函数便是对
2022-02-25 23:16:37
6098
原创 机器学习——线性回归模型及python代码实现
《机器学习：公式推导与代码实践》鲁伟著读书笔记。在机器学习的学习过程中，相信大家首先要学习的就是线性模型。而线性模型中，线性回归（Linear Regression）是一种非常经典方法。现在我从线性回归的数学原理出发，结合python代码，对线性回归模型进行系统性的总结。线性回归的数学原理线性回归从实质上说为通过训练进而得到一个线性模型来根据输入数据XXX来拟合输出yyy。面对多元化的线性回归问题，设训练模型的输入矩阵为X∈Rm×dX \in \mathbb{R}^{m \times d}X∈Rm×d，
2022-02-23 23:40:42
6801
原创 时序预测模型的基准算法1-auto_arima
最近我在进行论文的写作，接下来会将自己做的对比算法分享给大家，以帮助像我一样遇到问题想来优快云上求救的小伙伴们。我采用的数据集为PeMS04和PeMS08，如果有使用相同数据集的小伙伴们可以一起交流。做到ARIMA对比算法时，发现固定order的ARIMA算法无法做到对所有全时空路网节点的流量进行预测，会出现报错情况。因为路网所有节点的交通流量不一定都符合同一ARIMA参数，便采用auto_arima算法对所有节点的交通流量进行预测。
2022-01-28 16:23:02
3736
1
原创 使用Python计算化学式的相对分子质量
受到邀请来帮同学计算其所采用的化学式的相对分子质量.本文详细介绍了如何识别化学式内元素,并对其化学式相对分子质量进行计算的过程.输入化学式在输入化学式的时候,需要将化学式中每个元素的个数进行表明.一个元素可以出现多次,但是每出现一次都要进行数量标记.例如C2H5OH要写为C2H5O1H1,方便我们之后对化学式进行元素与数字的划分.输入数据应为string型,以便算法对其进行处理.// 输入化学式a="C2H5O1H1";b="Ca1C1O3";构建元素原子质量列表如果我们需要计算相对分子质量
2021-04-28 13:19:37
3639
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人