侠的博客

文章目录1. 正则线性模型1.1 Ridge Regression（L2）1.1.1 Sklearn 实现1.1.2 Ridge + SDG1.1.2.1 Sklearn 实现1.2 Lasso Regression（L1）1.2.1 Sklearn 实现1.2.2 Lasso + SGD1.2.2.1 Sklearn 实现1.3 Elastic Net（L1&L2）1.3.1 Sklea...

文章目录1. 多项式回归2. Sklearn 实现参考资料 相关文章： 机器学习 | 目录 机器学习 | 回归评估指标 监督学习 | 线性回归 之多元线性回归原理及Sklearn实现 监督学习 | 线性回归 之正则线性模型原理及Sklearn实现 1. 多项式回归 对于非线性数据，也可以用线性模型来拟合。一个简单的方法就是将每个特征的幂次方添加为一个新特征，然后在这个拓展多的特征集上训练线性模型。...

文章目录1. 回归评估指标1.1 平均绝对误差 MAE1.1.1 Sklearn 计算 MAE1.2 均方误差 MSE1.2.1 Sklearn 计算 MSE1.3 $R^2$1.3.1 Sklearn 计算$R^2$2 参考资料 关于分类评估指标，可以参考我的另一片文章：机器学习 | 分类评估指标 1. 回归评估指标 1.1 平均绝对误差 MAE MAE：（Mean Absolute Error...

文章目录1. 线性回归1.1 基本形式1.2 最小二乘法推导2. Sklearn 实现参考资料 相关文章：机器学习 | 回归评估指标 1. 线性回归 线性回归，又称普通最小二乘法（Ordinary Least Squares, OLS），是回归问题最简单也最经典的线性方法。线性回归需按照参数 w 和 b，使得对训练集的预测值与真实的回归目标值 y 之间的均方误差（MSE）最小。 均方误差（Mean...

文章目录1. 梯度下降1.1 批量梯度下降（BGD）1.1.1 学习率的设置1.1.2 Python 实现 BGD1.2 随机梯度下降（SGD）1.2.1 Python 实现 SGD1.2.2 Sklearn 实现 SGD1.3 小批量随机下降（MBGD）2. 三类梯度下降的比较参考资料 相关文章： 机器学习 | 网络搜索及可视化 监督学习 | 线性回归原理及Sklearn实现 1. 梯度下降 梯...

文章目录Sklearn 支持向量机1. 支持向量机分类1.1 线性 SVM 分类1.2 非线性 SVM 分类1.2.1 多项式核1.2.2 高斯 RBF 内核2. 支持向量机回归2.1 线性 SVM 回归2.2 非线性 SVM 回归2.2.1 多项式内核参考资料 相关文章： 机器学习 | 目录 机器学习 | 网络搜索及可视化 监督学习 | SVM 之线性支持向量机原理 监督学习 | SVM 之非线...

文章目录Boosting1. AdaBoost1.1 AdaBoost 原理1.2 Python 实现1.3 Sklearn 实现2. 梯度提升2.1 梯度提升回归树（GBRT）2.1.1 Python 实现2.1.2 Sklearn 实现2.1.3 早期停止法2.1.4 随机梯度提升参考资料 相关文章： 机器学习 | 目录 监督学习 | 集成学习之Bagging、随机森林及Sklearn实现 B...

文章目录CART 算法1. CART 生成1.1 回归树生成最小二乘回归树生成算法1.2 分类树生成基尼指数CART 生成算法参考文献 相关文章： 机器学习 | 目录 监督学习 | ID3 决策树原理及Python实现 监督学习 | ID3 & C4.5 决策树原理 监督学习 | 决策树之Sklearn实现 监督学习 | 决策树之网络搜索 本文大部分内容搬运自李航老师的《统计学习方法》[1...