机器学习模型自我代码复现：回归

原创 已于 2022-03-26 14:19:14 修改 · 2.4k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #机器学习

于 2022-03-26 14:18:48 首次发布
本文介绍了一个线性回归模型的实现过程，包括数据预处理、梯度下降法等关键步骤，并通过自建数据集验证了多项式回归、不同梯度下降方式及岭回归、Lasso回归的效果。

根据模型的数学原理进行简单的代码自我复现以及使用测试，仅作自我学习用。模型原理此处不作过多赘述，仅罗列自己将要使用到的部分公式。代码框架部分参照了以下视频中的内容。清华博士爆肝300小时录制！！机器学习入门必备的10个经典算法（原理+复现+实验）被他讲得如此清晰！_哔哩哔哩_bilibili

如文中或代码有错误或是不足之处，还望能不吝指正。

线性回归，主要任务是寻找一个或多个因变量与自变量之间的关系，拟合出y=WX+b形式的回归方程。

求解线性回归时，根据最小二乘法，要找到使得误差平方和\sum (\hat{y}-y)^{2}的最小W，针对W求偏导，可以得到\hat{W}^{*} = (X^{T}X)^{-1}X^{T}y。针对于存在的求逆操作，使用梯度下降法求解。

W_j^{'}=W_j + (1/m)\alpha\sum (y^{(i)}-\hat{y^{(i)}})X^{(i)}_j 其中α为学习率，m为每次梯度下降时传入的样本数量。

岭回归在原本的误差平方和的基础上加入了L2惩罚项\sum W_j^{2}，牺牲无偏性，增大偏差以减少方差，在出现多重共线性（自变量并不独立，而是互相之间存在关系）以及数据中有离群点时效果较好；用“机器学习”一点的话就是“模型更加稳定”。在实际的梯度下降中只需要再加入一个关于L2惩罚项偏导方向上的更新2 \alpha_{ridge}w_j即可。

Lasso回归则是加入了L1惩罚项\sum |W_j|，以此来剔除无关变量。但是由于L1惩罚项在0点处不是可微的，故而使用坐标下降法（每次只更新一个W_j）求解。

W_k^* = \begin{equation} \left\{ \begin{array}{lr} (r_k-\alpha_{lasso})/z_k(r_k>alpha_{lasso}) & \\ 0(alpha_{lasso}>=r_k>=-alpha_{lasso}) & \\ (r_k+\alpha_{lasso})/z_k(r_k<-alpha_{lasso}) & \end{array} \right. \end{equation}

其中

最低0.47元/天 解锁文章
thorn_r
关注
机器学习模型自我代码复现：GBDT
thorn_r的博客
04-24 1793
根据模型的数学原理进行简单的代码自我复现以及使用测试，仅作自我学习用。模型原理此处不作过多赘述，仅罗列自己将要使用到的部分公式。 如文中或代码有错误或是不足之处，还望能不吝指正。
机器学习---回归代码
weixin_43961909的博客
08-06 506
个二维数组对象，比如一个 NumPy 或者一个 DataFrame，其中每一行表示一个样本，每一列表示。应该是一个一维数组对象，比如一个 NumPy 或者一个 Pandas Series，包含。预测：使用 .predict() 方法,传入新的特征数据,得到预测结果。目的是使用模型对输入特征值12进行预测，并返回预测结果的第一个元素。创建了一个包含单个值12的NumPy数组，并将其重塑为一个列。的目的是将一个一维数组或向量转换为一个列向量。方法并传入这个重塑后的输入特征，对其进行预测。每个样本对应的目标值。
怎么样从小白自学到能读懂机器学习的论文并复现？
最新发布
weixin_69925618的博客
09-05 1094
中间一定会遇到无数次bug、模型不收敛、论文看不懂的崩溃瞬间。正常，太正常了，我们都是这么过来的。这个过程不是线性的，而是螺旋式上升的。今天看不懂的东西，过一个月，做两个项目，再回来看，可能就豁然开朗了。别追求一口吃成个胖子，也别被那些复杂的数学吓倒。从能跑通一个demo开始，到能修改一个模型，再到能看懂一篇经典论文的核心思想，最后再去挑战复现。共勉。中创蓝AI导师团队专注于人工智能及其交叉学科领域的论文辅导服务，全面支持期刊论文与毕业论文等多种写作需求。
python数据处理—pandas相关函数的使用(持续更新）
weixin_45768308的博客
09-10 2747
pandas相关函数处理，sort() , drop() , shape()
机器学习模型自我代码复现：使用numpy复现CNN
thorn_r的博客
08-23 1066
根据模型的数学原理进行简单的代码自我复现以及使用测试，仅作自我学习用。模型原理此处不作过多赘述。 如文中或代码有错误或是不足之处，还望能不吝指正。 本文侧重于使用numpy重新写出一个CNN模型，故而不像其他文章那样加入图片演示正向传播与反相传播的原理或是某个特定函数的求导过程以及结论。
机器学习模型代码自我复现：贝叶斯线性回归
thorn_r的博客
06-08 1084
贝叶斯建模与传统频率派不同，将参数视作符合某一分布的随机变量，并且可以考虑先验分布使得在建模时能够有更高的可信度；然而由于计算复杂度大，必须使用采样法或变分法，可能会使得计算精确度下降，并且增加时间成本。
机器学习模型自我代码复现：GMM
thorn_r的博客
05-07 533
根据模型的数学原理进行简单的代码自我复现以及使用测试，仅作自我学习用。模型原理此处不作过多赘述，仅罗列自己将要使用到的部分公式。 如文中或代码有错误或是不足之处，还望能不吝指正。
机器学习模型自我代码复现：Softmax分类
thorn_r的博客
03-31 1454
根据模型的数学原理进行简单的代码自我复现以及使用测试，仅作自我学习用。模型原理此处不作过多赘述，仅罗列自己将要使用到的部分公式。
单细胞转录组中ICD特征复现与机器学习模型构建：实现95%复现率的研究 KIRC 文献复现：'单细胞转录组中免疫原性细胞死亡特征与101种机器学习组合'及其95%复现率实例数据视频与代码主要内容介绍
05-16
最后，通过101种机器学习组合，成功构建了一个复现率达到95%的预测模型。 适合人群：从事生物信息学、肿瘤生物学、免疫学及相关领域的研究人员和技术人员。 使用场景及目标：① 探索单细胞转录组技术在肿瘤免疫治疗...
【机器学习算法复现】随机森林，以又放回的方式构建的决策树为基础的集成学习方法，可回归可分类不同任务注意评价指标。
白水空空
03-22 1633
在解释随机森林前，需要先提一下决策树。决策树是一种很简单的算法，他的解释性强，也符合人类的直观思维。这是一种基于if-then-else规则的有监督学习算法，下面的图片可以直观的表达决策树的逻辑。随机森林 – Random Forest | RF，随机森林是由很多决策树构成的，不同决策树之间没有关联。当我们进行分类任务时，新的输入样本进入，。p1−n1​nRF划分时考虑的最大特征数: 就是之前提到的“在每个节点处，从M中随机选择m个特征维度”中的那个m。
机器学习模型自我代码复现：SVM(SMO算法)
thorn_r的博客
05-02 1611
根据模型的数学原理进行简单的代码自我复现以及使用测试，仅作自我学习用。模型原理此处不作过多赘述，仅罗列自己将要使用到的部分公式。 如文中或代码有错误或是不足之处，还望能不吝指正。
机器学习线性回归代码
01-02
.py机器学习（3）-简单线性回归：数据集与源码下载数据集与源码下载。博客当中用到的源码与数据集机器学习（3）-简单线性回归：数据集与源码下载数据集与源码下载。博客当中用到的源码与数据集
经典BP算法复现
03-21
利用C++复现BP算法，没有数据集 需要自己下载，代码可以跑通
【机器学习算法复现】支持向量机，可分类可回归的有监督学习算法，从数学原理到sklearn调包实践，可视化展示感受参数变化带来的影响
白水空空
03-24 830
在机器学习中，支持向量机（SVM）是具有相关学习算法的监督学习模型，其分析用于分类和回归分析的数据。给定一组训练示例，每个示例标记为属于两个类别中的一个或另一个，SVM训练算法构建一个模型，将新示例分配给一个类别或另一个类别，使其成为非概率二元线性分类器。SVM模型是将示例表示为空间中的点，映射使得单独类别的示例除以尽可能宽的明确间隙。然后将新的示例映射到同一空间，并根据它们落在哪个边缘预测属于一个类别。除了执行线性分类之外，SVM还可以使用所谓的内核技巧有效地执行非线性分类，将其输入隐式映射到高维特征空间
机器学习基础——回归（代码）
weixin_74042627的博客
09-11 812
【代码】机器学习基础——回归（2）
机器学习回归算法代码汇总
测试开发工程师的学习经历
12-05 1006
1.K近邻（KNN）回归和分类算法详解及调参 参考：http://www.statr.cn/?p=351 2.scikit-learn的基本回归方法（线性、决策树、SVM、KNN）和集成方法（随机森林，Adaboost和GBRT） 参考：https://blog.csdn.net/u010900574/article/details/52666291 ...
机器学习论文复现，这五大问题你需要注意
zandaoguang的博客
11-03 1067
选自derekchia.com作者：Zhiyuan Li 等机器之心编译编辑：小舟、魔王论文复现一直是机器学习领域的难题，虽然最近多个学术会议提倡大家提交代码，但解决论文复现问题仍然任重...
机器学习之逻辑回归，代码实现（附带sklearn代码，小白版）
weixin_42876655的博客
07-03 5329
用小白的角度解释逻辑回归，并且附带代码实现
你的生产型ML复现不了，可能是工作流程出了问题
公众号：【伤心的辣条】
10-21 395
在机器学习社区，越来越多的人开始讨论研究的可复现性，但这些讨论大部分局限于学术环境。如何确保生产环境的ML可复现？近日，机器学习开发服务提供商 maiot.io 的 CTO Benedikt Koller 发布一篇博客文章，介绍了他基于自身经验总结的开发可复现生产级机器学习所要注意的 12 个要素。 过去二十年来，我们对软件开发的理解有了大幅提升。其中一大部分原因是 DevOps 概念的出现及其在软件开发行业的广泛应用。 领先的软件公司都遵循着同样的模式：首先是在软件开发过程中快速迭代，然后进行持续集成、
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值