机器学习——回归算法

最新推荐文章于 2025-04-16 17:00:12 发布

非零因子

最新推荐文章于 2025-04-16 17:00:12 发布

阅读量2.1k

点赞数

分类专栏：机器学习文章标签：机器学习

本文链接：https://blog.youkuaiyun.com/weixin_46489969/article/details/123800548

版权

sklearn线性回归方程、梯度下降API

岭回归（Ridge）——带有正则化的线性回归

回归问题的判定

目标值连续——迭代算法

线性回归

寻找一种能预测的趋势

线性关系：二维——直线当中

三维——特征、目标值，平面当中

线性模型

试图学得一个通过属性的线性组合来进行预测的函数：

$f(x)=w_1+w_2x_2+...+w_dx_d+b$

w为权重，b称为偏置项，可以理解为： $w_0\times 1$

属性和权重一种组合来预测模型

线性回归

定义：线性回归通过一个或者多个自变量与因变量之间进行模型的回归分析。其中特点为一个或多个称为回归系数的模型参数的线性组合

一元线性回归：涉及到的变量只有一个

多元线性回归：涉及到的变量两个或两个以上

通用公式： $h(w)=w_0+w_1x_1+w_2x_2+...=w^Tx$

其中 w,x为矩阵：

$w=\begin{pmatrix} w_0\\w_1 \\ w_2 \end{pmatrix}$ ， $x=\begin{pmatrix} 1\\ x_1 \\ x_2 \end{pmatrix}$

	数组	矩阵
0维	5
1维	[1,2,3,4]
2维	[[1,2,3,4]]	必须是2维
3维	[ [[1,2]] [[3,4]] ]

数组的运算：加法、乘法

矩阵的运算：矩阵乘法

import numpy as np
a = [[1,2,3,4],[5,6,7,8],[2,3,7,9]]
b = [2,3,4,2]
c = np.multiply(a,b) # 每一行对应数相乘，权重相乘
print(c)
d = [[2],[2],[2],[2]]
e = np.dot(a,d) #(3,4)*(4,1)=(3,1)矩阵乘法
print(e)

预测结果与真实值是有一定是有误差的

损失函数（误差大小）

$y_i$ 为第i个训练样本的真实值

$h_w(x_i)$ 为第i个训练样本特征值组合预测函数

总损失定义：

最低0.47元/天解锁文章