机器学习:线性回归(最小二乘法代码)

博客提及最终打印相关内容,强调此处仅实现功能,不考虑打印效果。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


'''
最小二乘法求解线性回归
'''
import pandas as pd
import numpy as np
import matplotlib as mpl
import matplotlib.pyplot as plt

from sklearn.model_selection import train_test_split

#防止中文乱码
plt.rcParams['font.sans-serif']=[u'simHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False #用来正常显示负号

#加载数据
path = '../datas/household_power_consumption_200.txt'
#csv默认分隔符为',',这里以 ; 分割
df = pd.read_csv(filepath_or_buffer=path,sep=';',low_memory=False)
# 查看info信息    批量注释   Ctrl+/
# print(df.info())
# print(df.head(5))
'''
获取功率值为属性特征X,获取电流值为特征Y
'''
X = df.iloc[:,2:4]
Y = df.iloc[:,5]
# print(X.head(5))
# print(Y.head(5))

#将数据分为训练集和数据集
# random_state 随机数种子  保证多次执行的时候 切分完的数据一致
x_train,x_test,y_train,y_test = train_test_split(X,Y,train_size=0.7,test_size=0.3,random_state=28)
print(x_train.shape)
print(x_test.shape)
print(y_train.shape)
print(y_test.shape)

#模型构建
# 1.使用numpy的API将DataFrame转换为矩阵形式   将x_train  y_train 由DataFrame转为矩阵 然后进行矩阵计算
x = np.mat(x_train)
y = np.mat(y_train).reshape(-1,1)
print(x.shape)
print(y.shape)

# 2 求解析式
theta = (x.T * x).I * x.T * y
print(theta)

# 3.使用模型对数据做预测
y_hat = np.mat(x_test)*theta

#画图看下效果
t = np.arange(len(x_test))
plt.figure(facecolor='w')
plt.plot(t,y_test,'r-',linewidth=2,label = u'真实值')
plt.plot(t,y_hat,'g-',linewidth=2,label = u'预测值')
plt.legend(loc = 'lower right')  #设置label
plt.title("线性回归")
plt.show()

最终打印如图  此处不考虑效果,仅实现

### 关于机器学习线性回归最小二乘法的概念 在线性回归分析中,目标是最小化观测值与估计值间的偏差平方和。这种方法被称为最小二乘法,在机器学习领域广泛应用以解决监督学习问题[^1]。 ### 最小二乘法的原理 最小二乘法的核心在于构建一个损失函数(也称为代价函数),该函数衡量的是预测值 $\hat{y}$ 和真实标签 $y$ 之间差距的程度。对于给定的数据集 $(X, y)$,其中 $X$ 是特征矩阵而 $y$ 表示响应变量向量,假设存在线性关系: $$ \hat{y} = Xw+b $$ 这里 $w$ 是权重系数向量,$b$ 则代表偏置项。为了使模型尽可能好地拟合训练样本,需要调整参数 $w$ 和 $b$ 来让残差平方和达到极小值: $$ E(w,b)=\sum_{i=1}^{N}(y_i-\hat{y}_i)^2=\|y-Xw-b\|^2_2 $$ 此表达式即为均方误差(MSE),其目的是找到最优解使得 MSE 达到全局最低点[^3]。 ### 实现方式 一种常见的解析解形式如下所示: 当忽略偏置项时, $$ w=(X^TX)^{-1}X^Ty $$ 这是基于正规方程得到的结果;另一种则是采用迭代优化的方法—梯度下降算法来逐步逼近最佳参数组合。后者特别适用于大型数据集的情况,因为它不需要计算逆矩阵操作,从而降低了运算复杂度并提高了效率[^4]。 ```python import numpy as np def least_squares(X, y): """使用最小二乘法求解线性回归""" # 添加截距列 ones = np.ones((len(X), 1)) X_b = np.c_[ones, X] # 计算 (X.T * X) 的逆再左乘上 X.T 得到 theta theta_best = np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y) return theta_best[0], theta_best[1:] # 示例应用 if __name__ == "__main__": # 构造一些随机测试数据 rng = np.random.RandomState(42) X_test = 2*rng.rand(100, 1) y_test = 4 + 3*X_test+rng.randn(100, 1) intercept, coef = least_squares(X_test, y_test.ravel()) print(f"w is: {coef}") print(f"b is: {intercept}") ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值