机器学习——最小二乘法

整理了一个PPT形式的~如下:

这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

欢迎补充及批评指正!

### 关于机器学习中的最小二乘法 #### 最小二乘法简介 最小二乘法是一种用于估计线性回归模型参数的技术,旨在找到一条直线(在一维情况下)或超平面(在多维情况下),使得所有样本到这条直线的距离平方和最小。该方法广泛应用于统计学以及机器学习领域,在解决回归问题时尤为常见。 #### 练习题示例 ##### 题目一:简单线性回归下的最小二乘法求解 给定一组二维数据点 \((x_i, y_i)\),其中 \(i=1,...,n\) 表示第 i 个观测值。假设这些数据遵循如下形式的关系: \[y = wx+b+\epsilon\] 这里 \(w\) 和 \(b\) 是未知系数,而 \(\epsilon\) 则代表随机误差项。为了简化起见,假定不存在测量噪声 (\(\epsilon=0\)) 的理想情况,请推导出如何基于最小化残差平方和来计算权重 w 和偏置 b 的最优解[^1]。 ```python import numpy as np def least_squares(X, Y): """ 使用最小二乘法计算线性回归的最佳拟合直线 参数: X (numpy.ndarray): 输入变量数组 Y (numpy.ndarray): 输出变量数组 返回: tuple: 权重(w)和截距(b) """ n = len(X) # 计算X,Y的均值 mean_x = sum(X)/float(n) mean_y = sum(Y)/float(n) num = 0 den = 0 for i in range(n): num += (X[i]-mean_x)*(Y[i]-mean_y) den += pow((X[i]-mean_x),2) m = num/den c = mean_y - m*mean_x return m,c ``` ##### 题目二:多元线性回归分析 考虑一个更复杂的场景——存在多个自变量的情况下应用最小二乘法来进行预测建模。设有一个包含 p 个特征的数据集 D=\{(x_{ij},y_j)|j=1,\ldots,n;i=1,\ldots,p\} ,试编写程序实现对任意输入的新样本进行预测的功能,并解释每一步骤的意义所在。 ```python from sklearn.linear_model import LinearRegression # 假设有p个特征的数据集D data = [[...], [...]] # 特征矩阵 target = [...] # 目标向量 model = LinearRegression() model.fit(data, target) new_sample = [...] # 新样本的特征列表 prediction = model.predict([new_sample]) print(f'对于新的样本 {new_sample} 的预测结果为: {prediction}') ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值