【回归算法】线性回归详解

用人话讲明白线性回归LinearRegression 目录 什么是回归 一元线性回归 损失函数 最小二乘估计 小结 1. 什么是回归 当我们学习一门新课程、接触一个新专业时,总会对该领域的专有名词感到困惑,甚至看完解释仍难以理解其含义。在我们一起学习machine learning的过程中,我会尽量对相关名词用“人话”做一遍解释,以减少学习的“痛苦感”。 譬如今天要学的线性“回归”,这个回归(regression)和我们平时说的“回归祖国”的回... 阅读详情

线性回归详解

本内容专为本科生、研究生梳理,用通俗的语言讲解线性回归的核心概念、理论推导、算法流程和实战案例,同时分析模型优缺点及与同类算法的对比,兼顾基础理论理解和实际代码落地,是机器学习回归算法的入门核心内容。

线性回归是最经典、最基础的机器学习回归算法,核心用于挖掘自变量(特征)和因变量(目标值)之间的线性关系,并通过该关系实现对数值型目标值的预测(如房价、销售额、气温等)。简单来说,线性回归的目标就是找到一条最贴合数据点的直线,用这条直线的公式来描述变量间的关系并完成预测。

一、线性回归的核心概念

1. 核心定义

对于单特征的简单场景,线性回归的模型是我们中学就学过的一次函数:
y=mx+by = mx + by=mx+b
对应机器学习中的标准符号表示:
y=β0+β1xy = \beta_0 + \beta_1 xy=β0​+β1​x
其中各参数的含义:

  • yyy:因变量/目标值,即需要预测的数值(如房价);
  • xxx:自变量/特征值,即已知的输入数据(如房屋面积);
  • β0\beta_0β0​:截距,表示当特征值x=0x=0x=0时的目标值(数学上的必要参数,实际业务中可能无实际意义);
  • β1\beta_1β1​:斜率/回归系数,表示特征xxx每增加1个单位,目标值yyy的变化量。

对于多特征的实际场景(如房价由面积、房龄、地段等多个特征决定),线性回归模型拓展为多元线性回归:
y=β0+β1x1+β2x2+...+βpxpy = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + ... + \beta_p x_py=β0​+β1​x1​+β2​x2​+...+βp​xp​
其中ppp为特征数量,β1∼βp\beta_1 \sim \beta_pβ1​∼βp​为各特征对应的回归系数。

2. 通俗举例:预测房价

假设我们有3组房屋面积和价格的数据:

  • 100㎡ → 200万
  • 150㎡ → 250万
  • 200㎡ → 300万

通过线性回归拟合后,得到模型y=2x+0y = 2x + 0y=2x+0(xxx为面积,yyy为价格),含义为:房屋面积每增加1㎡,价格增加2万,用这个模型就能预测任意面积的房屋价格,这就是线性回归的核心应用。

3. 为什么选择线性回归?

作为机器学习的入门算法,线性回归的优势非常突出,也是其被广泛应用的原因:

  1. 简单易懂:模型是基础的线性公式,结果易解释,无复杂的数学黑箱;
  2. 计算高效:回归系数的求解仅需简单的矩阵运算和微积分计算,训练速度快,适用于大规模数据集;
  3. 可解释性强:回归系数的大小和正负能直接反映特征对目标值的影响程度和方向(如正系数表示特征值越大,目标值越高),适合金融、医疗等需要因果分析的场景;
  4. 应用广泛:是很多复杂算法的基础,同时可直接解决实际中大量存在的线性关系预测问题(如销售额预测、气温预测、销量分析等)。

二、线性回归的理论基础

线性回归的核心理论是通过最小化误差平方和(SSE)求解最优回归系数,即找到能让模型预测值与实际值误差最小的β0\beta_0β0​和β1\beta_1β1​,本部分从单特征场景展开推导,多特征场景逻辑一致,适合本、研究生理解核心原理。

1. 假设模型与误差项

真实的数据分析中,数据点不可能完全落在一条直线上,因此需要引入误差项ϵ\epsilonϵ表示模型的预测误差,线性回归的假设模型为:
y=β0+β1x+ϵy = \beta_0 + \beta_1 x + \epsilony=β0​+β1​x+ϵ
其中ϵ∼N(0,σ2)\epsilon \sim N(0, \sigma^2)ϵ∼N(0,σ2),即误差项服从均值为0、方差为σ2\sigma^2σ2的高斯分布,这是线性回归的重要假设。

模型的预测值为去掉误差项的估计值:
y^=β0+β1x\hat{y} = \beta_0 + \beta_1 xy^​=β0​+β1​x

2. 损失函数:误差平方和(SSE)

为了衡量模型的拟合效果,我们定义损失函数为所有样本的预测值与实际值的误差平方和,平方的目的是消除误差的正负抵消,同时放大较大误差:
SSE=∑i=1n(yi−y^i)2=∑i=1n(yi−(β0+β1xi))2SSE = \sum_{i=1}^{n}\left(y_{i} - \hat{y}_{i}\right)^{2} = \sum_{i=1}^{n}\left(y_{i} - (\beta_0 + \beta_1 x_i)\right)^{2}SSE=i=1∑n​(yi​−y^​i​)2=i=1∑n​(yi​−(β0​+β1​xi​))2
其中:

  • nnn为样本总数;
  • yiy_iyi​为第iii个样本的实际值;
  • y^i\hat{y}_iy^​i​为第iii个样本的预测值;
  • 线性回归的目标:找到最优的β0\beta_0β0​和β1\beta_1β1​,使SSE最小。

3. 核心推导:求解最优回归系数

损失函数SSE是关于β0\beta_0β0​和β1\beta_1β1​的凸函数,存在唯一最小值,通过对β0\beta_0β0​和β1\beta_1β1​求偏导数并令导数为0,即可求解最优值(微积分中的极值求解)。

步骤1:对β0\beta_0β0​和β1\beta_1β1​求偏导并令其为0

∂SSE∂β0=−2∑i=1n(yi−(β0+β1xi))=0\frac{\partial SSE}{\partial \beta_0} = -2 \sum_{i=1}^{n}\left(y_{i} - (\beta_0 + \beta_1 x_i)\right) = 0∂β0​∂SSE​=−2i=1∑n​(yi​−(β0​+β1​xi​))=0
∂SSE∂β1=−2∑i=1nxi(yi−(β0+β1xi))=0\frac{\partial SSE}{\partial \beta_1} = -2 \sum_{i=1}^{n}x_i\left(y_{i} - (\beta_0 + \beta_1 x_i)\right) = 0∂β1​∂SSE​=−2i=1∑n​xi​(yi​−(β0​+β1​xi​))=0

步骤2:化简方程得到线性方程组

将偏导数方程两边同时除以-2,化简后得到:
β0n+β1∑i=1nxi=∑i=1nyi\beta_0 n + \beta_1 \sum_{i=1}^{n}x_i = \sum_{i=1}^{n}y_iβ0​n+β1​i=1∑n​xi​=i=1∑n​yi​
β0∑i=1nxi+β1∑i=1nxi2=∑i=1nxiyi\beta_0 \sum_{i=1}^{n}x_i + \beta_1 \sum_{i=1}^{n}x_i^2 = \sum_{i=1}^{n}x_i y_iβ0​i=1∑n​xi​+β1​i=1∑n​xi2​=i=1∑n​xi​yi​

步骤3:求解回归系数

解上述线性方程组,得到**最优斜率β1\beta_1β1​和最优截距β0\beta_0β0​**的计算公式:
β1=n∑i=1nxiyi−∑i=1nxi∑i=1nyin∑i=1nxi2−(∑i=1nxi)2\beta_1 = \frac{n \sum_{i=1}^{n}x_i y_i - \sum_{i=1}^{n}x_i \sum_{i=1}^{n}y_i}{n \sum_{i=1}^{n}x_i^2 - \left(\sum_{i=1}^{n}x_i\right)^2}β1​=n∑i=1n​xi2​−(∑i=1n​xi​)2n∑i=1n​xi​yi​−∑i=1n​xi​∑i=1n​yi​​
β0=yˉ−β1xˉ\beta_0 = \bar{y} - \beta_1 \bar{x}β0​=yˉ​−β1​xˉ
其中xˉ=1n∑i=1nxi\bar{x} = \frac{1}{n}\sum_{i=1}^{n}x_ixˉ=n1​∑i=1n​xi​、yˉ=1n∑i=1nyi\bar{y} = \frac{1}{n}\sum_{i=1}^{n}y_iyˉ​=n1​∑i=1n​yi​,分别为xxx和yyy的样本均值。

简化版斜率公式

β1\beta_1β1​也可表示为样本协方差与样本方差的比值,更易理解:
β1=∑i=1n(xi−xˉ)(yi−yˉ)∑i=1n(xi−xˉ)2\beta_1 = \frac{\sum_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=1}^{n}(x_i - \bar{x})^2}β1​=∑i=1n​(xi​−xˉ)2∑i=1n​(xi​−xˉ)(yi​−yˉ​)​
分子为xxx和yyy的样本协方差(反映两者的线性相关程度),分母为xxx的样本方差。

4. 模型评估指标

找到最优回归系数后,需要通过评估指标判断模型的拟合效果,线性回归的核心评估指标有两个:均方误差(MSE)和决定系数R2R^2R2。

(1)均方误差(MSE)

误差平方和的平均值,值越小表示模型拟合效果越好:
MSE=1n∑i=1n(yi−y^i)2MSE = \frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2MSE=n1​i=1∑n​(yi​−y^​i​)2

(2)决定系数R2R^2R2

表示模型能解释的目标值变异占总变异的比例,是线性回归最核心的评估指标,值越接近1表示模型拟合效果越好,取值范围为(−∞,1](-\infty, 1](−∞,1]:
R2=1−∑i=1n(yi−y^i)2∑i=1n(yi−yˉ)2R^2 = 1 - \frac{\sum_{i=1}^{n}(y_i - \hat{y}_i)^2}{\sum_{i=1}^{n}(y_i - \bar{y})^2}R2=1−∑i=1n​(yi​−yˉ​)2∑i=1n​(yi​−y^​i​)2​
其中:

  • 分子:残差平方和(模型无法解释的变异);
  • 分母:总平方和(目标值的总变异)。

R2R^2R2的含义:

  • R2=1R^2=1R2=1:模型完美拟合所有数据点,预测值与实际值完全一致;
  • R2=0R^2=0R2=0:模型的预测效果等价于直接用目标值的均值预测,无实际意义;
  • R2<0R^2<0R2<0:模型拟合效果极差,不如直接用均值预测。

三、线性回归的标准算法流程

线性回归的算法流程固定,从数据准备到模型评估步骤清晰,本、研究生可按此流程手动实现单特征线性回归,多特征场景可通过矩阵运算拓展,流程如下:

  1. 收集数据:获取包含自变量xxx和因变量yyy的样本数据,样本数为nnn;
  2. 计算样本均值:求解xˉ=1n∑i=1nxi\bar{x} = \frac{1}{n}\sum_{i=1}^{n}x_ixˉ=n1​∑i=1n​xi​,yˉ=1n∑i=1nyi\bar{y} = \frac{1}{n}\sum_{i=1}^{n}y_iyˉ​=n1​∑i=1n​yi​;
  3. 求解回归系数:
    • 计算斜率:β1=∑i=1n(xi−xˉ)(yi−yˉ)∑i=1n(xi−xˉ)2\beta_1 = \frac{\sum_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=1}^{n}(x_i - \bar{x})^2}β1​=∑i=1n​(xi​−xˉ)2∑i=1n​(xi​−xˉ)(yi​−yˉ​)​;
    • 计算截距:β0=yˉ−β1xˉ\beta_0 = \bar{y} - \beta_1 \bar{x}β0​=yˉ​−β1​xˉ;
  4. 构建回归模型:得到线性回归方程y^=β0+β1x\hat{y} = \beta_0 + \beta_1 xy^​=β0​+β1​x;
  5. 模型预测:将新的特征值x∗x^*x∗代入模型,得到预测值y^∗\hat{y}^*y^​∗;
  6. 模型评估:计算MSE和R2R^2R2,判断模型的拟合效果。

四、线性回归实战案例:加州房价预测

以加利福尼亚房价数据集为实战对象,用Python+Scikit-learn实现多元线性回归的全流程,包括数据加载、模型构建、可视化、评估、优化,代码可直接运行,适合本、研究生动手实践,理解理论如何落地到实际场景。

1. 数据集介绍

加州房价数据集是机器学习回归任务的经典数据集,基于1990年加州人口普查数据构建,适合作为线性回归的实战数据:

  • 样本数量:20640条;
  • 特征数量:8个连续型特征(MedInc、HouseAge、AveRooms等);
  • 目标变量:MedHouseVal(街区房价中位数,单位:美元)。

2. 实战完整代码(含详细注释)

# 导入所需库
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
# 导入数据集、模型、评估指标、数据处理工具
from sklearn.datasets import fetch_california_housing
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score
from sklearn.preprocessing import StandardScaler
from sklearn.feature_selection import SelectKBest, f_regression

# ===================== 步骤1:加载并探索数据集 =====================
# 加载加州房价数据集
california = fetch_california_housing()
# 转换为DataFrame,方便数据处理和查看
data = pd.DataFrame(california.data, columns=california.feature_names)
data['MedHouseVal'] = california.target  # 添加目标变量(房价中位数)
# 查看数据前5行和基本信息
print("数据集前5行:\n", data.head())
print("数据集形状(样本数×特征数):", data.shape)
print("数据集特征:", california.feature_names)

# ===================== 步骤2:构建基础线性回归模型 =====================
# 分离特征(X)和目标变量(y)
X = data.drop('MedHouseVal', axis=1)
y = data['MedHouseVal']

# 划分训练集(80%)和测试集(20%),random_state保证结果可复现
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)

# 初始化并训练线性回归模型
lr_model = LinearRegression()
lr_model.fit(X_train, y_train)  # 训练仅在训练集上进行,避免数据泄露

# 对训练集和测试集进行预测
y_train_pred = lr_model.predict(X_train)
y_test_pred = lr_model.predict(X_test)

# ===================== 步骤3:模型结果可视化 =====================
# 可视化1:真实值 vs 预测值(训练集+测试集)
plt.figure(figsize=(10, 6))
plt.scatter(y_train, y_train_pred, color='deepskyblue', alpha=0.7, label='训练集')
plt.scatter(y_test, y_test_pred, color='orange', alpha=0.7, label='测试集')
# 红色虚线:完美拟合线(真实值=预测值)
plt.plot([y.min(), y.max()], [y.min(), y.max()], 'r--', lw=2)
plt.xlabel('真实房价', fontsize=14)
plt.ylabel('预测房价', fontsize=14)
plt.title('线性回归:真实值 vs 预测值', fontsize=16)
plt.legend(fontsize=12)
plt.tight_layout()
plt.show()

# 可视化2:残差分布(残差=真实值-预测值,理想为均值0的正态分布)
residuals_train = y_train - y_train_pred
residuals_test = y_test - y_test_pred
plt.figure(figsize=(10, 6))
sns.histplot(residuals_train, bins=50, kde=True, color='deepskyblue', label='训练集残差')
sns.histplot(residuals_test, bins=50, kde=True, color='orange', label='测试集残差')
plt.xlabel('残差', fontsize=14)
plt.ylabel('频次', fontsize=14)
plt.title('线性回归:残差分布', fontsize=16)
plt.legend(fontsize=12)
plt.tight_layout()
plt.show()

# ===================== 步骤4:基础模型性能评估 =====================
# 计算训练集和测试集的MSE和R2
mse_train = mean_squared_error(y_train, y_train_pred)
r2_train = r2_score(y_train, y_train_pred)
mse_test = mean_squared_error(y_test, y_test_pred)
r2_test = r2_score(y_test, y_test_pred)

# 输出评估结果
print("========== 基础线性回归模型性能 ==========")
print(f"训练集MSE:{mse_train:.4f},训练集R2:{r2_train:.4f}")
print(f"测试集MSE:{mse_test:.4f},测试集R2:{r2_test:.4f}")

# ===================== 步骤5:模型优化(特征选择+标准化) =====================
# 1. 特征选择:用SelectKBest选择6个与目标变量相关性最高的特征
selector = SelectKBest(f_regression, k=6)
X_selected = selector.fit_transform(X, y)

# 2. 重新划分训练集和测试集
X_train_new, X_test_new, y_train_new, y_test_new = train_test_split(
    X_selected, y, test_size=0.2, random_state=42
)

# 3. 特征标准化:消除量纲影响,提升模型稳定性
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train_new)
X_test_scaled = scaler.transform(X_test_new)

# 4. 训练优化后的线性回归模型
lr_model_opt = LinearRegression()
lr_model_opt.fit(X_train_scaled, y_train_new)

# 5. 优化模型的预测与评估
y_train_pred_opt = lr_model_opt.predict(X_train_scaled)
y_test_pred_opt = lr_model_opt.predict(X_test_scaled)
mse_train_opt = mean_squared_error(y_train_new, y_train_pred_opt)
r2_train_opt = r2_score(y_train_new, y_train_pred_opt)
mse_test_opt = mean_squared_error(y_test_new, y_test_pred_opt)
r2_test_opt = r2_score(y_test_new, y_test_pred_opt)

# 输出优化后的模型性能
print("\n========== 优化后线性回归模型性能 ==========")
print(f"训练集MSE:{mse_train_opt:.4f},训练集R2:{r2_train_opt:.4f}")
print(f"测试集MSE:{mse_test_opt:.4f},测试集R2:{r2_test_opt:.4f}")

3. 实战关键注意点

  1. 训练集/测试集划分:必须将数据划分为训练集和测试集,模型训练仅在训练集进行,测试集用于评估模型的泛化能力,避免模型过拟合;
  2. 特征标准化:多元线性回归中,各特征的量纲差异较大(如人口数是万级,房龄是十级),标准化能消除量纲影响,提升模型稳定性;
  3. 特征选择:剔除与目标变量相关性低的冗余特征,减少计算量,同时缓解多重共线性问题;
  4. 残差分析:理想的残差应服从均值为0的正态分布,若残差分布异常,说明模型未捕捉到数据的潜在规律(如非线性关系);
  5. 过拟合判断:若训练集R2R^2R2远高于测试集R2R^2R2,说明模型过拟合,需通过特征选择、正则化等方式优化。

五、线性回归的优缺点

线性回归作为基础算法,有不可替代的优势,但也存在明显的局限性,本、研究生在实战中需结合数据特点和任务需求判断是否适用。

优点

  1. 简单易懂,可解释性极强:模型是线性公式,回归系数能直接反映特征对目标值的影响程度和方向,适合需要因果分析的场景;
  2. 计算效率高:回归系数的求解为闭式解(有明确公式),训练速度快,适用于大规模数据集的快速建模;
  3. 实现简单,易拓展:代码实现难度低,是Lasso、Ridge、ElasticNet等正则化回归算法的基础;
  4. 结果稳定:在数据满足线性假设的前提下,模型的预测结果稳定,受训练数据微小变化的影响小。

缺点

  1. 对数据假设严格:核心假设为自变量与因变量之间存在线性关系,实际场景中多数数据为非线性关系,此时模型拟合效果极差;
  2. 对异常值高度敏感:线性回归通过最小化误差平方和求解系数,异常值会放大误差,导致回归系数严重偏离真实值;
  3. 存在多重共线性问题:当自变量之间高度相关时,回归系数的估计值会变得不稳定,模型的解释性和预测性都会下降;
  4. 对特征工程要求高:需要手动进行特征选择、标准化、异常值处理等预处理,否则模型性能会大幅下降;
  5. 无法处理非线性关系:对于非线性数据,若不进行特征变换(如多项式变换),线性回归无法捕捉数据的潜在规律。

六、线性回归与同类回归算法的对比

线性回归仅适用于线性关系的数据,实际场景中更多数据存在非线性关系,因此需要结合其他回归算法。以下将线性回归与多项式回归、决策树回归、随机森林回归等同类算法对比,清晰展示各算法的适用场景,方便本、研究生实战选型。

算法适用场景核心优点核心缺点
线性回归数据存在明显线性关系、需高可解释性、大规模数据计算高效、可解释性极强、实现简单、结果稳定无法处理非线性关系、对异常值敏感、存在多重共线性
多项式回归数据存在简单非线性关系(如二次/三次关系)基于线性回归拓展、能拟合简单非线性、易实现高次多项式易过拟合、仅能处理简单非线性
决策树回归数据有明显分段特征、非线性且不连续的关系对异常值不敏感、无需特征标准化、可解释性较强易过拟合、预测结果不连续、对训练数据敏感
随机森林回归数据关系复杂、非线性明显、存在异常值抗过拟合、鲁棒性强、处理非线性能力优秀计算量大、模型可解释性差、需调参
支持向量机回归(SVR)高维特征数据、线性不可分数据、非线性回归泛化能力强、适用于高维数据、支持核方法拟合非线性参数选择复杂、计算成本高、可解释性差
梯度提升回归(GBR)高精度预测任务(如比赛、工业级预测)预测精度极高、能拟合复杂非线性关系训练时间长、超参数调优复杂、易过拟合

七、线性回归的适用场景与选型建议

线性回归并非万能算法,实战中需结合数据特点、任务需求、评估指标选择合适的算法,以下是明确的适用场景和优选其他算法的情况,本、研究生可直接参考:

适合使用线性回归的场景

  1. 数据存在明显的线性关系:通过散点图、相关系数分析,验证自变量与因变量之间为线性相关;
  2. 对模型的可解释性要求高:如金融风控、医疗分析、经济研究等场景,需要明确分析“哪个特征对结果有什么影响”;
  3. 大规模数据集的快速建模:需要快速得到一个基准模型,与其他复杂算法做效果对比;
  4. 作为正则化回归的基础:当数据存在多重共线性/需要特征选择时,基于线性回归拓展为Ridge/Lasso/ElasticNet回归。

优选其他算法的场景

  1. 数据存在非线性关系:
    • 简单非线性(如二次关系)→ 选多项式回归;
    • 复杂非线性 → 选随机森林回归、梯度提升回归;
    • 高维非线性 → 选SVR(支持向量机回归)。
  2. 数据中存在大量异常值:选决策树回归、随机森林回归(对异常值鲁棒);
  3. 特征之间存在严重多重共线性:选Ridge回归(L2正则化)、ElasticNet回归;
  4. 需要自动特征选择:选Lasso回归(L1正则化)、ElasticNet回归;
  5. 对预测精度要求极高:选梯度提升回归、XGBoost/LightGBM回归(工业级高精度算法)。

八、总结

线性回归是机器学习回归算法的入门基石,核心是通过最小化误差平方和求解最优回归系数,找到贴合数据的线性方程,实现对数值型目标值的预测。其最大的优势是简单易懂、可解释性极强、计算高效,这也是其在金融、医疗、经济等领域被广泛应用的原因。

同时,线性回归的局限性也很突出:仅适用于线性数据、对异常值敏感、存在多重共线性问题,因此在实际场景中,纯线性回归的应用较少,更多是作为正则化回归算法 (Ridge、Lasso、ElasticNet)的基础。

对于本、研究生来说,学习线性回归的核心不仅是掌握公式推导和代码实现,更要理解以下几点:

  1. 机器学习的核心思想:通过最小化损失函数求解最优模型参数;
  2. 模型评估的基本逻辑:用MSE、R2R^2R2等指标判断模型的拟合效果和泛化能力;
  3. 数据预处理的重要性:特征选择、标准化、异常值处理是提升模型性能的关键;
  4. 算法选型的基本原则:结合数据特点和任务需求选择算法,而非盲目使用复杂算法。

线性回归的学习是后续所有回归算法的基础,理解其核心原理,才能更好地学习Ridge、Lasso、树模型等更复杂的算法,为后续的机器学习学习打下坚实的基础。

机器学习方法:回归(一):线性回归Linear regression 欢迎转载,转载请注明:本文出自Bin的专栏blog.youkuaiyun.com/xbinworld。 开一个机器学习方法科普系列:做基础回顾之用,学而时习之;也拿出来与大家分享。数学水平有限,只求易懂,学习与工作够用。周期会比较长,因为我还想写一些其他的,呵呵。 content: linear regression, Ridge, Lasso Logistic Regression... 阅读详情

相关推荐

【机器学习】线性回归(详解)

在统计学和机器学习领域,回归分析是一种重要的方法,用于分析一个或多个自变量(解释变量)与因变量(响应变量)之间的关系。通过建立数学模型,回归分析不仅能预测事件的结果,还能揭示不同变量间的相互影响。比如,在教育领域,通过分析学习平台的交互性、教学资源质量和课程设计对学习满意度的影响,教育机构能够优化其课程和服务,提高学习效果。

高丽大学人工智能硕士在读|专注大模型、RAG、OCR与AI工程实践 3595

机器学习——线性回归

线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。特点:只有一个自变量的情况称为单变量回归,多于一个自变量情况的叫做多元回归线性回归用矩阵表示举例那么怎么理解呢?我们来看几个例子期末成绩:0.7×考试成绩+0.3×平时成绩房子价格 = 0.02×中心区域的距离 + 0.04×城市一氧化氮浓度 + (-0.12×自住房平均房价) + 0.254×城镇犯罪率上面两个例子,

yXuan_ai的博客 1万+

机器学习经典算法详解及Python实现--线性回归(Linear Regression)算法

回归是统计学中最有力的工具之一。回归算法用于连续型分布预测,针对的是数值型的样本,使用回归,可以在给定输入的时候预测出一个数值,这是对分类方法的提升,因为这样可以预测连续型数据而不仅仅是离散的类别标签。回归的目的就是建立一个回归方程用来预测目标值,回归的求解就是求这个回归方程的回归系数。预测的方法当然十分简单,回归系数乘以输入值再全部相加就得到了预测值。说到回归,常常指的也就是线性回归,因此本文阐述的就是多元线性回归方程的求解和应用,通过Python实现。

Adan 6万+

线性回归详解

线性回归学习思路 一.定义 回归是监督学习的一个重要问题,回归用于预测输入变量和输出变量之间的关系,特别是当输入变量的值发生变化时,输出变量的值也随之发生变化。回归模型正是表示从输入变量到输出变量之间映射的函数 回归的目的是预测数组型的目标值。 线性回归:根据已知的数据集,通过梯度下降的方法来训练线性回归模型的参数w,从而用线性回归模型...

笼中鸟 1万+

详解线性回归算法

详解线性回归算法

FuncPlotCalc 610

C/C++ 线性回归算法详解及源码

线性回归是一种常用的预测和建模算法,用于建立自变量(特征)和因变量之间的线性关系模型。拟合直线:使用线性方程 y = mx + b 来拟合数据,其中m是斜率,b是截距。线性回归算法的目标是找到最佳的m和b,使得拟合直线与数据点的误差最小。损失函数:常用的损失函数是均方误差(MSE),它是实际值与预测值之间差异的平方的平均值。数据准备:从数据集中选择自变量和因变量的数据,并进行预处理,例如去除异常值、缺失值处理和归一化处理。参数估计:使用最小二乘法来估计参数m和b的值,最小化损失函数。

希望我的博客,能帮上你解决学习中工作中所遇到的问题 8135

线性回归(Linear regression)算法详解

线性回归是一种通过回归方程建模自变量与因变量线性关系的分析方法。一元线性回归表达式为y=kx+b,多元线性回归为y=w₁x₁+w₂x₂+...+wₙxₙ+b。通过最小化均方误差(MSE)可以找到最佳参数。以房屋面积预测价格为例,当k=2、b=0时,回归曲线完全拟合样本数据(MSE=0)。测试新数据(75,145)时,预测值150与真实值145的误差(MSE=25)揭示了模型的泛化能力。该示例展示了线性回归的基本原理和训练-测试流程,为机器学习模型优化奠定了基础。

Springfield3006的博客 1973

科研笔记:怎样写好博士论文?

博士论文外审避坑指南与写作要点 博士论文外审的核心关注点呈现5级优先级:科研成果(硬指标)>创新性>逻辑结构与场景合理性>文献综述与规范性>工作量验证。外审专家会重点核查:1)成果清单是否达标;2)创新点是否真实明确;3)章节逻辑是否自洽、应用场景是否细化;4)文献综述是否构建"研究坐标系";5)实验/理论支撑是否充分。需特别注意三大雷区:科学错误(直接挂稿)、伪创新、场景不合理。写作时应强化选题依据的场景细化,通过"发展阶段+跨领域对比"提升文献综述质量。

Grow into a more wonderful you 1067

线性回归算法详解

线性回归算法详解 本节我们会认识第一个机器学习算法 —— 线性回归算法(Linear Regression),它是机器学习算法中较为简单,且容易理解的算法模型,你可以把它看做您的第一个“Hello World”程序。 我们先从语义上了解“线性回归”,如果您是第一次接触“线性回归”这个词,那么可以把它分开来看,其中“性代”表线性模型,而“回归”则表示回归问题,也就是用线性模型来解决回归问题。看完上述解释,您脑子中可能仍有许多“问号”,线性还可以理解,比如我们所熟知的直线、曲线、线性方程等,那么“回归”又代表什

ccc369639963的博客 4582

Cadence导入tsmcN65GP PDK的完整流程与常见问题解析

本文详细介绍了Cadence导入tsmcN65GP PDK的完整流程,包括文件解压、目录结构解析、安装脚本运行及Cadence集成配置。重点解析了常见问题如文件路径错误、权限问题和工艺库显示不全的解决方案,并提供了实战技巧与优化建议,帮助用户高效完成PDK安装与配置。

weixin_29215391的博客 548

x265探索与研究(四):如何编码视频?

如何编码视频?           本文介绍x265中的两种编码视频方法,一是采用命令行的方法;二是GUI的方式。   1、命令行的方法   (1)、第一种方式生成*.265格式的视频文件           第一种方式可以生成*.265格式的视频文件,对应的命令为: x265 --input-res 352x288 --fps 30 hall_cif_352x288_300.y

成长Bar的博客专栏 3938

Python线性回归算法:面向对象的实现与案例详解

yθ0θ1x1θ2x2⋯θnxnyθ0​θ1​x1​θ2​x2​⋯θn​xn​yyy是目标变量(因变量)。x1x2xnx1​x2​xn​是自变量。θ0θ1θnθ0​θ1​θn​是回归系数,需要通过训练数据学习得到。本文详细介绍了线性回归算法的基本原理,并基于面向对象的思想实现了线性回归模型。通过一元和多元线性回归的实际案例,展示了如何应用该算法解决现实问题。

闲人编程的博客 1834

深入了解BPM及BPM业务流程管理系统

BPM 即业务流程管理,是一种以规范化的构造端到端的卓越业务流程为中心,以持续地提高组织业务绩效为目的的系统化方法。它涵盖了业务流程的整个生命周期,包括流程的设计、执行、监控、分析和优化。BPM 作为一种先进的管理方法,对于企业提高运营效率、降低成本、提升客户满意度和增强竞争力具有重要意义。BPM 流程管理系统为企业实现 BPM 提供了强大的工具和支持,而 F2BPM 流程管理平台以其先进的技术架构、丰富的功能模块、简单易用的操作界面和强大的定制能力,成为企业实现业务流程管理的理想选择。

Stone3625的博客 2954

回归模型算法——线性回归 详解

线性回归作为回归分析中的基础模型,通过最小化均方误差来拟合数据,其实现方法包括最小二乘法和梯度下降。线性回归简单易懂,适合小规模数据集,但在特征间存在多重共线性或需要处理非线性关系时需要使用其他变体,如岭回归、Lasso 回归等。...&plus;

goTsHgo的博客 7525

LightTools中VBA宏的编写入门

LightTools和VBA联动

bestgamer的博客 2349

[Dify] 如何构建一个带评分功能的 Dify AI 教练系统

本文介绍如何利用Dify开源平台构建具备自动评分功能的AI教练系统。系统通过Prompt设计AI教练角色,使用OpenAPI定义评分工具接口,结合工作流编排实现提问、回答收集、评分和反馈的全流程。文章详细讲解了从AI教练身份设定、多维度评分标准设计到前端可视化展示的实现方法,并提供了可扩展建议,适用于语言训练、面试模拟等多种场景。该系统展示了Dify平台在构建智能化评估应用方面的优势,实现零代码开发专业AI教练解决方案。

技术小甜甜:传播可落地技术,帮助个人和企业降低解决真实场景问题的成本 334

【python教程入门学习】线性回归算法详解

本节我们会认识第一个机器学习算法 —— 线性回归算法(Linear Regression),它是机器学习算法中较为简单,且容易理解的算法模型,你可以把它看做您的第一个“Hello World”程序。 我们先从语义上了解“线性回归”,如果您是第一次接触“线性回归”这个词,那么可以把它分开来看,其中“性代”表线性模型,而“回归”则表示回归问题,也就是用线性模型来解决回归问题。看完上述解释,您脑子中可能仍有许多“问号”,线性还可以理解,比如我们所熟知的直线、曲线、线性方程等,那么“回归”又代表什么呢? 其实“回归

zihong523的博客 4360

labelImg使用教程

Anaconda环境 安装 Anaconda 之后,在开始菜单下找到 Anaconda 文件夹 找到 Anaconda Prompt 点击运行 安装 labelImg pip install labelImg #直接命令行输入 启动 labelImg labelImg #直接命令行输入名称即可 labelImg界面 开始标注 快捷键:W(创建方框),A(上一张),D(下一张) XML文件示例 <annotation> <folder>夜读</folder>

G果的博客 3万+

机器学习算法详解:线性回归

摘要:线性回归是一种预测回归问题的有监督学习算法,通过最小化均方误差来求解最优参数w0和w1。文章以安斯库姆四重奏数据为例,说明可视化对评估线性回归适用性的重要性,并比较了一元回归、多元回归和多项式回归的特点。虽然多项式回归特征变量非线性,但因参数线性仍属线性回归范畴。最后指出非线性回归(如指数函数)与线性回归的本质区别在于参数与目标变量是否呈线性关系。

waxinics的博客 683

R语言实战应用精讲50篇(二)-多重线性回归系列之稳健回归

前言 线性回归的参数估计主要采用的是最小二乘法(又称最小平方法),该法是将使观测值与模型预测值之差的平方达到最小的值作为参数估计值。如果数据存在异常点或者异方差,最小二乘法估计会存在偏差,常用的处理策略就是改用稳健回归(Robust Regression)。 稳健回归就是采用更为稳健的参数估计方法来拟合模型,所谓稳健就是数据的波动对参数估计影响不大,比如不受异常值影响,或删除某一观测后对结果影响不大。稳健估计的方法有很多,主要有这么几类:最小绝对值回归(也称最小一乘法回归,lAV),最小中位数二乘法(L

wenyusuran的专栏 3161

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

线性回归算法和逻辑斯谛回归算法详细介绍及其原理详解

今天给大家带来的主要内容包括:线性回归、逻辑斯谛回归。废话不多说,下面就是本文的全部内容了!

IronmanJay 1762

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Task1 线性回归算法梳理

目录:Task1 线性回归算法梳理一、 机器学习的一些概念2.无监督:3.泛化能力:4.过拟合欠拟合(方差和偏差以及各自解决办法):5.交叉验证:二、线性回归的原理三、线性回归损失函数、代价函数、目标函数1.损失函数:2.代价函数:3.目标函数:三、优化方法(梯度下降法、牛顿法、拟牛顿法等)四、线性回归的评估指标五、sklearn参数详解 Task1 线性回归算法梳理 一、 机器学习的一些概念 *...

苏苏和柚子 244

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

上一篇: 第9章 深度学习的生成模型
下一篇: 第10章 模型独立的学习方式
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值