【回归算法】线性回归超详细讲解

机器学习之线性回归算法(超详细) 机器学习中的线性回归方程算法是一种基础的预测性建模技术,它研究的是因变量(目标变量)与自变量(特征变量)之间的关系。线性回归试图找到一条最佳的直线(在多维空间中可能是超平面),这条直线能够尽可能地拟合数据点,从而能够预测新的数据点的目标值。在接下来的内容中,我们将详细介绍线性回归方程算法的原理、实现步骤以及其在实践中的应用,并如何去优化对应的参数找到问题的最优解。通过对这些内容的了解,读者将能够掌握线性回归方程算法的基本知识和技能,为进一步学习和应用机器学习算法打下坚实的基础。 阅读详情

线性回归超详细讲解(附完整实战代码)

线性回归(Linear Regression)是机器学习中最基础、最核心的数值预测算法,也是回归问题的入门必修课。它通过建立特征与目标值之间的线性数学关系,实现对连续值的预测,原理简单、解释性强、计算高效,是本科生和研究生入门机器学习的首要掌握内容,也是后续学习复杂算法的基础。

本文将从通俗原理、核心数学推导、算法流程、完整实战、优缺点与算法对比五个维度展开,内容通俗易懂,公式做详细拆解,附带可直接运行的Python代码,适配本科课程学习和研究生入门实践。

一、什么是线性回归?(通俗理解)

线性回归的核心是找一条最贴合数据的直线,用直线公式描述特征和目标值的线性关系,从而实现对未知数据的预测。

举个最经典的房价预测例子:
房子的面积(x)是已知特征,价格(y)是要预测的目标值,收集多组面积和价格的对应数据后,线性回归会找到一条直线,让所有数据点尽可能贴近这条直线,最终得到一个类似 y=mx+by = mx + by=mx+b 的公式,其中:

  • yyy:预测值(如房价)
  • xxx:特征值(如房屋面积)
  • mmm:斜率,表示特征每增加1个单位,目标值的变化量(如面积每增加1㎡,房价涨2万元)
  • bbb:截距,表示特征值为0时的目标值(数学上的必要值,实际场景中可能无实际意义,如面积为0时房价为0)

简单来说,线性回归就是用「直线公式」拟合数据规律,用规律做预测。

单特征vs多特征线性回归

  • 一元线性回归:只有1个特征,对应二维平面的一条直线,公式为 y=β0+β1xy = \beta_0 + \beta_1xy=β0​+β1​x(β0\beta_0β0​为截距,β1\beta_1β1​为斜率);
  • 多元线性回归:有多个特征,对应高维空间的一个超平面,公式为 y=β0+β1x1+β2x2+...+βnxny = \beta_0 + \beta_1x_1 + \beta_2x_2 + ... + \beta_nx_ny=β0​+β1​x1​+β2​x2​+...+βn​xn​(x1,x2...xnx_1,x_2...x_nx1​,x2​...xn​为多个特征,β1,β2...βn\beta_1,\beta_2...\beta_nβ1​,β2​...βn​为各特征的系数)。

实战中多元线性回归更常用(如房价受面积、地段、楼层等多个特征影响),但核心原理和一元线性回归一致。

二、为什么要用线性回归?

作为机器学习的入门算法,线性回归的优势非常突出,也是它被广泛应用的原因:

  1. 简单易懂:核心是直线/超平面拟合,公式直观,零基础也能快速理解,结果易解释;
  2. 计算高效:模型参数求解仅需简单的数学计算,训练速度极快,适配大规模数据集;
  3. 可解释性强:通过特征系数能直接看出每个特征对目标值的影响大小和方向(正系数为正相关,负系数为负相关),适合金融、医疗等需要因果分析的场景;
  4. 基础通用性:是岭回归、Lasso回归、多项式回归等进阶算法的基础,掌握线性回归能快速上手其他回归算法;
  5. 应用广泛:适用于各种线性关系的预测场景,如房价预测、销售额预估、温度变化预测、股票趋势初步分析等。

三、线性回归的核心理论与数学推导

线性回归的数学核心是最小化误差平方和(SSE),找到能让预测值和真实值误差最小的模型参数(截距β0\beta_0β0​和斜率/系数β1,β2...\beta_1,\beta_2...β1​,β2​...)。以下从一元线性回归展开推导,多元线性回归是其直接延伸,原理完全一致。

3.1 假设模型

首先假设特征xxx和目标值yyy之间存在线性关系,引入误差项ϵ\epsilonϵ(表示真实值与模型预测值的偏差,由随机因素、未考虑的特征等导致),得到线性回归的基本假设模型:
y=β0+β1x+ϵy = \beta_0 + \beta_1x + \epsilony=β0​+β1​x+ϵ

  • β0\beta_0β0​:截距(模型参数)
  • β1\beta_1β1​:斜率(模型参数)
  • ϵ\epsilonϵ:误差项,满足均值为0、方差恒定的正态分布

模型的预测值为去掉误差项的估计值:
y^=β0+β1x\hat{y} = \beta_0 + \beta_1xy^​=β0​+β1​x

3.2 损失函数:误差平方和(SSE)

为了衡量模型的拟合效果,我们定义损失函数来表示所有样本的预测误差总和,线性回归中最常用的是误差平方和(SSE),即所有样本真实值yiy_iyi​与预测值y^i\hat{y}_iy^​i​的差的平方和:
SSE=∑i=1n(yi−y^i)2=∑i=1n(yi−(β0+β1xi))2SSE = \sum_{i=1}^{n}\left(y_{i} - \hat{y}_{i}\right)^{2} = \sum_{i=1}^{n}\left(y_{i} - (\beta_0 + \beta_1x_i)\right)^{2}SSE=i=1∑n​(yi​−y^​i​)2=i=1∑n​(yi​−(β0​+β1​xi​))2

  • nnn:样本数量
  • yiy_iyi​:第iii个样本的真实值
  • xix_ixi​:第iii个样本的特征值

为什么用平方和?

  1. 消除误差的正负号(正误差和负误差不会相互抵消);
  2. 放大较大误差的影响,让模型更关注偏差大的样本;
  3. 数学性质友好,可通过求导快速找到最小值(凸函数,只有一个全局最优解)。

3.3 最小化损失函数:求解模型参数

线性回归的目标是找到最优的β0\beta_0β0​和β1\beta_1β1​,让误差平方和(SSE)最小。

由于SSE是关于β0\beta_0β0​和β1\beta_1β1​的二次函数,我们可以通过对β0\beta_0β0​和β1\beta_1β1​求偏导数,并令偏导数为0,求解出使得SSE最小的参数值(极值点即为最小值点)。

步骤1:对β0\beta_0β0​和β1\beta_1β1​求偏导并令其为0

∂SSE∂β0=−2∑i=1n(yi−(β0+β1xi))=0\frac{\partial SSE}{\partial \beta_0} = -2 \sum_{i=1}^{n}\left(y_{i} - (\beta_0 + \beta_1x_i)\right) = 0∂β0​∂SSE​=−2i=1∑n​(yi​−(β0​+β1​xi​))=0
∂SSE∂β1=−2∑i=1nxi(yi−(β0+β1xi))=0\frac{\partial SSE}{\partial \beta_1} = -2 \sum_{i=1}^{n}x_i\left(y_{i} - (\beta_0 + \beta_1x_i)\right) = 0∂β1​∂SSE​=−2i=1∑n​xi​(yi​−(β0​+β1​xi​))=0

步骤2:化简方程,得到线性方程组

消去常数-2,展开后整理得到关于β0\beta_0β0​和β1\beta_1β1​的线性方程组:
β0⋅n+β1⋅∑i=1nxi=∑i=1nyi(1)\beta_0 \cdot n + \beta_1 \cdot \sum_{i=1}^{n}x_i = \sum_{i=1}^{n}y_i \tag{1}β0​⋅n+β1​⋅i=1∑n​xi​=i=1∑n​yi​(1)
β0⋅∑i=1nxi+β1⋅∑i=1nxi2=∑i=1nxiyi(2)\beta_0 \cdot \sum_{i=1}^{n}x_i + \beta_1 \cdot \sum_{i=1}^{n}x_i^2 = \sum_{i=1}^{n}x_iy_i \tag{2}β0​⋅i=1∑n​xi​+β1​⋅i=1∑n​xi2​=i=1∑n​xi​yi​(2)

步骤3:求解斜率β1\beta_1β1​

通过解线性方程组,先求出斜率β1\beta_1β1​的计算公式:
β1=n∑i=1nxiyi−∑i=1nxi∑i=1nyin∑i=1nxi2−(∑i=1nxi)2\beta_1 = \frac{n \sum_{i=1}^{n}x_iy_i - \sum_{i=1}^{n}x_i \sum_{i=1}^{n}y_i}{n \sum_{i=1}^{n}x_i^2 - \left(\sum_{i=1}^{n}x_i\right)^2}β1​=n∑i=1n​xi2​−(∑i=1n​xi​)2n∑i=1n​xi​yi​−∑i=1n​xi​∑i=1n​yi​​

为了更易理解和计算,β1\beta_1β1​也可以表示为特征与目标值的协方差除以特征的方差,形式更简洁:
β1=∑i=1n(xi−xˉ)(yi−yˉ)∑i=1n(xi−xˉ)2\beta_1 = \frac{\sum_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=1}^{n}(x_i - \bar{x})^2}β1​=∑i=1n​(xi​−xˉ)2∑i=1n​(xi​−xˉ)(yi​−yˉ​)​
其中xˉ=1n∑i=1nxi\bar{x} = \frac{1}{n}\sum_{i=1}^{n}x_ixˉ=n1​∑i=1n​xi​,yˉ=1n∑i=1nyi\bar{y} = \frac{1}{n}\sum_{i=1}^{n}y_iyˉ​=n1​∑i=1n​yi​,分别为特征xxx和目标值yyy的均值。

步骤4:求解截距β0\beta_0β0​

将β1\beta_1β1​代入方程(1),化简后得到截距β0\beta_0β0​的计算公式:
β0=yˉ−β1⋅xˉ\beta_0 = \bar{y} - \beta_1 \cdot \bar{x}β0​=yˉ​−β1​⋅xˉ

3.4 多元线性回归的参数求解

对于有kkk个特征的多元线性回归,模型公式为:
y^=β0+β1x1+β2x2+...+βkxk\hat{y} = \beta_0 + \beta_1x_1 + \beta_2x_2 + ... + \beta_kx_ky^​=β0​+β1​x1​+β2​x2​+...+βk​xk​

其参数求解可通过矩阵运算实现,公式为:
β^=(XTX)−1XTy\hat{\beta} = (X^TX)^{-1}X^Tyβ^​=(XTX)−1XTy

  • XXX:特征矩阵(nnn行k+1k+1k+1列,第一列为全1,对应截距β0\beta_0β0​)
  • yyy:目标值向量(nnn行1列)
  • β^\hat{\beta}β^​:参数向量(β0,β1...βk\beta_0,\beta_1...\beta_kβ0​,β1​...βk​,k+1k+1k+1行1列)
  • (XTX)−1(X^TX)^{-1}(XTX)−1:矩阵XTXX^TXXTX的逆矩阵

sklearn中的线性回归模型就是通过矩阵运算实现的,无需手动计算,了解原理即可。

四、线性回归的完整算法流程

线性回归的训练流程非常清晰,从数据准备到模型评估,共6个核心步骤,单特征和多特征均适用:

  1. 收集数据:获取包含特征xxx(单/多个)和目标值yyy的样本数据;
  2. 计算均值:计算特征的均值xˉ\bar{x}xˉ和目标值的均值yˉ\bar{y}yˉ​(多元则计算每个特征的均值);
  3. 求解参数:根据公式计算斜率/系数β1\beta_1β1​(多元则β1,β2...\beta_1,\beta_2...β1​,β2​...)和截距β0\beta_0β0​;
  4. 构建模型:得到线性回归方程y^=β0+β1x\hat{y} = \beta_0 + \beta_1xy^​=β0​+β1​x(多元则扩展特征项);
  5. 模型预测:将新样本的特征值代入方程,得到预测值y^\hat{y}y^​;
  6. 模型评估:通过均方误差(MSE)、决定系数(R2R^2R2)等指标判断模型拟合效果。

核心评估指标

1. 均方误差(MSE)

表示预测值与真实值的平均平方误差,值越小,模型拟合效果越好:
MSE=1n∑i=1n(yi−y^i)2MSE = \frac{1}{n} \sum_{i=1}^{n}(y_i - \hat{y}_i)^2MSE=n1​i=1∑n​(yi​−y^​i​)2

2. 决定系数(R2R^2R2)

表示模型能解释的目标值变异的比例,取值范围为(−∞,1](-\infty,1](−∞,1],越接近1,模型拟合效果越好:
R2=1−∑i=1n(yi−y^i)2∑i=1n(yi−yˉ)2R^2 = 1 - \frac{\sum_{i=1}^{n}(y_i - \hat{y}_i)^2}{\sum_{i=1}^{n}(y_i - \bar{y})^2}R2=1−∑i=1n​(yi​−yˉ​)2∑i=1n​(yi​−y^​i​)2​

  • 分子:模型的预测误差平方和(SSE);
  • 分母:目标值的总变异平方和(总误差);
  • 物理意义:R2=0.8R^2=0.8R2=0.8表示模型能解释80%的目标值变化,剩余20%由随机因素或未考虑的特征导致。

理想情况:R2=1R^2=1R2=1,表示预测值完全等于真实值;R2=0R^2=0R2=0,表示模型预测效果和直接取目标值均值一样。

五、线性回归完整实战(Python+加州房价数据集)

本次实战使用加州房价数据集(sklearn内置公开数据集),实现多元线性回归的全流程,包括数据加载→模型训练→可视化→评估→优化,使用sklearn的LinearRegression实现,代码可直接复制运行,注释详细,适配Python3.7+、sklearn1.0+。

5.1 实战目标

通过房屋的平均收入、房间数、房屋年龄、经纬度等8个特征,预测房屋的中位数价格,掌握线性回归的实战应用、模型评估和优化方法。

5.2 完整代码与步骤解释

步骤1:导入所需库
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
# 数据划分
from sklearn.model_selection import train_test_split
# 线性回归模型
from sklearn.linear_model import LinearRegression
# 模型评估指标
from sklearn.metrics import mean_squared_error, r2_score
# 加载数据集
from sklearn.datasets import fetch_california_housing
# 数据预处理:标准化、特征选择
from sklearn.preprocessing import StandardScaler
from sklearn.feature_selection import SelectKBest, f_regression

# 解决中文显示问题
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
步骤2:加载并查看数据集

数据集无缺失值,直接添加目标值列,查看数据基本信息:

# 加载加州房价数据集
california = fetch_california_housing()
# 转换为DataFrame,添加特征名
data = pd.DataFrame(california.data, columns=california.feature_names)
# 添加目标值:房屋中位数价格(单位:10万美元)
data['MedHouseVal'] = california.target

# 查看数据集前5行和基本信息
print("数据集前5行:")
print(data.head())
print("\n数据集基本信息:")
print(data.info())
print(f"\n数据集形状(样本数×特征数):{data.shape}")
步骤3:构建多元线性回归模型

拆分训练集(80%)和测试集(20%),训练线性回归模型并进行预测:

# 分离特征矩阵X和目标值向量y
X = data.drop('MedHouseVal', axis=1)
y = data['MedHouseVal']

# 拆分训练集和测试集,random_state=42保证结果可复现
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)
print(f"训练集样本数:{X_train.shape[0]},测试集样本数:{X_test.shape[0]}")

# 初始化并训练线性回归模型
model = LinearRegression()
model.fit(X_train, y_train)

# 对训练集和测试集进行预测
y_train_pred = model.predict(X_train)
y_test_pred = model.predict(X_test)

# 打印模型参数:截距和各特征系数
print(f"\n模型截距(β0):{model.intercept_:.4f}")
print("各特征系数(β1~β8):")
for feat, coef in zip(X.columns, model.coef_):
    print(f"{feat}: {coef:.4f}")

系数解读:系数为正表示该特征与房价正相关(如MedInc(平均收入)系数为正,收入越高房价越高),系数为负表示负相关(如Latitude(纬度)系数为负,纬度越高房价越低)。

步骤4:模型结果可视化

通过真实值vs预测值散点图和残差分布直方图,直观判断模型拟合效果:

# 可视化1:真实值 vs 预测值
plt.figure(figsize=(10, 5))
# 训练集(蓝色)、测试集(红色)
plt.scatter(y_train, y_train_pred, color='blue', alpha=0.6, label='训练集')
plt.scatter(y_test, y_test_pred, color='red', alpha=0.6, label='测试集')
# 理想预测线(预测值=真实值)
plt.plot([y.min(), y.max()], [y.min(), y.max()], '--black', linewidth=2)
plt.xlabel('真实房价(10万美元)')
plt.ylabel('预测房价(10万美元)')
plt.title('线性回归-真实值 vs 预测值')
plt.legend()
plt.show()

# 可视化2:残差分布(真实值-预测值)
plt.figure(figsize=(10, 5))
sns.histplot(y_train - y_train_pred, bins=50, kde=True, color='blue', label='训练集')
sns.histplot(y_test - y_test_pred, bins=50, kde=True, color='red', label='测试集')
plt.xlabel('残差(真实值-预测值)')
plt.ylabel('样本数量')
plt.title('线性回归-残差分布')
plt.legend()
plt.show()

可视化解读:

  1. 散点越贴近黑色理想线,模型预测效果越好;
  2. 残差分布接近均值为0的正态分布,说明模型的误差是随机的,拟合效果较好;若残差分布有明显偏态,说明模型未捕捉到数据的部分规律。
步骤5:模型性能评估

通过均方误差(MSE)和决定系数(R2R^2R2)量化评估模型在训练集和测试集上的表现:

# 评估训练集性能
mse_train = mean_squared_error(y_train, y_train_pred)
r2_train = r2_score(y_train, y_train_pred)
# 评估测试集性能
mse_test = mean_squared_error(y_test, y_test_pred)
r2_test = r2_score(y_test, y_test_pred)

# 打印评估结果
print("=== 基础模型性能评估 ===")
print(f"训练集 MSE:{mse_train:.4f},训练集 R²:{r2_train:.4f}")
print(f"测试集 MSE:{mse_test:.4f},测试集 R²:{r2_test:.4f}")

基础模型结果:测试集R2R^2R2约0.58,说明线性回归能解释58%的房价变化,由于房价与特征存在部分非线性关系,该结果符合预期。

步骤6:模型优化(特征选择+标准化)

线性回归对特征冗余、量纲差异敏感,通过特征选择(筛选重要特征)和标准化(统一特征量纲)优化模型,提升预测性能:

# 1. 特征选择:选择K个与目标值相关性最高的特征(此处K=6)
selector = SelectKBest(f_regression, k=6)
X_new = selector.fit_transform(X, y)
# 查看选中的特征
selected_feats = [X.columns[i] for i in selector.get_support(indices=True)]
print(f"\n选中的6个特征:{selected_feats}")

# 2. 重新划分训练集和测试集
X_train_new, X_test_new, y_train_new, y_test_new = train_test_split(
    X_new, y, test_size=0.2, random_state=42
)

# 3. 数据标准化:统一特征量纲,消除量纲差异的影响
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train_new)
X_test_scaled = scaler.transform(X_test_new)

# 4. 训练优化后的线性回归模型
model_new = LinearRegression()
model_new.fit(X_train_scaled, y_train_new)

# 5. 预测并评估优化后模型
y_train_pred_new = model_new.predict(X_train_scaled)
y_test_pred_new = model_new.predict(X_test_scaled)
mse_train_new = mean_squared_error(y_train_new, y_train_pred_new)
r2_train_new = r2_score(y_train_new, y_train_pred_new)
mse_test_new = mean_squared_error(y_test_new, y_test_pred_new)
r2_test_new = r2_score(y_test_new, y_test_pred_new)

# 打印优化后结果
print("\n=== 优化后模型性能评估 ===")
print(f"训练集 MSE:{mse_train_new:.4f},训练集 R²:{r2_train_new:.4f}")
print(f"测试集 MSE:{mse_test_new:.4f},测试集 R²:{r2_test_new:.4f}")

优化结果解读:优化后测试集R2R^2R2会小幅提升,MSE降低,说明特征选择和标准化能有效提升线性回归的预测性能。

六、线性回归的优缺点

线性回归作为基础算法,优势突出,但也存在明显的局限性,优缺点总结如下,适配本科/研究生课程考点和实战选型参考:

6.1 核心优点

  1. 简单易懂,易解释:模型是直观的线性公式,参数(系数)能直接反映特征对目标值的影响,适合需要模型解释性的场景(如金融风控、医疗诊断);
  2. 计算高效,训练速度快:参数求解仅需矩阵运算或简单的数学计算,无需迭代训练,适配大规模数据集的快速建模;
  3. 无超参数,无需调参:模型没有需要手动设置的超参数,开箱即用,降低了使用门槛;
  4. 可扩展性强:是岭回归、Lasso回归、弹性网络等正则化回归算法的基础,也可扩展为多项式回归处理简单非线性关系;
  5. 对小数据集友好:即使样本量较少,也能训练出稳定的模型,而复杂算法(如随机森林、GBDT)在小数据集上易过拟合。

6.2 核心缺点

  1. 严格的线性假设:假设特征与目标值之间存在线性关系,但实际场景中大多数数据是非线性的,此时线性回归拟合效果差;
  2. 对异常值极其敏感:异常值会极大地影响模型参数的求解(尤其是斜率),少量异常值就可能导致模型偏差严重,训练前需做异常值处理;
  3. 存在多重共线性问题:当特征之间存在强相关性(如身高和体重、面积和房间数)时,模型系数会变得不稳定,解释性降低,甚至出现系数符号异常;
  4. 对特征预处理要求高:需要做特征选择、标准化、缺失值补全、异常值处理等预处理,否则会严重影响模型性能;
  5. 无法捕捉复杂规律:只能拟合线性关系,对于特征之间的交互作用、非线性关系无法捕捉,此时需要使用决策树、随机森林等复杂算法。

七、线性回归与相似回归算法的对比

为了让大家在实战中精准选算法,以下对比线性回归与多项式回归、决策树回归、随机森林回归、SVR、梯度提升回归(GBDT)的适用场景、优点、缺点,表格简洁明了,适配本科课程考核和研究生实战选型:

算法适用场景核心优点核心缺点
线性回归特征与目标值呈线性关系、需要高解释性、大规模数据快速建模简单易懂、计算高效、可解释性强、无超参数仅处理线性关系、对异常值敏感、多重共线性问题
多项式回归特征与目标值存在简单非线性关系(如二次/三次关系)基于线性回归扩展、能拟合简单非线性、易解释高次多项式易过拟合、对异常值仍敏感
决策树回归数据有分段特征、非线性关系且不连续、需要一定解释性对异常值不敏感、无需特征缩放、能处理非线性易过拟合、模型不稳定
随机森林回归复杂非线性关系、高维数据、追求模型稳定性抗过拟合、鲁棒性高、无需特征缩放、自动特征选择计算量大、可解释性差、对高维稀疏数据不友好
支持向量机回归(SVR)小数据集、高维特征、复杂非线性边界泛化能力强、能处理非线性、适合高维数据参数调优复杂、计算成本高、不适用于大数据集
梯度提升回归(GBDT)高精度预测需求、中等规模数据、复杂非线性关系预测精度极高、能捕捉复杂规律、自动特征选择计算成本高、串行训练慢、超参数调优复杂

关键选型结论

优先选线性回归的情况
  1. 特征与目标值之间存在明显的线性关系(可通过相关性分析验证);
  2. 任务对模型解释性要求高,需要明确分析每个特征对目标值的影响;
  3. 数据集规模大,需要快速建模和预测,对计算效率要求高;
  4. 数据集样本量小,复杂算法易过拟合;
  5. 作为基础建模,快速验证数据规律,为后续复杂算法提供参考。
考虑其他算法的情况
  1. 特征与目标值存在非线性关系:简单非线性选多项式回归,复杂非线性选随机森林/GBDT;
  2. 数据中异常值较多:选决策树回归/随机森林回归(对异常值鲁棒);
  3. 特征之间多重共线性严重:选岭回归/Lasso回归(线性回归的正则化版本);
  4. 对预测精度要求极高,对解释性无要求:选随机森林/GBDT/XGBoost;
  5. 高维稀疏数据(如文本、推荐系统):选SVR/LightGBM。

八、线性回归的进阶扩展

线性回归的局限性可通过一系列进阶算法解决,这些算法均基于线性回归的核心思想,是本科和研究生阶段的延伸学习内容,重点推荐3个:

1. 正则化回归:解决过拟合和多重共线性

  • 岭回归(Ridge Regression):加入L2正则化,惩罚系数的平方和,让系数更稳定,解决多重共线性问题;
  • Lasso回归(L1正则化):加入L1正则化,惩罚系数的绝对值和,能将不重要的特征系数置为0,实现特征选择;
  • 弹性网络(Elastic Net):结合L1和L2正则化,兼顾特征选择和系数稳定性,适用于高维数据。

2. 多项式回归:解决简单非线性关系

在线性回归的基础上,引入特征的高次项(如x2x^2x2、x1x2x_1x_2x1​x2​),将非线性关系转换为线性关系,拟合简单的非线性数据,公式为:
y^=β0+β1x+β2x2+...+βnxn\hat{y} = \beta_0 + \beta_1x + \beta_2x^2 + ... + \beta_nx^ny^​=β0​+β1​x+β2​x2+...+βn​xn

3. 广义线性模型(GLM):扩展至非连续目标值

将线性回归的思想扩展到分类问题(如逻辑回归)、计数问题(如泊松回归),通过链接函数将线性预测值映射到目标值的取值范围,是线性回归的重要延伸。

九、总结

  1. 线性回归是机器学习回归问题的入门算法,核心是用线性公式拟合特征与目标值的关系,通过最小化误差平方和求解模型参数;
  2. 线性回归的最大优势是简单易懂、可解释性强、计算高效,适合线性关系明显、需要高解释性的场景,也是后续学习复杂算法的基础;
  3. 线性回归的最大局限性是严格的线性假设,对异常值、多重共线性敏感,无法处理复杂非线性关系,实战中需做好数据预处理;
  4. 线性回归的局限性可通过正则化回归(岭/Lasso)、多项式回归、广义线性模型解决,这些是线性回归的直接延伸;
  5. 实战选型时,若数据为线性关系且需要解释性,优先选线性回归;若为非线性关系且追求精度,选随机森林、GBDT等集成学习算法。

拓展学习:掌握线性回归后,可依次学习岭回归/Lasso回归(解决多重共线性)、多项式回归(处理简单非线性)、逻辑回归(线性回归扩展至分类),再过渡到决策树、随机森林等复杂算法,形成完整的机器学习知识体系。

线性回归 什么是回归分析 回归分析是一种预测性的建模技术,它研究的是因变量(目标)和自变量(预测器)之间的关系。这种技术通常用于预测分析,时间序列模型以及发现变量之间的因果关系。通常使用曲线/线来拟合数据点,目标是使曲线到数据点的距离差异最小。 线性回归 线性回归是回归问题中的一种,线性回归假设目标值与特征之间线性相关,即满足一个多元一次方程。通过构建损失函数,来求解损失函数最小时的参数w和b。通长我们可以... 阅读详情

相关推荐

python机器学习-线性回归(LinearRegression)算法

用python进行线性回归分析非常方便,如果看代码长度你会发现真的太简单。但是要灵活运用就需要很清楚的知道线性回归原理及应用场景。现在我来总结一下用python来做线性回归的思路及原理。 线性回归应用场景 线性回归介绍 机器学习中的线性回归 简单的线性回顾实例 线性回归应用场景 线性回归介绍 ——线性回归是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系...

黄俊文的博客 4万+

机器学习经典算法---线性回归(Linear Regression)算法

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...

lcx_nanmu的博客 2万+

用人话讲明白线性回归LinearRegression

目录 什么是回归 一元线性回归 损失函数 最小二乘估计 小结 1. 什么是回归 当我们学习一门新课程、接触一个新专业时,总会对该领域的专有名词感到困惑,甚至看完解释仍难以理解其含义。在我们一起学习machine learning的过程中,我会尽量对相关名词用“人话”做一遍解释,以减少学习的“痛苦感”。 譬如今天要学的线性“回归”,这个回归(regression)和我们平时说的“回归祖国”的回...

化简可得 1万+

机器学习算法(2)—— 线性回归算法

线性回归算法1. 线性回归简介2. 线性回归的用法2. 线性回归的损失与优化2.1 损失函数2.2 优化算法2.2.1 正规方程2.2.2 梯度下降 1. 线性回归简介 线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。 注意: 只有一个自变量的情况称为单变量回归,多于一个自变量情况的叫做多元回归 特征值与目标值之间建立了一个关系,这个关系可以理解为线性模型。 线性回归当中主要有两种模型,一种是线性关系,另一

hu_wei123的博客 6443

【机器学习小论文】sklearn线性回归LinearRegression代码及调参

一、前言 最近在写小论文,就是硕士毕业论文的部分成果,需要用到线性回归,所以就把相关代码贴上,便于日后写论文时总结,也顺便给后来者提供思路。小论文的思路主要是,先用线性回归,再用随机森林,最后再用xgboost,来预测房价,最后得出结论。所以,这个会陆续的贴出相关代码。至于数据清洗那一块,暂时不贴上了,主要原因就是数据清洗不容易,并且每个人的清洗方法也不一样,所以主要还是看思路。 二、算法简介 2.1 什么是回归分析 回归分析是一种预测性的建模技术,它研究的是因变量(目标)和自变量(预测器)之间的关

xiaohutong1991的专栏 7109

线性回归逻辑回归以及梯度下降算法讲解

量线性回归指只含有一个特征/输入变量x 单变量线性回归表示方法: 单变量的代价函数J(均方误差): 我们现在用数学公式总结一下我们的问题,即 我们的目的是找到合适的θ0,θ1使得代价函数最小,这时候我们列出所有的θ0,θ1 对应的J值,得到一个三维空间图。 或者得到这种二维空间图 在实际的求Loss最小值中,不可能像我们看到的三维图或者二维图那么直观,我的理解是可能有很多的山组合到一起,...

蜗牛遥遥 4032

机器学习-回归之一元回归与多元回归算法原理及实战

一元回归分析和多元线性回归 前言 在统计学中,回归分析(Regression Analysis)指的是确定两种或两种以上变量间的相互依赖的定量关系的一种分析方法。该方法常使用数据统计的基本原理,对大量统计数据进行数学处理,并确定因变量与某些自变量的相关关系,建立一个相关性较好的回归方程(函数表达式),并加以外推,用于预测以后的因变量的变化的分析方法。 回归分析是一种预测性的建模技术,它研究的是...

周先森爱吃素的博客 7002

线性回归笔记spss和LinearRegression

H0,H1假设概念理解: ·常规理解: 在假设H0实际上为真时,我们可能犯拒绝H0的错误,称这类“弃真”的错误为第一类错误;当H0实际上不真时,我们也有可能接受H0,称这类错误为第二类错误。 一般来说,我们总是控制第一类错误,使犯第一类错误的概率尽可能小。称为“显著性检验” 这里的显著性是指只有当H0成立时,显著不合理的状态才能拒绝H0,否则只能“接受”H0,这里的接受是指不拒绝H0,原因是由于没有获得充分的理由拒绝H0而“勉强”接受。因此,使用显著性检验时,当检验结果为拒绝H0时,结论比较可靠,更具有说服

weixin_45181646的博客 2012

4.机器学习-十大算法之一线性回归算法(LinearRegression)案例讲解

线性回归是一种用于预测数值型数据的统计学分析方法,它通过建立一个或多个自变量与因变量之间的线性关系来进行预测。线性回归的基本思想是通过拟合最佳直线(也就是线性方程),来描述自变量和因变量之间的关系。这条直线被称为回归线,其目的是使得所有数据点到这条直线的垂直距离(即残差)的平方和最小。这个最小化过程通常称为最小二乘法。以山河作礼。🎖️🎖️:Python领域新星创作者,优快云实力新星认证,优快云内容合伙人,阿里云社区专家博主,新星计划导师,在职数据分析师。💕💕悲索之人烈焰加身,堕落者不可饶恕。

weixin_50804299的博客 1万+

Sklearn——用Sklearn实现线性回归(LinearRegression)

文章目录1.前言2.Sklearn实战线性回归2.1.导入必要模块2.2.加载数据2.3.训练+预测 1.前言 Sklearn 中的datasets,很多而且有用,可以用来学习算法模型。 比如: boston 房价, 糖尿病, 数字, Iris 花。 也可以生成虚拟的数据,例如用来训练线性回归模型的数据,可以用函数来生成。 例如,点击进入 boston 房价的数据,可以看到 sample 的总数...

weixin_37763870的博客 9127

8个回归机器学习算法总结!

涉及到的机器学习回归模型有:线性回归、多项式回归、岭回归、Lasso回归、弹性网络回归、逻辑斯蒂回归、决策树回归、随机森林回归

coszhuang的博客 2905

3.机器学习-十大算法之一线性回归算法(LinearRegression)原理讲解

线性是指一种关系或者过程,其特点是当输入发生变化时,输出会以同样的比例变化。简单来说,线性是指两个变量之间存在着直接的比例关系。而非线性则是指变量之间没有直接的比例关系,输入的变化不会导致输出的同比例变化。在线性代数中,线性无关是指一组向量中没有向量可以用其他向量的线性组合来表示,反之则称为线性相关。 在数学中,线性关系可以用直线来表示,而非线性关系则无法用直线来描述。这是因为非线性关系通常具有曲线或者其他复杂的形状。在代数学和数学分析学中,如果一种运算同时满足特定的“加性”和“齐性”,则称这种运算是线性

weixin_50804299的博客 1万+

STM32F103到F407移植OLED,为啥F4屏幕不亮?一个延时函数搞定时序问题

本文详细分析了STM32F103到F407移植OLED时屏幕不亮的问题,指出时钟频率差异导致的时序问题是关键原因。通过对比F103和F407的时钟架构差异,提供了精确延时函数的实现方法,并指导在I2C通信关键点插入适当延时,确保OLED正常显示。文章还涵盖了完整的测试方案和高级优化技巧,帮助开发者彻底解决移植中的时序问题。

weixin_30642561的博客 552

05- 线性回归算法 (LinearRegression) (算法)

线性回归算法(LinearRegression)存在一定的误差符合正太分布求这个正太分布的最小均值和方差求误差的极小值。

March_A的博客 7165

如何在离线的电脑上部署一个本地Deepseek(使用ollama)

例如,如果您的显卡显存为 16GB,官方推荐使用 32b 大小的 DeepSeek 模型。请根据您的硬件配置选择适合的模型版本,以获得最佳性能。首先我们需要将ollama和chatbox的安装包,Deepseek模型文件通过U盘或者光盘的形式导入到这台不能联网的电脑上。按照时间排序,找到最大的那个文件,就是gguf格式的模型,复制出来,改名为qwen2.5-coder0.5b.gguf。:基于开源模型(如 QWEN 和 LLAMA)微调,参数量从 1.5B 到 70B 不等,适合本地硬件部署。

qq_41854911的博客 1万+

基于 STM32 的乒乓球发球机控制系统设计与实现

乒乓球发球机是一种能够按照预设参数自动、连续发出乒乓球的训练设备。本系统以 STM32F103C8T6 为主控核心,通过控制实现球速调节、实现落点与旋转方向控制、实现出球节奏控制,并配合 OLED 显示与按键人机交互,实现速度、频率、落点、旋转四大参数的可调发球训练。

weixin_42300449的博客 213

线性回归之——LinearRegression、Ridge、Lasso基本用法

文章目录线性回归(LinearRegression)——参数及方法岭回归(Ridge)——参数及方法 线性回归(LinearRegression)——参数及方法 sklearn.linear_model.LinearRegression(fit_intercept=True, normalize=False, copy_X=True, n_jobs=None) 参数: fit_intercept...

门前大橋下丶 8622

动态视频目标追踪系统:基于YOLOv11+DeepSORT的从入门到实战全流程指南

仅保留车辆类别(假设车辆类别ID为2)if det.class_index == 2: # 车辆类别ID通过本指南,你已完成从环境搭建数据准备模型训练到追踪系统与UI界面的全流程,搭建了一套完整的动态视频目标追踪系统。该系统在安防监控、交通管理等场景中具有实用价值,可实现目标的实时稳定追踪。未来,你可尝试结合多模态特征(如目标外观+运动特征)提升追踪鲁棒性,或探索轻量化模型部署(如TensorRT加速),让系统在边缘设备上也能高效运行。

LXY_LOVE36的博客 142

线性回归:LinearRegression模型

LinearRegression` 是一种简单而有效的方法,适用于线性关系的建模。`scikit-learn` 提供了易于使用的 API,非常适合于快速构建和评估线性回归模型。无论是初学者还是专业人士,都可以依赖这个工具来处理回归问题。

Wei_sx的博客 1263

C#与欧姆龙PLC 通信——Fins Tcp协议

该调试助手专门为了帮助大家学习以及测试Fins-Tcp通信,下面进行详细介绍。

qq_34059233的博客 2087

Linux加密框架中的算法和算法模式(1)——算法介绍

算法和算法模式

yangguoyu8023的博客 2033

Scikit-learn Python机器学习 - 回归分析算法 - 线性回归 (LinearRegression & SGDRegressor)

Scikit-learn Python机器学习 - 回归分析算法 - 线性回归 ( (LinearRegression & SGDRegressor))

java1234的博客 1413

Python爬虫实战:爬取国家气象局台风路径数据的完整教程

国家气象局(如中国气象局)一般会在官方网站公布台风的实时路径,包括台风编号、名称、时间点、经纬度、中心气压、最大风速等信息。这些数据以图形和表格的形式呈现,有时以JSON或CSV文件形式下载。爬取这类数据,有助于构建台风数据库、历史路径分析、趋势预测等应用。本文详细介绍了如何通过Python爬取国家气象局发布的台风路径数据,涵盖了数据采集、解析、存储和可视化全流程。通过实践,你可以构建自己的台风数据库,结合机器学习开展路径预测和风险评估等高级分析。后续可结合深度学习技术,实现台风轨迹预测;

2201_76125261的博客 1028

线性回归算法

摘要:线性回归是一种通过线性方程预测连续数值的统计方法,分为简单线性回归(单变量)和多元线性回归(多变量)。其核心是通过最小化残差(观测值与预测值之差)来优化模型,常用均方误差(MSE)作为损失函数。最小二乘法是求解线性回归参数的标准方法,通过矩阵运算得到最优解。Scikit-learn库中的LinearRegression类实现了该方法,案例展示了波士顿房价预测的完整流程,包括数据划分、模型训练、预测及评估(MSE、R²等指标)。模型参数包括系数(coef_)和截距(intercept_)。

2402_83802259的博客 1580

YOLO车辆测距、车辆识别与单目测距

YOLO(You Only Look Once)是一种实时物体检测系统,能够识别视频或图像中的多个对象,并确定其位置。结合车辆识别与单目测距技术,YOLO可以用于交通监控、自动驾驶等应用场景,通过单个摄像头实现车辆的识别与距离测量。YOLO结合单目测距技术,在多个应用领域展现出巨大的潜力与灵活性。其实时性和准确性为智能交通、自动驾驶等领域提供了强有力的技术支持。

走向CTO的路上... 1806

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

机器学习之线性回归算法预测数据

机器学习之线性回归算法预测数据,包括线性回归算法的理解、LinearRegression理解以及预测一元线性回归数据、预测二元线性回归数据、预测多元线性回归数据。

是十一月末的博客 1894

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

上一篇: 【回归算法】梯度提升回归(GBDT)超详细讲解
下一篇: 【回归算法】支持向量回归(SVR)超详细讲解
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值