Python实现多元线性回归

💥 项目专栏：【探索机器学习之旅】原理与实践，Python算法实现

---

前言

🚀 欢迎莅临本专栏！在这里，我们将为机器学习的新手和初次尝试 sklearn 的用户群体提供一系列有趣的原生Python机器学习算法实现。我们的目标是让您轻松入门机器学习，并深入探索算法的内部奥秘。💡

在这个专栏中，我们专注于使用原生Python实现一些经典机器学习算法，比如决策树、逻辑回归等。通过自己亲手复现算法，我们将理论与实践紧密结合，让您对这些算法有更深入的理解。每篇文章都会附带完整的代码和详细讲解，助您逐步掌握算法的核心概念和运行原理。🔍📝

哪怕您是零基础，也不必担心！本专栏旨在为您提供一条通向机器学习世界的清晰路径。我们坚信，通过这些实践和理论指导，您将快速掌握机器学习的精髓，并在未来的学习和探索中展翅高飞！🌈🌟

来吧！让我们一起踏上机器学习之旅，探索这个神奇领域，畅游在算法的海洋中，感受数据科学的魅力吧！🌊💻🔬

---

🚨 欢迎来到我的机器学习探索项目环境！📊🐍

• 平台：Windows 11 🖥️
• 语言环境：Python 3.7 🐍
• 编译器：Jupyter Lab 📘🔬
• 数据处理：Pandas 1.3.5 🐼📈
• 数值计算：Numpy 1.19.3 🔢🧮
• 科学计算：Scipy 1.7.3 🧪📚
• 数据可视化：Matplotlib 3.1.3 📊🎨

在这个酷炫的项目环境里，我们将使用强大的Python语言，搭配Jupyter Lab编译器，为您带来一流的机器学习学习体验。Pandas将为我们处理数据，Numpy则助力高效的数值计算，而Scipy则为我们的科学计算保驾护航。

让数据更加生动的秘密武器是Matplotlib，它将以图表的形式展现复杂的信息，让您轻松洞悉数据的特征和趋势。📊📈🔍

让我们一起在这个有趣的机器学习之旅中探索新的可能性吧！🚀🌟💻

---

让我们一起启程，探索机器学习的奇妙世界！🚀💡🤖

💥 项目专栏：【探索机器学习之旅】原理与实践，Python算法实现

---

一、基于原生Python实现多元线性回归(Multiple Linear Regression)算法

📊 多元线性回归，让你的数据说话！🔍💬

多元线性回归是一种神奇的统计学方法，让你在数据的海洋中探寻变量之间的关系。通过多个自变量，我们能够预测一个因变量的值，揭示隐藏在数据中的真相。

在这个算法的舞台上，回归系数扮演着重要角色。它们是因变量与自变量之间的密切关联，如同代码与数据间的默契。

而我们的武器——最小二乘法，为我们提供了数学的魔法。通过最小化残差平方和，我们捕捉了实际值与预测值的微妙关系。

让我们带上数据的眼镜，走进多元线性回归的世界，探寻数据的奥秘，解读变量的谜语！💫🔬📚

本篇文章，我们将跳入Python的怀抱，一起探索机器学习的经典算法——多元线性回归！🚀🔍

使用Python的神奇力量，我们将为你实现多元线性回归的魔法，揭开自变量与因变量间的神秘面纱。🔮🧙‍♀️

通过代码的舞蹈，数据的交错，让我们一同探寻预测的奥秘，解读数据的密码！📊💬🔑

二、多元线性回归模型的算法原理

📚📈 多元线性回归模型，我们来深入了解一下！🧐

1. 首先，假设模型是关键！它认为自变量和因变量之间的关系都是线性的，就像一条直线一样！📏💹这个模型被定义为：y = β₀ + β₁x₁ + β₂x₂ + … + βₙxₙ + ε，其中y是因变量，而x₁, x₂, …, xₙ则是自变量，而β₀, β₁, β₂, …, βₙ则是那些神秘的回归系数，而ε则是不可避免的误差项！👀😅

2. 接下来，我们迫切地想知道这些回归系数是多少，才能让我们的预测和实际值差别最小！这就是最小二乘法上场的时候了！🔍💡这个神奇的方法通过最小化残差平方和来寻找最佳回归系数，也就是让我们的预测值和实际值尽可能地贴近！🎯💯通过数学推导，我们得到了回归系数的解析解，走的是捷径！😎✨

3. 现在，我们知道模型是如何训练的，但是我们怎么知道它好不好呢？这就要用到评估指标啦！📊📉 我们用均方误差（MSE）和决定系数（R²）等指标来衡量模型的预测能力，越小的MSE和越接近1的R²表示我们的模型表现越好！🏆👏

4. 训练好模型后，我们可以拿它去预测未知数据，就像一个未来预言家一样！🔮💫根据输入的自变量和回归系数，我们可以预测未知数据的输出，是不是有点厉害！😉🌟

所以，多元线性回归模型不止是一种算法，它是一个能够建立多个自变量与因变量之间关系的统计学方法！让我们掌握这个方法，成为数据预测的高手吧！💪💻

三、算法实现

📚🔢 多元线性回归算法来啦！让我们一起用原生Python搞懂它的奥秘吧！🤓🔍

嘘~我们不走捷径，不用sklearn直接调用，要自己动手复现哦！🚀🔧 因为只有亲自实现，才能真正理解算法内部的魔力！🧙‍♂️✨

但别担心，我们不会让你一下子掌握所有细节，我们保留了算法的核心，帮助你逐步理解！🎯🔍 就像是搭积木，先搭主干，再添枝加叶！💪🌳

多元线性回归是用来建立多个自变量和因变量之间关系的神奇方法，我们假设它们之间存在线性关系，就像是一条直线穿过数据点！📏💹 这就是我们的模型，准备好了吗？

接下来，我们用最小二乘法找到那些神秘的回归系数，让我们的预测值和实际值之间误差最小化！🔎💡 哇！它就像是一个数学魔法师，算出了回归系数的解析解！😲🌟

但是我们还需要知道我们的模型到底有多强大！所以我们用均方误差（MSE）和决定系数（R²）等指标来评估模型的表现！📊📉 数值越小越接近1，证明我们的模型表现越好！🏆👍

最后，我们可以拿训练好的模型去预测未知数据，就像是未来的预言家一样！🔮💫 根据输入的自变量和回归系数，我们可以预测出未知数据的输出，有点厉害哦！😉🌠

所以，新手小白，这就是多元线性回归算法的简易版！别急着揭开所有奥秘，先搞懂主干，再追求细节！🤩📚 一步一步，成为算法大师，拥抱机器学习的世界吧！💻💪

3.1 导包

📚🔬 这个项目需要的法宝库可不简单哦！让我们看看都有哪些神奇的帮手吧！🧙‍♂️🌟

• 首先是numpy，这可是一位科学计算大师！🧮🔢 它擅长处理数值运算，让复杂的矩阵计算变得轻松自如！💪📈

• 接下来是matplotlib，这是绘图的瑰宝！🎨📊 它能画出漂亮的图表，让数据一目了然！📊📉

• 还有sklearn.datasets，真是数据集的捷径！🎯🗺 它可以帮我们轻松导入训练所需的数据集，方便又快捷！📂🚀

• 最后是train_test_split，这可是测试的神奇分割器！✂️📚 它能将数据集一分为二，让我们有个测试集做模型的考核！🎯🎓

这些法宝库组合在一起，就是我们实现多元线性回归算法的关键！🔑🏆 让我们牵着它们的手，一起探索机器学习的奥秘吧！🤩💻🌠

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split

3.2 定义随机数种子

🔍🌈 嗨！让我们来揭开随机数种子的神秘面纱吧！🎭🎲

在机器学习的世界里，随机数种子就像是一把魔法钥匙！🔑🧙‍♀️ 它可以确保我们的实验结果在不同时空中都是一致的，就像时间旅行一样！⏳🚀

当我们的算法涉及到一些神秘的随机初始化参数或者随机选择训练样本时，结果可能会有点鬼魅！👻🎯 但是有了随机数种子，我们就能稳固结果的信心，不再让不确定性蒙蔽我们的眼睛！👀✨

但记住，随机数种子是有一些讲究的哦！😉💡 确保数据集、算法和参数都保持一致，我们才能召唤出可重复的结果！🔄🔁

让我们手牵手，保持稳定，一起踏上神奇的机器学习之旅吧！🚀🤖💫

# 设置随机种子
seed_value = 2023
np.random.seed(seed_value)

3.3 定义多元线性回归模型

📚🔍 撒上魔法的封装，逻辑回归和 sklearn 现在如出一辙！🔮🎩

多元线性回归模型求解，在两个神奇步骤中完美展现：训练和预测的精彩演绎！🚂🎭

首先是训练，我们的模型要发挥潜力，就得拥有 fit 力量！💪💥 稳稳地契合数据，调整参数，埋下预测的种子！🌱🌾

而预测，则是它的时刻！预测的 predict 魔法现身！🔮✨ 那些神秘特征乘上回归系数，化为预测的光芒！🌟🔍

最后，为了评判它的表现，让 score 神技来帮忙！🎯📈 它会揭示预测的精准程度，告诉我们结果的美妙！🌈🌟

现在，我们掌握了这些魔法，逻辑回归和 sklearn 封装的算法不分伯仲！🎉🤝 无论是从头打造，还是调用现成，机器学习之旅都会更加愉快！🚀💫

模型训练

📚🔍 多元线性回归模型的目标就是寻找那个独一无二的、最优的参数组合，让模型在训练数据上表现得最完美！🎯🔮 这里的最优，指的是能让预测误差小到几乎看不见的程度！🎯🌟

具体来说，我们将这些神秘的数据化为矩阵 X 和向量 y，展现出 m×n 和 m×1 的神奇姿态！💫💫 损失函数 $J(\theta )$，它是模型与现实的差异之衡量，用均方误差（MSE）为名，一举控制所有误差的量级！🎯🏆

那么，多元线性回归模型的目标可以表示为：

$$minimize:J(\theta )=\frac{1}{2m}sum((X\ast \theta -y{)}^2)$$

其中，$\theta$ 是一个 n×1 的参数向量，它包含了所有的模型参数。$X\ast \theta$ 是对所有样本的预测值，它是一个 m×1 的向量。$J(\theta )$ 是损失函数，它用来衡量预测值与实际值之间的误差。在这里，我们使用均方误差（MSE）作为损失函数。

为了找到这些最优参数，我们可以选择梯度下降算法或正规方程求解法！📈🔍 梯度下降，一种迭代优化的神奇算法，不停更新参数，不留余地地降低损失函数的价值！💨🏃‍♂️而正规方程求解法，则是一种直接求解之术，寻找模型参数的最小二乘解，揭示最优参数的真面目！🔍🌟

无论是梯度下降，还是正规方程，它们都是解谜的法宝，指引我们找到那最佳的参数组合，为预测的世界带来奇迹！🌈💫

模型预测

🔮🎯模型训练完成后，就轮到预测登场啦！当我们迎来了一个全新的数据样本时，想知道它的目标值，我们的训练好的模型就能派上用场啦！🎉🎊

预测的奥秘就隐藏在这个神秘的公式之中：🔍🔮

y ^ = X ⋅ θ \hat{y} = X \cdot \theta y^​<