6、统计与机器学习算法：线性回归与逻辑回归实战

统计与机器学习算法：线性回归与逻辑回归实战

1. 梯度下降与线性回归基础

在机器学习领域，梯度下降是一种常用的技术，用于通过多次迭代最小化模型的训练误差，从而优化预测变量的系数。它首先将系数初始化为零，然后不断更新系数以减少误差，直至达到最小均方误差。

梯度下降算法中有一个重要的超参数——学习率，它决定了算法向系数最优值移动的速度。如果学习率过大，算法可能会跳过最优解；如果过小，算法可能需要进行大量迭代才能收敛到最优系数值。因此，选择合适的学习率至关重要。

1.1 准备工作

我们将使用之前处理好的 HousePrices.csv 文件进行线性回归模型的构建。以下是导入所需库和设置工作目录的代码：

# import os for operating system dependent functionalities
import os
# import other required libraries
import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt

# Set your working directory according to your requirement
os.chdir(".../Chapter 4/Linear Regression")
os.getcwd()

# 读取数据
df_housingdata = pd.read_csv("Final_HousePrices.csv")
<