6、统计与机器学习算法：线性回归与逻辑回归实战

统计与机器学习算法：线性回归与逻辑回归实战

1. 梯度下降与线性回归简介

在机器学习中，梯度下降是一种常见的技术，用于通过多次迭代最小化模型的训练误差，从而优化预测变量的系数。其过程是先将系数初始化为零，然后不断更新系数以减小误差，直至达到最小均方误差。

梯度下降算法中有一个超参数——学习率，它决定了算法向系数最优值移动的速度。学习率过大，算法可能会跳过最优解；学习率过小，算法可能需要进行大量迭代才能收敛到最优系数值。因此，选择合适的学习率非常重要。

2. 线性回归模型构建步骤

2.1 数据准备

首先，我们需要导入所需的库，并设置工作目录，然后读取数据。

# import os for operating system dependent functionalities
import os
# import other required libraries
import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt

# Set your working directory according to your requirement
os.chdir(".../Chapter 4/Linear Regression")
os.getcwd()

df_housingdata = pd.read_csv("Final_HousePrices.csv")

2.2 变量分析