6、统计与机器学习算法：线性回归与逻辑回归实践

统计与机器学习算法：线性回归与逻辑回归实践

1. 梯度下降与线性回归基础

在机器学习领域，梯度下降是一种常用技术，用于通过多次迭代最小化模型的训练误差，从而优化预测变量的系数。其基本步骤如下：
1. 初始化系数 ：将系数初始化为零。
2. 更新系数 ：不断更新系数以最小化误差，直至达到最小均方误差。

梯度下降中有一个重要的超参数——学习率（learning rate），它决定了算法向系数最优值移动的速度。若学习率过大，算法可能会跳过最优解；若过小，算法可能需要进行过多迭代才能收敛到最优系数值。因此，选择合适的学习率至关重要。

2. 线性回归模型构建步骤

2.1 数据准备

首先，我们需要导入所需的库，并设置工作目录，然后读取数据。以下是具体代码：

# import os for operating system dependent functionalities
import os
# import other required libraries
import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt

# Set your working directory according to your requirement
os.chdir(".../Chapter 4/Linear Regression")
os.getcwd()