6、统计与机器学习算法：线性回归与逻辑回归实战

统计与机器学习算法：线性回归与逻辑回归实战

1. 梯度下降与线性回归基础

在机器学习领域，梯度下降是一种常用的技术，用于通过多次迭代最小化模型的训练误差，从而优化预测变量的系数。其基本步骤如下：
1. 初始化系数 ：将系数初始化为零。
2. 更新系数 ：以最小化误差为目标更新系数，这是一个迭代过程，直到达到最小均方误差为止。

在梯度下降技术中，有一个名为学习率（learning rate）的超参数，用 $\alpha$ 表示。这个参数决定了算法向系数最优值移动的速度。如果 $\alpha$ 过大，算法可能会跳过最优解；如果 $\alpha$ 过小，算法可能需要进行过多的迭代才能收敛到最优系数值。因此，选择合适的 $\alpha$ 值非常重要。

2. 线性回归模型构建步骤

2.1 准备工作

首先，我们需要导入所需的库，并设置工作目录：

# import os for operating system dependent functionalities
import os
# import other required libraries
import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt

# Set your working directory according to your requirement
os.chdir(".