Python线性回归与逻辑回归实现详解

1、编写一个Python脚本，对给定的一组(x, y)输入 - 输出样本进行线性回归，其中x是d维输入，y是实值输出。请注意，线性回归问题有直接的闭式解，也可以使用梯度下降法求解。请同时实现这两种方法。

以下是使用Python实现的通过闭式解和梯度下降法进行线性回归的代码：

import numpy as np

# 闭式解实现线性回归
class ClosedFormLinearRegression:
    def __init__(self):
        self.weights = None

    def fit(self, X, y):
        # 添加偏置项
        X = np.c_[np.ones((X.shape[0], 1)), X]
        # 闭式解公式
        self.weights = np.linalg.inv(X.T.dot(X)).dot(X.T).dot(y)

    def predict(self, X):
        # 添加偏置项
        X = np.c_[np.ones((X.shape[0], 1)), X]
        return X.dot(self.weights)

# 梯度下降法实现线性回归
class GradientDescentLinearRegression:
    def __init__(self, learning_rate=0.01, num_iterations=1000):
        self.learning_rate = learning_rate
        self.num_iterations = num_iterations
        self.weights = None

    def fit(self, X, y):
        # 添加偏置项
        X = np.c_[np.ones((X.shape[0], 1)), X]
        num_samples, num_features = X.shape
        self.weights = np.zeros(num_features)

        for _ in range(self.num_iterations):
            # 计算预测值
            y_pred = np.dot(X, self.weights)
            # 计算梯度
            gradient = (1 / num_samples) * np.dot(X.T, (y_pred - y))
            # 更新权重
            self.weights -= self.learning_rate * gradient

    def predict(self, X):
        # 添加偏置项
        X = np.c_[np.ones((X.shape[0], 1)), X]
        return np.dot(X, self.weights)

# 示例使用
if __name__ == '__main__':
    # 生成一些示例数据
    X = np.array([[1], [2], [3], [4], [5]])
    y = np.array([2, 4, 6, 8, 10])

    # 闭式解线性回归
    cf_lr = ClosedFormLinearRegression()
    cf_lr.fit(X, y)
    cf_predictions = cf_lr.predict(X)
    print("闭式解预测结果:", cf_predictions)

    # 梯度下降线性回归
    gd_lr = GradientDescentLinearRegression()
    gd_lr.fit(X, y)
    gd_predictions = gd_lr.predict(X)
    print("梯度下降预测结果:", gd_predictions)

上述代码中，定义了 ClosedFormLinearRegression 类用于通过闭式解实现线性回归，定义了 GradientDescentLinearRegression 类用于通过梯度下降法实现线性回归。在 if __name__ == '__main__' 部分，生成了示例数据并分别使用两种方法进行线性回归，最后输出预测结果。

2、编写一个Python脚本，对给定的（x，y）输入 - 输出样本执行二分类逻辑回归，其中x是d维的，y是分类输出。显示ROC曲线和PR曲线。

以下是一个使用Python和Scikit-learn库实现二分类逻辑回归，并显示ROC曲线和PR曲线的示例代码：

import numpy as np
import matplotlib.pyplo