数学统计 | 线性回归模型：最大似然估计

参考：数学统计 | 线性回归模型：最大似然估计

import numpy as np
import matplotlib.pyplot as plt
from scipy.optimize import minimize
# 数据点
X = np.array([1, 2, 3, 4])
Y = np.array([2, 3, 5, 7])

# 最大似然估计实现
def likelihood(params):
    beta_0, beta_1, sigma = params
    # 似然函数（对数形式）
    return -np.sum((Y - (beta_0 + beta_1 * X))**2) / (2 * sigma**2) - len(Y) * np.log(sigma)

# 初始参数猜测
initial_guess = [0, 1, 1]
# 约束条件和边界
bounds = [(None, None), (None, None), (1e-6, None)]  # sigma > 0
constraints = ({'type': 'eq', 'fun': lambda params: params[2]})  # 强制 sigma > 0

# 优化
result = minimize(lambda params: -likelihood(params), initial_guess, bounds=bounds)
beta_0_mle, beta_1_mle, sigma_mle = result.x

# 打印结果
print("MLE估计的截距（beta_0）:", beta_0_mle)
print("MLE估计的斜率（beta_1）:", beta_1_mle)

# 绘制数据点和拟合线
plt.scatter(X, Y, color='blue', label='数据点')
plt.plot(X, beta_0_mle + beta_1_mle * X, label='MLE回归线')
plt.xlabel('X')
plt.ylabel('Y')
plt.title('最大似然估计线性回归')
plt.legend()
plt.grid()
plt.show()