【贝叶斯岭回归】

最新推荐文章于 2024-07-15 14:24:14 发布

原创最新推荐文章于 2024-07-15 14:24:14 发布 · 2.6k 阅读

16 ·

CC 4.0 BY-SA版权

文章标签：

#回归 #python

线性模型专栏收录该内容

8 篇文章

订阅专栏

文章介绍了贝叶斯岭回归，一种概率线性模型，适用于处理高偏差数据。在sklearn库中，通过设置不同的初始参数alpha_init和lambda_init可以调整模型。示例展示了如何用Python随机生成数据，拟合贝叶斯岭回归模型，并绘制预测曲线。代码中展示了默认参数与自定义参数对模型预测的影响。

贝叶斯岭回归Bayesian Ridge Regression

随机生成数据
拟合模型
画预测曲线

贝叶斯岭回归是回归模型中的一种概率模型，是机器学习中的一种线性模型。系数

w

的先验分布是一种球形正态分布：

$p(w|\lambda)=N(w|0,\lambda^{-1}I_p)$

而 $\alpha$ 和 $\gamma$ 的先验分布是伽马分别，和 $y_i$ 的共轭先验是正态分布，所以其结果就是贝叶斯岭回归模型。

其中正则化系数 $\alpha$ 和 $\gamma$ 由极大似然法估计。相比普通最小二乘法，贝叶斯岭回归更适合于表现比较差的数据。在sklearn中一般表示为alpha_init和lambda_init。

一般情况下，lambda_init相对小(1.e-3/0.001)。

代码实现：

随机生成数据

import numpy as np


def func(x):
    return np.sin(2 * np.pi * x)


size = 25
rng = np.random.RandomState(1234)
x_train = rng.uniform(0.0, 1.0, size)
y_train = func(x_train) + rng.normal(scale=0.1, size=size)
x_test = np.linspace(0.0, 1.0, 100)

拟合模型

from sklearn.linear_model import BayesianRidge

n_order = 3
X_train = np.vander(x_train, n_order + 1, increasing=True)
X_test = np.vander(x_test, n_order + 1, increasing=True)
reg = BayesianRidge(tol=1e-6, fit_intercept=False, compute_score=True)

画预测曲线

import matplotlib.pyplot as plt

fig, axes = plt.subplots(1, 2, figsize=(8, 4))
for i, ax in enumerate(axes):
    # Bayesian ridge regression with different initial value pairs
    if i == 0:
        init = [1 / np.var(y_train), 1.0]  # Default values
    elif i == 1:
        init = [1.0, 1e-3]
        reg.set_params(alpha_init=init[0], lambda_init=init[1])
    reg.fit(X_train, y_train)
    ymean, ystd = reg.predict(X_test, return_std=True)

    ax.plot(x_test, func(x_test), color="blue", label="sin($2\\pi x$)")
    ax.scatter(x_train, y_train, s=50, alpha=0.5, label="observation")
    ax.plot(x_test, ymean, color="red", label="predict mean")
    ax.fill_between(
        x_test, ymean - ystd, ymean + ystd, color="pink", alpha=0.5, label="predict std"
    )
    ax.set_ylim(-1.3, 1.3)
    ax.legend()
    title = "$\\alpha$_init$={:.2f},\\ \\lambda$_init$={}$".format(init[0], init[1])
    if i == 0:
        title += " (Default)"
    ax.set_title(title, fontsize=12)
    text = "$\\alpha={:.1f}$\n$\\lambda={:.3f}$\n$L={:.1f}$".format(
        reg.alpha_, reg.lambda_, reg.scores_[-1]
    )
    ax.text(0.05, -1.0, text, fontsize=12)

plt.tight_layout()
plt.show()

结果为：

在这里插入图片描述