[机器学习] 使用极大似然估计与贝叶斯估计拟合线性基函数

一、概率模型

概率模型可以写作：
$$P(\cdot |\theta )$$
指模型的分布类型已知（二项分布、正态/高斯分布，Bate分布等），但是模型的参数未知。基于独立同分布的样本数据D对模型参数进行估计。常用的方法有极大似然估计（MLE）、极大后验估计（MAP）、贝叶斯估计。

二、极大似然估计Maximum Likelihood Estimation

MLE的实质为计算在参数下D出现的概率，需要计算D中每个样本出现概率的乘积，即似然函数。表达式如下：
D={ xi}i=1nLikelihood(θ)=P(D∣θ)=Πi=1nP(xi∣θ)似然函数lnL(θ)=Σi=1nlnP(xi∣θ)对数似然函数 D = \{x_i\}_{i=1}^n \\ Likelihood(\theta) = P(D|\theta) = \Pi_{i = 1}^nP(x_i|\theta) \quad 似然函数 \\ lnL(\theta) = \Sigma_{i=1}^nln P(x_i|\theta)\quad 对数似然函数 D={ xi​}i=1n​Likelihood(θ)=P(D∣θ)=Πi=1n​P(xi​∣θ)似然函数lnL(θ)=Σi=1n​lnP(xi​∣θ)对数似然函数
对似然函数取对数可以将概率乘法变为加法，将参数估计问题变为函数优化问题，从而可以得到能够使观察数据D出现概率最大的概率模型P参数来。

三、贝叶斯估计Bayesian

贝叶斯估计表达式如下。其中p(A|B)为B条件下A的概率，w为参数，D为独立同分布数据样本：
$$p(w|D)=\frac{p(D|w)p(w)}{p(D)}$$
贝叶斯模型生成参数模型的概率分布（后验概率），其实质为基于样本数据调整先验概率，得到更合理的后验概率。

四、线性基函数模型

用于拟合非线性数据，普通模型的计算为：
$$y=x^t\cdot w$$
线性基函数即对输入x进行线性变换后，再与参数进行计算。一般是为了对输入特征的维度进行变换，参数维度K决定了模型的描述能力：K=0，模型为一条水平线；K=1，模型为一条直线…然而K的值不是越高越好，过大的K会使得模型容易过拟合。

$$\begin{gathered} y={\varphi }^t(x)\cdot w+ϵ(x\in R^D,w\in R^K,ϵ\sim N(0,{\sigma }^2)) \\ \varphi (x)=\left|\begin{array}{c}{\varphi }_0(x)\\ {\varphi }_1(x)\\ ⋮\\ {\varphi }_{K-1}(x)\end{array}\right|=|\begin{array}{c}1\\ \end{array} \end{gathered}$$