似然函数和对数似然

似然函数是将线性回归模型的输出（或者说误差项${ϵ}^{(i)}$）代入其概率密度函数（正态分布的PDF），然后对所有数据点的这些概率进行乘积，从而得到整体数据集在给定参数下出现的可能性。
对于简单的线性回归模型，我们有如下的公式：
$$y^{(i)}={\theta }^T{x}^{(i)}+{ϵ}^{(i)}$$
其中，$y^{(i)}$是响应变量，$x^{(i)}$是特征向量，$\theta$是模型的系数，而${ϵ}^{(i)}$是误差项。
在构建似然函数时，我们通常假设误差项${ϵ}^{(i)}$遵循正态分布，即${ϵ}^{(i)}\sim N(0,{\sigma }^2)$，这里概率密度函数为：
$$p({ϵ}^{(i)})=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{({ϵ}^{(i)}{)}^2}{2{\sigma }^2}\right)$$
在这个假设下，将线性回归模型代入概率密度函数，对于单个观测值$y^{(i)}$，其概率密度函数可以表示为：
$$p(y^{(i)}|x^{(i)},\theta ,{\sigma }^2)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2}\right)$$
这里，$y^{(i)}-{\theta }^T{x}^{(i)}$实际上就是误差项${ϵ}^{(i)}$。

似然函数$L(\theta ,{\sigma }^2|X,Y)$是在所有观测数据下这些概率密度函数的乘积：

$$L(\theta ,{\sigma }^2|X,Y)=\prod _{i=1}^{n}p(y^{(i)}|x^{(i)},\theta ,{\sigma }^2)$$

这里，( X ) 和 ( Y ) 分别代表所有的特征向量和响应变量。

在最大似然估计（MLE）中，目标是找到参数$\theta$和${\sigma }^2$，使得这个似然函数最大化。这些参数是在给定数据下最能解释观测到的数据的参数。

总结来说，似然函数是将线性回归模型的输出（或者说误差项${ϵ}^{(i)}$）代入其概率密度函数（正态分布的PDF），然后对所有数据点的这些概率进行乘积，从而得到整体数据集在给定参数下出现的可能性。

---

对数似然：由于似然函数是乘法运算，导致运算效率低，通过Log对数运算把乘法运算转换为加法运算能极大提升效率，并且加法运算能解决大量乘法运算的数值下溢问题。对数函数是单调递增的，所以它不改变似然函数最大值的位置。因此在许多统计分析和机器学习应用中，大都会使用对数似然而不是原始的似然函数。
对于线性回归模型的例子，假设误差项服从正态分布，似然函数可以表示为：

$$L(\theta ,{\sigma }^2|X,Y)=\prod _{i=1}^n\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2}\right)$$

对数似然函数$\log L(\theta ,{\sigma }^2|X,Y)$则是：

$$\log L(\theta ,{\sigma }^2|X,Y)=\sum _{i=1}^n\log \left(\frac{1}{\sqrt{2\pi {\sigma }^2}}\right)-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2}$$

这可以进一步简化为：

$$\log L(\theta ,{\sigma }^2|X,Y)=-\frac{n}{2}\log (2\pi {\sigma }^2)-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$$

在最大化对数似然函数的过程中，我们寻找能使$\log L(\theta ,{\sigma }^2|X,Y)$最大的参数$\theta$ 和${\sigma }^2$。这个过程等价于最小化误差项的平方和，这是线性回归中常用的最小二乘法。