SPSS26统计分析笔记——7 回归分析

1 回归方程

        回归方程一般表达式：$$y=f(x_1,x_2,\cdots ,x_n)+\epsilon$$
        $\epsilon$随机误差，独立于自变量的随机变量，一般假设其均值为0的正态分布，即$\epsilon \tilde{N}(0,{\sigma }^2)$。
        根据$f$的形式，回归方程可以分为线性回归方程和非线性回归方程。
        线性回归方程表达式：$$y={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+\cdots +{\beta }_n{x}_n+\epsilon$$
        ${\beta }_0$常数项、${\beta }_1,{\beta }_2,\cdots ,{\beta }_n$回归系数、$\epsilon$随机误差；
        $n=1$时为一元线性回归，$n⩾2$时为多元线性回归。

2 一元线性回归方程

        回归方程：$$y={\beta }_0+{\beta }_{1}x+\epsilon$$
        估计回归方程：$$\hat{y}={\hat{\beta }}_0+{\hat{\beta }}_{1}x$$
        最小二乘法估算${\hat{\beta }}_0$和${\hat{\beta }}_1$：$${\hat{\beta }}_1=\frac{\sum _{i=1}^n(y_i-\bar{y})(x_i-\bar{x})}{\sum _{i=1}^n{(x_i-\bar{x})}^2}$$$${\hat{\beta }}_0=\bar{y}-{\hat{\beta }}_1\bar{x}$$
        回归模型的有效性检验：$$F=\frac{\frac{SSR}{1}}{\frac{SSE}{n-2}}$$
        SSR回归平方和；
        SSE误差平方和；
        n样本数；
        回归系数的显著性检验：
        ${\hat{\beta }}_0$通过t检验：$$t=\frac{{\hat{\beta }}_0-{\beta }_0}{SE({\hat{\beta }}_0)}$$
        $SE({\hat{\beta }}_0)$为${\hat{\beta }}_0$的标准差；
        ${\hat{\beta }}_1$通过t检验：$$t=\frac{{\hat{\beta }}_1-{\beta }_1}{SE({\hat{\beta }}_1)}$$
        $SE({\hat{\beta }}_1)$为${\hat{\beta }}_1$的标准差；
        在t检验中，我们通常假设${\beta }_0=0,{\beta }_1=0$来进行检验，即我们检验回归系数是否显著不同于零。
        决定系数$R^2$：$$R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}\in [0,1]$$
        多重判定系数$R_n^2$：
$$R_n^2=1-(1-R^2)\frac{n-1}{n-k-1}$$

3 多元线性回归方程

        回归方程：$$y={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+\cdots +{\beta }_n{x}_n+\epsilon$$
        估计回归方程：$$\hat{y}={\hat{\beta }}_0+{\hat{\beta }}_1{x}_1+{\hat{\beta }}_2{x}_2+\cdots +{\hat{\beta }}_n{x}_n+\epsilon$$
        回归模型的有效性检验：$$F=\frac{\frac{SSR}{k}}{\frac{SSE}{n-k-2}}$$
        SSR回归平方和；
        SSE误差平方和；
        n样本数；
        k自变量个数
        回归系数的显著性检验：
        ${\beta }_i$通过t检验：$$t=\frac{{\hat{\beta }}_i-{\beta }_i}{SE({\hat{\beta }}_i)}$$
        决定系数$R^2$：$$R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}\in [0,1]$$
        多重判定系数$R_n^2$：$$R_n^2=1-(1-R^2)\frac{n-1}{n-k-1}$$

4 二元Logistic回归

        Odds优势（发生比）：事件发生的概率与事件不发生的概率比值；$$Odds=\frac{p}{1-p}$$
        Or优势比：事件在a情况下的发生比与事件在b情况下的发生比的比值；$$OR=\frac{\frac{p_1}{1-p_1}}{\frac{p_2}{1-p_2}}$$
        方程参数的估计与验证
        （1）模型参数的估计与验证
        逻辑回归方程参数估算方法：最大似然估计
        回归系数的验证：wald验证、似然比验证
        wald验证：样本规模加大，统计量W服从自由度为1的卡方分布
$$W={\left(\frac{{\hat{\beta }}_j}{S{E}_{{\hat{\beta }}_j}}\right)}^2$$
        ${\hat{\beta }}_j$各个估算的回归系数；
        $S{E}_{{\hat{\beta }}_j}$为${\hat{\beta }}_j$标准差；
        wald验证缺陷是当回归系数的绝对值很大，标准误差就会迅速膨胀，导致W的统计量变小，导致认为自变量对y事件发生的可能性无影响。
        似然比验证：令模型1有j个自变量，即$x_1,x_2,\cdots ,x_k,\cdots ,x_j$，模型2含有模型1中除了$x_k$之外的所有变量，那么两个模型的对数似然值乘以-2的结果之差近似服从卡方分布，于是我们可以构造似然比检验统计量：$$L.R.=(-2L{\hat{L}}_2)-(-2L{\hat{L}}_1)=-2Ln(\frac{{\hat{L}}_2}{{\hat{L}}_1})$$
        当自变量$x_k$显著有效时，${\hat{L}}_1$显著大于${\hat{L}}_2$，则$L.R.$为很大的正数；相反，当自变量$x_k$没有显著性有效时，则${\hat{L}}_1$近似等于${\hat{L}}_2$，而$L.R.$近似为零。所以$L.R.$越大， 自变量$x_k$越显著。
        （2）拟合优度
        对于模型的整体，可以利用下列三个指标进行判断，第一个是$-2L{\hat{L}}_s$，第二是$CoxSnell{R}^2$和$Nagelkerke{R}^2$，第三是$Hosmer-Lemeshow$拟合优度。
        1)$-2L{\hat{L}}_s$
        $-2L{\hat{L}}_s$是指${\hat{L}}_s$最大似然值$L{\hat{L}}_s$的对数乘以-2的统计量，它的取值从0到正无穷，越接近0拟合越好。
        2) $CoxSnell{R}^2$和$Nagelkerke{R}^2$
        线性回归中的指标$R^2$可以用来表示模型的拟合优度，逻辑回归模型也有一个类似$R^2$的指标。$R^2$是指回归平方和与总平方和的比值。类似的，可以将 $-2L{\hat{L}}_0$(即只含常数参数模型的最大似然值$L{\hat{L}}_0$乘以-2)作为类似线性方程中的总平方和，而$-2L{\hat{L}}_s$类似于误差平方和，那么可以构造$CoxSnell{R}^2$指标：$$R^2=1-{\left(\frac{{\hat{L}}_0}{{\hat{L}}_s}\right)}^{\frac{2}{n}}$$
        上式计算出来的$R^2$的最大值小于1，经调整后，得到了$Nagelkerke{R}^2$指标：$$R_{adj}^2=\frac{R^2}{R_{\max }^2}=\frac{1-{\left(\frac{{\hat{L}}_0}{{\hat{L}}_s}\right)}^{\frac{2}{n}}}{1-{\left({\hat{L}}_0\right)}^{\frac{2}{n}}}$$
        $R_{adj}^2$越接近1说明模型的拟合优度越好。
        3) $Hosmer-Lemeshow$拟合优度
        $Hosmer-Lemeshow$的检验思路是根据预测概率值将数据分成大致相同规模的10个组， 将观测数据按其预测概率做升序排列，第一组是估计概率最小的观测数据，最后一组是估计概率最大的观测数据，则其指标可以写为：$$HL=\sum _{g=1}^G\frac{\left(y_g-n_g{\hat{p}}_g\right)}{n_g{\hat{p}}_g(1-{\hat{p}}_g)}$$
        G为分组数，G不超过10；
        $n_g$为第g组的样本数；
        ${\hat{p}}_g$为第g组的预测事件概率；
        $y_g$为第g组事件的观测数据。
        HL服从自由度为G-2的卡方分布，可以通过卡方进行检验。如果卡方值大于显著水平，模型拟合良好；否则拟合不好。
        （3）回归系数解释
        一般线性回归方程中，对于某个自变量$x_k$，回归系数${\beta }_k$的含义是，在其他变量不变的情况下，其每增加一个单位，因变量y可以增加${\beta }_k$个单位，同样的，在逻辑回归模型中，对于某个自变量$x_k$，在其他变量不变的情况下，其每增加一个单位，因变量的增加量可以写为：$$\ln \left(\frac{p_{(x_k+1)}}{1-p_{(x_k+1)}}\right)-\ln \left(\frac{p_{xk}}{1-p_{xk}}\right)={\beta }_k$$$$\ln \left[\frac{\left(\frac{p_{(x_k+1)}}{1-p_{(x_k+1)}}\right)}{\left(\frac{p_{xk}}{1-p_{xk}}\right)}\right]={\beta }_k$$
        两边取对数，发生比OR：$$\left[\frac{\left(\frac{p_{(x_k+1)}}{1-p_{(x_k+1)}}\right)}{\left(\frac{p_{xk}}{1-p_{xk}}\right)}\right]=OR=e^{{\beta }_k}$$
        如果$x$为连续变量，我们可以解释为，其每增加一个单位，发生比OR会增加$e^{{\beta }_k}$个单位；如果$x$为二分变量，我们可以解释为，当$x$从0变为1时，事件的发生比OR变化$e^{{\beta }_k}$个单位。

5 曲线回归

        曲线回归的模型形式：$$y={\beta }_0+{\beta }_{1}x+{\beta }_2{x}^2+\cdots +{\beta }_n{x}^n+\epsilon$$
        曲线回归是一种用于分析因变量与自变量之间非线性关系的统计方法。与线性回归不同，曲线回归通过拟合一条曲线（而非直线）来更好地描述变量之间的复杂关系。常见的曲线回归模型包括多项式回归、对数回归、指数回归和幂函数回归等。曲线回归虽然看起来涉及到非线性关系，但它通常仍然被视为一种线性回归，因为在回归系数上是线性的。
        线性于参数，非线性于自变量：曲线回归模型在参数上是线性的，但在自变量上可能是非线性的。这意味着模型可以写成线性回归的形式，尽管自变量可能以非线性形式出现。
        曲线回归可以通过常规的最小二乘法来求解，即通过最小化残差平方和来估计回归系数：$$RSS=\sum _{i=1}^n{\left(y_i-({\beta }_0+{\beta }_1{x}_i+{\beta }_2{x}_i^2+\cdots )\right)}^2$$
        曲线回归的核心特征是：虽然自变量可能以非线性方式出现，但模型中的系数可以用线性最小二乘法来估计。

6 非线性回归

        非线性回归模型的基本形式为：$$y=f(x,\beta )+\epsilon$$
        由于模型的非线性，无法像线性回归那样直接通过最小二乘法求解参数。非线性回归通常使用非线性最小二乘法来估计模型中的参数𝛽，其目标是最小化观测值与模型预测值之间的误差平方和（RSS）：$$RSS(\beta )=\sum _{i=1}^n{\left(y_i-f(x_i,\beta )\right)}^2$$
        估计的参数值是通过迭代优化算法找到的，使得𝑅𝑆𝑆(𝛽)最小化。
        迭代算法：
        ①牛顿-拉夫森法：通过计算模型的导数和二阶导数，逐步逼近最优解。
        ②最速下降法：通过沿着误差下降最快的方向迭代更新参数。
        ③共轭梯度法：结合梯度下降和二阶导数信息进行优化。