定序回归模型

什么是定序回归

定序回归的因变量是定序变量，数据类型是顺序数据。比如不满意，一般，满意；不合格，合格，优秀等。

模型构建

假设因变量是评分，先由单变量回归说起，则普通的线性回归模型为：
$$\mathrm{score}={\beta }_0+{\beta }_1\times x_1+ϵ$$
若上式中score不是连续变量，而是分类变量（例如取值为1，2，3，4）。这样等式两边的数据类型不统一，直接进行回归是没有意义的。我们考虑引入连续变量Z, 先让Z进行普通线性回归。
$$Z={\beta }_0+{\beta }_1\times x_1+ϵ.$$
并定义Z和score之间存在下面的关系：
$$\mathrm{score}=\{\begin{array}{l}1,\text{if}Z\le c_1;\\ 2,\text{if}{c}_1<Z\le c_2;\\ 3,\text{if}{c}_2<Z\le c_3;\\ 4,\text{if}{c}_3<Z.\end{array}$$
进一步可得:
当$1\le k<4$时，
$$\begin{array}{rl}\mathrm{Pr}(\mathrm{score}\le k)& =\mathrm{Pr}(Z\le c_k)\\ & =\mathrm{Pr}({\beta }_0+{\beta }_1\times x_1+ϵ\le c_k)\\ & =F_{ϵ}({\alpha }_k-{\beta }_1\times x_1);\end{array}$$
当$k=4$时，
$$\mathrm{Pr}(\mathrm{score}=4)=1-\mathrm{Pr}(\mathrm{score}\le 3),$$
其中，${\alpha }_k=c_k-{\beta }_0$, $F_{ϵ}(\cdot )$表示$ϵ$的分布函数。

通过不同连接函数对$F_{ϵ}(\cdot )$进行建模可以得到不同形式的回归模型。

若用正态分布的分布函数$\Phi (\cdot )$表示$F_{ϵ}(\cdot )$, 可得到定序回归的Probit模型：
$$\mathrm{Pr}(\mathrm{score}\le k)=\Phi ({\alpha }_k-{\beta }_1\times x_1).$$
进一步，有
Φ − 1 { Pr ⁡ ( s c o r e ≤ k ) } = α k − β 1 × x 1 . \Phi^{-1}\{\Pr(\mathrm{score}\leq k)\}=\alpha_k-\beta_1\times x_1. Φ−1{Pr(score≤k)}=αk​−β1​×x1​.
上式左边可以通过计算得到，右边即为线性表达式。需要注意的是，与OLS相比，截距项${\alpha }_k$是有k个。

若用Logist连接函数来表示表示$F_{ϵ}(\cdot )$, 可得到定序回归的Logist模型：
$$\mathrm{Pr}(\mathrm{score}\le k)=\frac{\exp ({\alpha }_k-{\beta }_1\times x_1)}{1+\exp ({\alpha }_k-{\beta }_1\times x_1)}.$$
进一步，有
l o g i t { Pr ⁡ ( s c o r e ≤ k ) } = log ⁡ ( Pr ⁡ ( s c o r e ≤ k ) 1 − Pr ⁡ ( s c o r e ≤ k ) ) = α k − β 1 × x 1 . \mathrm{logit}\{\Pr(\mathrm{score}\leq k)\}=\log\left(\frac{\Pr(\mathrm{score}\leq k)}{1-\Pr(\mathrm{score}\leq k)}\right)=\alpha_k-\beta_1\times x_1. logit{Pr(score≤k)}=log(1−Pr(score≤k)Pr(score≤k)​)=αk​−β1​×x1​.

随后可以利用极大似然估计，得到参数${\hat{\alpha }}_1,{\hat{\alpha }}_2,...,{\hat{\alpha }}_4,{\hat{\beta }}_1$.
$${\hat{\alpha }}_1,{\hat{\alpha }}_2,...,{\hat{\alpha }}_4,{\hat{\beta }}_1=\underset{{\alpha }_1,..,{\alpha }_4,{\beta }_1}{\mathrm{argmax}}\prod _{i=1}^{n}p(x_i;{\alpha }_1,..,{\alpha }_4,{\beta }_1),$$
其中
$$p(x_i;{\alpha }_1,..,{\alpha }_4,{\beta }_1)=\{\begin{array}{l}{F}_{ϵ}({\alpha }_1-{\beta }_1\times x_1),\text{if}{\mathrm{score}}_i=1;\\ F_{ϵ}({\alpha }_k-{\beta }_1\times x_1)-F_{ϵ}({\alpha }_{k-1}-{\beta }_1\times x_1),\text{if}{\mathrm{score}}_i=k,1<k<4;\\ 1-F_{ϵ}({\alpha }_3-{\beta }_1\times x_1),\text{if}{\mathrm{score}}_i=4.\end{array}$$

R语言实现

library(MASS)
set.seed(1535)
df=data.frame(
  score=factor(sample(x=c(1,2,3),size=100,replace = TRUE,prob = c(0.3,0.3,0.4))),
  x1=rnorm(n=100,mean=0.1,sd=1),
  x2=rnorm(n=100,mean=-0.1,sd=1.5)
  )
head(df)
# score         x1         x2
# 1     3 -0.8999129  0.7749112
# 2     2  0.9048189  2.1696023
# 3     3  1.2148977 -1.7717242
# 4     1 -0.6594323 -0.8592811
# 5     3 -0.9922733  1.3890127
# 6     1 -1.1719010 -0.7299038
model=polr(score~.,data=df,Hess = TRUE,method = c('logistic'))
summary(model)
# 
# 
# Call:
#   polr(formula = score ~ ., data = df, Hess = TRUE, method = c("logistic"))
# 
# Coefficients:
#   Value Std. Error t value
# x1  0.2323     0.1999  1.1621
# x2 -0.0738     0.1310 -0.5633
# 
# Intercepts:
#   Value   Std. Error t value
# 1|2 -1.0663  0.2398    -4.4465
# 2|3  0.4586  0.2174     2.1094
# 
# Residual Deviance: 214.361 
# AIC: 222.361 

Python语言实现

python的mord模块中的LogisticIT()和LogisticAT()可以实现相同的效果。
https://pythonhosted.org/mord/