31、多项式逻辑回归与离散输入数据预处理

多项式逻辑回归与离散输入数据预处理

1. 多项式逻辑回归基础

在多项式逻辑回归中，存在一个重要的矩阵运算，涉及到Kronecker积。例如，对于矩阵 $H(W)$ 的块 $c, c’$ 子矩阵可表示为：
[H_{c,c’}(W) = \sum_{n} \mu_{nc}(\delta_{c,c’} - \mu_{n,c’})x_nx_n^{\top}]
若有3个特征和2个类别，$H(W)$ 可进一步表示为：
[H(W) = \sum_{n}
\begin{pmatrix}
\mu_{n1} - \mu_{n1}^2 & -\mu_{n1}\mu_{n2} \
-\mu_{n1}\mu_{n2} & \mu_{n2} - \mu_{n2}^2
\end{pmatrix}
\otimes
\begin{pmatrix}
x_{n1}x_{n1} & x_{n1}x_{n2} & x_{n1}x_{n3} \
x_{n2}x_{n1} & x_{n2}x_{n2} & x_{n2}x_{n3} \
x_{n3}x_{n1} & x_{n3}x_{n2} & x_{n3}x_{n3}
\end{pmatrix}
= \sum_{n}
\begin{pmatrix}
(\mu_{n1} - \mu_{n1}^2)X_n & -\mu_{n1}\mu_{n2}X_n \
-\mu_{n1}\mu_{n2}X_n & (\mu_{n2} - \mu_{n2}^2)X_n
\end