5、最大熵、标准最大似然逻辑回归与离散选择模型解析

最大熵、标准最大似然逻辑回归与离散选择模型解析

1. 最大熵与标准最大似然逻辑回归

标准最大似然逻辑回归是当前预测分析实践中最常用的方法之一，但很多分析人员可能不知道，它与受约束的最大熵方法得出的解是相同的。不过，标准逻辑回归中的预测特征不太可能成为特定的约束条件，除非通过离散选择等实验方法来确定。因此，说标准逻辑回归的广泛应用总是遵循杰恩斯最可能推断原则，可能有些牵强。

在最大似然逻辑回归中，以二元因变量事件形式呈现的观测结果被用于计算一个函数，该函数根据预测特征估计这些事件发生的概率。这个概率函数是所有观测结果事件发生的联合概率，就像独立抛硬币试验的联合概率是所有单个结果事件概率的乘积一样。例如，连续两次抛硬币都得到正面的联合概率是 0.5×0.5 = 0.25，连续三次得到正面的联合概率是 0.5×0.5×0.5 = 0.125。这里需要注意的是，这个简单的乘法联合概率规则假设结果事件是独立事件，即一个事件不会导致或依赖于另一个事件。

在软件实现中，为了便于计算，逻辑回归通常最大化似然函数的对数。概率分布 p 的对数似然（Log Likelihood，LL）可以表示为：
[LL(p) = \sum_{i = 1}^{N} \sum_{j = 1}^{C} y(i,j) \ln(p(i,j))]
其中，(y(i,j)) 是第 (i) 次观测在第 (j) 个类别条件下的结果，事件发生时编码为“1”，未发生时编码为“0”；(p(i,j)) 是第 (i) 次观测在第 (j) 个类别条件下的估计概率。在最大似然解中，计算每个 (p(i,j)) 以使 (LL(p)) 最大化。需要注意的是，对数似然只是所有观测结果事件的乘积或联合概率的对数，且假设这些事件是独立的。