关于Maximum Likelihood Estimate（极大似然估计）的思考

一、MLE提出的背景

    通过维基百科查询得知，MLE由遗传学家及统计学家罗纳德.费雪在1912年至1922年间开始使用。由此联想到MLE的遗传学背景，在遗传学中，显性研究即为最大可能性研究，通过对于各独立个体计算发生或者存活概率，来确定最后显著表达的群体。

   在多个独立个体求集体存活的概率时，即为数学中的样本相互独立条件下，求此组样本的联合概率分布。通过当联合概率分布达到最大值时，求得对应的参数。

二、对比线性回归与LR

    线性回归：以最小化因变量实际值与估计值的均方，来求得对应的自变量参数与常量。

    LR：可以视为线性回归的一种映射，将因变量的变化范围压缩至0-1。在LR的参数求解时，可以通过对p(y=1|w)与p(y=0|w)的比值取对数，可获得类似于线性回归表达式形式，可通过线性回归的The Least Square Method（最小二乘法）来求解参数。

    对于LR参数的经典解法ML，采用MLE的背景来进行理解。假定每个样本相互独立，通过连乘求得联合概率分布，对联合概率分布进行极大值求导，选取最大值情况下求对应的参数值。