逻辑回归推导与应用

第 1 章 简介

        逻辑回归是一种常用的机器学习方法，用于解决分类问题。虽然名字中带有"回归"，但实际上是一种分类算法，主要进行二分类。它的发展历史可以追溯到19世纪末的统计学研究。统计学家Karl Pearson和Ronald Fisher对二项分布进行了深入研究，为逻辑回归的发展奠定了基础。20世纪40年代，美国统计学家John William Tukey和美国经济学家John Neumann Friedman引入了逻辑回归的概念。1958年，经济学家Daniel McFadden提出了条件最大似然估计法，进一步完善了逻辑回归。目前，逻辑回归在统计学和机器学习领域得到了广泛应用。

第 2 章 预备知识

2.1 海涅定理(归结原则)

        设 $f$ 在 $U(x_0;\sigma )$ 上有定义，极限$\underset{x\to x_0}{\lim }f(x)$ 存在的充要条件：对任何含于 $U(x_0;\sigma )$ 且以$x_0$为极限的数列 { x n } \{x_n\} { xn​}, $\underset{n\to \infty }{\lim }f(x_n)$极限存在且相等。

2.2 单调有界准则

        在实数系中，有界的单调数列必有极限。

2.3 最大似然估计

        最大似然估计(Maximum Likelihood Estimate, MLE)最早是由德国数学家高斯在1821年针对正态分布提出的，但一般将之归功于费希尔，因为费希尔在1922年再次提出了这种想法并证明它的一些性质而使得最大似然法得到了广泛的应用^[1]。
定义 1
        设总体的概率函数为 $p(x;\theta )$，$\theta \in \Theta$，其中 $\theta$ 是一个未知参数或几个未知参数组成的参数向量，$\Theta$是参数空间，$x_1,\cdots ,x_n$ 是来自该总体的样本，将样本的联合概率函数看成 $\theta$ 的函数，用$L(\theta ；x_1,\cdots ，x_n)$ 表示，简记为 $L(\theta )$。其表达式如下：
$$L(\theta )=L(\theta ；x_1,\cdots ，x_n)=P(x_1;\theta )P(x_2;\theta )\cdots P(x_n;\theta )$$
$L(\theta )$称为样本的似然函数。如果某统计量 $\hat{\theta }=\hat{\theta }(x_1,\cdots ,x_n)$ 满足：
$$L(\hat{\theta })=\underset{\theta \in \Theta }{\max }L(\theta )$$
则称$\hat{\theta }$ 是 $\theta$ 的最大似然估计。

第 3 章 理论推导

3.1 随机变量及其分布

定义 2
        在样本空间$\Omega$上定义的实值函数$X=X(\omega )$，即能够表示随机现象结果的变量，我们称为随机变量，常用大写字母$X,Y,Z$表示，其取值(随机现象结果)用小写字母$x,y,z$表示。随机变量的取值有有限个，则称为离散随机变量；随机变量的取值有无限个时，称为连续随机变量^[1]。
        定义表明：随机变量$X$是样本点$\omega$的一个函数，这个函数可以是不同的样本点对应不同的实数，也允许多个样本点对应同一个实数。样本点可以是数值型，也可以不是，但随机变量的取值一定是实数。在概率论中，讨论随机变量(任意随机变量)就一定要讨论随机变量的分布，只要知道随机变量的分布就可以知道随机变量取值的概率值^[1]。
定义 3
        设$X$是随机变量，对于任意实数$x$，称
$$F(x)=P(X\le x)$$
为随机变量$X$的分布函数，且称$X$服从$F(x)$, 记为$X\sim F(x)$。
定理 1
        任意分布函数 $F(x)$ 都具有如下三条基本性质：
(1) 单调性   $F(x)$ 是定义在整个实数轴$(-\infty ,\infty )$上是单调非递减，即对于任意 $x_1,x_2$, 有$F(x_1)\le F(x_2)$.
(2) 有界性   对任意的 $x$， 有 $0\le F(x)\le 1$，且
$$\begin{gathered} F(-\infty )=0 \\ F(\infty )=1 \end{gathered}$$
(3) 右连续性   $F(x)$是 $x$ 的右连续函数，即对任意的 $x_0$ ，有
$$\underset{x\to x_0^{+}}{\lim }F(x)=F(x_0)$$

（1）证：
        对于任意$x_2>x_1$, 即$(-\infty ,x_1]\subset (-\infty ,x_2]$, 根据概率的单调性(当事件B被事件A包含时，说明事件A比事件B更容易发生，那么事件B的概率不应该比A的概率小，即若$B\subset A$, 则$P(A)\le P(B)$)可知,$F(x_1)=P(X\le x_1)\le P(X\le x_2)=F(x_2).$
（2）证:
        很显然，$\underset{x\to \infty }{\lim }F(x)$存在。
        令 A n = { X ≤ n } A_n=\{X \leq n\} An​={ X≤n}， 则有$A_n\subset A_{n+1}$，$\sum _{i=1}^{+\infty }{A}_i=\Omega$,
$$\begin{array}{rl}\underset{x\to \infty }{\lim }F(x)& =\underset{n\to \infty }{\lim }F(n)\\ & =\underset{n\to \infty }{\lim }P(A_n)\\ & =P(\sum _{i=1}^{+\infty }{A}_i)\\ & =P(\Omega )\\ & =1\end{array}$$
        很显然，$\underset{x\to -\infty }{\lim }F(x)$存在。
        令 B n = { X ≤ − n } B_n=\{X \leq -n\} Bn​={ X≤−n}， 则有$B_n\supset B_{n+1}$，$\prod _{i=1}^{+\infty }{B}_i=\varnothing$,
$$\begin{array}{rl}\underset{x\to -\infty }{\lim }F(x)& =\underset{n\to \infty }{\lim }F(-n)\\ & =\underset{n\to \infty }{\lim }P(B_n)\\ & \\ & \\ & \end{array}$$