线性判别分析LDA：详解及数学原理

---

简介

        线性判别分析 (Linear Discriminant Analysis，简称 LDA)是一种经典的线性学习方法。并且LDA是一种监督学习的降维技术。

思想：
        给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、 异类样例 的投影点尽可能远离（有些像中心损失的思想）。
        在对新样本进行分类时，将其投影到 同样的这条直线上，再根据投影点的位置来确定新样本的类别。

数学分析

        给定数据集 D ∈ { ( X i ， Y i ) } i − 1 m D\in \lbrace(Xi ， Yi)\rbrace^m_{i-1} D∈{(Xi，Yi)}i−1m​，旦 Y i ∈ { 0 ， 1 } Y_i \in\lbrace {0， 1 }\rbrace Yi​∈{0，1} ， 令 $X_i,{\mu }_i,{\Sigma }_i$ 分别表示第 i ∈ { 0 ， 1 } i\in \lbrace{0 ， 1}\rbrace i∈{0，1} 类样例的集合、均值向量、协方差矩阵。

这里小小的回忆一下协方差与协方差矩阵： 协方差矩阵是一个矩阵，其每个元素是各个向量元素之间的协方差。而协方差描述了向量之间的相关程度（关于协方差，可以看这篇博客写的很好：终于明白协方差的意义了）

        若将数据投影到直线 $w$上 ，则两类样本的中心在直线上的投影分别为 $w_T{\mu }_0$ 和 $w_T{\mu }_1$

        若将所有样本点都投影到直线上，则两类样本的协方差分别为$w_T{\Sigma }_{0}w$和$w_T{\Sigma }_{1}w$

        欲使同类样例的投影点尽可能接近，可以让同类样例投影点的协方差尽可能小：即 $w_T{\Sigma }_{0}w+w_T{\Sigma }_{1}w$ 尽可能小

        使异类样例的投影点尽可能远离，类中心之间的距离尽可能大，即： $||w_T{\mu }_0-w_T{\mu }_1|{|}_2^2$ 尽可能大（$||\cdot |{|}_2^2$ 为L2范数的平方）

        同时考虑二者，即最大化下式：

类内散度矩阵：

类问散度矩阵：

故$J$函数可重写为：

也被称为 $S_b$ 与 $S_w$ 的"广义瑞利商"

那么$w$如何求呢？

        对于广义瑞利商，分子分母上的 $w^T\ast \ast w$，只与其方向有关，我们可以将$w^T{S}_{w}w$看作1，因此最大化原函数$J$变为最小化：

由拉格朗日乘子法，上式等价于：

$S_{b}w$ 的方向恒为 ${\mu }_0-{\mu }_1$，令：

故$w$：

Python实现简单的LDA

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification

def func(x, w):
    return np.dot((x), w)

def LDA(X, y):
    # 根据标签分为两个数据集
    X1 = np.array([X[i] for i in range(len(X)) if y[i] == 0])
    X2 = np.array([X[i] for i in range(len(X)) if y[i] == 1])

    len1 = len(X1)
    len2 = len(X2)
    # 求中心点
    X1_Center = np.mean(X1, axis=0)
    print(X1_Center)
    X2_Center = np.mean(X2, axis=0)
    print(X2_Center)
    # 求协方差
    cov1 = np.dot((X1 - X1_Center ).T, (X1 - X1_Center ))
    cov2 = np.dot((X2 - X2_Center).T, (X2 - X2_Center))
    # 求类内散度
    Sw = cov1 + cov2
    # 求w
    # np.mat()将输入解释为一个矩阵
    # np.mat().I求逆
    w = np.dot(np.mat(Sw).I, (X1_Center - X2_Center).reshape((len(X1_Center), 1)))

    # 输出
    X1_new = func(X1, w)
    X2_new = func(X2, w)
    y1_new = [1 for i in range(len1)]
    y2_new = [2 for i in range(len2)]
    return X1_new, X2_new, y1_new, y2_new

if '__main__' == __name__:
    X, y = make_classification(n_samples=500, n_features=2, n_redundant=0, n_classes=2,
                               n_informative=1, n_clusters_per_class=1, class_sep=0.5, random_state=10)

    X1_new, X2_new, y1_new, y2_new = LDA(X, y)

    plt.scatter(X[:, 0], X[:, 1], marker='o', c=y)
    plt.show()

    plt.plot(X1_new, y1_new, 'b*')
    plt.plot(X2_new, y2_new, 'ro')
    plt.show()

下面是均值向量输出：

[-4.91767118e-01 -4.15692170e-04]
[ 0.50795852 -0.12563275]

原始数据分布：

经过LDA后的数据分布：