机器学习之线性判别（算法详细推导）

线性判别法LDA——P60

主要思想

需要找一条直线，希望各点投影在该直线上后，希望同一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。量化这两点感官，则需满足异类点的中心距离远，同类点的方差小.

模型建立

假设我们有数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x m , y m ) } D=\{(x_1,y_1),(x_2,y_2),\dots,(x_m,y_m)\} D={ (x1​,y1​),(x2​,y2​),…,(xm​,ym​)}，其中任意样本$x_i$为n为向量， y i ∈ { 0 , 1 } y_i\in\{0,1\} yi​∈{ 0,1}，我们定义

• $X_i(i=0,1)$为第$i$类样本的集合，
• $\#X_i(i=0,1)$为第$i$类样本的个数，
• $a_i(i=0,1)$为第$i$类样本的投影中心点（是一个向量）,
• ${\mu }_i(i=0,1)$为第$i$类样本的中心点
• $S_i(i=0,1)$为第$i$类样本的方差
• ${\Sigma }_i(i=0,1)$为第$i$类样本的协方差矩阵

根据投影的知识可得

点$(x_{i1},x_{i2})$在直线$w_1{x}_1+w_2{x}_2=0$上的投影相当于向量$(x_{i1},x_{i2})$在向量$(w_1,w_2)$上的投影，即为向量$(x_{i1},x_{i2})$与向量$(w_1,w_2)$的点积$(x_i{)}^{T}w$

则有

a i = 1 # X i ∑ j ∈ X i ( x j ) T w          = ( 1 #