高斯判别分析（GDA）在线性分类中的应用

概述：
线性分类是机器学习中常见且重要的任务之一，而高斯判别分析（Gaussian Discriminant Analysis，简称GDA）是一种常用的线性分类方法。GDA基于概率统计理论，假设数据符合高斯分布，并利用贝叶斯定理进行分类。本文将介绍GDA算法的原理、实现方法以及一个简单的示例代码。

算法原理：
GDA的目标是从已知的样本训练集中学习到一个决策边界，用于对新样本进行分类。算法的核心思想是基于已知样本的特征分布，来估计其属于不同类别的概率。具体而言，GDA假设每个类别的特征向量服从多元高斯分布，然后通过最大似然估计参数：类别先验概率、均值向量和协方差矩阵。根据估计的模型参数，可以计算出每个类别的条件概率密度函数。

实现步骤：

1. 计算类别先验概率：
   类别先验概率表示每个类别在训练集中的比例，可以通过简单地统计样本数量来估计。

2. 估计均值向量和协方差矩阵：
   对于每个类别，计算其对应的均值向量和协方差矩阵。均值向量表示了该类别在各个维度上的平均值，协方差矩阵则反映了各个维度之间的相关性。

3. 计算条件概率密度函数：
   利用估计的均值向量和协方差矩阵，可以计算出给定样本特征的情况下，该样本属于每个类别的概率密度函数。

4. 决策边界：
   根据条件概率密度函数，可以通过比较不同类别下的概率来判定样本的分类。常见的决策规则是根据后验概率大小来进行判断。

示例代码：
下面是一个简单的GDA线性分类的示例代码，用于对二维数据进行分类。