【22-23 春学期】AI作业3-监督学习

1. 集成学习

集成学习是一种机器学习技术，它通过将多个模型组合在一起来提高模型的准确性和稳定性。集成学习可以通过不同的方式组合模型，例如通过投票、平均值、加权平均等方式。

2. 支持向量机

支持向量机是一种二分类模型，它的目标是找到一个能够将两个类别分开的超平面。支持向量机通过最大化超平面与最近的数据点之间的距离来找到最优的分类超平面。

3. 软间隔

软间隔是指在支持向量机中允许一些数据点被错误分类的情况。软间隔的引入可以使支持向量机更加灵活，能够处理一些噪声数据和异常点。

4. 核函数

核函数是一种在支持向量机中用于将数据从低维映射到高维的技术。核函数可以将低维空间中线性不可分的数据映射到高维空间中，从而使它们变得线性可分。

5. VC维

VC维是衡量一个分类器的复杂度的一种方法。它是指分类器能够正确分类任意标记的样本的最大数量。VC维越大，分类器的复杂度越高。

6. 生成式模型

生成式模型是一种机器学习模型，它试图学习数据背后的生成过程。生成式模型可以用于生成新的数据，例如语音合成、图像生成等。

7. 判别式模型

判别式模型是一种机器学习模型，它试图直接学习输入和输出之间的映射关系，而不是学习数据的生成过程。判别式模型通常用于分类、回归等任务。

8. 生成式模型和判别式模型各有什么优缺点？

生成式模型可以生成新的数据，具有很强的可解释性，而判别式模型通常具有更好的预测性能。生成式模型的缺点是通常需要更多的参数来建模，训练时间更长，而判别式模型则通常更容易训练和优化。

9. 监督学习是判别式方法，无监督学习是生成式方法？

监督学习和无监督学习是两种不同的机器学习方法，它们的区别在于是否需要已有的标注数据。

监督学习是一种使用已标注数据（即输入数据和相应输出数据）来训练模型的机器学习方法。在监督学习中，模型的目标是学习输入和输出之间的关系，以便在给定新的输入时，能够预测其相应的输出。监督学习方法通常是判别式方法，因为它们的目标是学习输入与输出之间的条件概率分布。

相反，无监督学习是一种使用未标注数据来训练模型的机器学习方法。在无监督学习中，模型的目标是学习数据之间的内在结构或模式，而无需知道任何标注数据的信息。无监督学习方法通常是生成式方法，因为它们的目标是学习输入数据的联合概率分布。

10. 分类是判别式方法，聚类是生成式方法？KNN，K-means分别是什么方法？

分类是一种判别式方法，它的目标是根据已有的标记数据（即带有标签的数据）将新的数据点分到某个已知的类别中。分类方法通常使用监督学习算法，如决策树、支持向量机（SVM）和神经网络等。

聚类是一种生成式方法，它的目标是根据数据点的相似性将它们分为不同的组或簇。聚类方法通常使用无监督学习算法，如K-means、层次聚类和高斯混合模型等。

KNN（k-nearest neighbors）是一种基于实例的学习方法，它通过测量不同数据点之间的距离来预测新数据点的分类。具体来说，KNN算法会找出与新数据点最近的k个数据点，然后根据这些邻居的标签来预测新数据点的标签。

K-means是一种聚类算法，它通过将数据点划分为k个不同的簇来将数据点分组。K-means算法的基本思想是将数据点划分为k个簇，使得每个簇内的数据点相似度最大化，而不同簇之间的相似度最小化。