【22-23 春学期】AI作业3-监督学习

1.集成学习

集成学习是对于训练集数据，通过训练若干个个体学习器，通过一定的结合策略，来完成学习任务，从而可以最终形成一个强学习器。

集成学习法由训练数据构建一组基分类器，然后通过对每个基分类器的预测进行投票来进行分类。

集成学习并不算一种分类器，而是一种分类器结合的方法。

2.支持向量机

支持向量机是一种常见的机器学习算法，它可以用于分类和回归问题。

支持向量机算法可以解决小样本情况下的机器学习问题，简化了通常的分类和回归等问题。

但是经典的支持向量机算法只给出了二分类的算法，而在数据挖掘的实际应用中，一般要解决多分类问题，但支持向量机对于多分类问题解决效果并不理想。

3.软间隔

有时会遇到噪声点数据是线性不可分的情况，无法用硬间隔划分，就会用到软间隔。软间隔允许部分点分布在间隔内部，这样可以解决硬间隔的问题，但是我们希望位于间隔内部的点尽可能少，即在错误较少的情况下获得不错的划分超平面

4.核函数

将原始空间中的向量作为输入向量，并返回特征空间中向量的点积的函数称为核函数。

核函数使在高维空间中以极低的计算成本寻找线性关系成为可能，这是因为在特征空间中输入图像的内积可以在原始空间中计算出来

5.VC维

衡量一个模型的复杂度，在该模型对应的空间中随机撒x点，然后对其中的每个点随机分配一个2类标签，使用你的模型来分类，并且要分对，这个x就是VC维。

6.生成式模型

生成式模型针对联合分布进行建模，旨在学习数据是如何产生的，然后利用这个学习的过程生成新的数据样本。

7.判别式模型

判别式模型针对条件分布进行建模，旨在学习从输入数据到输出标签之间的映射关系，即输入和输出之间的条件概率分布。

8.生成式模型和判别式模型各有什么优缺点？

生成式模型：

优点：

• 还原联合分布率
• 学习的收敛速度更快
• 可以应对存在隐变量的情况

缺点：

• 往往会浪费计算资源
• 处理高维数据时，可能不如判别式模型

判别式模型：

优点：

• 相对于生成式模型节约计算资源
• 直接学习条件概率或决策函数，学习效率高

缺点：

• 对噪声数据的处理能力较差
• 不能反映训练数据本身的特性

9.监督学习是判别式方法，无监督学习是生成式方法？

监督学习和无监督学习并不一定对应生成式模型和判别式模型。监督学习和无监督学习都可以使用生成式模型或判别式模型进行建模。

10.分类是判别式方法，聚类是生成式方法？KNN，K-means分别是什么方法？

分类时有监督的算法，聚类是无监督的算法，而不是判别式方法生成式方法的区别。

KNN属于监督学习的分类算法。

K-means是非监督学习的聚类算法。