18、文本数据的可视化与图分析

文本数据的可视化与图分析

1. 可视化引导与超参数调优

在机器学习中，当我们使用Scikit - Learn的估计器调用 fit 方法时，模型会学习最适合所提供数据的算法参数。但有些参数并非在估计器内部直接学习得到，这些参数是我们在实例化时提供的，即超参数。

超参数因模型而异，常见的超参数包括：
- 正则化的惩罚量
- 支持向量机的核函数
- 决策树的叶子数量或深度
- 最近邻分类器中使用的邻居数量
- k - 均值聚类中的簇数量

Scikit - Learn模型在很少或不修改默认超参数的情况下，往往也能取得惊人的成功。不过，在确定了最适合问题的模型套件后，下一步就是对超参数进行调优，以找到每个模型的最优设置。下面将介绍如何通过可视化的方式探索超参数，特别是针对k - 均值聚类问题进行k值选择。

1.1 轮廓系数与肘部曲线

1.1.1 轮廓系数

当数据集的真实标签未知时，可以使用轮廓系数来计算模型生成的簇的密度。轮廓分数是通过对每个样本的轮廓系数求平均值得到的，计算公式为每个样本的平均簇内距离与平均最近簇距离之差，并通过最大值进行归一化。轮廓分数的取值范围在1到 - 1之间：
- 1表示高度密集的簇
- - 1表示完全错误的聚类
- 接近零的值表示簇之间存在重叠

分数越高越好，因为这意味着簇更密集且更分离。负值表示样本被分配到了错误的簇，正值表示存在离散的簇。可以通过绘制轮廓分数来衡量一个簇中的每个点与相邻簇中的点的接近程度。

使用Yellowbrick库的