36、基于元数据聚类多任务学习与遗传算法的数据挖掘研究

基于元数据聚类多任务学习与遗传算法的数据挖掘研究

在数据挖掘领域，针对不同类型的数据和问题，有多种算法和方法可供选择。本文将介绍基于元数据的聚类多任务学习用于网络社区线程挖掘，以及使用遗传算法挖掘二进制数据集以获取频繁项集和大咬项集的相关内容。

元数据聚类多任务学习用于线程挖掘

• 数据集统计信息
  | 数据集 | iPad Q&A | Slashdot.org |
  | ---- | ---- | ---- |
  | 线程数量 | 1130 | 664 |
  | 帖子数量 | 8489 | 146569 |
  | 用户数量 | 2175 | 14241 |
  | 平均线程长度 | 7.51 | 220.74 |
  | 平均每个帖子的单词数 | 63.09 | 76.33 |
  | 平均每个用户的帖子数 | 3.90 | 10.29 |
  | 主题数量 | 5 | 5 |

在实验中，使用任务间的均方根误差（RMSE）作为评估标准，RMSE 越低，性能越好。学习过程采用 5 折交叉验证。

• 显式回复图与重建回复图的评估
  由于 iPad Q&A 数据集缺乏显式回复图，因此对 Slashdot.org 数据集进行显式回复图和重建回复图的性能实验。在元数据聚类后，分别在单任务学习和多任务学习框架下进行比较。单任务学习选择线性 SVM 进行回归，多任务学习选择 sCMTL（k = 3），数据簇数量 K 从 5 到 30 变化。
  实验结果表明，在合适的 K