39、热门微博预测与信任推荐技术研究

热门微博预测与信任推荐技术研究

1. 微博数据预处理与特征提取

在处理微博文本时，需预先采用特定方法过滤数据，确保过滤后的文本仅包含微博正文。可使用Python中结巴分词工具的插件进行中文分词，它能直接分词，还可避免一些不重要词汇的不利影响。

在微博文本主题提取领域，采用当前流行的潜在狄利克雷分配（Latent Dirichlet Allocation）模型进行文本主题特征建模及后续详细提取与选择。该算法的主要思想是，以一定概率将文本中的一个词分配到某个主题，同时主题会以特定概率值提取一些词，最终文本 - 主题和主题 - 词都服从多项式分布。

2. 基于XGBOOST的特征离散化

获取微博主题特征和微博用户特征后，依据相同的微博ID将这两部分组合成一组联合特征。联合特征能更好地反映微博特性，使预测结果更准确。

为更好地处理数据，可通过特定方法将数据映射到指定范围，常见方法是将属性缩放到 (x - min(x)) / (max(x) - min(x)) 的指定范围。这里使用z - score方法对数据进行标准化处理，处理后数据的均值为0，方差为1。

部分连续特征可使用特征离散化方法转换为离散特征。监督离散化方法通过特征值对类别标签的影响实现，无监督离散化方法主要以箱的形式计算。

3. 基于约束的随机森林热门微博预测算法

传统决策树算法在热门微博预测方面存在诸多不足，尽管离散化后的数据具有良好特性，但传统分类算法在分类时表现不佳，容易出现过拟合问题。为充分利用基于XGBOOST离散化的数据，提高热门微博的预测精度，采用随机森林算法作为基础算法并进行