15、短文本趋势话题检测、分类及图像加密研究

短文本趋势话题检测、分类及图像加密研究

短文本趋势话题检测与分类

在当今的网络和信息检索应用中，短文本发挥着重要作用。像在手机通信、微博等场景里，短文本被广泛使用。以 Twitter 为例，自 2006 年 10 月推出以来，发展迅猛。然而，短文本具有噪声大、长度短（每条消息少于 280 个字符）、有效信息少等特点，这使得准确提取样本特征变得困难，因为特征集维度高。同时，实时数据捕捉也面临挑战，大量实时更新的消息难以收集。

短文本虽有这些挑战，但能帮助我们了解当下的热门话题。不过，对于不熟悉某些话题相关人物或事件的用户来说，可能难以理解话题背后的含义。为解决这一问题，我们需要对推文进行分类，并生成极性来推荐热门话题的正负信息。

目前，常见的文本分类方法如朴素贝叶斯（NB）、支持向量机（SVM）、神经网络（NN）、决策树（DT）和 k - 近邻（KNN）等，主要以长文本为研究对象。对于短文本，由于特征稀疏、不规则和大数据等问题，这些方法的执行效果不佳。

下面我们来看一下具体的操作步骤和相关数据：
1. 语料清洗 ：推文中存在许多不必要的内容，会降低分类器的效果。因此，在应用算法前需要进行语料清洗，其中去除停用词是关键步骤。我们使用 Zipf 定律算法来避免停用词进入分类器。具体步骤如下：
- 应用 TF - IDF 算法计算整个语料库的词频和文档频率。
- 依据 Zipf 定律识别停用词列表。
- 实施 Spark 作业来执行以下步骤：
1. 将目标文档文本分词并存储在数组中。
2. 将停用词文件存储在缓存中作为 Spark RDD。
3. 使用顺序搜索方法将停用