9、社交媒体大数据可信度分析：从数据存储到实验验证

社交媒体大数据可信度分析：从数据存储到实验验证

1. 数据存储

数据存储是大数据生命周期的第三阶段。在描述大数据时，数据量是一个必须考虑的重要维度，它指的是数据的大量增长，需要合适的工具和技术来管理如此庞大的数据块。

这里使用基于Hadoop3平台的分布式和并行数据处理基础设施来存储数据。Hadoop是一个用于数据处理的分布式计算平台，它是Apache™开发的开源项目，为大数据提供了可扩展、可靠和容错的框架。

例如，Curtin大学信息系统学院的大数据基础设施用于数据存储，这是一个6节点的大数据集群，每个节点配备64GB内存、2TB存储和8核处理器。临时数据在数据集成过程后将其内容转储到这个分布式环境中。同时，在这个分布式环境中设计并实现了几个Hive表，数据转储存储在Hive表中，以便通过类似SQL的格式进行数据访问和操作。

2. 领域分类与情感分析

可变性是大数据的一个重要维度，它指的是含义的差异。引入语义分析可以减少大数据的歧义性，减轻其可变性，区分用户感兴趣的领域，并推断他们的真实情感。

经过清理和预处理的数据集会通过领域分类和推理模块，在这个模块中，从数据集中提取的文本内容主要通过以下两种方法进行分析：
- 使用20 Newsgroups数据集进行文本分类 ：20 Newsgroups数据集包含约20,000篇收集的文档，这些文档被分为20个高级类别（新闻组）。语料库中的每个文档都被标记为一个新闻类别，该数据集常用于进行文档聚类任务。
- 使用IBM Watson进行文本分类 ：IBM Watson是一种基于云的服务，用于从