4、构建Twitter数据集与HDFS存储入门

构建Twitter数据集与HDFS存储入门

1. 构建首个Twitter数据集

1.1 Twitter数据获取限制

由于Twitter的服务条款禁止以任何形式重新分发用户生成的数据，所以无法直接获取通用数据集。不过，可以使用Python脚本以编程方式访问该平台，从实时流中收集用户推文并创建数据转储。

1.2 Twitter的多API服务

Twitter用户每天分享超过2亿条推文（即状态更新）。该平台通过四种类型的API提供对这些数据的访问：
| API类型 | 用途 |
| ---- | ---- |
| Twitter for Products | 用于从第三方源链接和交互Twitter内容 |
| REST | 以编程方式访问特定用户或站点的内容 |
| Search | 跨用户或站点时间线的搜索功能 |
| Streaming | 实时访问Twitter网络上创建的所有内容 |

在本文中，将使用Streaming API作为数据源，展示相关的批量和实时处理能力。不过，不会直接与API交互，而是使用第三方库来处理认证和连接管理等杂务。

1.3 推文的结构

通过实时API调用返回的每个推文对象都表示为序列化的JSON字符串，除文本消息外，还包含一组属性和元数据。这些额外内容包括：
- 唯一标识推文的数字ID
- 推文分享的位置
- 分享推文的用户（用户对象）
- 是否被其他用户重新发布（转发）以及转发次数（转发计数）
- 机器检测到的文本语言
- 推文是否是对某人的回复