10、数据管理与分析工具：BigQuery与Pub/Sub的应用

数据管理与分析工具：BigQuery与Pub/Sub的应用

在数据处理和分析的领域中，如何高效地管理和利用数据是关键。本文将探讨不同角色的数据集、BigQuery的使用以及Pub/Sub的应用。

不同角色的数据集

在处理数据时，我们会遇到不同类型的数据集，它们各自有着不同的角色和用途。
1. 原始数据（Raw Data）
- 特点 ：原始数据通常是从外部API或服务直接获取的数据，未经过任何处理。例如GA4的BigQuery数据导出，它是嵌套结构，对于不熟悉BigQuery SQL的人来说难以处理。
- 处理建议 ：尽量保持原始数据不变，除非有法律义务（如个人数据删除请求）。不建议将其直接提供给终端用户，而是通过工作流对其进行整理、过滤和聚合。
2. 整洁数据（Tidy Data）
- 特点 ：经过初步处理，去除了不良数据点，标准化了命名约定，进行了数据集连接和聚合，更易于使用。
- 处理建议 ：作为“真相源”数据集，由数据工程师维护，下游数据用户只有只读权限。
3. 业务用例数据（Business Cases）
- 特点 ：从整洁数据中聚合而来，用于满足特定的业务需求，如营销效果分析、销售或产品开发。
- 处理建议 ：可以根据需要提供给合适的部门，作为日常临时查询的数据源。