9、数据处理与存储：从GA4到云构建的全流程指南

数据处理与存储：从GA4到云构建的全流程指南

1. 数据导入与隐私保护

1.1 数据导入准备

在自己的管道中使用数据时，需要创建CSV导出文件，并创建适合自身数据的 config.yaml 文件。还可以部署多个具有不同配置设置的云函数，以适应每个CRM导出或目标。目前已实现将事件驱动的导入到BigQuery，支持最大5TB的CSV文件，若直接加载gzip文件则支持4GB。更多详细信息可参考 此处 。

1.2 数据隐私保护

从数据隐私角度来看，Google Cloud Storage（GCS）可以设置数据的过期时间，从而安全地删除任何个人数据。在进行定期导入时，可以设置一个在数据请求的法律响应时间内的过期时间。这意味着可以维护源系统现有的数据删除程序，而无需在云端重复操作。例如，用户在现有系统中请求删除其数据，该请求将在30天内过滤到云端数据。

1.3 CRM数据库导入

通常，负责在数据到达Cloud Storage后进行处理，而客户需要负责将导出数据上传到Cloud Storage。这通常很容易实现，因为对开发团队的请求只是将列A、B、C导出为CSV或JSON文件，并使用 gcloud 或Cloud Storage SDK安排上传到Google Cloud Storage。如果是内部团队，可能会更多地参与实际导出的创建和交付，例如从本地MySQL数据库