14、数据存储与建模全解析

数据存储与建模全解析

1. 数据存储与安全

数据存储是数据处理的基础环节，由于数据形式和用途多样，有多种系统可用于存储数据。在创建数据集时，可以配置表的过期时间。对于分区表，虽然表会一直存在，但希望分区随时间过期，以确保只保留最新数据。

1.1 分区表过期时间设置

可通过以下两种方式设置分区表的过期时间：
- gcloud 方式 ：在本地 bash 控制台或云控制台中使用以下命令：

bq update --time_partitioning_field=event_date \
  --time_partitioning_expiration 604800 [PROJECT-ID]:[DATASET].partitioned_table

• BigQuery DML 方式 ：使用以下 SQL 语句：

ALTER TABLE `project-name`.dataset_name.table_name
SET OPTIONS (partition_expiration_days=7);

1.2 数据安全与隐私保护

除了设置被动的数据过期时间，还可以通过数据丢失预防 API（DLP API）主动扫描数据以防止隐私泄露。DLP API 能自动检测并屏蔽数据中的敏感信息，如电子邮件、电话号码和信用卡号码等。它可在云存储或 Bi