使用 PyODPS 统计 ODPS 空间内的表数据信息

最新推荐文章于 2024-04-29 13:49:51 发布

原创

最新推荐文章于 2024-04-29 13:49:51 发布 · 4k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#python #odps

本文介绍如何使用Python结合PyODPS库来统计阿里云ODPS空间内的表和数据情况，包括表的基本信息、字段数量、字段注释缺失情况、分区数量及最新分区的数据量等。

使用 python 统计 ODPS 空间内的表和数据情况。

创建统计表

CREATE TABLE `table_statistics` (
	`table_name` string COMMENT '表名',
	`partition_name` string COMMENT '最新分区',
	`chinese_name` string COMMENT '中文表名',
	`column_count` bigint COMMENT '字段数量',
	`column_comment_null_count` bigint COMMENT '字段注释缺失数量',
	`pt_count` bigint COMMENT '分区数量',
	`data_count` bigint COMMENT '最新分区数据量'
) 
COMMENT '数据情况统计'
 PARTITIONED BY (dt string)
LIFECYCLE 180;