统计HDFS上Hive数据库表文件大小及数据历史范围

快乐骑行^_^

于 2020-09-07 17:17:00 发布

阅读量1k

点赞数

分类专栏：大数据文章标签： Hive数据库表文件大小数据历史范围

本文链接：https://blog.youkuaiyun.com/zhengzaifeidelushang/article/details/108449503

版权

大数据专栏收录该内容

551 篇文章 ¥49.90 ¥99.00

订阅专栏

本文介绍了如何获取Hive数据库表在HDFS上的文件大小及数据的历史时间范围，包括获取表名、HDFS路径、时间字段、分区信息，并通过多线程处理HDFS路径以计算表大小，以及查询Hive表的数据时间范围。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、获取Hive表名、HDFS路径、时间字段、分区信息、分区时间

from pyspark.sql.types import StructType, StructField, LongType, StringType,DoubleType 
from pyspark.sql import SparkSession


spark = SparkSession.builder

了解本专栏