hive 查看一个表的总文件大小方法

最新推荐文章于 2024-03-14 14:58:09 发布
最新推荐文章于 2024-03-14 14:58:09 发布 · 3.8k 阅读 · 2
文章标签：

#hive #计算表的总大小

本文介绍如何通过Hadoop和Hive命令快速查看Hive表文件总大小和总容量，包括使用脚本简化计算过程，并提供了详细命令和解释。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

要查看一个hive表文件总大小时，我们可以通过一行脚本快速实现，其命令如下：

 

$ hadoop fs -ls  /user/hive/warehouse/test_table/ds=20151111|awk -F ' ' '{print $5}'|awk '{a+=$1}END{print a}'

32347122009

 

这样可以省去自己相加，下面命令是列出该表的详细文件列表

hadoop fs -ls  /user/hive/warehouse/test_table/ds=20151111

 

方法二：查看该表总容量大小，单位为Ｇ

 hadoop fs -du /user/hive/warehouse/test_table|awk ' { SUM += $1 } END { print SUM/(1024*1024*1024) }'

查找hive表的存储位置并查看表文件大小及分区文件名
奋斗的阿杰的博客
10-19 4220
查看元数据
Hive查看表大小(所占的磁盘空间大小)
奋斗的阿杰的博客
10-19 3191
hive查看表信息
查数据库中所有表大小
10-22
查数据库单个表大小 查数据库所有表大小
HIVE-查看表大小
xiaopihaierletian的博客
07-03 1417
因为hive底层数据存储用的还是hadoop，所以查看表大小可以直接用hadoop提供的查看文件目录命令： hadoop fs -count -q -h hive表所在目录 -h是将字节显示转为GB的方式显示。
大数据bug-hive（一：如何查看hive中表的大小）
weixin_43446246的博客
07-20 574
如何查看hive中表的大小
hive 查看表大小
令狐二中
02-24 2335
因为hive底层数据存储用的还是hadoop，所以查看表大小可以直接用hadoop提供的查看文件目录命令： hadoop fs -count -q -h hive表所在目录 -h是将字节显示转为GB的方式显示。
Hive内部表合并小文件Java程序
07-05
2. **确定合并文件大小**：设置一个合适的合并文件大小阈值，比如128MB或256MB，这取决于系统的具体需求和资源。 3. **创建SequenceFile**：Hadoop的SequenceFile是一种高效的数据存储格式，适合用于合并小文件。...
Hive下查看表占用空间大小的方法
weixin_43725940的博客
04-21 7781
一、Hive下查看数据表信息的方法 方法1：查看表的字段信息 desc table_name; 方法2：查看表的字段信息及元数据存储路径 desc extended table_name; 方法3：查看表的字段信息及元数据存储路径 desc formatted table_name; 备注：查看表元数据存储路径是，推荐方法3，信息比较清晰。 二、查看表容量大小 方法1：查看一个hive表文件总大小...
统计HDFS上Hive数据库表文件大小
zhengzaifeidelushang的博客
08-27 2700
统计HDFS上Hive数据库表文件大小
hive查看表大小
dkk2014的博客
11-01 2909
desc formatted xxx
hive和hbase查看表的大小
American_sheep的博客
03-26 2740
一，Hbase下查看数据表信息的方法 查看hbase表数据大小： hadoop dfs -du /hbase/data/default 二，Hive下查看数据表信息的方法 方法1：查看表的字段信息 desc table_name; 方法2：查看表的字段信息及元数据存储路径 desc extended table_name; 方法3：查看表的字段信息及元数据存储路径（推荐查看表元数据信息及存储路径） desc formatted table_name; 方法4：查看建表语句及其他详细信息的方法 show c
批量查询HIVE所有表的大小和行数
热门推荐
ArYe
03-19 1万+
需求： 批量查询HIVE表的大小 批量查询HIVE表的行数 思路 使用Python2 单表查询HIVE表的大小和行数 注意，大小并没有把副本计算在内 DESC FORMATTED 库名.表名;
hive 表存储大小_hive 查询表数据量大小
weixin_36301830的博客
01-14 3894
为什么要查询表数据量在做数据仓库管理时，数据导入hive或向表生成数据形成的数据资产，表里的数据量和占用存储空间是重要的元数据属性。为方便数据使用时计算资源的分配，对数据要有基本的了解，所以需要对表的数据量做统计。使用 analyze table 主动生成元数据信息analyze table tableName [partition(partCol[='value'])] compute s...
hive库表占用空间大小的命令
weixin_42115825的博客
03-14 1903
3、查某一个分区占用空间大小（单位G)4、查某一个表总占用空间大小（单位G）1、查每个hive表占用的空间大小。5、统计hdfs某个表文件的数据量。2、按占用空间大小降序排列。
shell统计hive中日分区表每月数据量大小
weixin_45146025的博客
03-04 986
shell脚本代码： #每个月采集表的数据量 for (( i = 201901; i < 201913; i++ )); do hadoop fs -du -s /project/iisp/data/warehouse/cdm/$1/dt=$i"*">temp1.txt Size=$(cat temp.txt | awk '{sum+=$1} END {print sum}') ...
hive 查看表的存储大小
qq_43192537的博客
10-13 943
hive 查看某表的大小
hive表查看每个分区大小sql
最新发布
04-28
### 查询 Hive 表中每个分区大小的方法 在 Hadoop 生态系统中，Hive 的分区表数据实际存储在 HDFS 上的不同目录结构中。因此，要获取 Hive 表中每个分区的大小，可以通过以下方式实现： #### 方法一：通过 `dfs` 命令查询 HDFS 文件系统的分区大小 可以直接利用 HDFS 提供的命令行工具来统计各个分区对应的目录大小。假设 Hive 表名为 `my_table`，其分区字段为 `year` 和 `month`，则可以执行如下命令： ```bash hdfs dfs -du -s -h /path/to/hive/warehouse/my_table/year=*/month=* ``` 此命令会返回每个分区目录及其对应的大小[^1]。 #### 方法二：借助 Hive Metastore 数据库查询分区元信息 Hive 的元数据存储在一个关系型数据库（如 MySQL 或 Derby）中，默认记录了表和分区的相关信息。可以通过访问该元数据库并编写 SQL 来计算各分区的大小。以下是具体步骤： 1. **连接到 Hive Metastore 数据库** 需要知道 Hive Metastore 所使用的数据库类型以及连接参数。 2. **查询分区路径及相关信息** 在 Hive Metastore 中，表的分区信息存储于 `PARTITIONS` 表，而具体的文件位置存储在 `SDS` 表中。两者之间通过外键关联。下面是一个示例 SQL： ```sql SELECT P.PART_NAME AS partition_name, S.LOCATION AS hdfs_location FROM PARTITIONS P JOIN SDS S ON P.SD_ID = S.SD_ID WHERE P.TBL_ID IN ( SELECT T.TBL_ID FROM TBLS T WHERE T.TBL_NAME = 'your_hive_table' ); ``` 3. **结合外部脚本计算分区大小** 将上述查询结果导出后，可进一步调用 HDFS API 或者 Shell 脚本来批量计算这些路径下的文件总大小。 #### 方法三：使用 Presto 或 Spark SQL 进行间接估算 如果无法直接操作底层 HDFS 或 Metastore，则还可以考虑基于其他大数据处理框架完成近似估计工作。例如，在 Spark SQL 中加载目标 Hive 表之后，可通过分析 DataFrame 物理计划或者自定义 UDF 函数尝试推断每条记录所属的具体物理分区范围从而得出结论；不过这种方法效率较低且准确性受限于采样率等因素影响较大[^3]。 综上所述，推荐优先采用前两种方案之一解决当前需求。 ```python import os partition_dirs = [ "/user/hive/warehouse/mydb.db/mytable/year=2023/month=09", "/user/hive/warehouse/mydb.db/mytable/year=2023/month=10" ] for dir_path in partition_dirs: size_info = !hdfs dfs -du -sh {dir_path} print(f"{os.path.basename(dir_path)}: {size_info}") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值