hive表信息，以及查看数据的些

最新推荐文章于 2024-11-18 14:34:16 发布
转载 最新推荐文章于 2024-11-18 14:34:16 发布 · 2.8k 阅读 · 1

本文详细介绍了在Hive中使用descextended命令查看表信息的方法，并解释了如何利用VirtualColumn虚列获取输入文件名、文件块偏移量以及行偏移量等关键信息。通过实测案例展示了查询结果及其含义，同时提供了查询定位错误源的技巧。
感觉会用户，然后 查看hive表具体信息的时候，可以用 desc extended tablename； （by run）



通常用户在HIVE中用SELECT语句出来结果，无法确定结果是来自哪个文件或者具体位置信息 ，HIVE中考虑到了这点，在Virtual Column虚列 中可以指定三个静态 列:
1.   INPUT__FILE__NAME        map任务 读入File的全路径
2.   BLOCK__OFFSET__INSIDE__FILE       如果是RCFile或者是SequenceFile块压缩格式文件则 显示Block file  Offset，也就是当前快在文件 的第一个字偏移量， 如果是TextFile，显示当前行的第一个 字节在文件中的偏移量
3.   ROW__OFFSET__INSIDE__BLOCK        RCFile和SequenceFile显示row number, textfile显示为0
注： 若要显示 ROW__OFFSET__INSIDE__BLOCK  ，必须设置 set hive.exec.rowoffset=true;

测试：
1. 
table:        test_virtual_columns
InputFormat:         org.apache.hadoop.mapred.TextInputFormat
query:      
select a, INPUT__FILE__NAME,BLOCK__OFFSET__INSIDE__FILE,ROW__OFFSET__INSIDE__BLOCK from test_virtual_columns;
result:
[plain]  view plain copy print ?
  1. qweqwe  hdfs://10.2.6.102/user/hive/warehouse/tmp.db/test_virtual_columns/t3.txt        0       0  
  2. dfdf    hdfs://10.2.6.102/user/hive/warehouse/tmp.db/test_virtual_columns/t3.txt        7       0  
  3. sdafsafsaf      hdfs://10.2.6.102/user/hive/warehouse/tmp.db/test_virtual_columns/t3.txt        12      0  
  4. dfdffd  hdfs://10.2.6.102/user/hive/warehouse/tmp.db/test_virtual_columns/t3.txt        23      0  
  5. dsf     hdfs://10.2.6.102/user/hive/warehouse/tmp.db/test_virtual_columns/t3.txt        30      0  
  6. 1       hdfs://10.2.6.102/user/hive/warehouse/tmp.db/test_virtual_columns/t1.txt        0       0  
  7. 2       hdfs://10.2.6.102/user/hive/warehouse/tmp.db/test_virtual_columns/t1.txt        2       0  
  8. 3       hdfs://10.2.6.102/user/hive/warehouse/tmp.db/test_virtual_columns/t1.txt        4       0  
  9. 4       hdfs://10.2.6.102/user/hive/warehouse/tmp.db/test_virtual_columns/t1.txt        6       0  
  10. 5       hdfs://10.2.6.102/user/hive/warehouse/tmp.db/test_virtual_columns/t1.txt        8       0  
  11. 6       hdfs://10.2.6.102/user/hive/warehouse/tmp.db/test_virtual_columns/t1.txt        10      0  
  12. 7       hdfs://10.2.6.102/user/hive/warehouse/tmp.db/test_virtual_columns/t1.txt        12      0  
  13. 8       hdfs://10.2.6.102/user/hive/warehouse/tmp.db/test_virtual_columns/t2.txt        0       0  
  14. 9       hdfs://10.2.6.102/user/hive/warehouse/tmp.db/test_virtual_columns/t2.txt        2       0  
  15. 10      hdfs://10.2.6.102/user/hive/warehouse/tmp.db/test_virtual_columns/t2.txt        4       0  
  16. 11      hdfs://10.2.6.102/user/hive/warehouse/tmp.db/test_virtual_columns/t2.txt        7       0  

2. 
table:     nginx
InputFormat:      org.apache.hadoop.hive.ql.io.RCFileInputFormat
query:     
select hostname, INPUT__FILE__NAME,BLOCK__OFFSET__INSIDE__FILE,ROW__OFFSET__INSIDE__BLOCK from nginx where dt='2013-09-01' limit 10;
result:
[plain]  view plain copy print ?
  1. 10.1.2.162      hdfs://10.2.6.102/share/data/log/nginx_rcfile/2013-09-01/000000_0       537155468       0  
  2. 10.1.2.162      hdfs://10.2.6.102/share/data/log/nginx_rcfile/2013-09-01/000000_0       537155468       1  
  3. 10.1.2.162      hdfs://10.2.6.102/share/data/log/nginx_rcfile/2013-09-01/000000_0       537155468       2  
  4. 10.1.2.162      hdfs://10.2.6.102/share/data/log/nginx_rcfile/2013-09-01/000000_0       537155468       3  
  5. 10.1.2.162      hdfs://10.2.6.102/share/data/log/nginx_rcfile/2013-09-01/000000_0       537155468       4  
  6. 10.1.2.162      hdfs://10.2.6.102/share/data/log/nginx_rcfile/2013-09-01/000000_0       537155468       5  
  7. 10.1.2.162      hdfs://10.2.6.102/share/data/log/nginx_rcfile/2013-09-01/000000_0       537155468       6  
  8. 10.1.2.162      hdfs://10.2.6.102/share/data/log/nginx_rcfile/2013-09-01/000000_0       537155468       7  
  9. 10.1.2.162      hdfs://10.2.6.102/share/data/log/nginx_rcfile/2013-09-01/000000_0       537155468       8  
  10. 10.1.2.162      hdfs://10.2.6.102/share/data/log/nginx_rcfile/2013-09-01/000000_0       537155468       9  

如果碰到有脏数据或者结果异常的时候，可以通过select这三个值来定位出错的原始文件和具体所在位置，很方便。

Hive【使用篇】04：内部表、外部表、分区表、桶表以及视图
weixin_40612128的博客
03-05 1602
内部表、外部表、分区表、桶表以及视图
查询所有HIVE表分区数据量
ArYe
08-30 8956
查询HIVE表分区的数据占用和行数，用于数据治理通常，每天一个分区；通常，今天查看昨天分区数据量本文日期分区字段为ymd
HIVE命令 hive命令查看表中所有数据
2201_75392319的博客
09-07 1414
最近一段时间在做大数据测试，需要用到hive。一般常用命令都可以网上查询到，但是比较分散。现汇总如下，反面日后查询使用。基础命令#常用查询。
Hive查询及 Hive排序
csdnwindnorth的博客
09-17 1144
查询 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select 全表和特定列查询： 全表查询 select * from emp; 选择特定列查询 select empno, ename from emp; 注意： （1）SQL 语言大小写不敏感。 （2）SQL 可以写在一行或者多行。 （3）关键字不能被缩写也不能...
Hive基础03、Hive基本库使用
红目香薰
07-03 1879
目录1、查看hive数据库2、进入Hive3、库操作登录MySQL数据库 密码【123456】 查看【hive】数据库 效果如下图： 注：【exit;】可以推出状态。 4、基本操作 简单居于练习：创建mytest数据库
Hive 表中数据的增删查改
xjiet的博客
11-18 1937
通过本文对 Hive 表中数据的增删查改操作的详细介绍，我们了解了各种操作的具体语法、适用场景以及一些注意事项。在实际使用 Hive 进行大数据处理时，需要根据业务需求灵活选择合适的操作方法，并且要时刻注意数据的准确性和操作的安全性，避免因误操作带来的数据丢失等问题。希望读者能通过本文更好地掌握 Hive 数据操作的相关技能，在大数据分析和管理工作中更加得心应手。希望以上内容对你有所帮助，如果你还有其他需求，比如对文中代码再详细注释、增加更多实际案例等，可以继续向我提问。
Hive表分区
09-21
Hive表分区，里面有比较详细的Hive表分区方法，希望能够有所帮助。
Hive表统计信息采集及应用
邢为栋
03-27 2203
Hive提供了分析表和分区的功能，可以将分析后的统计信息存入元数据中，该功能可以自动执行分析表或手动执行分析表。自动执行分析主要针对新创建的表，可以通过配置启用，配置说明详见。Hive默认启用表级别的统计信息收集，在DML（除了LOAD DATA语句）操作期间，自动收集并更新统计信息。默认不启用列级别的统计信息收集。手动执行分析StatsDev。
通过hive元数据表获取hive分区表的相关信息
耀哥的博客
10-18 2275
通过hive元数据表获取hive分区表的元数据信息 通过hive元数据表获取hive分区表的元数据信息 项目中需要获取hive所有分区表的分区信息并显示到页面 如图 方案：通过JDBC连接hive源数据库，sql语句实现 编写sql语句： SELECT main.*,b.numRows,b.totalSize FROM ( SELECT main.TBL_ID AS metaObjectId ,main.TBL_NAME AS tabName ,b.PART_ID AS partId ,b.
Hive元数据信息表详解
菜鸟叔叔的博客
04-06 6986
hive元数据表的基本情况
Hive元数据信息获取
爱是与世界平行
03-06 2208
放到mysql中存储，mysql中默认表被创建的时候用的是默认的字符集(latin1)，所以会出现中文乱码。（2）修改hive-site.xml中Hive读取元数据的编码（注意原先是否配置过）注意的是，之前创建的表的元数据已经损坏了，所以无法恢复中文乱码，只能重新创建表。
Hive 系列（八）—— Hive 数据查询详解
weixin_30362083的博客
08-23 1374
一、数据准备 为了演示查询操作，这里需要预先创建三张表，并加载测试数据。 数据文件 emp.txt 和 dept.txt 可以从本仓库的resources 目录下载。 1.1 员工表 -- 建表语句 CREATE TABLE emp( empno INT, -- 员工表编号 ename STRING, -- 员工姓名 job STRING,...
Hive表的基础查询操作
04-12 8797
通过实操流程重点阐述表的基本查询、连接查询方法。
查看Hive中表的所有信息（结构、字段、存放路径、属性）
AcceptedLin的博客
07-08 1万+
查看Hive中表的所有信息（结构、字段、存放路径、属性） 目录 1. 查询创建表信息（show create table） 2. 查询表的字段信息（desc） 3. 查看表的详细属性信息（desc formatted） 4.查看表的详细信息（describe extended） 5. 查看表的partitions信息（show partitions ） 1. 查询创建表信息（show create table） hive> show create table al...
Hive数据查询详解
mxk4869的博客
07-11 2629
Hive数据查询详解
查看Hive表信息及占用空间的方法
热门推荐
BabyFish13
07-28 3万+
 一、Hive下查看数据表信息的方法 方法1：查看表的字段信息 desc table_name; 方法2：查看表的字段信息及元数据存储路径 desc extended table_name; 方法3：查看表的字段信息及元数据存储路径 desc formatted table_name; 方法4：查看建表语句及其他详细信息的方法 show create table table_
hive对数据库及表的操作
qq_51691017的博客
10-21 1392
hive对数据库及表的操作
查看hive中某个表中的数据、表结构及所在路径
微电子学与固体电子学-俞驰
06-01 6821
查看hive中action_data_myisam表中的数据、表结构及所在路径 1.客户端进入hive环境：hive 2.查看表数据，鉴于数据量大，这里只显示前五条：select * from action_data_myisam limit 5; 3.查看表结构：desc action_data_myisam; 4.查看此表所在路径：describe extended action_data_myisam; ...
Hive 表常用查询语句-总结
Growth Diary
03-21 8942
hive之前不常用，每次都是现用现查，现在总结记下笔记，边学边记>_<。 现在假设有数据库 db，数据表table1，table2， （1）查看表的创建信息： show create table db.table1; （2）查看表的分区信息： show partitions db.table1; （3）查看表的记录数： select count(*) from db.table1 ...
查看hive表数据
最新发布
08-20
### 使用 Hive 查询语句查看表数据 在 Hive 中查看表数据，最常用的方式是通过 `SELECT` 查询语句执行数据检索操作。可以使用 Hive CLI 或 Beeline 工具连接到 Hive 服务后执行以下语句： ```sql SELECT * FROM your_table_name; ``` 此命令将返回指定表中的所有记录，适用于查看表的完整数据内容[^2]。 此外，如果需要查看部分数据，可以结合 `WHERE` 条件进行过滤： ```sql SELECT * FROM your_table_name WHERE deptno = 10; ``` 该语句将返回表中 `deptno` 字段值为 10 的记录，适用于特定条件下的数据查询[^1]。 ### 使用 Hive CLI 查看表结构 除了查看表数据，还可以使用 Hive CLI 查看表的结构信息。进入 Hive CLI 后，执行以下命令查看表字段信息： ```sql DESC your_table_name; ``` 该命令将显示表的字段名、数据类型等基本信息。如果需要更详细的结构信息，可以使用格式化显示命令： ```sql DESCRIBE FORMATTED your_table_name; ``` 该命令将显示包括表类型、存储格式、分区信息等在内的详细结构信息[^2]。 ### 通过 Cloudera Manager 界面查看 Hive 表数据 Cloudera Manager 提供了图形化界面支持 Hive 表数据的查看。操作步骤如下： 1. 登录 Cloudera Manager 管理控制台。 2. 在左侧导航栏选择 "Hive" 服务。 3. 在 Hive 服务页面中，确保 Hive Metastore 和 HiveServer2 服务正在运行。 4. 通过集成的查询工具（如 Hue）连接 Hive 数据库，执行 `SELECT` 查询语句获取表数据： ```sql SELECT * FROM your_table_name; ``` 此方式适用于不熟悉命令行操作的用户，提供可视化界面提升操作便捷性[^2]。 ### 注意事项 - 在执行查询前，确保已选择正确的数据库： ```sql USE your_database_name; ``` 该命令用于切换当前操作的数据库上下文，以确保查询作用在正确的数据集上[^3]。 - Hive 查询语句需要以分号结尾，表示语句结束并提交执行[^3]。 - 对于分区表，建议结合 `SHOW PARTITIONS` 命令查看可用分区信息后再执行查询： ```sql SHOW PARTITIONS your_partitioned_table; ``` 此命令将列出表的所有分区，适用于分析分区数据的分布情况[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值