查看Hive中表的所有信息（结构、字段、存放路径、属性）

最新推荐文章于 2024-11-26 22:25:57 发布
最新推荐文章于 2024-11-26 22:25:57 发布
阅读量4.3w 收藏 63
点赞数 15
CC 4.0 BY-SA版权
分类专栏： 大数据 - Hive 文章标签： hive sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u011712163/article/details/89887653
博客介绍了Hive中多种表信息的查询方法，包括使用show create table查询创建表信息、desc查询表的字段信息、desc formatted查看表的详细属性信息、describe extended查看表的详细信息，以及show partitions查看表的partitions信息。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

1. 查询创建表信息（show create table）

2. 查询表的字段信息（desc）

3. 查看表的详细属性信息（desc formatted）

4.  查看表的详细信息（describe extended）

5. 查看表的partitions信息（show partitions ）

1. 查询创建表信息（show create table）

里面有delemited信息

hive> show create table alpha_sales_staff_info;
OK
CREATE TABLE `alpha_sales_staff_info`(
  `staff` string COMMENT '客服pin',
  `mall_id` string COMMENT '服务商ID',
  `brand_name` string COMMENT '品牌名称',
  `category` string COMMENT '品类名称',
  `level` string COMMENT '客服评级',
  `group` string COMMENT 'AB test组别')
PARTITIONED BY (
  `dt` string)
ROW FORMAT DELIMITED
  FIELDS TERMINATED BY ' '
  LINES TERMINATED BY '\n'
STORED AS INPUTFORMAT
  'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  'hdfs://ns7/user/mart_ai/app.db/alpha_sales_staff_info'
TBLPROPERTIES (
  'mart_name'='mart_ai',
  'transient_lastDdlTime'='1542188102')
Time taken: 0.149 seconds, Fetched: 21 row(s)


2. 查询表的字段信息（desc）

hive> desc alpha_sales_staff_info;
OK
staff                   string                  客服pin
mall_id                 string                  服务商ID
brand_name              string                  品牌名称
category                string                  品类名称
level                   string                  客服评级
group                   string                  AB test组别
dt                      string
 
# Partition Information
# col_name                data_type               comment
 
dt                      string
Time taken: 0.053 seconds, Fetched: 12 row(s)


3. 查看表的详细属性信息（desc formatted）


hive> desc formatted alpha_sales_staff_info;

# col_name                data_type               comment
 
staff                   string                  客服pin
mall_id                 string                  服务商ID
brand_name              string                  品牌名称
category                string                  品类名称
level                   string                  客服评级
group                   string                  AB test组别
 
# Partition Information
# col_name                data_type               comment
 
dt                      string
 
# Detailed Table Information
Database:               app
Owner:                  mart_ai
CreateTime:             Wed Nov 14 17:35:02 CST 2018
LastAccessTime:         UNKNOWN
Retention:              0
Location:               hdfs://ns7/user/mart_ai/app.db/alpha_sales_staff_info
Table Type:             MANAGED_TABLE
Table Parameters:
    mart_name               mart_ai
    transient_lastDdlTime    1542188102
 
# Storage Information
SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
InputFormat:            org.apache.hadoop.mapred.TextInputFormat
OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
Compressed:             No
Num Buckets:            -1
Bucket Columns:         []
Sort Columns:           []
Storage Desc Params:
    field.delim
    line.delim              \n
    serialization.format
Time taken: 0.082 seconds, Fetched: 38 row(s)


4.  查看表的详细信息（describe extended）

hive> describe extended alpha_sales_staff_info;
OK
staff                   string                  客服pin
mall_id                 string                  服务商ID
brand_name              string                  品牌名称
category                string                  品类名称
level                   string                  客服评级
group                   string                  AB test组别
dt                      string
 
# Partition Information
# col_name                data_type               comment
 
dt                      string
 
Detailed Table Information    
Table(tableName:alpha_sales_staff_info, dbName:app, owner:mart_ai, createTime:1542188102, lastAccessTime:0, retention:0, sd:StorageDescriptor(cols:[FieldSchema(name:staff, type:string, comment:客服pin), FieldSchema(name:mall_id, type:string, comment:服务商ID), FieldSchema(name:brand_name, type:string, comment:品牌名称), FieldSchema(name:category, type:string, comment:品类名称), FieldSchema(name:level, type:string, comment:客服评级), FieldSchema(name:group, type:string, comment:AB test组别), FieldSchema(name:dt, type:string, comment:null)], location:hdfs://ns7/user/mart_ai/app.db/alpha_sales_staff_info, inputFormat:org.apache.hadoop.mapred.TextInputFormat, outputFormat:org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat, compressed:false, numBuckets:-1, serdeInfo:SerDeInfo(name:null, serializationLib:org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe, parameters:{serialization.format= , field.delim= , line.delim=
}), bucketCols:[], sortCols:[], parameters:{}, skewedInfo:SkewedInfo(skewedColNames:[], skewedColValues:[], skewedColValueLocationMaps:{}), storedAsSubDirectories:false), partitionKeys:[FieldSchema(name:dt, type:string, comment:null)], parameters:{mart_name=mart_ai, transient_lastDdlTime=1542188102}, viewOriginalText:null, viewExpandedText:null, tableType:MANAGED_TABLE)
Time taken: 0.078 seconds, Fetched: 15 row(s)


5. 查看表的partitions信息（show partitions ）

#a.表不是partition表

hive> show partitions dpc_test;
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Table dpc_test is not a partitioned table


#b. 表有partition

hive> show partitions alpha_sales_staff_info;
OK
dt=v1
dt=v2
dt=v3
Time taken: 0.075 seconds, Fetched: 3 row(s)


 

hive中查看所有表和开启多窗口模式
littietinydrean的博客
12-08 1894
最近上课开小车 ，忘记 一些命令现再来复习一下 在使用hive 时常常忘记开启多窗口模式 hiveserver2 & ： 提供一个端口来链接数据库 beeline -u jdbc2://lifrng:10000 -n lizhiyang ：用户名和默认端口密码*(根据你的设定而变）* 然后查看所有数据库 show databases； 查看数据库 查看数据库中表的名 show tables 查看表名 这里有一个小问题就是创建表过多时把滚轮拉到顶上也展不开全部 这边就需要将show ta
摸鱼大数据——Hive表操作——基本操作
weixin_65694308的博客
05-27 2121
业务数据文件在HDFS的默认存储路径: hdfs://node1:8020/user/hive/warehouse/数据库名称.db/表名称/业务数据文件。-- 该表的数据存放路径 hdfs://node1:8020/user/hive/warehouse/day06.db/outer_stu1。自定义表在HDFS的默认存储路径: hdfs://node1:8020/user/hive/warehouse/数据库名称.db/表名称。替换的时候注意: 替换的时候，是使用新的字段信息替换原有的所有字段。
查数据库中所有表大小
10-22
查数据库单个表大小 查数据库所有表大小
查看Hive 表 所有信息
u012061196的博客
11-16 1万+
目录 1. 查询创建表信息（show create table） 2. 查询表的字段信息（desc） 3. 查看表的详细属性信息（desc formatted） 4.  查看表的delimiter信息（describe extended） 5. 查看表的partitions信息（show partitions ）    a.表不是partition表    b. 表有partitio...
hive表信息查询：查看表结构、表操作等
热门推荐
lskyne的专栏
08-07 14万+
转自： 问题导读： 1.如何查看hive表结构？ 2.如何查看表结构信息？ 3.如何查看分区信息？ 4.哪个命令可以模糊搜索表
HIVE命令 hive命令查看表中所有数据
2201_75392319的博客
09-07 1288
最近一段时间在做大数据测试，需要用到hive。一般常用命令都可以网上查询到，但是比较分散。现汇总如下，反面日后查询使用。基础命令#常用查询。
Hive表基本操作_1
分享~
05-14 825
摘要：内部表 外部表 数据导入导出 分区表
hive元数据信息对应的MySQL数据库表
chengbai121444的博客
03-12 3528
目录 概述 一、存储hive版本的原数据表（VERSION） 二、元数据表（DBS、DATABASE_PARAMS） 三、视图相关的元数据表（TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联） 四、hive文件存储信息相关的元数据表（SDS、SD_PARAMS、SERDES、SERDE_PARAMS） 五、表字段相关的元数据表（COLUMNS_V2）...
Hive元数据库介绍及信息查看
野生大头鱼
06-14 1万+
一、概念Hive中有两类数据：表数据和元数据。和关系型数据库一样，元数据可以看做是描述数据的数据，包括1.hive表的数据库名、表名、字段名称与类型、分区字段与类型 2.表及分区的属性、存放位置等 元数据存储路径和內表一样，分为本地和远程，可通过hive-site.xml文件设置 二、元数据库信息元数据库中存在以下这些表： 元数据ER图 元数据表结构详解看参见lxw的文章三、如何查看元数据库
大数据技术应用7-4Hive外部表和分区表操作
m0_51679196的博客
09-04 287
Hive外部表和分区表操作
hive中如何查看所有表的字段
weixin_40694113的博客
08-25 492
我整理的一些关于【数据】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/eDOcp1Hive中查看所有表的字段 在大数据处理的过程中，Hive是一个非常重要的数据仓库工具，用于存储和管理海量数据。当需要对表的结构进行了解时，查看所有表的字段是非常必要的。本文将介绍几种方法，帮...
hive 查看表的详细信息
zeng6325998的博客
03-16 8055
背景 目前有个需求，就是让生成表以后，查看当前数据库，以及表的路径，之前查看表一直是用 show create table tableName 这种方式去查看的，直接查询可以，但是放到java访问的方式来有诸多的不变。他是一个连续的字符串，如果你想查询还需要用正则匹配想要的信息，非常的不方便，而且效率也低。 解决 发现使用 desc formatted tableName 是更好的选择，里...
hive表信息查询：查看表结构、表操作等（转）
花语无痕的博客
08-12 2778
问题导读： 1.如何查看hive表结构？ 2.如何查看表结构信息？ 3.如何查看分区信息？ 4.哪个命令可以模糊搜索表 1.hive模糊搜索表 show tables like ‘name’; 2.查看表结构信息 desc formatted table_name; desc table_name; 3.查看分区信息 show partitions table_name; 4.根据分区查询数据 s...
Hive ｜ Hive 表如何查看所有分区
weixin_44435110的博客
11-26 3859
Apache Hive 是一个构建在 Hadoop 之上的数据仓库工具，它提供了 SQL 类似的查询语言（称为 HiveQL），使得用户能够更容易地进行大数据处理和分析。在 Hive 中，分区是一种优化查询性能的方法，通过将数据按照一个或多个列的值进行划分，可以显著减少查询时扫描的数据量。本文档将介绍如何在 Hive 中查看表的所有分区信息。通过上述命令，Hive 用户可以轻松地查看和管理表的分区信息，从而更好地利用分区来优化查询性能。
hive中获取数据库中的所有表名
mody_3q的博客
08-14 3万+
最近导师让我梳理hive上的表信息，开始的时候遇到个小问题，记录一下，嘻嘻。 问题：使用show tables; 获取表名时，如果数据库中的表过多，则无法通过页面展示全部。 解决方法：将结果写入文本文档中，然后通过文档打开即可。 1.show tables; 执行结果，可以看到，将滚轮滚到最上方，依然不能够展示所有的表名。 2.通过百度查询，并未找到相关解决方法，也不像查询表中类容，可以limi...
查看Hive表信息及占用空间的方法
BabyFish13
07-28 3万+
 一、Hive下查看数据表信息的方法 方法1：查看表的字段信息 desc table_name; 方法2：查看表的字段信息及元数据存储路径 desc extended table_name; 方法3：查看表的字段信息及元数据存储路径 desc formatted table_name; 方法4：查看建表语句及其他详细信息的方法 show create table table_
批量查询HIVE所有表的大小和行数
ArYe
03-19 1万+
需求： 批量查询HIVE表的大小 批量查询HIVE表的行数 思路 使用Python2 单表查询HIVE表的大小和行数 注意，大小并没有把副本计算在内 DESC FORMATTED 库名.表名;
Hive查看表的详细信息
weixin_44366140的博客
02-18 3376
查看表结构 desc table_name(表名); 查看表详细属性信息 desc formatted table_name(表名); 查看表详细信息 desc extended table_name(表名);
hive表dml操作头歌
最新发布
12-29
### Hive 表 DML 操作教程 #### 加载文件数据到表 Hive 支持通过命令将外部文件中的数据加载至指定的内部或外部表中。此过程不会移动源文件，而是创建指向这些文件位置的新元数据条目。 ```sql LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] ``` 例如： ```sql LOAD DATA LOCAL INPATH '/home/user/datafile.txt' OVERWRITE INTO TABLE mytable; ``` 这条语句会把本地路径 `/home/user/datafile.txt` 中的数据覆盖写入 `mytable` 表内[^2]。 #### 查询结果插入到表 除了直接加载文件外，还可以利用 SQL 查询的结果来填充目标表。这允许更灵活地处理现有数据集并将其转换为目标结构所需的形式。 ##### 插入静态分区 当向已定义好分区字段的目标表插入新记录时，可以通过硬编码的方式指明具体要存放在哪个分区内。 ```sql INSERT INTO TABLE target_table PARTITION(partition_column='partition_value') SELECT * FROM source_table WHERE condition; ``` ##### 动态插入分区 对于多级分区的支持使得可以在运行时决定每一条记录应该被分配给哪一个具体的子分区下。 ```sql SET hive.exec.dynamic.partition=true; -- 启用动态分区功能 SET hive.exec.dynamic.partition.mode=nonstrict; INSERT INTO TABLE target_table PARTITION(partition_columns) SELECT non_partitioned_columns, partition_values FROM source_table; ``` 以上配置确保了即使某些分区不存在也会自动创建它们。 #### 使用 SQL 语句插入单行或多行值 类似于传统的关系型数据库管理系统，在 Hive 中同样能够采用标准的 INSERT...VALUES 形式的指令完成少量固定数量的数据项录入工作。 ```sql INSERT INTO TABLE table_name VALUES(value_list), ..., (value_list); ``` 比如： ```sql INSERT INTO TABLE employees VALUES(1,'Alice','Sales'), (2,'Bob','Engineering'); ``` 该例子展示了如何一次性向名为 `employees` 的表里增加两条新的员工信息记录。 #### 更新和删除数据 值得注意的是，只有启用了 ACID 特性的表才允许执行更新 (`UPDATE`) 和 删除 (`DELETE`) 操作。这是因为这类变更涉及到复杂的并发控制机制以及日志管理等问题，而这些都是为了保障数据的一致性和可靠性所必需的设计考量。 - **更新** ```sql UPDATE table_name SET column=value[,column=value,...] [WHERE conditions]; ``` - **删除** ```sql DELETE FROM table_name [WHERE conditions]; ``` 上述两个命令分别用于修改符合条件的已有记录属性或是彻底移除不想要的部分。不过要注意，如果省略掉 `WHERE` 子句，则意味着整个表里的所有行都会受到影响[^3]。 #### 导出查询结果到文件系统 最后一种常见的场景是从 Hive 数据库读取特定的信息片段，并保存成本地磁盘上的平面文件形式供后续分析工具进一步加工使用。 ```sql INSERT OVERWRITE DIRECTORY 'hdfs_directory_path' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE SELECT columns FROM tables; ``` 这段脚本说明了怎样选取若干列构成最终输出的内容布局；同时设置了字段间的定界符为制表符(`\t`)，并且选择了文本作为存储格式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值