使用hive的常用命令语句

本文提供了Hive命令行的基本操作指导,包括如何进入Hive、查看表数据、创建表及视图、导入数据到Hive表等实用技巧。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、linux进入 hive命令行

beeline

2、查看所有表

show tables;

3、查看是否是分区表

show partitions tableName;

4、查看表前几条记录

select * from tableName limit 10;

5、查看表某一分区数据

select  * from tableName  where  分区字段=分区 limit  10;

6、创建表(例子)

create table if not exists tableName(

name string,

age int,

sarlar bigint

)row format delimited fields terminated by '\t' stored as textfile;

7、模糊查找表

show tables like '*tableName*';

8.创建视图

create view viewName  select * from tableName;

9.删除表

drop table tableName;

10.就文本数据导入hive表

load data local inpath '/usr/data/students.txt' into table studentTable partition(classId=1)

11.创建带有分区的hive表

create table if not exists tb_hive_table(

name string,

age int

) partitioned by(ad string);

转载于:https://my.oschina.net/chendongj/blog/2032508

### Hive 集群巡检常用 SQL 命令 在维护和监控 Hive 集群的过程中,定期执行一些 SQL 巡检命令可以帮助发现潜在问题并确保集群的正常运行。以下是几个常用的 Hive 集群巡检 SQL 命令: #### 1. 检查表元数据状态 通过查询 `SYSTEM` 表或者 `INFORMATION_SCHEMA` 中的相关信息来确认表的状态是否正常。 ```sql SHOW TABLES; DESCRIBE FORMATTED table_name; -- 查看指定表的详细信息[^1] ``` #### 2. 统计分区数量 对于分区表来说,过多或过少的分区可能会影响性能。可以通过以下命令统计某个表中的分区总数: ```sql SHOW PARTITIONS table_name; SELECT COUNT(*) FROM (SHOW PARTITIONS table_name) t; -- 计算总分区数[^3] ``` #### 3. 查询未压缩的小文件情况 小文件问题是影响 HDFS 和 Hive 性能的重要因素之一。可以利用如下脚本来检测是否存在大量小文件: ```sql -- 替换 database_name 和 file_size_limit 参数以适应实际需求 SET hive.support.concurrency = false; WITH RECURSIVE cte AS ( SELECT db_name, tbl_name, concat_ws('/', location_root, dir_path) as full_path, CASE WHEN length(dir_path)=0 THEN location_root ELSE concat_ws('/',location_root,dir_path) END as abs_path, size_in_bytes FROM DBS JOIN TBLS USING(db_id) LEFT OUTER JOIN SDS ON(TBLS.sd_id=SDS.sd_id) CROSS JOIN SPLIT_PART(REVERSE(SUBSTRING_INDEX(REPLACE(location,'/',' '), ' ', LENGTH(location)-LENGTH(REPLACE(location,'/',' ')))), '/', -1) AS dirs(dir_path), LATERAL VIEW explode(split(reverse(substring_index(replace(location,'/',' '), ' ',length(location)-length(replace(location,'/',' ')))),'/')) exploded_table AS path_part WHERE dbs.db_name='database_name' UNION ALL SELECT db_name,tbl_name,concat(abs_path,'/',path_part),abs_path,size_in_bytes FROM cte JOIN SPLIT_PART(REVERSE(cte.full_path),'/',-1) AS parts(path_part) WHERE trim(parts.path_part)<>'') SELECT * FROM cte WHERE size_in_bytes < file_size_limit ORDER BY size_in_bytes ASC LIMIT 100; ``` 此复杂查询能够帮助识别存储中小于设定阈值的所有对象。 #### 4. 获取最近修改时间较久远的数据 长时间未更新的数据可能是冷数据或者是不再使用的废弃数据。下面这条语句可用于找出最后更改日期距离当前超过一定天数的所有记录: ```sql SELECT name, input_format, output_format, serde_lib, last_access_time FROM tables WHERE TBL_TYPE !='VIRTUAL_VIEW' AND DATEDIFF(CURRENT_DATE,last_access_time)>specified_days; ``` #### 5. 展示锁等待状况 如果某些操作因为其他事务持有锁定而被阻塞,则可能会降低整体效率。因此有必要监视这些情形的发生频率及其持续时长。 ```sql LOCK TABLE table_name EXCLUSIVE FOR read; SHOW LOCKS table_name EXTENDED; ``` 以上就是针对Hive集群的一些基本但重要的SQL巡检指令集合[^2]。它们有助于管理员更好地理解系统的健康程度以及及时采取措施解决可能出现的各种异常现象。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值