【Hive】Hive常用命令记录

记录常用的hive命令,用以备忘

1. hive 建表

-- 1. 单纯建表
CREATE TABLE tmp_service201912.dict_income(
  `income_code` string, 
  `income_name` string, 
  `stop_mark` string, 
  `hosp_code` string, 
  `income_name_std` string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; 

-- 2. 根据已知表的查询结果创建新表
create table tmp_service_201912.table_name1 as 
select * from tmp1.table1;
字段说明
\t行中每个字段的分隔符
table_name1新建表的表名
table1源表的表名

2. 在hive命令行下导入指定表数据到本地

insert overwrite local directory 'local_path'
row format delimited fields terminated by 'split'
select * from table_name 
字段说明
local_path导入到本地的目录路径,最好使用绝对路径。eg:/usr/local/tmp/
split行中每个字段的分隔符,常用的有「\t」和「,」
select * from table_name查询SQL,应该按照实际情况转换
### Hive 集群巡检常用 SQL 命令 在维护和监控 Hive 集群的过程中,定期执行一些 SQL 巡检命令可以帮助发现潜在问题并确保集群的正常运行。以下是几个常用的 Hive 集群巡检 SQL 命令: #### 1. 检查表元数据状态 通过查询 `SYSTEM` 表或者 `INFORMATION_SCHEMA` 中的相关信息来确认表的状态是否正常。 ```sql SHOW TABLES; DESCRIBE FORMATTED table_name; -- 查看指定表的详细信息[^1] ``` #### 2. 统计分区数量 对于分区表来说,过多或过少的分区可能会影响性能。可以通过以下命令统计某个表中的分区总数: ```sql SHOW PARTITIONS table_name; SELECT COUNT(*) FROM (SHOW PARTITIONS table_name) t; -- 计算总分区数[^3] ``` #### 3. 查询未压缩的小文件情况 小文件问题是影响 HDFS 和 Hive 性能的重要因素之一。可以利用如下脚本来检测是否存在大量小文件: ```sql -- 替换 database_name 和 file_size_limit 参数以适应实际需求 SET hive.support.concurrency = false; WITH RECURSIVE cte AS ( SELECT db_name, tbl_name, concat_ws('/', location_root, dir_path) as full_path, CASE WHEN length(dir_path)=0 THEN location_root ELSE concat_ws('/',location_root,dir_path) END as abs_path, size_in_bytes FROM DBS JOIN TBLS USING(db_id) LEFT OUTER JOIN SDS ON(TBLS.sd_id=SDS.sd_id) CROSS JOIN SPLIT_PART(REVERSE(SUBSTRING_INDEX(REPLACE(location,'/',' '), ' ', LENGTH(location)-LENGTH(REPLACE(location,'/',' ')))), '/', -1) AS dirs(dir_path), LATERAL VIEW explode(split(reverse(substring_index(replace(location,'/',' '), ' ',length(location)-length(replace(location,'/',' ')))),'/')) exploded_table AS path_part WHERE dbs.db_name='database_name' UNION ALL SELECT db_name,tbl_name,concat(abs_path,'/',path_part),abs_path,size_in_bytes FROM cte JOIN SPLIT_PART(REVERSE(cte.full_path),'/',-1) AS parts(path_part) WHERE trim(parts.path_part)<>'') SELECT * FROM cte WHERE size_in_bytes < file_size_limit ORDER BY size_in_bytes ASC LIMIT 100; ``` 此复杂查询能够帮助识别存储中小于设定阈值的所有对象。 #### 4. 获取最近修改时间较久远的数据 长时间未更新的数据可能是冷数据或者是不再使用的废弃数据。下面这条语句可用于找出最后更改日期距离当前超过一定天数的所有记录: ```sql SELECT name, input_format, output_format, serde_lib, last_access_time FROM tables WHERE TBL_TYPE !='VIRTUAL_VIEW' AND DATEDIFF(CURRENT_DATE,last_access_time)>specified_days; ``` #### 5. 展示锁等待状况 如果某些操作因为其他事务持有锁定而被阻塞,则可能会降低整体效率。因此有必要监视这些情形的发生频率及其持续时长。 ```sql LOCK TABLE table_name EXCLUSIVE FOR read; SHOW LOCKS table_name EXTENDED; ``` 以上就是针对Hive集群的一些基本但重要的SQL巡检指令集合[^2]。它们有助于管理员更好地理解系统的健康程度以及及时采取措施解决可能出现的各种异常现象。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值