Hive常用命令记录

这篇博客主要介绍了Hive的DDL语法和常用命令,包括如何查看帮助信息。重点讲解了分区表的概念,指出分区表是在普通表基础上增加文件夹层次,利用分区字段的值来组织数据。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Hive的常用命令
HIve DDL语法参考
使用bin/hive -help查看帮助命令

[hadoop@hadoop apache-hive-0.13.1-bin]$ bin/hive -help
usage: hive
 -d,--define <key=value>          Variable subsitution to apply to hive
                                  commands. e.g. -d A=B or --define A=B
    --database <databasename>     Specify the database to use
 -e <quoted-query-string>         SQL from command line
 -f <filename>                    SQL from files
 -H,--help                        Print help information
 -h <hostname>                    connecting to Hive Server on remote host
    --hiveconf <property=value>   Use value for given property
    --hivevar <key=value>         Variable subsitution to apply to hive
                                  commands. e.g. --hivevar A=B
 -i <filename>                    Initialization SQL file
 -p <port>                        connecting to Hive Server on port number
 -S,--silent                      Silent mode in interactive shell
 -v,--verbose                     Verbose mode (echo executed SQL to the
                                  console)
直接指定使用hadoop14数据库
[hadoop@hadoop apache-hive-0.13.1-bin]$ bin/hive --database hadoop14 
-e后面直接执行HQL语句
bin/hive -e 'show databases'  
把执行结果追加到文件中
bin/hive -e 'show databases' > hivetest.txt 
在linuxshell命令行执行一个写有sql语句的文件
bin/hive -f /opt/datas/hive.sql
只针对于当前shell生效的更改配置的参数
bin/hive --hiveconf hive.cli.print.current.db=false
查看当前参数的设置的值是什么
set hive.cli.print.current.db;
set hive.cli.print.current.db=false;
同样也可以更改当前参数的值,只针对于当前shell生效
新建库
hive (default)> create database if not exists db_01 location '/locate';
新建表
create table db_01.tb_01(
name string
)row format delimited fields terminated by '\t';
删除空的数据库:
drop database db02;
删除表语法
DROP (DATABASE|SCHEMA) [IF EXISTS] database_name [RESTRICT|CASCADE];
删除非空的数据库
drop database db01_loc CASCADE;
表的第一种创建方式:普通创建
create table if not exists stu_info(
num int,
name string
)
row format delimited fields terminated by '\t'
stored as textfile;
load data local inpath '/opt/datas/student.txt' into table stu_info;
清空表的内容,保留了表的结构
truncate table student;

删除表:
drop table if exists student;
创建表
create table if not exists student(
num int,
name string
)
row format delimited fields terminated by '\t'
stored as textfile;
从本地加载
load data local inpath '/opt/datas/student.txt' into table student;
从HDFS加载
load data inpath '/student.txt' into table student;
本地加载和HDFS加载的区别,一个本地的复制拷贝,一个是移动数据文件的位置到对应的表目录下
表的第二种创建方式:子查询
create table stu_as as select name from student;
特点:将子查询的结构赋予一张新的表
表的第三种创建方式:like方式
create table stu_like like student;
特点:复制表的结构
建库:
create database if not exists db_emp;
员工表:
create table emp(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int
)
row format delimited fields terminated by '\t';
load data local inpath '/opt/moduels/apache-hive-0.13.1-bin/emp.txt' into table emp;
加上overwrite参数执行的操作是,先删除数据,后加载数据
load data local inpath '/opt/moduels/apache-hive-0.13.1-bin/emp.txt' overwrite into table emp;
部门表:
create table dept(
deptno int,
dname string,
loc string
)
row format delimited fields terminated by '\t';
load data local inpath '/opt/moduels/apache-hive-0.13.1-bin/dept.txt' into table dept;
创建表的时候还可以直接指定数据库文件加上LOCATION关键字,这样是共享同一份元数据,共享中的任意一个表如果被drop掉了,那么元数据库也就没有了,可以通过创建外部表解决共享元数据问题。
create table emp1(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int
)
row format delimited fields terminated by '\t'
LOCATION '/user/hive/warehouse/emp';
创建外部表,通过EXTERNAL关键字
create EXTERNAL table dept_ext(
deptno int,
dname string,
loc string
)
row format delimited fields terminated by '\t'
LOCATION '/user/hive/warehouse/db_emp.db/dept';
管理表删除的时候是删除元数据和表的对应文件夹
外部表删除的时候只删除元数据
首先创建管理表,然后可以创建多个外部表
作用:保证数据的安全性
分区表

分区表就是在原来表的基础上下一层添加文件夹,并标识这个分区就是分区字段的值…(这里暂时难以表述清楚..不好用文字描述)

创建分区表:分区表的分区是虚拟逻辑的
create table emp_part(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int
)
partitioned by (date string)
row format delimited fields terminated by '\t';
加载数据并指定分区
load data local inpath '/opt/moduels/apache-hive-0.13.1-bin/emp.txt' into table emp_part partition (date='20170513');
创建多个分区字段的表,下面案例是指定了date和hour两个分区字段
create table emp_part3(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int
)
partitioned by (date string,hour string)
row format delimited fields terminated by '\t';
加载两个分区字段的数据
load data local inpath '/opt/moduels/apache-hive-0.13.1-bin/emp.txt' into table emp_part3 partition (date='20170513',hour='11');
### Hive 集群巡检常用 SQL 命令 在维护和监控 Hive 集群的过程中,定期执行一些 SQL 巡检命令可以帮助发现潜在问题并确保集群的正常运行。以下是几个常用的 Hive 集群巡检 SQL 命令: #### 1. 检查表元数据状态 通过查询 `SYSTEM` 表或者 `INFORMATION_SCHEMA` 中的相关信息来确认表的状态是否正常。 ```sql SHOW TABLES; DESCRIBE FORMATTED table_name; -- 查看指定表的详细信息[^1] ``` #### 2. 统计分区数量 对于分区表来说,过多或过少的分区可能会影响性能。可以通过以下命令统计某个表中的分区总数: ```sql SHOW PARTITIONS table_name; SELECT COUNT(*) FROM (SHOW PARTITIONS table_name) t; -- 计算总分区数[^3] ``` #### 3. 查询未压缩的小文件情况 小文件问题是影响 HDFS 和 Hive 性能的重要因素之一。可以利用如下脚本来检测是否存在大量小文件: ```sql -- 替换 database_name 和 file_size_limit 参数以适应实际需求 SET hive.support.concurrency = false; WITH RECURSIVE cte AS ( SELECT db_name, tbl_name, concat_ws('/', location_root, dir_path) as full_path, CASE WHEN length(dir_path)=0 THEN location_root ELSE concat_ws('/',location_root,dir_path) END as abs_path, size_in_bytes FROM DBS JOIN TBLS USING(db_id) LEFT OUTER JOIN SDS ON(TBLS.sd_id=SDS.sd_id) CROSS JOIN SPLIT_PART(REVERSE(SUBSTRING_INDEX(REPLACE(location,'/',' '), ' ', LENGTH(location)-LENGTH(REPLACE(location,'/',' ')))), '/', -1) AS dirs(dir_path), LATERAL VIEW explode(split(reverse(substring_index(replace(location,'/',' '), ' ',length(location)-length(replace(location,'/',' ')))),'/')) exploded_table AS path_part WHERE dbs.db_name='database_name' UNION ALL SELECT db_name,tbl_name,concat(abs_path,'/',path_part),abs_path,size_in_bytes FROM cte JOIN SPLIT_PART(REVERSE(cte.full_path),'/',-1) AS parts(path_part) WHERE trim(parts.path_part)<>'') SELECT * FROM cte WHERE size_in_bytes < file_size_limit ORDER BY size_in_bytes ASC LIMIT 100; ``` 此复杂查询能够帮助识别存储中小于设定阈值的所有对象。 #### 4. 获取最近修改时间较久远的数据 长时间未更新的数据可能是冷数据或者是不再使用的废弃数据。下面这条语句可用于找出最后更改日期距离当前超过一定天数的所有记录: ```sql SELECT name, input_format, output_format, serde_lib, last_access_time FROM tables WHERE TBL_TYPE !='VIRTUAL_VIEW' AND DATEDIFF(CURRENT_DATE,last_access_time)>specified_days; ``` #### 5. 展示锁等待状况 如果某些操作因为其他事务持有锁定而被阻塞,则可能会降低整体效率。因此有必要监视这些情形的发生频率及其持续时长。 ```sql LOCK TABLE table_name EXCLUSIVE FOR read; SHOW LOCKS table_name EXTENDED; ``` 以上就是针对Hive集群的一些基本但重要的SQL巡检指令集合[^2]。它们有助于管理员更好地理解系统的健康程度以及及时采取措施解决可能出现的各种异常现象。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值