Hive基本命令整理

本文介绍了Hive的基本命令,包括创建表、分区表,加载数据,展示表结构,更新表名,添加列,删除表,从本地文件加载数据,执行内连接、外连接,使用MapJoin,以及INSERT OVERWRITE和CREATE TABLE AS SELECT操作。还涵盖了创建视图和查看Hive函数的相关内容。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

创建表:
hive> CREATE TABLE pokes (foo INT, bar STRING); 
        Creates a table called pokes with two columns, the first being an integer and the other a string

创建一个新表,结构与其他一样
hive> create table new_table like records;

创建分区表:
hive> create table logs(ts bigint,line string) partitioned by (dt String,country String);

加载分区表数据:
hive> load data local inpath '/home/hadoop/input/hive/partitions/file1' into table logs partition (dt='2001-01-01',country='GB');

展示表中有多少分区:
hive> show partitions logs;

展示所有表:
hive> SHOW TABLES;
        lists all the tables
hive> SHOW TABLES '.*s';

lists all the table that end with 's'. The pattern matching follows Java regular
expressions. Check out this link for documentationhttp://java.sun.com/javase/6/docs/api/java/util/regex/Pattern.html

显示表的结构信息
hive> DESCRIBE invites;
        shows the list of columns

更新表的名称:
hive> ALTER TABLE source RENAME TO target;

添加新一列
hive> ALTER TABLE invites ADD COLUMNS (new_col2 INT COMMENT 'a comment');
 
删除表:
hive> DROP TABLE records;
删除表中数据,但要保持表的结构定义
hive> dfs -rmr /user/hive/warehouse/records;

从本地文件加载数据:
hive> LOAD DATA LOCAL INPATH '/home/hadoop/input/ncdc/micro-tab/sample.txt' OVERWRITE INTO TABLE records;

显示所有函数:
hive> show functions;

查看函数用法:
hive> describe function substr;

查看数组、map、结构
hive> select col1[0],col2['b'],col3.c from complex;


内连接:
hive> SELECT sales.*, things.* FROM sales JOIN things ON (sales.id = things.id);

查看hive为某个查询使用多少个MapReduce作业
hive> Explain SELECT sales.*, things.* FROM sales JOIN things ON (sales.id = things.id);

外连接:
hive> SELECT sales.*, things.* FROM sales LEFT OUTER JOIN things ON (sales.id = things.id);
hive> SELECT sales.*, things.* FROM sales RIGHT OUTER JOIN things ON (sales.id = things.id);
hive> SELECT sales.*, things.* FROM sales FULL OUTER JOIN things ON (sales.id = things.id);

in查询:Hive不支持,但可以使用LEFT SEMI JOIN
hive> SELECT * FROM things LEFT SEMI JOIN sales ON (sales.id = things.id);


Map连接:Hive可以把较小的表放入每个Mapper的内存来执行连接操作
hive> SELECT /*+ MAPJOIN(things) */ sales.*, things.* FROM sales JOIN things ON (sales.id = things.id);

INSERT OVERWRITE TABLE ..SELECT:新表预先存在
hive> FROM records2
    > INSERT OVERWRITE TABLE stations_by_year SELECT year, COUNT(DISTINCT station) GROUP BY year 
    > INSERT OVERWRITE TABLE records_by_year SELECT year, COUNT(1) GROUP BY year
    > INSERT OVERWRITE TABLE good_records_by_year SELECT year, COUNT(1) WHERE temperature != 9999 AND (quality = 0 OR quality = 1 OR quality = 4 OR quality = 5 OR quality = 9) GROUP BY year;  

CREATE TABLE ... AS SELECT:新表表预先不存在
hive>CREATE TABLE target AS SELECT col1,col2 FROM source;

创建视图:
hive> CREATE VIEW valid_records AS SELECT * FROM records2 WHERE temperature !=9999;

查看视图详细信息:
hive> DESCRIBE EXTENDED valid_records;

<think>好的,用户的问题是在虚拟机上如何启动Hive命令行界面。首先,我需要回忆一下Hive基本启动步骤和相关命令。根据提供的引用,特别是引用[2]和引用[4],里面提到了在Linux终端中启动Hive并进入命令行界面的方法。引用[2]直接给出命令是“hive”,而引用[4]显示了一个路径示例,说明用户可能需要先进入Hive的安装目录下的bin目录,或者确认环境变量是否设置正确。 接下来,我需要检查用户可能遇到的常见问题,比如环境变量未配置导致无法识别hive命令,或者Hadoop服务未启动导致Hive连接失败。引用[3]提到虚拟机中Hive连接不上,可能因为Hadoop处于安全模式,这可能是因为非正常关闭服务导致的。因此,在启动Hive之前,确保Hadoop集群正常运行是必要的。 然后,整理步骤:首先启动Hadoop服务,然后输入hive命令。如果直接输入hive无效,可能需要指定完整路径,如引用[4]中的路径/home/qqq/apache-hive-1.2.2-bin/bin/hive。此外,用户可能需要确认Hive的安装是否正确,以及权限是否足够,比如是否需要使用sudo或root用户。 另外,考虑到用户可能是在集群环境下操作,引用[1]提到集群模式需要足够的内存,但这里的问题更侧重于启动命令,可能不需要涉及内存配置。不过,如果启动失败,可能需要检查系统资源是否满足要求。 最后,总结出步骤:1. 启动Hadoop集群;2. 执行hive命令;3. 处理可能的问题,如安全模式。同时,根据用户提供的引用,给出具体的命令示例和注意事项,比如引用[3]中的安全模式解决方法,以及引用[4]中的路径问题。</think>在虚拟机上启动Hive命令行界面的步骤如下: ### 步骤一:确保Hadoop集群已启动 Hive依赖Hadoop集群运行,需先启动Hadoop服务。若Hadoop处于安全模式(如非正常关闭导致),需先退出安全模式: ```bash hdfs dfsadmin -safemode leave ``` 若出现存储损坏,可使用命令修复: ```bash hdfs fsck / -delete # 检查并删除损坏的块[^3] ``` ### 步骤二:执行Hive启动命令 1. **直接启动Hive CLI**(需环境变量已配置): ```bash hive # 进入Hive命令行界面[^2] ``` 2. **指定完整路径启动**(若环境变量未配置): ```bash /home/qqq/apache-hive-1.2.2-bin/bin/hive # 根据实际安装路径调整[^4] ``` ### 步骤三:验证操作 成功进入后,会显示Hive版本信息及提示符: ```sql hive> show databases; -- 示例:列出所有数据库 ``` ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值