DDL(Data Definition Language)
create,delete,alter
Hive数据抽象/结构
database(HDFS一个目录)->table(HDFS一个目录)->partition分区表(HDFS一个目录)->bucket桶(HDFS一个文件)
数据库操作
CREATE 创建数据库
CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name
[COMMENT database_comment]
[LOCATION hdfs_path]
[WITH DBPROPERTIES (property_name=property_value, ...)];
例如:CREATE DATABASE IF NOT EXISTS hive;
;
如果想知道我们刚创建的hive
库存放在哪里,应该去对应的mysql中查看:
去HDFS中查看对应的位置:
删除数据库
DROP database hive;
如果这个库中存在表,那么上面的语句会显示无法删除数据库。如果要删除表需要执行:
drop database hive CASCADE
级联删除表,但是一定要慎用
创建数据库时修改HDFS存储路径
CREATE DATABASE IF NOT EXISTS hive2 LOCATION '/test/location';
将创建一个数据库位于/test/location
首先确认在HDFS中对应的路径是否存在,方便我们验证:
然后执行创建语句:
然后在HDFS中查看:
查看数据库的信息
使用命令desc database hive
创建数据库时添加属性
CREATE DATABASE IF NOT EXISTS hive3 WITH DBPROPERTIES('creator'='vincent');
查看详细数据库信息:
显示当前正在操作的数据库
select current_database();
可以显示当前正在使用的数据库。
在hive中set KEY
表示获取到这个KEY的值,set KEY=VALUE
表示设置这个KEY的值。
正则匹配数据库
表操作
CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available in Hive 0.14.0 and later)
[(col_name data_type [column_constraint_specification] [COMMENT col_comment], ... [constraint_specification])]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]
[CLUSTERED BY (col_name, col_name, ...) [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]
[SKEWED BY (col_name, col_name, ...) -- (Note: Available in Hive 0.10.0 and later)]
ON ((col_value, col_value, ...), (col_value, col_value, ...), ...)
[STORED AS DIRECTORIES]
[
[ROW FORMAT row_format]
[STORED AS file_format]
| STORED BY 'storage.handler.class.name' [WITH SERDEPROPERTIES (...)] -- (Note: Available in Hive 0.6.0 and later)
]
[LOCATION hdfs_path]
[TBLPROPERTIES (property_name=property_value, ...)] -- (Note: Available in Hive 0.6.0 and later)
[AS select_statement]; -- (Note: Available in Hive 0.5.0 and later; not supported for external tables)
create 创建表
创建一张表:
CREATE TABLE emp(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int
) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
Hive加载csv文件数据时跳过第一行
在创建表时添加tblproperties(“skip.header.line.count”=”1”);
到后面。
create table sales (transactionId int, customerId int, itemId int, amountPaid int) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' tblproperties("skip.header.line.count"="1");
查看表信息以及详细信息
这种方式不方便查看,常用的方式是desc formatted emp
:
导入数据
LOAD DATA LOCAL INPATH '/home/' OVERWRITE INTO TABLE emp;
导入本地的一个文件
表数据在HDFS中查看
进一步查看HDFS的文件内容:
跟本地的数据内容是一样的。
修改表名
ALTER TABLE emp rename to emp2;
查看HDFS中的数据: