Hive 语法

Hive 语法

【0】数据类型

   Array 类型

 

-- 创建学生表，保存这个学生所有课程的成绩

-- 数据结构为：  {1,Tom,[80,90,95]}

create table student(sid int,sname string,grade array<float>)

    Map 类型

-- 创建学生表，保存这个学生指定课程的成绩

-- 数据结构为：  {1,Tom,<'数学',80>}

create table student(sid int,sname string,grade map<string,float>)

    混合类型

-- 创建学生表，保存这个学生所有课程的成绩

-- 数据结构为：  {1,Tom,[<'数学',80>,<'英语',90>,<'语文',86>]}

create table student(sid int,sname string,grade array<map<string,float>>)

    Struct 类型

-- 创建学生表，保存这个学生所有课程的成绩

-- 数据结构为：  {1,{'Tome',18,'男'}}

create table student(sid int,info struct<name:string, age:int ,sex:string>)

Explode 函数

将表达式中的值拆分为一张表

select explode(map(1,'A',2,'B',3,'C'));

数据结果

1    A

2    B

3    C

select explode(array(1,2,3,4,5));

数据结果

1

2

3

4

5

【1】创建表

Create Table是用于在Hive中创建表的语句。语法和示例如下：

（1）语法

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] 

[COMMENT table_comment]

 [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] 

[CLUSTERED BY (col_name, col_name, ...) [SORTED BY (col_name [ASC|DESC], ...)] 

INTO num_buckets BUCKETS] 

[ROW FORMAT row_format]

 [STORED AS file_format]

 [LOCATION hdfs_path]  #创建外部表时指定hdfs 上的外部表的目录

（2）示例

设需要使用CREATE TABLE语句创建一个名为employee表。下表列出了employee表中的字段和数据类型：

Sr.No	字段名称	数据类型
1	Eid	int
2	Name	String
3	Salary	Float
4	Designation	string

下面的数据是一个注释，行格式字段，如字段终止符，行终止符，并保存的文件类型。

FIELDS TERMINATED BY ‘\t’

LINES TERMINATED BY ‘\n’

STORED IN TEXT FILE

下面的查询创建使用上述数据的表名为 employee。

创建内部表

hive> CREATE TABLE IF NOT EXISTS employee ( eid int, name String, salary String, destination String)

> COMMENT ‘Employee details’

> ROW FORMAT DELIMITED

> FIELDS TERMINATED BY ‘\t’

> LINES TERMINATED BY ‘\n’

> STORED AS TEXTFILE;

创建外部表

hive> CREATE external TABLE IF NOT EXISTS employee ( eid int, name String, salary String, destination String)

> COMMENT ‘Employee details’

> ROW FORMAT DELIMITED

> FIELDS TERMINATED BY ‘\t’

> LINES TERMINATED BY ‘\n’

> STORED AS TEXTFILE;

如果添加选项IF NOT EXISTS，Hive 忽略大小写，万一表已经存在的声明。

成功创建表后，能看到以下回应：

OK

Time taken: 5.905 seconds

hive>

---

【2】LOAD DATA语句

    一般来说，在SQL创建表后，我们就可以使用INSERT语句插入数据。但在Hive中，可以使用LOAD DATA语句插入数据。

同时将数据插入到Hive，最好是使用LOAD DATA来存储大量记录。有两种方法用来加载数据：一种是从本地文件系统，第二种是从Hadoop文件系统。

语法

加载数据的语法如下：

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename 

[PARTITION (partcol1=val1, partcol2=val2 ...)]

LOCAL是标识符指定本地路径。它是可选的。

OVERWRITE 是可选的，覆盖表中的数据。

PARTITION 这是可选的

示例

我们将插入下列数据到表中。在/home/user目录中名为sample.txt的文件。

1201  Gopal       45000    Technical manager

1202  Manisha     45000    Proof reader

1203  Masthanvali 40000    Technical writer

1204  Kiran       40000    Hr Admin

1205  Kranthi     30000    Op Admin

下面的查询加载给定文本插入表中。

hive> LOAD DATA LOCAL INPATH '/home/user/sample.txt' OVERWRITE INTO TABLE employee;

下载成功完成，能看到以下回应：

OK

Time taken: 15.905 seconds

【2】查看

desc table;  -- 查看表结构，如 desc emp;

dfs -ls 目录; -- 查看hdfs上的文件   如 dfs -lsr /user

! linux命令 --越界对linux系统进行操作  !pwd   !ls

作业方式1：

vi my.sql

select name from emp;

hive>  source my.sql 即可进行

作业方式2：

hive> select name from emp;

将mapreduce 的输出日志关闭

vi hive-site.xml

<property>

   <name>hive.fetch.task.conversion</name>

   <value>more</value>

</property>

 

【2】删除数据库 

Drop Table语句 。 当从Hive Metastore删除表，它删除了表/列的数据及其元数据（可以是一个正常的表(存储在Metastore)或外部表(存储在本地文件系统)）; 不论什么类型Hive对待的方式相同。

语法如下：

DROP TABLE [IF EXISTS] table_name;

以下查询删除一个名为 employee 的表:

hive> DROP TABLE IF EXISTS employee;

对于成功执行查询，能看到以下回应：

【3】 删除表中的数据truncate

delect:用于删除特定行条件,你可以从给定表中删除所有的行

TRUNCATE:truncate用于删除所有的行，这个行为在hive元存储删除数据是不可逆的.(不能删除外部表！因为外部表里的数据并不是存放在Hive Meta store中)

DROP:删除hive中的表

truncate table table_name;

例子：

truncate table employees;

【4】修改表结构

Alter Table 语句，它是在Hive中用来修改的表。

（1）语法

声明接受任意属性，我们希望在一个表中修改以下语法。

ALTER TABLE name RENAME TO new_name

ALTER TABLE name ADD COLUMNS (col_spec[, col_spec ...])   -- 添加列

ALTER TABLE name DROP [COLUMN] column_name   --删除列

ALTER TABLE name CHANGE column_name new_name new_type

ALTER TABLE name REPLACE COLUMNS (col_spec[, col_spec ...])

1）Rename To… 语句

下面是查询重命名表，把 employee 修改为 emp。

hive> ALTER TABLE employee RENAME TO emp;

2）Change 语句

下表包含employee表的字段，它显示的字段要被更改（粗体）。

字段名    从数据类型转换    更改字段名称    转换为数据类型

eid         int                        eid                        int

name    String                    ename                  String

salary    Float                     salary                    Double

designation    String          designation            String

下面查询重命名使用上述数据的列名和列数据类型：

hive> ALTER TABLE employee CHANGE name ename String;

hive> ALTER TABLE employee CHANGE salary salary Double;

（3）ADD COLUMNS 添加列语句

下面的查询增加了一个列名dept在employee表。

hive> ALTER TABLE employee ADD COLUMNS (dept STRING COMMENT 'Department name');

---

【5】JDBC 程序

以下是使用JDBC程序来创建表给出的一个例子。

import java.sql.SQLException;

import java.sql.Connection;

import java.sql.ResultSet;

import java.sql.Statement;

import java.sql.DriverManager;

public class HiveCreateTable {

   private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";

   

   public static void main(String[] args) throws SQLException {

   

      // Register driver and create driver instance

      Class.forName(driverName);

      

      // get connection

      Connection con = DriverManager.getConnection("jdbc:hive://localhost:10000/userdb", "", "");

      

      // create statement

      Statement stmt = con.createStatement();

      

      // execute statement

    String hiveql="CREATE TABLE IF NOT EXISTS "

         +" employee ( eid int, name String, "

         +" salary String, destignation String)"

         +" COMMENT ‘Employee details’"

         +" ROW FORMAT DELIMITED"

         +" FIELDS TERMINATED BY ‘\t’"

         +" LINES TERMINATED BY ‘\n’"

         +" STORED AS TEXTFILE;"

      stmt.executeQuery(hiveql);

      con.close();

   }

}

将该程序保存在一个名为HiveCreateDb.java文件。下面的命令用于编译和执行这个程序。

$ javac HiveCreateDb.java

$ java HiveCreateDb

输出

Table employee created.