Hive数据库的存储位置 & DDL

最新推荐文章于 2024-07-29 20:15:22 发布
最新推荐文章于 2024-07-29 20:15:22 发布
阅读量4.2k 收藏 6
点赞数 2
分类专栏： Hive Hadoop Mysql 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/tracy622/article/details/128046080
版权
本文介绍了Hive数据库在HDFS的存储位置，包括default数据库及表的路径，并详细阐述了Hive元数据在MySQL中的存储。接着，重点讲解了Hive的DDL操作，包括CREATE、ALTER和DROP，提供了各种操作的语法示例，如创建数据库时指定存储位置、添加评论等。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Hive数据库的存储位置 & DDL

1. Hive数据库&表在HDFS中的存储位置

Hive对应的database 和 table都是对应分布式文件系统的一个路径：

  • /user/hive/warehouse【即hive.metastore.warehouse.dir的文件夹路径地址】
  • 在hive中默认有一个数据库：default
  • 库、表、分区表 都是在hive.metastore.warehouse.dir这个目录下
（-）默认数据库default非default数据库
数据库位置（-）/user/hive/warehouse/数据库名字.db
新创建的表位置/user/hive/warehouse/表名/user/hive/warehouse/数据库名字.db/表名

在这里插入图片描述

2. Hive元数据metadata在mysql数据库中的存储位置

mysql> use myhive; // 在hive-site.xml配置的mysql数据库库名。
mysql> show tables;
+-------------------------------+
| Tables_in_myhive              |
+-------------------------------+
| aux_table                     |
| bucketing_cols                |
| cds                           |
| columns_v2                    |
| compaction_queue              |
| completed_compactions         |
| completed_txn_components      |
| ctlgs                         |
| database_params【存放元数据参数配置】              |
| db_privs                      |
| dbs     【存放metadata元数据】                  |
| delegation_tokens             |
| func_ru                       |

3.Hive的DDL操作

3.1.CREATE（新增）

语法：
CREATE [REMOTE] (DATABASE|SCHEMA) [IF NOT EXISTS] database_name
[COMMENT database_comment]
[LOCATION hdfs_path]
[MANAGEDLOCATION hdfs_path]
[WITH DBPROPERTIES (property_name=property_value, …)];

[] ：可有可无
(DATABASE|SCHEMA) N选1操作

  • 普通创建 & 数据库存储路径
[xiaofeng@maggie101 ~]$ beeline.sh
// 切换到hiveserver2下面创建myhive_test1.db数据库
0: jdbc:hive2://localhost:10000/> Create database myhive_test1;

// 查看/user/hive/warehouse/路径下的文件
[xiaofeng@maggie101 ~]$ hadoop fs -ls /user/hive/warehouse/
	Found 3 items
	drwxr-xr-x   - xiaofeng supergroup          0 2022-11-26 00:17 /user/hive/warehouse/myhive_test1.db
	drwxr-xr-x   - xiaofeng supergroup          0 2022-11-25 01:51 /user/hive/warehouse/test.db
	drwxr-xr-x   - xiaofeng supergroup          0 2022-11-25 11:04 /user/hive/warehouse/test_user
  • 普通再次创建 & IF NOT EXISTS
0: jdbc:hive2://localhost:10000/> Create database myhive_test1;
Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Database myhive_test1 already exists (state=42000,code=1)

0: jdbc:hive2://localhost:10000/> Create database IF NOT EXISTS myhive_test1;
	No rows affected (0.03 seconds)
  • 创建库的时候，同时指定LOCATION
0: jdbc:hive2://localhost:10000/>  Create database myhive_test3 LOCATION '/user/hive/myhive_test3';
  • 创建库的时候，添加备注COMMENT
 Create database myhive_test4 COMMENT 'maggie创建的Hive测试数据库';
 
 Create database myhive_test5 COMMENT 'maggie创建的Hive测试数据库5' WITH DBPROPERTIES ('cretor'='maggie', 'date'='2022-11-26');
  • 查看数据库
0: jdbc:hive2://localhost:10000/> show databases;
+----------------+
| database_name  |
+----------------+
| default        |
| myhive_test1   |
| myhive_test2   |
| myhive_test3   |
| myhive_test4   |
| myhive_test5   |
| test           |
+----------------+
7 rows selected (0.088 seconds)

0: jdbc:hive2://localhost:10000/> show databases like 'myhive*';
+----------------+
| database_name  |
+----------------+
| myhive_test1   |
| myhive_test2   |
| myhive_test3   |
| myhive_test4   |
| myhive_test5   |
+----------------+
5 rows selected (0.047 seconds)
  • 查看元数据信息matadata
0: jdbc:hive2://localhost:10000/> desc database myhive_test1;

+---------------+----------+----------------------------------------------------+-------------+-------------+-------------+
|    db_name    | comment  |                      location                      | owner_name  | owner_type  | parameters  |
+---------------+----------+----------------------------------------------------+-------------+-------------+-------------+
| myhive_test1  |          | hdfs://maggie101:9000/user/hive/warehouse/myhive_test1.db | xiaofeng    | USER        |             |
+---------------+----------+----------------------------------------------------+-------------+-------------+-------------+
1 row selected (0.052 seconds)


0: jdbc:hive2://localhost:10000/> desc database extended myhive_test5;

+---------------+----------------------+----------------------------------------------------+-------------+-------------+-----------------------------------+
|    db_name    |       comment        |                      location                      | owner_name  | owner_type  |            parameters             |
+---------------+----------------------+----------------------------------------------------+-------------+-------------+-----------------------------------+
| myhive_test5  | maggie???Hive?????5  | hdfs://maggie101:9000/user/hive/warehouse/myhive_test5.db | xiaofeng    | USER        | {date=2022-11-26, cretor=maggie}  |
+---------------+----------------------+----------------------------------------------------+-------------+-------------+-----------------------------------+
1 row selected (0.036 seconds)
0: jdbc:hive2://localhost:10000/>
  • 在mysql中元数据存放位置和具体数值
mysql> desc dbs;
+-----------------+---------------+------+-----+---------+-------+
| Field           | Type          | Null | Key | Default | Extra |
+-----------------+---------------+------+-----+---------+-------+
| DB_ID           | bigint(20)    | NO   | PRI | NULL    |       |
| DESC            | varchar(4000) | YES  |     | NULL    |       |
| DB_LOCATION_URI | varchar(4000) | NO   |     | NULL    |       |
| NAME            | varchar(128)  | YES  | MUL | NULL    |       |
| OWNER_NAME      | varchar(128)  | YES  |     | NULL    |       |
| OWNER_TYPE      | varchar(10)   | YES  |     | NULL    |       |
| CTLG_NAME       | varchar(256)  | NO   | MUL | hive    |       |
+-----------------+---------------+------+-----+---------+-------+
7 rows in set (0.00 sec)

mysql> select * from dbs;
+-------+-----------------------+-----------------------------------------------------------+--------------+------------+------------+-----------+
| DB_ID | DESC                  | DB_LOCATION_URI                                           | NAME         | OWNER_NAME | OWNER_TYPE | CTLG_NAME |
+-------+-----------------------+-----------------------------------------------------------+--------------+------------+------------+-----------+
|     1 | Default Hive database | hdfs://maggie101:9000/user/hive/warehouse                 | default      | public     | ROLE       | hive      |
|     2 | NULL                  | hdfs://maggie101:9000/user/hive/warehouse/test.db         | test         | xiaofeng   | USER       | hive      |
|     6 | NULL                  | hdfs://maggie101:9000/user/hive/warehouse/myhive_test1.db | myhive_test1 | xiaofeng   | USER       | hive      |
|     7 | NULL                  | hdfs://maggie101:9000/user/hive/warehouse/myhive_test2.db | myhive_test2 | xiaofeng   | USER       | hive      |
|     8 | NULL                  | hdfs://maggie101:9000/user/hive/myhive_test3              | myhive_test3 | xiaofeng   | USER       | hive      |
|     9 | maggie???Hive?????    | hdfs://maggie101:9000/user/hive/warehouse/myhive_test4.db | myhive_test4 | xiaofeng   | USER       | hive      |
|    10 | maggie???Hive?????5   | hdfs://maggie101:9000/user/hive/warehouse/myhive_test5.db | myhive_test5 | xiaofeng   | USER       | hive      |
+-------+-----------------------+-----------------------------------------------------------+--------------+------------+------------+-----------+
7 rows in set (0.00 sec)

mysql>
  • 存放comment参数
mysql> desc database_params ;
+-------------+---------------+------+-----+---------+-------+
| Field       | Type          | Null | Key | Default | Extra |
+-------------+---------------+------+-----+---------+-------+
| DB_ID       | bigint(20)    | NO   | PRI | NULL    |       |
| PARAM_KEY   | varchar(180)  | NO   | PRI | NULL    |       |
| PARAM_VALUE | varchar(4000) | YES  |     | NULL    |       |
+-------------+---------------+------+-----+---------+-------+
3 rows in set (0.00 sec)

mysql> select * from database_params  ;
+-------+-----------+-------------+
| DB_ID | PARAM_KEY | PARAM_VALUE |
+-------+-----------+-------------+
|    10 | cretor    | maggie      |
|    10 | date      | 2022-11-26  |
+-------+-----------+-------------+
2 rows in set (0.00 sec)

3.2.ALTER（修改）

ALTER DATABASE myhive_test5 SET DBPROPERTIES ('updatetime'='30000101');

3.3.DROP（删除)

DROP DATABASE pk_hivedfasdfafasdfdasfas ;         【不存在的时候，会报错】
DROP DATABASE IF EXISTS pk_hivedfasdfafasdfdasfas ;     【加上IF EXISTS的时候，就不会报错】
DROP DATABASE IF EXISTS pk_hivedfasdfafasdfdasfas  CASCADE;  【CASCADE级联删除，有点危险】
[Hive基础]-- 查看hive 表在hdfs上的存储路径
欢迎来到我的博客，一起探索代码里的世界！
07-19 5万+
1、执行hive，进入hive窗口 2、执行show databases,查看所有的database; 3、执行use origin_ennenergy_onecard; 则使用origin_ennenergy_onecard数据库 4、执行show create table M_BD_T_GAS_ORDER_INFO_H;则可以查看table在hdfs上的存储路径 如下： hive (...
查找hive表的存储位置并查看表文件大小及分区文件名
奋斗的阿杰的博客
10-19 4157
查看元数据
Hive之 数据存储
cuangu9341的博客
09-18 174
首先，Hive 没有专门的数据存储格式，也没有为数据建立索引，用户可以非常自由的组织 Hive 中的表，只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符，Hive 就可以解析数据。 其次...
Hive的数据存储
热门推荐
远有青山
08-26 1万+
Hive的数据分为表数据和元数据，表数据是Hive中表格(table)具有的数据;而元数据是用来存储表的名字，表的列和分区及其属性，表的属性(是否为外部表等)，表的数据所在目录等。下面分别来介绍。 一、Hive的数据存储 在让你真正明白什么是hive 博文中我们提到Hive是基于Hadoop分布式文件系统的，它的数据存储在Hadoop分布式文件系统中。Hive本身是没有专门的数据存储格式，也没
hive表的存储路径查找以及表的大小
weixin_30888707的博客
06-16 516
1、在hive中知道一个表的存储路径可以通过hive命令 desc formatted table_name 显示表的详细信息; 2、然后找到该表的存储路径"Location: " "hdfs://nameservice/user/*" 3、利用hadoop fs -du -s -h location 查看该表的大小 转载于:https://www.cnblogs.com/m...
Hive数据库和表操作(DDL)
小财迷嘻嘻的博客
09-18 743
1、Hive数据库 表的集合，HDFS中表现为一个文件夹 默认在hive.metastore.warehouse.dir属性目录下，我们在部署Hive时，在hive-site.xml中配置了该路径，如下： 如果没有指定数据库，默认使用default数据库 创建数据库：create database hivetest 使用数据库：use hivetest 显示所有数据库：show databases 删除数据库：drop database hivetest 显示数据库信息：desc database
Hive SQL 数据定义语言（DDL）
最新发布
m0_70882914的博客
07-29 1829
数据定义语言DDL)，是 SQL 语言集中对数据库内部的对象结构进行创建，删除，修改等的操作语言， 这些数据库对象包括database（ schema）、 table、 view、 index 等。核心语法由CREATEALTER与DROP三个所组成。DDL 并不涉及表内部数据的操作。在某些上下文中，该术语也称为数据描述语言，因为它描述了数据库表中的字段和记录。Hive中的数据类型指的是Hive表中的列字段类型。原生数据类型（primitive data type）和复杂数据类型。
Hive学习之Hive数据库DDL
skyWalker_ONLY
06-04 3975
Hive提供了与SQL相似的数据定义语言(DDL)，对于熟悉SQL的人来说，学习Hive的DDL是非常容易得，即使从未接触过SQL的人，学习也不是一件很难的事情。虽然本人对SQL有一定的了解，但绝不敢自称熟悉SQL，所以准备对HiveQL进行深入的学习，按照SQL通常的学习曲线，先学习DDL，再学习DML（数据操作语言）。由于需要演示一些语句的示例，不得不超前使用一些其它语句，比如show、des
Hive ddl语法使用详解
congge_study的博客
02-26 8688
hive ddl语法使用详解
Hive SQL --- DDL(数据定义)语句
Alfie的博客
07-12 450
本文介绍了Hive中DDL语句的使用，主要是用来操作数据库, 数据表, 字段等.
查看hive表储存在hdfs的哪个目录下
言之。
12-14 1万+
查看hive表储存在hdfs的哪个目录下, 查看一个HDFS目录占用了多少磁盘空间
查看hive 表在hdfs上的存储路径
u010980147的博客
06-02 1万+
参考：https://blog.youkuaiyun.com/ljp812184246/article/details/52461876参考：desc详解第一种方法：desc formatted schema.tableName ;第二种方法，步骤如下1、执行hive，进入hive窗口2、执行show databases,查看所有的database;3、执行use origin_ennenergy_oneca...
Hive的数据库，表的存储位置
Gao__xi的博客
04-25 1万+
Hive数据存储位置 可以看到，在default数据库中的表的存储位置 /user/hive/warehouse 其他数据库的表会在 /user/hive/warehouse/xxx.db/ ...
Hive 数据仓库位置配置、显示当前数据库，以及查询表的头信息配置、运行日志信息配置、Hive 数据类型、DDL数据定义
花&败
08-23 1061
一：Hive 常见属性配置 Hive 数据仓库位置配置 ⑴Default 数据仓库的最原始位置是在 hdfs 上的：/user/hive/warehouse 路径下 。 ⑵在仓库目录下，没有对默认的数据库 default 创建文件夹。如果某张表属于 default 数据库，直接在数据仓库目录下创建一个文件夹。 ⑶修改 defaul......
查看hive表对应的hdfs文件路径
L13763338360的博客
10-21 1万+
1. 一般情形 一般情形，spark-sql执行show create table xxx.xxx命令，就可以看到hdfs路径：LOCATION show create table xxx.xxx; 2. 特殊情形 有些情况，比如spark用saveAsTable方法创建的表，一般情形不适合，查不到hive表对应的hdfs路径。 spark-sql> show create table default.leon_hive_table; CREATE TA...
HIVE 的数据存储
weixin_30487317的博客
03-20 168
HIVE 的数据存储： 　　1、hive中所有的数据都存储在HDFS中，没有专门的数据存储格式（可支持Text，SequenceFile，ParquetFile，RCFILE等）） 　　2、只需要建表时告诉hive数据中的列分隔符和行分隔符，hive就可以解析数据。 　　3、hive中包含以下数据模型：DB、Table，External Table，Partition，Bucket。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值