metastore数据库里个别表的作用

最新推荐文章于 2024-06-28 14:46:37 发布
原创 最新推荐文章于 2024-06-28 14:46:37 发布 · 265 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博客介绍了初始化Hive后，登录MySQL中metastore数据库个别表的作用。如DBS记录HIVE里创建的Database，DB - PRIVS记录权限，PARTITIONS记录分区资料，TBLS记录新创表格数据，VERSION记录使用版本。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

用

schematool -initSchema -dbType mysql

初始化Hive后，登录mysql，里面会有一个metastore数据库，其中个别表的作用如下：

  • DBS：记录各位在HIVE里面开的Database
  • DB-PRIVS：每个人的权限）
  • PARTITIONS：（会将资料切成不同的partition方便hive快速处理）每个partition的资料记录在这里
  • TBLS：新创的表格数据会记录在这里
  • VERSION：使用的版本
leeshutao
关注
数仓工具—Hive的架构设计(13)
12-26 5万+
Hive是构建在分布式计算框架之上的SQL引擎，它重用了Hadoop中的分布式存储系统HDFS/HBase和计算框架MapReduce/Tez/Spark等。Hive是Hadoop生态系统中的重要部分，也是目前应用最广泛的SQL On Hadoop解决方案。
[Spark版本升级]-- spark-2.2.0发行说明
欢迎来到我的博客，一起探索代码里的世界！
07-18 6772
Spark-2.2.0版本发行时间：2017-7-11   一、Jira说明： https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12315420&version=12338275   子任务 [ SPARK-1267 ] - 添加PySpark的pip安装程序 [ SPARK-3249 ] - ...
metastore作用_Hive为什么要启用Metastore？
weixin_39690958的博客
12-24 928
转载来自：相关概念1.Metadata概念：元数据包含用Hive创建的database、table等的元信息。元数据存储在关系型数据库中。如Derby、MySQL等。2.Metastore作用：客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需...
python的views文件有什么用_python :Django url /views /Template 文件介绍
weixin_39923262的博客
12-21 373
1，Django URL 路由系统URL配置(URLconf)就像Django 所支撑网站的目录。它的本质是URL模式以及要为该URL模式调用的视图函数之间的映射表；你就是以这种方式告诉Django，对于这个URL调用这段代码，对于那个URL调用那段代码。urlpatterns =[url(正则表达式, views视图函数，参数，别名),]参数说明：一个正则表达式字符串一个可调用对象，通常为一个视...
Gitlab启动、停止、重启
tengqingyong的博客
11-04 3303
Gitlab启动、停止、重启（两种启动方式） 因为Gitlab不是我部署的，是之前总监部署的，服务器突然更新系统了，Git服务器就没有自启··自启··自启······，自己操作启动没有成功，然后网上搜了一下都是这三种启动关闭重启的方式，可是我这里显示命令错误，what？？？ 启动gitlab服务 sudo gitlab-ctl start gitlab服务停止 sudo gitlab-ctl stop 重启gitlab服务 sudo gitlab-ctl restart ...
metastore作用_Hadoop 原理学习（1）Hadoop 各服务的作用简述
weixin_33849758的博客
12-24 295
注：以下服务为基于安装Hadoop 2.6.0-cdh5.8.3后的所得服务，但并不是全部。1. HDFSNameNodeNameNode是一个中心服务器，负责管理文件系统的namespace以及客户端对文件的访问。NameNode执行文件系统的namespace操作，比如打开、关闭、重命名文件或目录。同时它还确定block到DataNode节点的映射。Namenode 详细功能如下：- 它是维护...
流式数据库笔记｜从 0 开始离线安装 RisingWave 集群
https://risingwave.com/
06-28 1024
RisingWave 是一款开源的分布式流处理数据库，旨在帮助用户降低实时应用的开发成本。本文分为三个部分: 离线环境如何用 yum 安装软件，离线环境安装 k8s 安装 helm，离线环境安装 RisingWave，可以按需使用 ）：
Apache Kyuubi在网易的深度实践
过往记忆大数据
12-22 3444
分享的内容主要包括三个内容：1)Kyuubi是什么？介绍Kyuubi的核心功能以及Kyuubi在各个使用场景中的解决方案；2)Kyuubi在网易内部的定位、角色和实际使用场景；3)通过...
那我在starrocks创建外部表，可以创建hive的表吗
最新发布
02-28
嗯，用户之前问了为什么在StarRocks里同步Hive元数据后能查Hive表，现在又想知道是否能在StarRocks里创建外部表来对应Hive的表。我需要先确认他是否了解外部表的概念，可能他需要具体的操作步骤或者示例。 首先，...
hive元数据异常解决方案
东北溜达滑的博客
11-30 2093
hive元数据异常解决方案 ​ 最近在IDEA里使用spark向hive中保存数据。添加依赖时hive-jdbc的版本写错2.3.6的hive写成1.3.6，并且执行成功。导致hive元数据异常。 metastore 服务启动报错（启动命令：hive --service metastore &） Caused by: MetaException(message:Hive Schema v...
Metastore组件
01-23
Metastore组件：元数据服务组件，这个组件存储hive的元数据
metastore作用_hive metastore解析
weixin_39537298的博客
12-24 1267
背景说明hive metastore 是什么呢？它是一个服务端，简称server。默认的端口为9083有什么作用呢？作用是建立起和hive客户端的连接，当客户端来请求，server去远程metastore数据库查询信息返回hive metastore的模式hive metastore 有两种模式，本地和远程，本地模式用的很少不讲，主要讲一下远程模式1、远程模式启动需要的配置参数如下javax.j...
hive的metadata中的表用途说明
weixin_34326558的博客
04-24 488
在本例中将Hive的metadata存储在mysql中；透彻理解每个表的用途，以及每个表之间是通过什么进行关联，对于用hive用着很大的帮助；Hive的版本不同，表的个数也有可能不同；Hive 1.1是36张表，1.2是35张表；要重点理解的表：VERSIONDBSCDSTBLSCOLUMNS_V2PARTITIONSP...
Android中的存储相关概念
SinceNov
10-27 252
Android中内部存储，外部存储的概念 1.内部存储不是内存,而是位于系统中的一个特殊位置。将文件存储到内部存储中,文件默认只能被应用访问到,一个应用创建的所有文件都在和应用包名相同的目录下,应用卸载后文件也会删除。内部储存的容量相当有限,是系统本身和系统应用程序主要的数据存储所在地。 Shared Preferences和SQLite数据库都是存储在内部存储空间上的。 2.外部存储 (Android4.4以后)手机比如16+256这些概念中的256(容量概念),既机身自带的容量在概念上分成了”内部存储i
spark 多线程删数据库数据_spark 多线程执行sql
weixin_39719476的博客
12-19 196
{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":4,"count":4}]},"card":[{"des":"X-Pack Spark分析引擎支持批量和流式入库、复杂分析、机器学习等场景。同时提供调度，作业管理，交互查询，自动告警等能力。相比自建在性能、免运维、易用性，...
hive 架构及 metastore 功能简单介绍
骑着蜗牛向前跑的博客
05-26 3172
hive 内部执行过程以及 Metastore 的作用。
Hive为什么要启用Metastore
weixin_42073629的博客
07-05 1307
相关概念 1.Metadata概念： 元数据包含用Hive创建的database、table等的元信息。元数据存储在关系型数据库中。如Derby、MySQL等。 2.Metastore作用： 客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务即可。 bin/hin --访问--> metaStore...
06 - metastore服务、hive服务启动脚本以及相关使用技巧
花&败
05-02 3369
Hive的metastore服务的作用是为Hive CLI或者Hiveserver2提供元数据访问接口。metastore有两种运行模式，分别为嵌入式模式和。下面分别对两种模式进行说明：（1）嵌入式模式（2）独立服务模式生产环境中，不推荐使用嵌入式模式。因为其存在以下两个问题：（1）嵌入式模式下，每个Hive CLI都需要直接连接元数据库，当Hive CLI较多时，数据库压力会比较大。（2）每个客户端都需要用户元数据库的读写权限，元数据库的安全得不到很好的保证。
Hive为什么要启用Metastore？
热门推荐
那又怎样？的博客
09-06 3万+
转载来自： https://blog.youkuaiyun.com/qq_40990732/article/details/80914873 https://blog.youkuaiyun.com/tp15868352616/article/details/80891057 相关概念 1.Metadata概念： 元数据包含用Hive创建的database、table等的元信息。元数据存储在关系型数据库中。如De...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值