Hive(17):metastore服务

最新推荐文章于 2024-05-02 21:39:35 发布
最新推荐文章于 2024-05-02 21:39:35 发布
阅读量762 收藏 4
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 大数据开发 hive 文章标签： metastore Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u010886217/article/details/83926317
本文介绍Hive Metastore的功能与配置方法，包括减少MySQL连接、权限设置及如何通过修改hive-site.xml文件来指定Metastore的URI，同时提供启动Metastore服务的命令。

1、功能

（1）减少mysql的连接（hiveserver2也可能HA）
（2）权限设置
hiveserver2的那些机器并不一定全部都有连接mysql的权利，单独开放一个metastore，从而连接hive的人并不知道你的数据库在哪台机器的哪个端口，他只知道metastore服务。

2.架构位置

3.配置修改hive-site.xml

<property>
		  <name>hive.metastore.uris</name>
		  <value>thrift://hadoop:9083</value>
		  <description>IP address (or fully-qualified domain name) and port of the metastore host</description>
</property>

4.启动

bin/hive --service metastore &

 

Hive 元数据服务 MetaStore
SmartSi
04-26 7640
1. 概念 MetaSore 是 Hive 元数据存储的地方。Hive 数据库、表、函数等的定义都存储在 MetaStore 中。根据系统配置方式，统计信息和授权记录也可以存储在这。Hive 或者其他执行引擎在运行时可以使用这些数据来确定如何解析，授权以及有效执行用户的查询。MetaStore 分为两个部分：服务和后台数据的存储。 2. 配置参数 这里只会展示与 MetaStore 相关的配置参数，与 MetaSote 不相关的配置参数可以在这查阅。 配置参数 参数说明 hive.metas
Hive中启动metastore服务时报错解决方案
qq_42951717的博客
07-06 5990
初始化完Hive元数据后，使用/opt/module/apache-hive-3.1.2-bin/bin/hive --service metastore命令尝试启动metastore服务时报错 解决方案： 进入Hadoop目录下的share/hadoop/common/找到hadoop-common-3.2.3.jar包，然后将该包复制到apache-hive-3.1.2-bin/lib/目录下，再次启动发现在前台运行不会报错了......
Hive Metastore服务
狂奔的乌牛的博客
11-12 4137
1、Hive 元数据存储 将元数据存储在关系数据库中（MySql、Derby），元数据包括表的属性、表的名称、表的列、分区及其属性以及表数据所在的目录等。 2、Metastore服务作用 客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务即可。 3、Metastore启动方式 下列的本地模式是指Metastore启
（十一）Hive数据仓库的使用
T.machine的博客
12-09 3129
目录 一、目的及要求： 目的： 要求： 二、环境要求： 所需环境： 集群规划： 三、详细步骤： 步骤一：启动 步骤二：数据仓库的使用 1、查看表信息 2、hive常用命令 3、Hive的数据模型_内部表； 4、Hive的数据模型_分区表 5、Hive的数据模型_外部表 6、Hive的数据模型_桶表 7、Hive的数据模型_视图 四、总结 一、目的及要求： 目的...
hive命令
fljiaoyuxue的博客
06-25 954
#4、mysql驱动拷贝 在D:\Maven\jar_mgr\apache-maven-3.5.4\repository\mysql\mysql-connector-java\5.1.47找到mysql-connector-java-5.1.47.jar包将其复制到/opt/software/hive312/lib下 #5、初始化 cd /opt/software/hive312 ./schematool -dbType mysql -initSchema #6、启动关闭hive服务 #[后台启动] noh
Hive的Metastore服务和Hiveserver2服务的说明
奔跑的蜗牛的博客
05-18 991
Metastore的作用：客户端连接metastore服务，metastore再去连接Mysql数据库来存取元数据。有了Metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道Mysql数据库的用户名和密码，只需要连接metastore服务即可。1.2、Hive先连接Metastore服务，再通过Metastore服务连接Mysql获取元数据。如果我们想通过jdbc的方式来连接hive，那么我们就需要开启Hiveserver2服务了。启动方式：只需直接启动Hive客户端，即可连接。
06 - metastore服务、hive服务启动脚本以及相关使用技巧
最新发布
花&败
05-02 3410
Hive的metastore服务的作用是为Hive CLI或者Hiveserver2提供元数据访问接口。metastore有两种运行模式，分别为嵌入式模式和。下面分别对两种模式进行说明：（1）嵌入式模式（2）独立服务模式生产环境中，不推荐使用嵌入式模式。因为其存在以下两个问题：（1）嵌入式模式下，每个Hive CLI都需要直接连接元数据库，当Hive CLI较多时，数据库压力会比较大。（2）每个客户端都需要用户元数据库的读写权限，元数据库的安全得不到很好的保证。
Hive安装：Metastore配置和常见错误处理
O_1CxH的博客
11-28 2889
Hive安装、Metastore配置和常见错误处理 文章目录Hive安装、Metastore配置和常见错误处理1 方法简介2 步骤2.1 安装Hive2.2 安装mysql2.3 在mysql中配置相应用户2.4 配置JDBC支持2.5 在Hive中配置metastore3 常见问题举例3.1 无法创建SessionHiveMetaStoreClient实例3.2 创建事务连接错误3.3 绝对路径中包含相对路径3.4 无法创建目录4 参考 1 方法简介 Hive的本身结构决定了其需要把一部分数据存储在关系数
大数据-Hive：启动metastore和hiveserver2脚本
u013250861的博客
04-02 465
前台启动的方式导致需要打开多个shell窗口，可以使用如下方式后台方式启动nohup放在命令开头，表示不挂起，也就是关闭终端进程也会继续保持运行状态/dev/null是linux文件系统中的一个文件，被称为黑洞，所有写入该文件的内容会被自动丢弃。文件描述符0标准输入1标准输出2标准错误2>&1表示将错误重定向到标准输出上放在命令结尾,表示后台运行$ nohup [xxx命令操作] 1> file 2>&1 &
hive启动元数据遇到 INFO metastore.HiveMetaStore: Added admin role in metastore INFO metastore.HiveMetaStore: Added public role in metastore INFO metastore.HiveMetaStore: No user is added in admin role, since config is empty INFO conf.HiveConf: Found configuration file file:/D:/apache-hive-3.1.2-bin/conf/hive-site.xml INFO metastore.HiveMetaStore: Starting DB backed MetaStore Server with SetUGI enabled INFO metastore.HiveMetaStore: Started the new metaserver on port [9083]... INFO metastore.HiveMetaStore: Options.minWorkerThreads = 200 INFO metastore.HiveMetaStore: Options.maxWorkerThreads = 1000 INFO metastore.HiveMetaStore: TCP keepalive = true INFO metastore.HiveMetaStore: Enable SSL = false
06-01
这段日志是hive启动时输出的，其中包含了启动元数据服务的信息。可以看到，启动过程中添加了admin和public角色，并且没有添加任何用户到admin角色中。同时，hive-site.xml配置文件被找到并使用。元数据服务以DB方式...
3-9+HiveMetaStore服务在快手的挑战与优化.pdf
03-18
3-9+HiveMetaStore服务在快手的挑战与优化
hive 配置metastore hiveserver2服务开启
weixin_53359823的博客
12-18 1598
启动后需要等待一段时间，jdbc才能连接上hive服务。
Metastore服务启动 + hiveserver服务启动
Rain_2021245488的博客
07-27 6365
由于使用的是远程模式，因此metastore需要单独配置和启动，前面已经搞定配置了，本篇讲如何以及。
hive中metastore服务、hiveserver2服务、hive客户端、beeline客户端连接元数据的方式
不爱吃鱼的馋猫
10-10 7333
1.前言 hive是Hadoop的客户端，启动hive前必须启动hadoop，同时hive的元数据存储在mysql中，是由于hive自带的derby数据库不支持多客户端访问。 2.开启metastore服务的参数 hive-site.xml中打开metastore的连接地址。 <!-- 指定存储元数据要连接的地址 --> <property> <name>hive.metastore.uris</name> <va
hive的metadata、metastore 、hiveserver2、beeline 之间的关系
iKuboo
09-01 3367
先解释一下几个名词： metadata ：hive元数据，即hive定义的表名，字段名，类型，分区，用户这些数据。一般存储关系型书库mysql中，在测试阶段也可以用hive内置Derby数据库。 metastore ：hivestore服务端。主要提供将DDL，DML等语句转换为MapReduce，提交到hdfs中。 hiveserver2：hive服务端。提供hive服务。客户端可以通过b...
【大数据之Hive】六、Hive之metastore服务部署
阿宁的博客
06-05 2675
metastore为Hive CLI或Hiveserver2提供元数据访问接口。
HiveMetaStore高可用性(HA)配置
RotKang
12-01 8019
软件环境 Hadoop 2.6.0-cdh5.9.0 Hive 1.1.0-cdh5.9.0 Zookeeper 3.4.5-cdh5.9.0工作原理 常规连接 MetaStore HA 前置条件 Hadoop、Zookeeper、Hive是可用的前提Hive Server MetaStore启动 跟单节点配置一样，只不过在多台服务器
metastore作用_hive metastore解析
weixin_39537298的博客
12-24 1274
背景说明hive metastore 是什么呢？它是一个服务端，简称server。默认的端口为9083有什么作用呢？作用是建立起和hive客户端的连接，当客户端来请求，server去远程metastore数据库查询信息返回hive metastore的模式hive metastore 有两种模式，本地和远程，本地模式用的很少不讲，主要讲一下远程模式1、远程模式启动需要的配置参数如下javax.j...
Hive metastor HA配置
dymkkj的专栏
05-27 452
前言 为应对生成环境hive服务可用性，需要对hive metastore服务进行backup,则其中一个metastore无法进行对外服务，backup及时转正，对发送请求进行处理 图解 单点故障 HA 架构 HA 配置 依赖服务 hdfs,zookeeper,hive 参数配置 hive-site.xml配置： <!-- 配置多个metastore服务，逗号分隔 --> <property> <name>hive.metastore.uri
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值