hive配置远程metastore的方法

最新推荐文章于 2024-09-09 00:23:43 发布
原创 最新推荐文章于 2024-09-09 00:23:43 发布 · 4.8k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#服务器 #server #mysql #存储 #hadoop #测试

本文详细介绍了如何在Hive中配置远程Metastore，包括本地MySQL存储配置、服务启动、客户端配置以及执行测试HQL的过程。

 hive配置远程metastore的方法：

    1）首先配置hive使用本地mysql存储metastore（服务器A 111.121.21.23）（也可以使用远程mysql存储）

    2）配置完成后，在服务器A启动服务：/etc/init.d/hadoop-hive-metastore start  （默认监听端口是：9083）

    3）配置hive客户端，修改hive-site.xml：（服务器B-需要有hadoop环境）

        <property>
          <name>hive.metastore.local</name>
          <value>false</value>
          <description>controls whether to connect to remote metastore server or open a new metastore server in Hive Client JVM</description>
        </property>
        
        <property>
          <name>hive.metastore.uris</name>
          <value>thrift://127.0.0.1:9083</value>
          <description></description>
        </property>

     4）hive 执行测试hql

Hive 元数据服务 MetaStore
SmartSi
04-26 7734
1. 概念 MetaSore 是 Hive 元数据存储的地方。Hive 数据库、表、函数等的定义都存储在 MetaStore 中。根据系统配置方式，统计信息和授权记录也可以存储在这。Hive 或者其他执行引擎在运行时可以使用这些数据来确定如何解析，授权以及有效执行用户的查询。MetaStore 分为两个部分：服务和后台数据的存储。 2. 配置参数 这里只会展示与 MetaStore 相关的配置参数，与 MetaSote 不相关的配置参数可以在这查阅。 配置参数 参数说明 hive.metas
数仓工具—Hive的其他语言调用(15)
热门推荐
12-26 5万+
前面我们知道了HiveServer2服务的加入使得其他语言访问Hive成为了可能，接下来我们看一下怎么使用Java,python 通过JDBC 访问Hive,然后尝试整合mysbatis,springboot 去访问Hive
hive配置远程metastore
竹叶青 的专栏
10-31 2万+
hive配置远程metastore的方法：     1）首先配置hive使用本地mysql存储metastore（服务器A 111.121.21.23）（也可以使用远程mysql存储）     2）配置完成后，在服务器A启动服务：bin/hive --service metastore  （默认监听端口是：9083）     3）配置hive客户端，修改hive-site.xml：（服务
Hive 多节点搭建(Remote Metastore Server)
chooser007的博客
06-14 740
1、在上一篇的基础之上继续：hive单节点搭建
Linux 下Hive 安装(Remote Metastore Database 单节点)
chooser007的博客
06-14 397
1、Linux下安装好mysql：Linux 下Mysql 安装
【一】hive安装(远程metastore)
Sid小杰的博客
06-05 1088
前期：请先安装jdk和hadoop和mysql jdk安装 hadoop分布式安装 mysql安装 环境ubuntu16.04 下载 http://mirrors.tuna.tsinghua.edu.cn/apache/hive/ rz上传安装包到服务器 解压 tar -zxvf apache-hive-2.3.3-bin.tar.gz 修改名字文件名字 mv apa...
hive elt mysql_hive配置远程metastore | 学步园
weixin_35964207的博客
02-15 475
hive配置远程metastore的方法：1)首先配置hive使用本地mysql存储metastore(服务器A 111.121.21.23)(也可以使用远程mysql存储)2)配置完成后，在服务器A启动服务：bin/hive --service metastore (默认监听端口是：9083)3)配置hive客户端，修改hive-site.xml：(服务器B-需要有hadoop环境)hive....
【hive配置metastore远程模式】
耀哥的博客
12-24 2786
hive配置metastore远程模式
Hive的Metastore三种配置方式
日常分享数据分析开发、编程语言内容
02-28 5501
Hive的Metastore三种配置方式
HIVE配置远程服务的启动脚本
a2makemoney的博客
09-09 855
想要通过一些远程软件操作hive，这个时候必须开启远程模式。而hiveserver2和metastore，是启动hive的关键服务。正常启动hive，需要启动hiveserver2和metastore，什么是hiveserver2和metastore呢？第一次运行时间有些长，需要等待片刻，看到四个session id则正常运行。ip为metastore服务所在的主机ip地址。为别人连接mysql元数据提供服务的。可以正常显示出，即可正常运行。thrift:是协议名称。保存后上传，再加上权限。
hive 运行三种方式 之 remote metastore service
自由の力
10-30 2970
这种存储方式需要在远端服务器运行一个mysql服务器，并且需要在Hive服务器启动meta服务.另外根据metaservice的服务端和meta客户端是否在一台机器，再划分为本地和remote两种，我这里说的是remote类型，即meta客户端和服务端不在一台机器上下面是服务端的配置文件 hive-site.xml<?xml version="1.0"?> <?xml-stylesheet t
Hive之MetaStore服务启动过程
weixin_33802505的博客
03-17 997
2019独角兽企业重金招聘Python工程师标准>>> ...
Hive安装配置指北（含Hive Metastore详解）
mojolang
05-06 2152
本文介绍Hive安装配置的整个过程，包括MySQL、Hive及Metastore的安装配置，并分析了Metastore三种配置方式的区别。网上有很多介绍Hive Metastore三种配置方式的文章，但是理解都不对，给读者造成了很多误导。本人详细阅读Apache和CDH官方文档中关于Hive Metastore的部分，并经过实践，终于填好各种坑，安装配置成功，遂记录下本文，供大家参考。 1.
hive启动命令
weixin_63001822的博客
05-26 4235
1、启动元数据管理服务（必须启动，否则无法工作）前台启动：bin/hive --service metastore后台启动：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &2、启动客户端Hive Shell方式（可以直接写SQL）： bin/hive。
06 - metastore服务、hive服务启动脚本以及相关使用技巧
花&败
05-02 3594
Hive的metastore服务的作用是为Hive CLI或者Hiveserver2提供元数据访问接口。metastore有两种运行模式，分别为嵌入式模式和。下面分别对两种模式进行说明：（1）嵌入式模式（2）独立服务模式生产环境中，不推荐使用嵌入式模式。因为其存在以下两个问题：（1）嵌入式模式下，每个Hive CLI都需要直接连接元数据库，当Hive CLI较多时，数据库压力会比较大。（2）每个客户端都需要用户元数据库的读写权限，元数据库的安全得不到很好的保证。
Hive Metastore Start 失败
i54605的博客
08-21 1797
使用 Ambari 安装 Hive 的时候，在启动 Hive Metastore 的时候报错 stderr: Python script has been killed due to timeout after waiting 1200 secs stdout: 2018-08-21 17:23:43,757 - Stack Feature Version Info: Cluster Sta...
HIVE的metastore和hiveserver2服务的启动和停止脚本
AnameJL的博客
02-28 4373
启动脚本 在hive的bin目录下执行vi hive-start.sh命令或者通过touch hive-start.sh创建一个文件都可以，在脚本内添加如下内容 #!/bin/bash # 启动hive的metastore服务 hive --service metastore > /dev/null 2>&1 & echo -n "Starting metastore servece,please wait" mt=1 while [ $mt -ne 0 ] do .
【大数据】Linkis如何安装部署，及一些常见问题
像风走过八千里
01-23 5750
Linkis ，一个在上层应用程序和底层引擎之间的计算中间件。本篇博客主要介绍了Linkis的安装过程及安装遇到的一些问题。
Hive MetaStore 启动配置
是个好男人的博客
05-12 6442
1.MetaStore介绍 Hive可以启动一个叫做MetaStore的服务，该服务在Hive的客户端启动，用户通过客户端连接到MetaStore，然后和一个数据库（例如：Mysql）进行通信。该数据库是用于存储Hive的元数据信息。 2.MetaStore配置 需要修改hive-site.xml配置文件，配置端口 <property> <name>hive.metastore.port</name> <value>9083&...
Hive Metastore 的作用是什么？如何配置 Hive Metastore 使用 MySQL？
最新发布
07-23
### Hive Metastore 的作用 Hive Metastore 是 Hive 的核心组件之一，主要用于存储和管理 Hive 数据仓库中的元数据信息。元数据包括数据库、表、列、分区、表的存储位置以及数据格式等定义信息。这些元数据在用户执行 HiveQL 查询时被用于解析表结构、确定数据存储路径以及优化查询计划。Hive 在执行查询时，首先会从 Metastore 中获取表的结构信息，以确保查询能够正确执行[^1]。 Hive Metastore 的设计支持多种存储后端，其中最常见的是使用关系型数据库，例如 MySQL 或 PostgreSQL。这种方式能够提供高效的元数据存储和查询能力，并支持并发访问和事务管理。 --- ### 配置 Hive Metastore 使用 MySQL 要将 Hive Metastore 配置为使用 MySQL 作为元数据存储，需要进行以下步骤： 1. **安装 MySQL 数据库** 确保 MySQL 已经安装并正常运行，并且可以远程访问（如果 Hive 服务与 MySQL 不在同一台服务器上）。 2. **配置 Hive Metastore 的配置文件** 修改 `hive-site.xml` 文件，添加以下配置项： ```xml <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://<mysql-host>:3306/<database-name>?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.cj.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value><mysql-username></value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value><mysql-password></value> </property> ``` 其中，`<mysql-host>` 是 MySQL 数据库的地址，`<database-name>` 是用于存储 Hive 元数据的数据库名称（例如 `db`），`<mysql-username>` 和 `<mysql-password>` 是 MySQL 的登录凭证。如果指定的数据库不存在，MySQL 会自动创建该数据库[^2]。 3. **下载 MySQL JDBC 驱动** 将 MySQL 的 JDBC 驱动（例如 `mysql-connector-java-8.0.x.jar`）放置在 Hive 的 `lib` 目录下，以便 Hive 能够加载该驱动。 4. **初始化 Metastore 数据库** 执行以下命令初始化 Metastore 数据库，创建所需的表结构： ```bash schematool -dbType mysql -initSchema ``` 5. **启动 Hive Metastore 服务** 使用以下命令启动 Hive Metastore 服务： ```bash hive --service metastore ``` 启动后，Hive Metastore 将监听客户端请求，并管理 MySQL 中的元数据[^3]。 --- ### 注意事项 - 在对 Hive Metastore 的 MySQL 数据库进行升级或维护时，应确保关闭 Metastore 服务，以避免元数据的不一致或冲突。例如，在执行 schema 升级期间，必须限制对 MySQL 数据库的访问[^4]。 - 如果多个 Hive 服务实例同时访问同一个 MySQL 数据库，应确保数据库连接配置正确，并避免并发写入导致的冲突。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值