Hive 配置mysql（个人学习笔记，正确率不定）

最新推荐文章于 2024-07-28 09:19:34 发布

原创

最新推荐文章于 2024-07-28 09:19:34 发布 · 315 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hive

本文档记录了如何将Hive的默认存储从Derby切换到MySQL，包括MySQL的安装、登录、设置密码策略，以及将MySQL驱动加载到Hive的过程，解决了Derby数据库多进程限制的问题。

启动hive

[xx~]hive

再打开一个hive客户端失败，发现默认的derby数据库不能开多进程，于是使用mysql存储hive的memstore。

注1：derby：一个完全由java编写的数据库。
百度百科链接

安装Mysql

查看mysql安装，若安装则卸载

查询是否安装

rpm -qa|grep mysql

-q 使用询问模式
-a 查询所有
grep 匹配并打印

-qa查询全部的rpm包，把结果传给grep，grep进行匹配名叫“musql”的rpm包

若安装卸载

rpm -e --nodeps 包名

-e:删除
–nodeps:不检查依赖关系

二次检查

rpm -qa|grep mysql

安装

下载安装包
百度网盘
提取码：2jak
上传安装包
使用xshell的sftp，put进去
安装

common安装

 rpm -ivh mysql-community-common-5.7.29-1.el7.x86_64.rpm

-i 安装软件包
-v 可视化，提供更多的详细信息的输出　　
-h 显示安装进度

libs安装

 rpm -ivh mysql-community-libs-5.7.29-1.el7.x86_64.rpm

client安装

rpm -ivh mysql-community-client-5.7.29-1.el7.x86_64.rpm

sever安装

 rpm -ivh mysql-community-server-5.7.29-1.el7.x86_64.rpm

启动服务

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Leander_c

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

大数据新视界 -- Hive 集群搭建与配置的最佳实践（2 - 16 - 13）

【青云交】华为云云享专家 | 阿里云开发者社区专家博主技术圈个人影响力前 17 | 博客之星 TOP23 优快云首位四榜（原力榜 / 作者周榜 / 领军人物 / 综合热榜）榜首，破平台纪录！苏州地区全榜霸榜，感恩全网十多万粉丝同行！

12-20

5597

本文围绕 Hive 集群搭建与配置，详述硬件选型、软件安装、配置优化、数据布局及高可用性等方面，含丰富案例与代码，具实用价值。

大数据个人笔记——Zookeeper、Hadoop、flume、hive、sqoop、hbase、kafka、storm、spark的安装及使用

Winyar的博客

12-31

1670

大数据笔记 Zookeeper的安装及使用安装步骤如下： [root@localhost ~]# cd /home/software [root@localhost software]# tar -xvf zookeeper-3.4.10.tar.gz [root@localhost software]# cd zookeeper-3.4.10 [root@localhost zookeepe...

参与评论您还未登录，请先登录后发表或查看评论

Hive的安装配置与简单操作

weixin_49471910的博客

09-13

752

HIve的安装 1，解压 tar -xvf apache-hive-2.3.2-bin.tar.gz; 2，配置环境变量 mv apache-hive-2.3.2-bin hive cd usr/local/hive vi etc/profile 添加下面两句到其中 export HIVE_HOME=/usr/hadoop/hive export PATH=$PATH:$HIVE_HOME/PATH 3，使环境变量立即生效 source /etc/profile 4,查看 hive --versio

hive中mysql配置_hive的mysql配置笔记

weixin_35042546的博客

03-06

379

配置hive使用mysql数据库------------------------1.下载并加压hive.tar.gz2.配置环境变量HIVE_HOME=...PATH=..:$HIVE_HOME/bin:$HIVE_HOME/conf$>source /etc/environment3.创建配置文件$>cd conf$ cp hive-default.xml.template hive...

hive与mysql安装配置

云计算?

01-04

217

一，安装MySQL sudo apt-get install mysql-server 可能还要 sudo apt-get install mysq 首先用root登陆给hive用户赋予权限 $mysql -u root -p111111 mysql> GRANT ALL PRIVILEGES ON *.* TO hive@localhost IDENTIFIED BY "h...

Hadoop Hive安装，配置mysql元数据库

热门推荐

x_i_y_u_e的专栏

07-11

1万+

由于Hive依赖于Hadoop，安装Hive之前必须确认Hadoop可用，关于Hadoop的安装可以参考集群分布式 Hadoop安装详细步骤，这里不再叙述。1.下载Hive安装包　　下载地址为：http://www.apache.org/dyn/closer.cgi/hive（或点击下面链接），选择一个稳定版本，假设下载的版本为：apache-hive-1.0.1-bin.tar.gz，解压：t

hive mysql 配置文件_hive 的mysql配置

weixin_35860326的博客

01-19

264

hive默认使用的是Derby数据库，Derby是一个嵌入式数据库，数据库一般创建在运行hive命令的目录，如果切换目录运行，则找不到数据库hive mysql配置：hive配置文件目录下创建文件：hive-site.xml，配置如下javax.jdo.option.ConnectionURLjdbc:mysql://localhost/hive?createDatabaseIfNotExist=...

Hadoop学习笔记

weixin_45906989的博客

08-13

1747

Handoop学习笔记

SQL学习资料合集：常用语句与课堂笔记

此外，随着云计算和大数据技术的发展，SQL的应用场景已不再局限于传统的关系型数据库（如Oracle、MySQL、SQL Server），而是扩展到了Hive、Spark SQL、Presto、ClickHouse等多种新型数据处理平台，因此扎实的SQL功底...

Hive的安装和配置mysql数据库

guo20082200的博客

09-04

1069

hive是建立在hadoop上的，当然，你如果只搭建hive也没用什么错。说简单一点，hadoop中的mapreduce调用如果面向DBA的时候，那么问题也就显现了，因为不是每个DBA都能明白mapreduce的工作原理，如果为了管理数据而需要学习一门新的技术，从现实生活中来说，公司又需要花钱请更有技术的人来了。　　开个玩笑，hadoop是为了存储数据和计算而推广的技术，而和数据挂钩的也就属于...

hive中mysql配置_hadoop中hive配置mysql

weixin_39818727的博客

02-01

441

使用 mysql -uroot 登陆测试是否成功，如果成功修改root密码：mysql>use mysql;mysql> update user set password=passworD("test") where user=‘root‘;mysql> flush privileges;mysql> exit;在先启动hadoop服务下，在其中hive：启动hive服务...

Hive学习和配置Mysql

风行天下

08-17

5015

1.Hive简介  起源自facebook由Jeff Hammerbacher领导的团队  构建在Hadoop上的数据仓库框架  设计目的是让SQL技能良好，但Java技能较弱的分析师可以查询海量数据  2008年facebook把hive项目贡献给Apache Hive的组件与体系架构  用户接口：shell, thrift, web等  Thrift服务

HIve+Mysql安装配置

www666_的博客

06-02

635

Hive环境搭建（Mysql数据库）

weixin_45422672的博客

07-28

1956

在linux系统下，首先执行cd /simple 命令进入simple目录下，然后把/simple/soft目录下的hive压缩包解压到/simple目录下，执行命令为：tar -zxvf /simple/soft/hive-0.12.0.tar.gz。工具中默认使用的是derby数据库，该数据库使用简单，操作灵活，但是存在一定的局限性，hive支持使用第三方数据库，例如mysql，通过配置可以把mysql集成到hive工具中，在实际的应用当中就比较方便，mysql功能更强大一些，社会中应用也广泛一些。

hive+mysql安装配置

XiaoYu的博客

06-25

329

1. 启动hadoop 2. 安装mysql 下载和添加仓库wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm sudo rpm -ivh mysql-community-release-el7-5.noarch.rpm yum install mysql-server ...

hive搭建一

m0_66301161的博客

06-12

684

(8)拷贝mysql驱动jar 到/export/servers/apache-hive-3.1.3-bin/lib。(4)修改$HADOOP_HOME/etc/hadoop/core-site.xml 开启hadoop代理功能。(5) 拷贝hive-env.sh.template模版配置文件为hive-env.sh。(9) 删除冲突的log4j（log4j-slf4j-impl-2.4.1.jar）(7) 在MySQL中创建hive用的元数据库hive_meta。(10) hive初始化mysql。

Hive的安装和配置（包含MySQL安装）

m0_61548416的博客

05-28

4885

在搭建hive前要有一个伪分布式环境和MySQL MySQL安装先检查centos7中已安装的数据库rpm -qa|grep mariadb 若存在则将其删除：rpm -e --nodeps mariadb-libs-5.5.68-1.el7.x86_64 1.上传mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar到/opt/packages中，解压文件 tar -xvf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar .

Hive安装及配置Mysql元数据库

Joker_Jiang3的博客

05-25

1305

Hive安装及配置Mysql元数据库一、Hive安装配置 1、前置准备安装Hive前要先把Hadoop（伪分布式或集群模式）安装好，因为Hive是依赖于Hadoop运行的 2.安装Hive 下载所需版本的 Hive ，这里我下载版本为 apache-hive-2.3.0-bin.tar.gz。下载地址: http://archive.apache.org/dist/hive/ 解压及重命名 # 解压到指定目录 [jiang@hadoop01 software]$ tar -zxvf apache-hi

Hive安装与配置与mysql的安装

qq_46345319的博客

02-26

2047

此时需要查看下配置是否出错，在确认无误下。可能是JDBC版本与mysql版本不匹配了。可查看此文章：https://editor.youkuaiyun.com/md/?在Hadoop-2.7.3环境上部署Hive数据仓库，安装Hive需要apache-hive-2.1.1-bin.tar.gz软件包，在相关目录下解压软件包。注意：此处可能会遇到问题：Failed to get schema version。格式：yum -y remove [SQL名]格式：mv [原来的名字] [修改后的名字]

hive配置mysql

最新发布

05-30

<think>好的，我现在需要帮用户配置Hive使用MySQL作为元数据库。首先，我得回忆一下Hive的元存储相关知识。Hive默认使用Derby作为元数据库，但Derby不适合多用户环境，所以用户需要切换到MySQL。用户可能是在搭建一个需要多个客户端访问的环境，比如团队开发或者生产环境，这时候MySQL作为元存储更合适。接下来，我得考虑配置的具体步骤。根据之前的引用，用户已经提到了创建数据库、安装MySQL驱动、修改配置文件等步骤。首先，用户需要在MySQL中创建Hive的元数据库，比如metastore。然后，确保Hive能连接到这个数据库，这需要MySQL的JDBC驱动。驱动的位置应该放在Hive的lib目录下，否则Hive无法识别MySQL。然后是配置文件hive-site.xml的设置。这里需要配置连接URL、用户名、密码、驱动类等信息。用户可能会遇到驱动类找不到的问题，所以需要确认驱动版本是否与MySQL版本兼容。例如，如果用的是MySQL8，可能需要使用com.mysql.cj.jdbc.Driver而不是旧版的com.mysql.jdbc.Driver。另外，初始化元数据库结构是关键步骤。使用schematool命令初始化时，必须指定正确的数据库类型，比如mysql，并且确保之前的配置已经正确，否则初始化会失败。用户如果在这一步出错，可能需要检查之前的步骤是否有误，比如数据库权限、配置文件中的连接参数是否正确。用户可能还关心权限问题，比如MySQL用户是否有权限访问metastore数据库。需要确保在MySQL中创建的用户（如hiveuser）具有足够的权限，包括创建、修改表等操作。此外，防火墙设置也可能导致连接问题，需要开放MySQL的端口（默认3306）。另外，引用中提到Hive是客户端工具，所以多个节点安装时需要指向同一个MySQL数据库，保证元数据一致性。用户可能在集群环境中配置，需要确认所有Hive客户端都使用相同的hive-site.xml配置，连接到同一个MySQL实例。用户可能遇到的问题包括：驱动未正确放置、配置文件语法错误（比如XML格式不对）、MySQL服务未启动、权限不足、防火墙阻止连接等。需要提醒用户在每一步之后检查日志，尤其是Hive的日志，以定位问题。最后，测试配置是否成功，比如运行Hive命令创建表，查看MySQL中的元数据是否有相应更新。如果成功，说明配置正确。否则，需要根据错误信息逐步排查。</think>### 配置Hive使用MySQL作为元数据库的步骤 #### 1. **安装MySQL并创建元数据库** - 登录MySQL并创建Hive元数据库（例如`metastore`）： ```sql CREATE DATABASE metastore; CREATE USER 'hiveuser'@'%' IDENTIFIED BY 'your_password'; GRANT ALL PRIVILEGES ON metastore.* TO 'hiveuser'@'%'; FLUSH PRIVILEGES; ``` 确保替换`your_password`为实际密码[^2][^4]。 #### 2. **将MySQL驱动包放入Hive的`lib`目录** - 下载MySQL JDBC驱动（如`mysql-connector-java-8.0.28.jar`），并复制到`$HIVE_HOME/lib`目录下[^3][^4]。 #### 3. **修改Hive配置文件`hive-site.xml`** ```xml <configuration>  <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://your_mysql_host:3306/metastore?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.cj.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hiveuser</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>your_password</value> </property> </configuration> ``` - 替换`your_mysql_host`和`your_password`为实际值[^3][^4]。 #### 4. **初始化Hive元数据库** - 执行以下命令初始化元数据表结构： ```bash schematool -dbType mysql -initSchema ``` 成功后显示`Initialization script completed`[^3][^4]。 #### 5. **验证配置** - 启动Hive CLI并执行简单操作（如创建表）： ```sql CREATE TABLE test_table (id INT); ``` - 检查MySQL的`metastore`数据库是否生成相关表（如`TBLS`、`COLUMNS_V2`）[^4]。 --- ### 常见问题排查 - **驱动类找不到**：确认JDBC驱动版本与MySQL版本匹配，文件名无冲突。 - **连接拒绝**：检查MySQL服务状态、防火墙规则（端口3306）及用户权限。 - **XML配置错误**：确保`hive-site.xml`格式正确，无拼写错误。 ---