Hive2.1.0安装配置mysql

最新推荐文章于 2024-07-28 09:19:34 发布
原创 最新推荐文章于 2024-07-28 09:19:34 发布 · 659 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文档介绍了如何配置Hive2.1.0以使用MySQL作为元数据存储。首先，设置了Hive的环境变量，然后详细说明了修改hive-site.xml的步骤，确保与MySQL的连接配置正确。最后，文中提到了启动Hive的流程。

1. 设置Hive环境变量

export JAVA_HOME=/usr/java/jdk1.8.0_111
export JRE_HOME=/usr/java/jdk1.8.0_111/jre
export CLASSPATH=/usr/java/jdk1.8.0_111/lib
export HADOOP_HOME=/root/cluster/opt/hadoop-2.6.0
export HIVE_HOME=/root/cluster/opt/hive-2.1.0
export PATH=$JAVA_HOME/bin:/opt/STM/ST40R5.1.0/bin:/usr/lib/:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME:/bin:$HIVE_HOME/conf

2. 修改Hive的配置文件
export HIVE_CONF_DIR=/root/cluster/opt/hive-2.1.0/conf

export  HADOOP_HOME ...  (ignore here).

cp conf/hive-default.xml.template hive-site.xml
cp conf/hive-log4j.properties.template hive-log4j.properties
cp conf/hive-exec-log4j.properties.template hive-exec-log4j.properties


3.  修改 hive-

最低0.47元/天 解锁文章
Hive的安装配置与简单操作
weixin_49471910的博客
09-13 752
HIve的安装 1，解压 tar -xvf apache-hive-2.3.2-bin.tar.gz; 2，配置环境变量 mv apache-hive-2.3.2-bin hive cd usr/local/hive vi etc/profile 添加下面两句到其中 export HIVE_HOME=/usr/hadoop/hive export PATH=$PATH:$HIVE_HOME/PATH 3，使环境变量立即生效 source /etc/profile 4,查看 hive --versio
HIVE的搭建配置及关联MySQL
扶醉的博客
04-03 2190
概念： Hive是由Facebook实现并开源。是基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供HQL（Hive SQL）查询功能。其底层数据时存储在HDFS上。Hive的本质是将SQL语句转换为MapReduce任务运行，使部署需MapReduce的用户很方便地利用HQL处理和计算HDFS上的结构化数据，使用于离线的批量数据计算。 一、下载 前提： 配置好...
Hive的安装和配置（包含MySQL安装）
m0_61548416的博客
05-28 4880
在搭建hive前要有一个伪分布式环境和MySQL MySQL安装 先检查centos7中已安装的数据库rpm -qa|grep mariadb 若存在则将其删除：rpm -e --nodeps mariadb-libs-5.5.68-1.el7.x86_64 1.上传mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar到/opt/packages中，解压文件 tar -xvf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar .
hive配置安装mysql_Hive2.1.0安装及配置mysql
weixin_39875629的博客
01-30 211
安装Hive2.1.01.准备工作：安装JDK、Hadoop2.下载并解压Hivewget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gzcp apache-hive-2.1.0-bin.tar.gz /usr/localtar -zxvf apache-hive-2....
hive安装mysql安装_Hive与MySQL安装配置
weixin_39800957的博客
02-15 127
四，修改配置hive-site.xml主要修改点：Javax.jdo.option.ConnectionURLjdbc:MySQL://localhost:3306/hive?createDatabaseIfNotExist=trueJDBC connect string for a JDBC metastorejavax.jdo.option.ConnectionDriverNamecom.my...
hive 2.1.0安装
远古小山的专栏
10-29 1612
前言： 本文主要是从如下blog中学习得来： http://blog.csdn.net/cuihaolong/article/details/52038543 http://fengshulin.iteye.com/blog/2320359 1.准备：  java 1.7 hadoop 2.6.4 2.准备hive和mysql安装包： 下载hive 2.1.0
精选资源
apache-hive-2.1.0-bin.tar.zip
05-04
在实际使用中，你需要先解压"apache-hive-2.1.0-bin.tar.gz"，配置环境变量，连接到Hadoop集群，并设置Metastore数据库。然后，你可以通过Hive CLI或者使用JDBC/ODBC驱动连接的第三方工具来执行HQL查询。对于复杂的...
apache-hive-2.1.0-bin.tar.gz
05-25
安装和配置Hive时，需要确保先安装了Java和Hadoop，并设置好相应的环境变量。然后，您可以根据需求配置Hive的metastore服务、Hive-site.xml配置文件，以及Hadoop的相关设置。一旦配置完成，就可以通过Hive CLI或...
Hive-2.1.0 安装(详细图文)
M_SIGNALs的博客
10-24 1157
说明：在CentOS 6.5上安装 hive-2.1.0，前提是hadoop集群已经配置成功。
大数据系列hive——配置mysql
guduyishuai的博客
08-11 305
目录 一、简介 二、mysql驱动 三、配置 四、初始化数据库 一、简介        hive默认的元数据信息是存在derby中的，但是derby只支持单机，所以需要更换到mysql中。 二、mysql驱动        将相应版本的mysql驱动拷贝到HIVE_HOME/lib目录下，比如mysql-connector-java-5.1.45.jar 三、配置       ...
hive mysql 配置文件_hive 的mysql配置
weixin_35860326的博客
01-19 258
hive默认使用的是Derby数据库，Derby是一个嵌入式数据库，数据库一般创建在运行hive命令的目录，如果切换目录运行，则找不到数据库hive mysql配置：hive配置文件目录下创建文件：hive-site.xml，配置如下javax.jdo.option.ConnectionURLjdbc:mysql://localhost/hive?createDatabaseIfNotExist=...
hive中mysql配置_hadoop中hive配置mysql
weixin_39818727的博客
02-01 441
使用 mysql -uroot 登陆测试是否成功，如果成功修改root密码：mysql>use mysql;mysql> update user set password=passworD("test") where user=‘root‘;mysql> flush privileges;mysql> exit;在先启动hadoop服务下，在其中hive：启动hive服务...
hive 和mysql配置_Hive学习和配置Mysql
weixin_29370183的博客
02-10 261
1.Hive简介 起源自facebook由Jeff Hammerbacher领导的团队 构建在Hadoop上的数据仓库框架 设计目的是让SQL技能良好，但Java技能较弱的分析师可以查询海量数据 2008年facebook把hive项目贡献给Apache Hive的组件与体系架构 用户接口：shell, thrift, web等 Th1.Hive简介 起源自facebook由Jeff Hamme...
hive安装及mysql配置
热门推荐
炼剑
11-28 1万+
centOS7 hive安装以及配置MySQL 为hive metastore
HIve+Mysql安装配置
www666_的博客
06-02 634
HIVE以及MySQL的安装配置
hailunw的专栏
06-13 448
1）卸载已安装的mysql 2）安装mysql
Hive环境搭建（Mysql数据库）
weixin_45422672的博客
07-28 1948
在linux系统下，首先执行cd /simple 命令进入simple目录下，然后把/simple/soft目录下的hive压缩包解压到/simple目录下，执行命令为：tar -zxvf /simple/soft/hive-0.12.0.tar.gz。工具中默认使用的是derby数据库，该数据库使用简单，操作灵活，但是存在一定的局限性，hive支持使用第三方数据库，例如mysql，通过配置可以把mysql集成到hive工具中，在实际的应用当中就比较方便，mysql功能更强大一些，社会中应用也广泛一些。
hive2.1.0+mysql5.1本地模式+Hadoop完全分布式集群的安装与配置
windy_girl的博客
09-07 1327
下载hive等 配置部署 2.1 配置环境变量 2.2 在HDFS上创建相关目录 2.3 修改hive-site.xml 2.4 修改 hive-log4j2.properties和hive-exec-log4j2.properties 2.5 mysql中创建相关内容 2.6 使用schematool初始化 启动hive 前提:已安装好MySQL,hadoop能够启动后jps进程中至少
配置MySQL保存Hive元数据
夏天又到了的专栏
06-05 719
意思是：如果要使配置生效，需要添加hive-site.xml文件，可以直接把这个文件复制为hive-site.xml再做配置。在hive/conf目录下有一个hive-default.xml.template文件，里面都是默认的配置。如果使用MySQL客户端工具登录MySQL，就会在MySQL数据库hive中发现如图2-45所示的数据表（部分截图）。我们继续以MySQL为例，首先需要在文件hive-site.xml中配置MySQL数据库的相关属性，如表2-3所示。（1）修改hive-site.xml文件。
hive安装 MySQL
最新发布
10-25
<think>嗯，用户需要了解在Hive环境中安装MySQL的详细步骤。根据提供的四个引用内容，可以整理出一个完整的安装流程。 引用[1]提到Hive安装需要先配置MySQL，引用[2]强调要卸载mariadb并获取正确版本的MySQL，引用[3]给出了具体的命令操作序列，引用[4]则验证了安装成功后的数据库状态。这些引用内容相互补充，能构成完整的指导方案。 用户可能是大数据平台运维人员或学习Hive的学生，正在搭建Hadoop生态圈环境。ta需要明确的命令行操作指引，特别是容易出错的配置环节。考虑到Hive的元数据存储对MySQL版本有要求，应该特别提醒版本兼容性问题。 从技术细节来看，有几个关键点需要突出：卸载原生mariadb的强制性，安装包版本选择依据，以及hive-site.xml配置文件的敏感性。引用[3]中提到的配置文件错误处理很实用，应该保留"可提供文件替换"的选项。 安全方面要注意提醒用户修改默认密码，特别是生产环境中123456这类弱密码的风险。步骤中flush privileges和开机自启的防火墙设置也是容易遗漏的重点。 最后验证部分引用[4]的metastore数据库出现是成功标志，这个视觉化反馈对用户很重要。补充问题设计覆盖了版本管理、故障排查和权限配置等进阶需求，能帮助用户深化理解。 </think>根据引用内容，Hive环境中安装MySQL的详细步骤如下： ### 一、安装前准备 1. **卸载冲突组件** ```shell yum remove mysql-libs -y # 移除系统默认的mariadb库[^2][^3] ``` 2. **安装依赖包** ```shell yum install net-tools perl* -y # 安装网络工具和Perl依赖[^3] ``` ### 二、MySQL安装 1. **安装服务端与客户端** ```shell rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpm rpm -ivh MySQL-client-5.1.73-1.glibc23.x86_64.rpm # 安装指定版本[^3] ``` > 💡 注意：版本需匹配Hive要求（Hive 2.1.0兼容MySQL 5.1） 2. **初始化配置** ```shell mysql -u root # 首次登录（无密码） SET PASSWORD FOR 'root'@'localhost' = PASSWORD('123456'); # 设置密码 GRANT ALL PRIVILEGES ON *.* TO 'root'@'master' IDENTIFIED BY '123456'; # 授权远程访问[^3] FLUSH PRIVILEGES; # 刷新权限 exit; ``` ### 三、Hive配置MySQL集成 1. **修改Hive配置文件** - 创建`hive-site.xml`（基于模板）： ```shell cp hive-default.xml.template hive-site.xml # 引用[3] ``` - 关键配置项需指定： ```xml <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://master:3306/metastore?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>123456</value> </property> ``` > ⚠️ 提示：配置文件易错，可参考现成模板[^1][^3] 2. **初始化元数据库** ```shell schematool -dbType mysql -initSchema # 在Hive目录下执行[^3] ``` **验证成功**：MySQL中生成`metastore`数据库（包含79张表）[^4] ### 四、启动验证 ```shell hive # 启动Hive CLI show databases; # 能正常显示默认数据库即成功 ``` > 防火墙需开放3306端口（安全组入方向）[^1] *** ### ⭐ 相关问题 1. **MySQL安装失败提示`conflicts with file from package`时如何处理？** > 需彻底卸载冲突包：`rpm -qa | grep mariadb | xargs rpm -e --nodeps` 2. **Hive初始化元数据库时报`Specified key was too long`错误怎么办？** > 在MySQL配置文件中添加： > ```ini > [mysqld] > innodb_large_prefix=ON > innodb_file_format=Barracuda > ``` 3. **如何验证Hive是否真正使用了MySQL存储元数据？** > 在MySQL执行： > ```sql > USE metastore; > SELECT * FROM DBS; # 应显示Hive创建的数据库信息 > ``` 4. **生产环境中MySQL密码设置有哪些安全建议？** > 避免使用`123456`，建议： > - 长度≥12位，含大小写字母+数字+特殊符号 > - 为Hive创建专属用户（非root） > - 定期轮换密码 > 引用说明：本文操作步骤综合自Hive安装文档[^1][^3]，MySQL配置参考官方兼容性指南[^2]，元数据验证方法源自实践案例[^4]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值