hive 和 mysql 的安装 metastor 配置

本文介绍如何安装配置 Hive 0.13.1 版本,包括解压 Hive、配置 Hadoop 相关设置、创建 HDFS 目录、安装 MySQL 并进行 Metastore 的配置等步骤。此外还涉及 Hive 日志配置的具体方法。


1.解压hive

tar -zxvf  apache-hive-0.13.1-bin.tar.gz -C /opt/modules/

2.hive conf 配置 hadoop 信息

hive-env.sh 文件

HADOOP_HOME=/opt/modules/hadoop-2.5.0

export HIVE_CONF_DIR=/opt/modules/hive-0.13.1/conf

copy hive-exec-log4j.properties.template update  hive-site.xml

3.在hadoop 文件系统中创建 如下目录

bin/hdfs dfs -mkdir -p /user/hive/warehouse
bin/hdfs dfs -mkdir /tmp
bin/hdfs dfs -chmod g+x /tmp
bin/hdfs dfs -chmod g+x /user/hive/warehouse

4.mysql 安装 检查系统是否安装了mysql 

rpm -qa|grep mysql

卸载 mysql

rpm -e --nodeps mysqlname

安装mysql chomd u+x 

unzip mysql-libs.zip
rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm
service mysql start
service mysql status

mysql -uroot -p

use mysql

任何主机使用root 用户都可以使用需要修改 user 表 如下



5.Hive 配置Metastore

驱动添加到 hive lib 下面

cp mysql-connector-java-5.1.27-bin.jar /opt/modules/hive-0.13.1/lib

配置 hive-site.xml

启动hive/bin

mysql  自动创建 metastore  //hive 原数据都是 metastore

可以多个机器启动hive

6.hive 日志配置

hive.log.threshold=ALL
hive.root.logger=INFO,DRFA
hive.log.dir=/opt/modules/hive-0.13.1/logs
hive.log.file=hive.log

hive0.13.1 mysql 5.6.24 安装包 下载地址

链接: http://pan.baidu.com/s/1i4GgS7b 密码: 4cqe





### 安装配置 MySQL 对于在Ubuntu上安装MySQL,应先确保系统的软件源是最新的。之后可以按照常规流程来完成MySQL安装工作[^2]。 为了安装特定版本的MySQL服务器,比如`mysql-server_8.0.32-1ubuntu22.04_amd64.deb-bundle.tar`,应当依据系统版本下载对应的deb包,并将其解压到指定目录如`/opt/mysql`下: ```bash mkdir -xvf mysql-server_8.0.32-1ubuntu22.04_amd64.deb-bundle.tar -C /opt/mysql ``` 启动MySQL服务可以通过如下命令实现,在某些Ubuntu版本中可能需要使用`sudo service mysql start`替代: ```bash sudo /etc/init.d/mysql start ``` 设置或更改MySQL用户的登录密码也是必要的操作之一,这通常涉及到安全性的增强。 ### 安装配置 Hive 当准备就绪后,可继续进行Hive安装配置过程。由于Metastore默认会存放在自带的Derby数据库里,出于性能考虑建议采用MySQL作为Metastore的数据存储方案[^4]。 #### 创建专用数据库用于Hive Metastore 首先需创建专门供Hive使用的MySQL数据库实例,此步骤一般通过MySQL客户端工具执行SQL语句达成目的;接着便是下载Hive压缩包并调整相应的环境变量以便于后续调用。 #### 修改配置文件适应新环境 编辑位于`hive/conf/`路径下的`hive-site.xml`文档以指明连接至之前建立好的MySQL数据库的方式方法,同时也要相应地修改Hadoop中的核心站点配置文件(`core-site.xml`)使得两者能够协同作业。 #### 初始化元数据仓库 最后一步是初始化Hive所依赖的元数据结构,该动作同样借助于一系列预定义脚本来实施。一旦上述准备工作全部落实到位,则意味着整个部署环节顺利完成,此时即可尝试开启Hadoop集群连同MySQL一起运作起来测试Hive的功能是否正常运行了。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值