【Hive】hive的安装及环境配置

本文档详细介绍了Hive的安装步骤,包括检查MySQL、Yum安装、启动与配置MySQL服务,以及Hive的准备工作和功能介绍。重点强调了在Hadoop环境下,如何将SQL语句转换为MapReduce任务,同时提供了不同版本Hive的特点和安装注意事项。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.1检查是否已经安装MySQL

检查:rpm -qa | grep mysql 删除:sudo rpm -e --nodeps
mysql-libs-5.1.66-2.el6_3.x86_64

1.2安装的版本

一般情况下,企业使用MySQL的版本:5.7,和Java项目中使用MySQL是一致的
5.1和5.7区别: 服务的名称:<5.5:mysqld >=5.5:mysql

1.3通过Yum安装
sudo yum install -y mysql-server
1.4启动MySQL服务
sudo service mysqld start
1.5设置开机启动
sudo chkconfig mysqld on
1.6设置管理员密码

/usr/bin/mysqladmin -u root password ‘123456’

1.7登录MySQL

mysql -uroot -p123456

1.8修改权限

授权:
grant all privileges on . to ‘root’@’%’ identified by ‘123456’ with grant option
删除其他授权

在这里插入图片描述
刷新权限
flush privileges

1.9重启MySQL服务,建立远程连接
sudo service mysqld restart

2、准备工作

2.1确保Hadoop相关进程启动

NameNode、DataNode
ResourceManager、NodeManager
JobHistoryServer

2.2 MySql服务器启动
确保开启、开机启动
windows 上Navicat等工具可以连上
3、Hive功能介绍

hive是Apache的顶级项目,
http://hive.apache.org/

3.1 hive是干什么

将SQL语句转换成MapReduce程序,并且提交到Yarn上运行,读取HDFS上的数据进行处理。
SQL语句:和MySQL数据库中SQL语句非常非常类似。

3.2概念:SQL on Hadoop

建立在Hadoop之上提供SQL方式分析的框架
- 最早的框架就是 Hive
facebook开源

  • impala
  • presto
  • sparkSQL/shark
    -kylin
3.3要学好hive,需要什么

Hadoop基础:HDFS、MapReduce、Yarn
MySQL数据库
DML(数据操作语言)、DDL(数据定义语言)
在这里插入图片描述

hive软件版本的问题

其实使用的3大版本:
0.13.1:经典稳定的版本(2104)
1.2.1 :较新的一个版本
2.X:2017发布,
底层推荐使用Spark或者TeZ框架分析数据,而不是MapReduce

下载地址:http://apache.org/dist/hive

6、安装Hive

上传、解压、重命名

mv apache-hive-1.2.1-bin/ hive-1.2.1-bin/

6.3修改配置

mv hive-env.sh.template hive-env.sh

在这里插入图片描述

创建数据仓库

hive 的数据需要保存到HDFS,那么保存HDFS那个目录,是不是需要配置 不配置,因为它会去读默认路径,但是这些目录是空,我需要去创建

bin/hdfs dfs -mkdir -p /user/hive/warehouse
bin/hdfs dfs -mkdir -p /tmp
bin/hdfs dfs -chmod g+w /user/hive/warehouse
bin/hdfs dfs -chmod g+w /tmp

在这里插入图片描述

### Hive 安装教程及环境变量配置指南 #### 一、Hive安装步骤 为了成功安装 Hive,需按照以下流程操作: 1. **准备 MySQL 数据库作为元存储** 在实际应用中,通常会使用外部数据库(如 MySQL)来保存 Hive 的元数据。以下是具体的操作过程: - 启动 MySQL 服务并进入 MySQL 命令行工具:`service mysql start && mysql -u root -p`[^4]。 - 创建一个新的数据库用于存储 Hive 的元数据:`create database hive;`。 - 授权给特定用户访问此数据库:`grant all on *.* to hive@localhost identified by 'hive'; flush privileges; exit;`。 2. **下载并解压 Hive 软件包** 下载 Apache Hive 并将其解压缩到指定路径下,例如 `/export/servers/` 文件夹中。假设版本为 `apache-hive-3.1.3-bin.tar.gz`,可以执行如下命令进行解压: ```bash tar zxvf apache-hive-3.1.3-bin.tar.gz -C /export/servers/ ``` 3. **初始化 Hive 元数据表结构** 进入 Hive 解压后的根目录,并运行 SchemaTool 工具以升级元数据表结构至最新状态: ```bash cd /export/servers/apache-hive-3.1.3-bin ./bin/schematool -initSchema -dbType mysql ``` --- #### 二、Hive 环境变量配置方法 为了让系统能够识别 Hive 及其相关组件的位置,需要设置必要的环境变量。以下是具体的配置方式: 1. 编辑全局环境变量文件 `/etc/profile` 或用户的 `.bashrc` 文件,添加以下内容: ```bash export HIVE_HOME=/export/servers/apache-hive-3.1.3-bin export HIVE_CONF_DIR=$HIVE_HOME/conf export PATH=$PATH:$HIVE_HOME/bin ```[^2] 2. 让更改生效: 执行以下命令使新配置立即可用: ```bash source /etc/profile ``` 3. 如果发现 `conf` 目录下缺少默认的 `hive-site.xml` 文件,则可以通过手动创建的方式解决: 输入以下指令新建并编辑该文件:`vi $HIVE_HOME/conf/hive-site.xml`[^3]。随后根据需求填写相应的配置项,比如连接 MySQL 的 JDBC URL 和认证信息等。 --- #### 三、验证安装是否成功 完成上述所有步骤之后,可通过尝试启动 Hive CLI 来检验整个部署情况: ```bash hive ``` 如果没有任何错误提示且进入了交互式的 SQL 提示符界面,则说明安装顺利完成。 --- ### 示例代码片段 下面展示一段简单的 Python 脚本用来测试与 Hive 表的数据读取功能: ```python from pyhive import hive conn = hive.Connection(host='localhost', port=10000, username='root') cursor = conn.cursor() cursor.execute('SELECT * FROM test_table LIMIT 10') for result in cursor.fetchall(): print(result) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值