任务描述
知识点:Hive安装应用
重 点:
- 基于CentOS系统,安装配置Hive
- 创建访问Hive数据库的用户,并授予访问权限
内 容:
- 安装Hive
- 配置MySQL、设置远程访问权限
- 配置Hive
- Hive服务端、客户端访问
任务指导
1. Hive简介
Hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低,可以通过类似SQL语句实现快速MapReduce统计,使MapReduce变得更加简单,而不必开发专门的MapReduce应用程序。Hive十分适合对数据仓库进行统计分析。
2. 安装Hive过程如下(在master节点安装):
- 安装Hive
- 创建hive目录,解压Hive软件包;
- 配置MySQL数据库;
- 进入mysql数据库
- 创建hive数据库,用来保存Hive元数据
- 创建访问Hive数据库的用户,并授予访问权限
- 配置Hive;
- 配置环境变量并使之生效
- 修改Hive相关配置
- 根据模板创建hive-env.sh和hive-site.xml文件
- 配置hive-env.sh和hive-site.xml文件
- 根据hive-site.xml配置,创建缓存目录
- 修改bin/hive-config.sh 文件
- 将mysql-connector-java-5.1.41-bin.jar包复制到/home/hive/apache-hive-2.1.0-bin/lib目录下
- 从master上分发hive到slave
- 在slave端修改 conf/hive-site.xml 文件
- 启动Hive
- 启动Hadoop集群
- 初次启动之前需要初始化数据库
- 启动metastore服务
- 在 Hive服务器端(master)访问
- Hive客户端(slave)访问
任务实现
1. 安装Hive(在master节点安装)
1)创建/home/