任务8:安装大数据统计分析工具Hive

本文详细介绍了在CentOS系统上安装和配置Hive的过程,包括创建Hive数据库用户、设置MySQL连接、配置环境变量和Hive-site.xml,以及启动Hive服务和客户端访问。重点在于通过MySQL存储元数据并确保远程访问权限。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

任务描述

知识点:Hive安装应用

重  点

  • 基于CentOS系统,安装配置Hive
  • 创建访问Hive数据库的用户,并授予访问权限

内  容

  • 安装Hive
  • 配置MySQL、设置远程访问权限
  • 配置Hive
  • Hive服务端、客户端访问

任务指导

1. Hive简介

Hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低,可以通过类似SQL语句实现快速MapReduce统计,使MapReduce变得更加简单,而不必开发专门的MapReduce应用程序。Hive十分适合对数据仓库进行统计分析。

2. 安装Hive过程如下(在master节点安装):

  • 安装Hive
    • 创建hive目录,解压Hive软件包;
  • 配置MySQL数据库;
    • 进入mysql数据库
    • 创建hive数据库,用来保存Hive元数据
    • 创建访问Hive数据库的用户,并授予访问权限
  • 配置Hive;
    • 配置环境变量并使之生效
    • 修改Hive相关配置
    • 根据模板创建hive-env.sh和hive-site.xml文件
    • 配置hive-env.sh和hive-site.xml文件
    • 根据hive-site.xml配置,创建缓存目录
    • 修改bin/hive-config.sh 文件
    • 将mysql-connector-java-5.1.41-bin.jar包复制到/home/hive/apache-hive-2.1.0-bin/lib目录下
    • 从master上分发hive到slave 
    • 在slave端修改 conf/hive-site.xml 文件
  • 启动Hive
    • 启动Hadoop集群
    • 初次启动之前需要初始化数据库
    • 启动metastore服务
    • 在 Hive服务器端(master)访问
    • Hive客户端(slave)访问

任务实现

1. 安装Hive(在master节点安装

        1)创建/home/

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值