Hadoop集群搭建之hive安装配置

一、环境

1.操作系统:CentOS6.2 

2.java环境:jdk1.6.0_38

3.hadoop版本:hadoop0.20.2

4.hive版本:hive-0.9.0

二、先决条件

操作系统已经安装配置完成java环境、hadoop和mysql

三、安装步骤

#之后的都为命令

(一)解压hive包

1、将hive压缩包放在/home/hadoop目录下

2、解压hive压缩包

#tar -zxvf hive-0.9.0.tar

3、更改hive包名

#mv hive-0.9.0 hive

4、将mysql-connector-java.jar包放在hive的lib目录下面

(二)更改配置文件

1.hive-site.xml文件

  1)用vi编辑



 2)找到下图所示内容,如图修改

第二个划红线处中的h2根据自己的主机名进行修改,lz的主机名是h2就写的是h2了


 

 2.更改/etc下面的profile文件,在文件的末尾添加上hive的路径如下图:

 lz的hive路径是/home/hadoop/hive,大家可根据自己hive的安装情况进行改变

(三)在mysql中建立hive用户并授权

    1.进入数据库,建立hive用户

    

 2.授权



 

 

四、测试

前提:1.确定mysqld服务已经开启
           2.确定hadoop进程已经开启

测试:进入hive的bin目录执行hive,进入hive之后则执行show tables命令检查是否成功,如图:



 

Hive4.0.1集群安装部署(Hadoop版本为3.3.6)(详细教程) hive本身没有直接关停服务的命令,可以通过端口进程的方式进行关闭。两个RunJar分别为metastore、hiveserver2的进程,可以通过“kill -9 进程号”进行关停。配置完metastore-site.xml,需要先初始化hive元数据库,选择在一台节点初始化即可。在hadoop安装目录下的core-site.xml中,需要开启hadoop代理用户配置。进入Hive的配置目录: cd /opt/apps/hive/conf/hive4.0已经弃用默认的Hive Cli。 阅读详情

相关推荐

环境搭建与基本配置

环境搭建&基本配置 环境规划 操作系统及组件版本 各组件版本如下,学习环境尽量保持一致,避免版本不一致带来的操作问题。 CentOS Hadoop Hive Tez Mysql 版本 7.2 2.7.7 2.3.7 0.9.1 5.7.28 集群规划 使用3台虚拟机来进行搭建集群,分别为Node01、Node02、Node03。集群的规划如下: Hadoop Hive&Tez Mysql node01 √ node02 √ √ node0

pengpengsays 257

hadoop的hive安装与配置教程

(1)将MySQL数据库驱动(/opt/software/mysql-connector-java-5.1.46.jar)拷贝到 Hive安装目录的lib下;将/usr/local/src/hive/conf文件夹下hive-default.xml.template文件,更名为 hive-site.xml。(1)MySQL 软件包路径 [root@master ~]# cd /opt/software/mysql-5.7.18/“/usr/local/src/hive/tmp”目录及其子目录。

qsl428的博客 1244

4、Hadoop安装与配置全流程指南

本文详细介绍了Hadoop的安装与配置全流程,包括TFTP服务配置、Java环境搭建、SSH无密码登录设置、Hadoop伪分布式模式配置等核心步骤。同时,还涵盖了ZooKeeper、HBase、Hive、Pig和Mahout等Hadoop生态组件的安装与配置方法,帮助用户完成完整的大数据处理环境搭建。

mango的博客 73

Hadoop集群安装hive

1、修改hadoop 配置文件 /home/app/hadoop-3.1.3/etc/hadoop/core-site.xml,加入如下配置项2、我这里hive的版本:apache-hive-3.1.3-bin,rz 上传/home/app/目录下并解压,这里我没重命名hive,3、修改hive的环境配置文件:hive-env.sh4、修改配置文件:hive-env.sh将以下内容复制到配置文件中6、配置环境变量7、连接MySQL。

m0_55460520的博客 1001

大数据hadoop分布式集群搭建(Hadoop、hbase、hive、mysql、zookeeper、Kafka、flume)

自己整理的Hadoop环境的一些安装,和一些简单的使用,其中包括Hadoop、hbase、hive、mysql、zookeeper、Kafka、flume。都是一些简单的安装步骤和使用,只在自己的虚拟机(Linux centOS7)上使用测试过。按照步骤一步一步来,安装就没有问题。

基于STM32F407的定时器以及定时器中断的实现

基于STM32F407的定时器以及定时器中断的实现

weixin_57941207的博客 5229

hadoop集成hive的部署方式

在已经安装完hadoop,mysql的基础上可以进行hive的安装之前部署的hadoop版本为3.2.4,mysql版本为8.0.39,详细部署流程。

weixin_43322583的博客 1856

拯救者R9000P-2021-AMD5800H黑苹果EFI配置与优化指南

本文详细介绍了在联想拯救者R9000P 2021款(搭载AMD锐龙7 5800H处理器)上安装和优化黑苹果系统的完整指南。内容涵盖EFI配置、OpenCore引导设置、关键驱动(如NootedRed核显驱动)的调整,以及安装后的性能调优与常见问题解决,旨在帮助开发者和极客用户在这款游戏本上搭建稳定可用的macOS开发环境。

weixin_29291069的博客 289

Hadoop集群搭建10_Hive安装

hive安装 配置 访问

xingen002的博客 785

Python+gensim【中文LDA】简洁模型

文章目录完整代码过程详解words_lsdictionarydictionary.doc2bow函数corpuslda 完整代码 from gensim import corpora, models import jieba.posseg as jp # 待分析文本集 text1 = '美国教练坦言,没输给中国女排,是输给了郎平' text2 = '中国女排世界排名第一?真实水平如何,听听巴西和美...

ArYe 2万+

环境科研人必备:手把手教你用EPISuite 4.1批量预测化合物毒性(附ECOSAR实战)

本文详细介绍了EPISuite 4.1在环境毒理学研究中的应用,重点解析了ECOSAR模块的化合物毒性预测技术。通过批量处理实战和科研案例,帮助环境科研人员快速评估化学物质对水生生态系统的风险,提升工作效率。文章还涵盖了EPISuite核心模块的功能分类及ECOSAR模型的技术原理与算法特点。

weixin_28738165的博客 543

在hadoop集群之外安装hive

在Hadoop集群之外安装Hive的步骤指南 Hive是一个数据仓库软件,它用于提供数据抽象、数据总结和查询等功能。本文将指导你如何在Hadoop集群之外安装Hive。尽管Hive通常是在Hadoop集群内部署的,但在某些情况下,可能需要在单独的机器或环境中进行安装。让我们来看看整个流程。 安装Hive的步骤 步骤 ...

weixin_33996020的博客 170

别再到处找模型了!手把手教你用Xinference+Docker部署本地私有大模型(Llama2/Qwen实战)

本文详细介绍了如何使用Xinference和Docker部署本地私有化大模型(如Llama2/Qwen),涵盖硬件配置、模型管理、Docker部署及性能优化等关键步骤。通过实战案例,帮助开发者快速构建企业级AI推理服务,确保数据安全与高效运行。

weixin_28683065的博客 232

Hadoop集群搭建及配置⑨——Hive 可靠的安装配置,远程连接MySQL

解压hive、 配置环境变量、 hive-env.sh、hive-site.xml、Hive与Mysql通信 、解决版本冲突和jar包依赖问题 、hive目录下启动Hive服务端、客户端。

博樽 858

注意力机制模块:注意力机制新宠:EMA 注意力(高效多尺度注意力),即插即用,涨点明显

无降维成为共识:越来越多的研究者意识到,传统注意力机制的通道降维操作会造成不可逆的信息损失。EMA 提出的“保留每个通道信息”理念正在成为新一代注意力模块的设计标准。分组并行走向成熟:特征分组 + 并行处理的设计范式已在多个前沿架构中得到验证,兼顾了表达能力和计算效率。多尺度与跨空间融合:单纯的多尺度或单纯的跨空间交互都已无法满足复杂任务需求,两者的深度融合是当前的主流方向。边缘部署导向:2026 年的新论文越来越关注在资源受限设备上的高效运行,轻量化设计成为评估注意力模块的重要指标。

ZXSXJ的博客 952

深度学习实战:基于YOLOv5/v8/v10的快递暴力分拣检测系统(完整版)

在电商物流高速发展的今天,快递包裹日均处理量已突破亿件级别。然而,快递分拣过程中的暴力抛扔行为不仅造成包裹损坏,更带来巨大的经济损失。据统计,每年因暴力分拣导致的快递破损投诉占总投诉量的30%以上。传统的人工监控方式存在疲劳、疏漏等问题,因此开发一套智能化的快递暴力分拣检测系统具有重要的现实意义。

YOLO 275

Hadoop集群搭建(八:Hive的安装配置)

实验 目的 要求 目的: (1)掌握数据仓库工具Hive的安装和配置; 要求: 完成Hive工具的安装和配置; Hive工具能够正常启动运行; Hive控制台命令能够正常使用; 能够正常操作数据库、表、数据; ...

Eyeshot的博客 6813

成功解决安装cuda的时候,下载的文件自动消失,并且出现An unknown error has occurred

成功解决安装cuda的时候,下载的文件自动消失,并且出现An unknown error has occurred. 目录 解决问题 解决思路 解决方法 解决问题 安装cuda的时候,下载的文件自动消失,并且出现An unknown error has occurred. 解决思路 发生未知错误。 解决方法 很可能是因为当前电脑下载的cuda版本不适合当前电脑GPU支持的cuda版本! 推荐文章:CV:Win1..

头部AI社区如有邀博主AI主题演讲请私信—心比天高,仗剑走天涯,保持热爱,奔赴向梦想!低调,专注,谦虚,自律,反思,成长,还算比较正能量的博主,公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然,有点小情怀,也有点使命感呀 7526

Hive安装与配置(需搭建好hadoop集群)

hive的安装 1:上传解压hive    tar -zxvf   *****   /usr/local/ 2:安装mysql,添加开机自启        chkconfig   mysql on 3:配置hive-site.xml     在安装目录/conf下新建,粘贴下面这段代码(高版本mysql需要ssl) <configuration> <property> &l...

做一个好人 1990

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Hadoop 高可用集群完全分布式安装教程一篇就够用(zookeeper、spark、hbase、mysql、hive)

Hadoop 高可用集群完全分布式安装教程(zookeeper、spark、hbase、mysql、hive)

m0_67821723的博客 4227

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

配置Hadoop集群客户端

配置Hadoop集群客户端 版本 更新内容 备注 v1.0 创建文档 2020-10-11 v1.1 新增词根相关 2021-01-06 Markdown在线编辑器:http://www.mdeditor.com 在Hadoop和Spark集群搭建好了之后,如果我们需要向集群中发送、获取文件,或者执行MapReduce、Spark作业,通常是搭建一个外围的、集群的客户端,在这个客户端上进行操作。而不是直接在集群的NameNode或者DataNode上进行。此时,集群和客户端的结.

小小良 887

Hadoop/Spark集群搭建图文全攻略

完全分布式集群搭建一、安装VMware二、创建Linux虚拟机三、CentOS-7安装 一、安装VMware 双击打开安装包,点击“下一步” 勾选“我接受许可协议中的条款”,点击“下一步” 设置安装路径,建议提前新建文件夹,并重命名(不建议安装在C盘),点击“下一步” 取消掉两个勾选,点击“下一步” 直接点击“下一步” 点击“安装”,开始安装 等待安装完成 安装完成 打开VMware...

no_hot的博客 1294

hadoop环境的配置

1、所需软件 所需要的环境包括java,ssh必须保证sshd一直运行, 以便用Hadoop脚本管理远端Hadoop守护进程 Windows下的附加软件需求 Cygwin 提供上述软件之外的shell支持。 2、安装软件 sudo apt-get install ssh sudo apt-get install rsync 由于hadoop是基于java编写的,因此需要安装jdk 3、下载安装 参考资料:https://www.jianshu.com/p/cdae5bab030f 为了获取

helloful的博客 939

Hadoop 3.0.0的集群搭建和Hive 3.1.3的安装

Hi,朋友们,我们又见面了,这一次我给大家带来的是Hadoop集群搭建及Hive的安装。说明一下,网上有很多的教程,为什么我还要水?第一,大多数的安装都是很顺利的,没有疑难解答。第二,版本问题,网上的搭建在3以前的比较多。第三,我想给出一个更简洁的安装教程,把道理说明白,让读者就算在安装的过程中遇到问题也知道问题出在哪,应该朝哪个方向去要解决方案。

九术沫的博客 1937

大数据Hadoop集群之超级详细的Hive安装配置

大数据Hadoop集群之Hive安装配置

派大星子的博客 3486

三台ubuntu22.0.4虚拟机搭建Hadoop+Hive集群

在搭建 Hadoop 和 Hive 集群的过程中,笔者遇到了一些常见的坑。为了帮助其他同学减少踩坑的机会,特此总结这篇文章,希望能帮助大家顺利完成环境搭建。本文介绍了如何在 VMware 上搭建一个简单的 Hadoop 集群和 Hive 环境。关键步骤包括配置主机名、设置 SSH 免密登录、安装 Java 和 Hadoop、配置 Hive 与 MySQL,以及启动相关服务。完成这些步骤后,你将拥有一个可以处理大数据的基础环境,能够使用 Hive 进行 SQL 查询和数据分析。

goislaji的博客 1629
上一篇: Hadoop集群搭建之Hadoop安装(centos,伪分布)
下一篇: Hadoop M/R Workcount的运行
rootke
博客等级 码龄12年 1粉丝 22原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值