Hive篇--搭建Hive集群

hive集群搭建 hive集群得搭建 以及crontab定时任务得设定 阅读详情

一.前述

Hive中搭建分为三中方式 a)内嵌Derby方式 b)Local方式 c)Remote方式 三种方式归根到底就是元数据的存储位置不一样。

二.具体实现

a)内嵌Derby方式

使用derby存储方式时,运行hive会在当前目录生成一个derby文件和一个metastore_db目录。这种存储方式的弊端是在同一个目录下同时只能有一个hive客户端能使用数据库。

b)本地模式

这种存储方式需要在本地运行一个mysql服务器,并作如下配置(下面两种使用mysql的方式,需要将mysql的jar包拷贝到$HIVE_HOME/lib目录下)。

并作如下配置:

<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  
<configuration>  
<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/user/hive_remote/warehouse</value>  
</property>  
   
<property>  
  <name>hive.metastore.local</name>  
  <value>true</value>  
</property>  
   
<property>  
  <name>javax.jdo.option.ConnectionURL</name>  
  <value>jdbc:mysql://localhost/hive_remote?createDatabaseIfNotExist=true</value>  
</property>  
   
<property>  
  <name>javax.jdo.option.ConnectionDriverName</name>  
  <value>com.mysql.jdbc.Driver</value>  
</property>  
   
<property>  
  <name>javax.jdo.option.ConnectionUserName</name>  
  <value>hive</value>  
</property>  
   
<property>  
  <name>javax.jdo.option.ConnectionPassword</name>  
  <value>password</value>  
</property>  
</configuration>  

 

c)多用户模式

   1.Remote一体:

这种存储方式需要在远端服务器运行一个mysql服务器,并且需要在Hive服务器启动meta服务。

这里用mysql的测试服务器,ip位192.168.1.214,新建hive_remote数据库,字符集位latine1

<?xml version="1.0"?>  

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  

<configuration>  
<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/user/hive/warehouse</value>  
</property>  
<property>  
  <name>javax.jdo.option.ConnectionURL</name>  
  <value>jdbc:mysql://192.168.57.6:3306/hive?createDatabaseIfNotExist=true</value>  
</property>  
<property>  
  <name>javax.jdo.option.ConnectionDriverName</name>  
  <value>com.mysql.jdbc.Driver</value>  
</property>    
<property>  
  <name>javax.jdo.option.ConnectionUserName</name>  
  <value>hive</value>  
</property>  
<property>  
  <name>javax.jdo.option.ConnectionPassword</name>  
  <value>password</value>  
</property>  
<property>  
  <name>hive.metastore.local</name>  
  <value>false</value>  
</property> 
<property>  
  <name>hive.metastore.uris</name>  
  <value>thrift://192.168.1.188:9083</value>  
</property>  
</configuration>  

注:这里把hive的服务端和客户端都放在同一台服务器上了。服务端和客户端可以拆开。

   2.Remote分开:将hive-site.xml配置文件拆为如下两部分

           服务端配置文件(因为服务端需要和Mysql通信,所以服务端需要Mysql的lib安装包到Hive_Home/conf目录下)

<?xml version="1.0"?>  

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  

<configuration>  

<property>  

  <name>hive.metastore.warehouse.dir</name>  

  <value>/user/hive/warehouse</value>  

</property>  

<property>  

  <name>javax.jdo.option.ConnectionURL</name>  

  <value>jdbc:mysql://192.168.57.6:3306/hive?createDatabaseIfNotExist=true</value>  

</property>  

<property>  

  <name>javax.jdo.option.ConnectionDriverName</name>  

  <value>com.mysql.jdbc.Driver</value>  

</property>  

<property>  

  <name>javax.jdo.option.ConnectionUserName</name>  

  <value>root</value>  

</property>  

<property>  

  <name>javax.jdo.option.ConnectionPassword</name>  

  <value>123456</value>  

</property>  

</configuration>  

  客户端配置文件(由于客户端需要和Hadoop通信,所以需要更改Hadoop中jline的版本。从hive的lib包中拷贝到Hadoop中lib位置为/opt/soft/hadoop-2.6.5/share/hadoop/yarn/lib)  留一个高版本的jline jar包!!

<?xml version="1.0"?>  

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
<configuration> 

<property>  

  <name>hive.metastore.warehouse.dir</name>  

  <value>/user/hive/warehouse</value>  

</property>  


<property>  

  <name>hive.metastore.local</name>  

  <value>false</value>  

</property>  

 
<property>  

  <name>hive.metastore.uris</name>  

  <value>thrift://192.168.57.5:9083</value>  

</property>  
  
</configuration> 
 

启动hive服务端程序 

hive --service metastore 2>&1 >> /dev/null &

客户端直接使用hive命令即可!!!

PS:客户端启动的时候要注意:

[ERROR] Terminal initialization failed; falling back to unsupported

java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected

at jline.TerminalFactory.create(TerminalFactory.java:101)

错误的原因: Hadoop jline版本和hive的jline不一致!!!

 

hive集群部署 阅读详情

相关推荐

搭建Hadoop集群中遇到的坑

工作需要搭建个Hadoop集群,找了几台机器,配置如下: IP 角色 10.128.84.20 ResourceManager 10.128.84.21 NameNode & SecondaryNameNode 10.128.84.22 DataNode & NodeManager 10.128.84.24 DataNode &

mdifferent的专栏 1453

Hive搭建

Hive系列第二章

luoyepiaoxue2014的博客 1972

Bob-Smith电路在千兆以太网(1000BASE-T)中的优化设计与性能分析

本文深入探讨了Bob-Smith电路在千兆以太网(1000BASE-T)中的关键作用与优化设计。分析表明,相较于单纯追求75欧姆电阻的精确匹配,优化重点应转向PCB布局对称性、高频元件选型及共模路径完整性,以有效抑制共模噪声、提升信号完整性,并确保系统通过EMC测试。

weixin_29281941的博客 281

hive 集群部署

从中我们可以看出第二个异常是 google Guava 库中的一个类不存在导致,笔者这边看了 hive 依赖的是 guava-19.0.jar,而 guava-27.0-jre.jar,二者的版本差异很大,笔者这边选择 去掉 hive 的依赖,将 hadoop 的依赖拷贝的 hive 的 lib 目录。hadoop 依赖包的位置:/opt/module/hadoop/share/hadoop/common/lib。hive 依赖包的位置:/opt/module/hive/lib。

qq_34304427的博客 1365

MRI脑影像分析从哲学到技术:一文搞懂VBM预处理基本原理(全网最详细解析)

   分析大脑解剖学差异最常用方法之一是基于体素的形态学方法(voxel-based morphometry, VBM)。 VBM的基本思想是测量大脑组织,尤其是灰质的局部浓度的差异。在大脑的每个体素处进行操作,然后在两个或多个实验组之间进行统计比较,从而在受调查的组之间建立特定大脑区域中脑组织浓度的统计学显着差异。 VBM分析基于(高分辨率)MRI脑部扫描,涉及大量处理步骤,主要是空间归一化,分割,平滑和统计分析,最终结果是统计图,显示了各组之间组织类型明显不同的区域[^1]。 参考 [^1] ..

意疏的学习笔记 3万+

OFDR解调全同弱反射光纤阵列

全同弱反射光纤光栅阵列是在一根光纤上密集刻写波长相同的WFBG,由于每个光栅的反射都比较弱,可实现一根光纤上复用成千上万个光栅,阵列上每个光栅栅区长度相同,相邻光栅之间栅距相同,呈周期性分布。2、获取测量信号:对弱栅阵列加载状态下,使用OFDR系统再次获取弱栅时域曲线,为测量信号。(这里需要注意的是对弱栅阵列加载后,不能使弱栅中心波长漂移到激光器波长扫描范围之外,若超出范围则OFDR技术不能获取弱栅反射信号,因此在选择弱栅阵列波长时尽量让其中心波长在激光器波长扫描范围中间,确保温度/应变测量范围。

m0_69386663的博客 1960

一篇文章教会你搭建Hive分布式集群

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。在大数据技术生态体系中扮演着重要的角色,今天我们就通过一篇文章来教会你如何搭建部署Hive分布式集群。

qq_25409421的博客 1万+

直线型一阶倒立摆1---从理论到实践的桥梁

本文深入探讨了直线型一阶倒立摆在控制理论中的核心地位,从非线性控制、鲁棒性到实时反馈等关键问题。通过实际案例和硬件搭建指南,帮助读者理解从理论到实践的过渡,特别适合控制工程初学者和研究人员。文章还提供了算法选型建议和硬件避坑手册,是掌握倒立摆控制的实用指南。

weixin_29047545的博客 323

大数据集群搭建---《hive篇》 --菜鸟小回

大数据集群搭建—《hive篇》 --菜鸟小回 创建上传解压 安装好mysql,需要在mysql里面创建一个数据集hive vi /etc/profile vi /etc/profile //添加 export HIVE_HOME=/opt/hive/apache-hive-2.3.3-bin export PATH=$PATH:$HIVE_HOME/bin //刷新环境变量 source ...

菜鸟小回的博客 403

运行codex时出现登录失败:failed to start login server: 以一种访问权限不允许的方式做了一个访问套接字的尝试。 (os error 10013) 解决方案

本文主要介绍了运行codex时出现登录失败:failed to start login server: 以一种访问权限不允许的方式做了一个访问套接字的尝试。 (os error 10013) 解决方案,希望能对使用xx的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案

weixin_43178406的博客 10万+

第五天 Labview数据记录(5.4 EXCEL文件读写)

Excel 文件读写在数据处理、自动化办公、数据分析等领域具有重要的意义。以下是 Excel 文件读写的主要应用场景和意义:1. 数据管理和整理;2. 自动化办公;3. 数据分析和可视化;4. 系统集成;5. 报表生成;6. 教育和培训;7. 实际应用场景。Excel 文件读写的意义在于提高数据处理的效率、减少人工操作、支持自动化办公、促进数据分析和可视化,以及实现系统之间的数据交互。无论是企业、组织还是个人,都可以通过 Excel 文件读写实现数据的高效管理和利用。

weixin_38637405的博客 1263

Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建十(kylin集群搭建篇)

Zookeeper+Hadoop+Hbase+Hive+Kylin集群搭建八(kylin集群搭建篇)十二、kylin集群搭建1.配置2.启动验证2.1启动2.2验证3.文档叙述3.1Kylin 集群模式部署3.2任务引擎高可用3.3配置CuratorScheculer进行任务调度4.帮助理解4.1 Job Scheduler4.1.1 为什么需要Job Scheduler ?4.1.2 kylin中有哪些调度程序?4.1.3 不同的作业调度程序有什么区别? 全文请看:https://blog.csdn.ne

tiki的博客 338

华为OD机试 - 荒岛求生 - 栈Stack(Python/JS/C/C++ 新系统 100分)

每一题都有详细的答题思路、详细的代码注释、3个测试用例、为什么这道题采用XX算法、XX算法的适用场景,发现新题目,随时更新,全天优快云在线答疑。

学Java,找哪吒 2840

Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建五(Hive篇)

虚拟机+Zookeeper+Hadoop+Hbase+Hive集群搭建(五、Hive篇)七、Hive安装配置1.准备工作2.安装hive 七、Hive安装配置 1.准备工作 在前文基础上,继续安装MySQL 数据库包下载:官网地址 下载rpm类型安装包(注意版本选择),例如本文选择的: mysql-community-common-5.7.31-1.el7.x86_64.rpm mysql-community-libs-5.7.31-1.el7.x86_64.rpm mysql-community-cli

tiki的博客 324

基于Multisim/TINA的H桥电机驱动电路设计与仿真分析

摘要 本文基于Multisim/TINA仿真平台,对H桥电机驱动电路进行了系统设计与分析。研究重点包括H桥拓扑结构的工作原理、PWM调速控制方法以及两种驱动方案对比分析。通过光耦隔离驱动与IR2110专用驱动IC的仿真对比,验证了IR2110自举电路在高低侧驱动中的优势。仿真实验着重分析了死区时间对防止直通现象的关键作用,并建立了直流电机的R-L-E等效模型进行动态特性仿真。结果表明,采用IR2110驱动方案配合适当的栅极电阻和自举电容参数,能够实现电机的高效双向调速控制。本研究为实际电机驱动系统的设计提供

huanghm88的专栏 142

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建九(Hive拓展客户端篇)

Zookeeper+Hadoop+Hbase+Hive+Kylin集群搭建九(Hive拓展客户端)十一、Hive拓展客户端1.准备工作2.配置变量3.验证 全文请看:https://blog.youkuaiyun.com/tktttt/article/details/108578804 大数据集群搭建安装包:https://download.youkuaiyun.com/download/tktttt/12879318 大数据集群搭建安装包2:https://download.youkuaiyun.com/download/tktttt/12

tiki的博客 166

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建三(zookeeper篇)

虚拟机+Zookeeper+Hadoop+Hbase+Hive集群搭建(三、zookeeper篇)四、Zookeeper集群搭建1.下载安装zookeeper安装包2.文件配置3.启动测试 四、Zookeeper集群搭建 1.下载安装zookeeper安装包 zookeeper版本需要能与Hadoop版本兼容 创建文件夹,将安装包上传至此并解压: mkdir /usr/local/zookeeper tar -zxvf 安装包名 如tar -zxvf zookeeper-3.4.14.tar.gz 之后

tiki的博客 211

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建四(Hbase篇)

虚拟机+Zookeeper+Hadoop+Hbase+Hive集群搭建(四、Hbase篇)五、Hbase集群搭建1.安装解压2.环境变量配置3.文件配置六、启动Hbase1.启动zookeeper2.启动Hadoop2.1格式化HDFS2.2启动HDFS2.3启动YARN2.4Hadoop启动校验3.Hbase启动4.问题 五、Hbase集群搭建 官网下载合适的hbase版本,要求能与上面安装的zookeeper、hadoop版本兼容 安装hbase之前必须要保证的是三台服务器的时间保持同步,推荐使用nt

tiki的博客 316

Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建六(Kylin篇)

@TOC 八、Kylin搭建 1.安装 下载相应适配版本的安装包:官网地址 上传到新建文件目录/usr/local/kylin下,并解压: tar -zxvf apache-kylin-3.1.0-bin-hbase1x.tar.gz 2.配置环境变量 vi /etc/profile #加入以下内容 export KYLIN_HOME=/usr/local/kylin/apache-kylin-3.1.0-bin-hbase1x #path后添加 export PATH=$PATH:$KYLIN_HOME

tiki的博客 524

Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建二(Hadoop篇)

虚拟机+Zookeeper+Hadoop+Hbase+Hive集群搭建三、搭建Hadoop集群1.hadoop安装2.配置修改3.克隆并配置其他虚拟机4.启动测试5.可能遇到的问题 在前文的基础继续进行 三、搭建Hadoop集群 此处集群搭建我们不按host映射来,直接使用的ip 1.hadoop安装 首先,在/usr/local目录下创建hadoop文件夹,之后将hadoop安装到这里,安装之后进入hadoop文件夹: cd /root #进入/root文件夹 mkdir hadoop

tiki的博客 576

Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建一(虚拟机篇)

虚拟机+Zookeeper+Hadoop+Hbase+Hive集群搭建(一、虚拟机篇)一、虚拟机安装Centos71.准备工作2.centos7安装过程3.关闭防火墙(关键)二、安装jdk1.卸载镜像自带jdk2.安装自己的jdk3.配置多机器间免密登录 一、虚拟机安装Centos7 1.准备工作 使用软件:VMware Workstation;该软件的安装一直下一步就行。 下面开始阐述镜像的安装: 可以直接去官网下载一个需要的镜像,本文操作时选择的是CentOS-7-x86_64-DVD-2003.iso

tiki的博客 344

Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建八(Hadoop客户端节点篇)

Zookeeper+Hadoop+Hbase+Hive+Kylin集群搭建八(Hadoop客户端节点篇)九、hadoop集群客户端节点 全文请看:https://blog.youkuaiyun.com/tktttt/article/details/108578804 大数据集群搭建安装包:https://download.youkuaiyun.com/download/tktttt/12879318 大数据集群搭建安装包2:https://download.youkuaiyun.com/download/tktttt/12879355 九、h

tiki的博客 170

Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建十一(Nginx负载均衡篇)

Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建十一(Nginx负载均衡篇)十三、Nginx负载均衡1.Nginx安装环境2.编译3.启动测试4.nginx实现kylin集群的负载均衡 全文请看:https://blog.youkuaiyun.com/tktttt/article/details/108578804 大数据集群搭建安装包:https://download.youkuaiyun.com/download/tktttt/12879318 大数据集群搭建安装包2:https://do

tiki的博客 331
上一篇: HBase篇--搭建HBase完全分布式集群
下一篇: Hive篇--相关概念和使用二
L先生AI课堂
L先生AI课堂 领域专家: 大数据技术领域 领域专家: 大数据技术领域
博客等级 码龄9年 678粉丝 216原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

L先生AI课堂

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值