Hive的安装和部署

[Hadoop高可用集群]数仓工具之Hive的安装部署(超级详细,适用于初学者) Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。最初,Hive是由Facebook开发,后来由Apache软件基金会开发,并作为进一步将它作为名义下Apache Hive为一个开源项目。Hive 建立在Hadoop 基础之上,Hive 与 Hadoop 紧密集成,其设计可快速对 PB 级数据进行操作。 阅读详情

分分钟搞定!

  1. https://mirrors.bfsu.edu.cn/apache/ 进入apach全家桶镜像,找到hive

  2. Hadoop 3.x版本的话,Hive 也下载3.x版本

  3. Hive相当于一个客户端工具,放到任意一个节点上都可。

  4. 上传到服务器 、解压

  5. 进入hive目录

  6. cd conf

  7. 修改 hive-env.sh.template 名称 为 hive-env.sh :mv即可

  8. vi hive-env.sh 直接在最后一行 加入各种环境变量即可,按自己安装的位置来

export JAVA_HOME=/data/soft/jdk1.8
export HIVE_HOME=/data/soft/apache-hive-3.1.2-bin
export HADOOP_HOME=/data/soft/hadoop-3.2.3
  1. 修改 hive-default.xml.template 为 hive-site.xml ,然后进入 vi hive-site.xml

    1. 修改javax.jdo.option.ConnectionURL

      1. value修改为jdbc:mysql://ip:port/hive?serverTimeZone=Asia/Shanghai
      2. 自己搭建在本地的话就localhost:3306
    2. 修改javax.jdo.option.ConnectionDriverName

      1. value 修改为 com.mysql.cj.jdbc.Driver
    3. 修改javax.jdo.option.ConnectionUserName

      1. value 修改为 数据库 账号
    4. 修改javax.jdo.option.ConnectionPassword

      1. value修改为数据密码
    5. 修改 hive.querylog.location

      1. value改为 /data/hive_repo/querylog :都是自己定义的地址
    6. 修改hive.exec.local.scratchdir

      1. value改为 /data/hive_repo/scratchdir
    7. 修改 hive.downloaded.resources.dir

      1. /data/hive_repo/resources
  2. mysql的驱动包mysql-connector-java.8.0.16.jar 得放入 hive lib目录下

    https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-8.0.16.zip //一般向下兼容

  3. 进入hadoop目录,修改hadoop集群配置 /etc/hadoop/core-site.xml

    1. 加2个property

    2. <property>
          <name>hadoop.proxyuser.root.hosts</name>
          <value>*</value>
      </property>
      <propery>
      	<name>hadoop.proxyuser.root.groups</name>
          <value>*</value>
      </propery>
      
    3. 注意同步到集群所有节点 (客户端节点就不需要,hive可以安装在客户端)

    4. 重启集群

  4. 创建数据库 hive表

  5. hive bin/schematool -dbType mysql initSchema 初始化mysql数据库中的表。 (手敲,有bug,得手敲,复制不行)

  6. hive就是个客户端直接使用,不需要创建任何进程。

  7. 踩坑报错

  8. 然后code0x8 错误 ,把报错的那一行注释掉 :set nu 出现行标 :xx跳到指定行

  9. 再次手敲启动命令 初始化成功。

表的元数据信息 是存在mysql里的, 真正的数据是在hdfs里面的。

Hive Server 清理本地临时文件 Hive server scratchdir 在本地存储一些临时文件。如果使用 kill -9 停止 Hive Server 时,来不及清理本地的 scratchdir。再次启动时,默认是不清理本地的 scratchdir 的。那么多次重启 Hive server 后,有可能在本地有大量垃圾文件,这些文件永远不再访问。造成两个问题。 阅读详情

相关推荐

hive安装和部署

将资料中的mysql-connector-java-5.1.47.jar 上传到 /opt/apps/hive-3.1.2/lib。而高版本的的hadoop的/opt/apps/hadoop-3.1.1/share/hadoop/common/lib。1>/dev/null:首先表示标准输出重定向到空设备文件,也就是不输出任何信息到终端,说白了就是不显示任何信息。1 :表示stdout标准输出,系统默认值是1,所以">/dev/null"等同于"1>/dev/null"包括分布式存储、分布式计算。

m0_53400772的博客 756

HIve安装配置(超详细)

文章目录Hive安装配置一、Hive安装地址二、Hive安装部署1. 把 `apache-hive-3.1.2-bin.tar.gz`上传到Linux的/export/software目录下2. 解压`apache-hive-3.1.2-bin.tar.gz`到/export/servers/目录下面3. 修改`apache-hive-3.1.2-bin.tar.gz`的名称为hive4. 修改/etc/profile,添加环境变量5. 初始化元数据库(默认是derby数据库)三、MySQL安装1. 安装M

W_chuanqi的博客 12万+

hive on spark(yarn)安装部署

〇、说明 HDFS+spark+hive的测试环境之前单独搭建成功了,后来需要使用hive on spark才发现需要重新配置。查看了很多参考文章,包括官网上的教程,一路摸索着,总算是成功了。 0.参考文章 Hive on Spark: Getting Started Running Spark on YARN Building Spark Spark Configuration Hive on ...

weixin_43860247的博客 4961

Hive安装部署

4、解决日志Jar包(改成备用)冲突,进入/opt/moudle/hive/lib目录。--配置Hive保存元数据信息所需的 MySQL URL地址-->1、解压hive-3.1.3.tar.gz到/opt/module/目录下面。在$HIVE_HOME/conf目录下新建hive-site.xml。2、修改hive-3.1.3-bin.tar.gz的名称为hive。--配置Hive连接MySQL的驱动全类名-->--配置Hive连接MySQL的用户名 -->--配置Hive连接MySQL的密码 -->

指针先生 1344

Hive3.1.3-安装和部署

hive 只能单机,没有集群。好,hive部署,就写到这里。如需沟通:lita2lz。

longxibo的博客 1404

Hive ,MySQL安装与部署

Hive基本概念 1.什么是Hive Hive:是由Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据映射为一张表,并提供类 SQL 查询功能。 本质是:将 HQL/SQL 转化为 MapReduce 程序。 Hive 处理的数据储存在 HDFS。 Hive 分析数据的底层实现是 MapReduce。 执行程序运行在 y...

csdnwindnorth的博客 630

Hive。。

什么是hive? 1、hive是一个运行在分布式应用程序上的一个数据仓库管理工具 2、hive可以将hdfs上的具有一定结构的文件映射成一张表,,并且提供了类sql的语法来管理和分析这些表(本质就是hdfs上的文件) 3、用于描述文件和表的映射关系的数据叫做元数据,存储在关系型数据库中(mysql,oracle等) 4、默认情况下执行引擎为mapreduce(还有spark等) hive是干什么的? 1、hive是一个运行在分布式应用程序上的一个数据仓库管理工具 2、hive可以将hdfs上的具有一定结构的

xiaoxiao______的博客 470

CoaXPress FMC子卡:高速图像采集与FPGA原型开发实战指南

在机器视觉和工业检测领域,高速、可靠的数据传输是核心需求。CoaXPress(CXP)协议作为一种基于同轴电缆的高速接口标准,通过其高带宽、长距离传输和低延迟的特性,有效解决了传统接口在确定性实时传输方面的短板。其技术价值在于为海量图像数据提供了稳定、高效的物理层和数据链路层解决方案,广泛应用于半导体检测、医疗成像等对吞吐量有极致要求的场景。要实现CXP系统的快速原型验证,集成了高速SerDes接口和时钟管理的FMC子卡与FPGA开发板的组合成为关键。这种平台将复杂的硬件设计封装,让开发者能聚焦于图像处理算

weixin_31815843的博客 278

Hive以及Hive安装部署

文章目录1.Hive简介1.1什么是Hive1.2为什么使用Hive1.3Hive的特点1.4Hive架构图1.5Hive与Hadoop的关系1.6Hive与传统数据库对比2.HIVE的安装部署1.derby版hive直接使用1、解压hive2.修改目录名称3.初始化元数据库4.启动5.创建数据库6.创建表7.插入数据8.可能遇到的问题9.Hive启动报错Safe mode2.基于mysql管理元数据版hive1、解压hive2.修改目录名称3.检测服务器mysql数据库4.配置mysql允许外网访问5.退

望山。 2348

Python+Flask+Echarts打造全国气象数据可视化分析大屏

本文详细介绍了如何使用Python+Flask+Echarts构建全国气象数据可视化分析大屏,实现实时监控、趋势分析和快速决策。通过Python强大的数据处理能力、Flask的轻量级优势和Echarts的交互体验,打造高效的气象数据可视化系统,提升农业、物流等行业的决策效率。

weixin_29061531的博客 1060

C#上位机与MES系统数据对接:从协议选型到安全传输的实战解析

本文详细解析了C#上位机与MES系统数据对接的全过程,从协议选型到安全传输的实战技巧。针对工业互联网场景下的数据对接挑战,提供了RESTful API、MQTT和OPC UA等协议的选型建议,并分享了健壮性设计、异常处理和安全传输的实用代码示例,帮助开发者高效实现数据上传与系统集成。

weixin_30566063的博客 105

centos7安装部署hive

若有错误,还请指正

weixin_53593452的博客 905

基于语义分割的实时建图:HDMap动态更新

基于语义分割的实时建图:HDMap动态更新​ ,人工智能,计算机视觉,大模型,AI,本文围绕基于语义分割的实时建图技术在HDMap动态更新中的应用展开,介绍了语义分割基础、HDMap概述、相关实时建图技术、动态更新关键技术、系统性能评估指标、实际应用案例、面临的挑战与解决方案及未来发展趋势。阐述了该技术如何利用传感器数据和语义分割算法,解决传统HDMap构建与更新的弊端,分析了其在精度、实时性、鲁棒性等方面的表现,以及在自动驾驶和智能交通中的应用,还探讨了现存问题及未来优化方向。

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 22万+

二、Hive安装部署详细过程

手把手教你完成 Hive 的安装、配置和可视化连接,适合初学者快速搭建自己的大数据分析平台。内容涵盖从环境准备、Metastore配置,到 DataGrip 连接的全流程,并附带实用的排错指南,助你轻松迈出 Hive 入门第一步。

专注于 Agent 工程、AI 产品、Harness Engineering、LLM 算法等方向,OpenMathModel、Nivik 等开源项目作者 12万+

【赛题解析&命令脚本配置】2023年全国职业院校技能大赛GZ073网络系统管理赛项赛题第10套模块A:网络构建 & (五)网络运维配置+(六)SDN网络配置-命令配置

【赛题解析&命令脚本配置】2023年全国职业院校技能大赛GZ073网络系统管理赛项赛题第10套模块A:网络构建 & (五)网络运维配置+(六)SDN网络配置-命令配置

君逍遥o 808

芒果YOLOv8改进160:姿态估计Head篇:即插即用|轻量化非对称多级压缩LOADH旋转检测头,原创改进适配YOLOv8高效检测头,检测头新颖改进,全网首发独一份

芒果YOLOv8改进159:OBB旋转检测头Head篇:即插即用|轻量化非对称多级压缩LOADH旋转检测头,原创改进适配YOLOv8高效检测头,检测头新颖改进,全网首发独一份

包括YOLOv5、YOLOv7、YOLOv8等模型改进 811

【Hive】Hive安装部署

前言 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。 Hive构建在基于静态批处理的Hadoop之上,由于Hadoop通常都有较高...

weixin_44039347的博客 310

【机器学习】推理时计算优化——思维链(Chain-of-Thought)与慢思考范式 第一章:基础理论与认知框架 第二章:计算优化技术与前沿方法

过程监督在数学推理中展现出显著优势,因其能够定位错误发生的具体步骤,而非仅在最终答案处提供稀疏反馈。然而,高质量过程标注的获取成本高昂,这催生了基于自动验证器的近似方法。

VectorShift的博客 71

Hive 安装部署

(1)嵌入模式:使用内嵌的 Derby 数据库存储元数据,这是 Hive 最简单的部署方式在嵌入模式下运行 Hive 时,会在当前目录下生成元数据文件,只能有一个 Hive 客户端使用该目录下的元数据文件,这就意味着嵌入模式下的 Hive 不支持多会话连接,并且不同目录的元数据文件无法共享,因此不适合生产环境,只适合测试环境。这样,无论在任何目录下通过 Hive 客户端工具,访问的元数 据信息是一致的,并且可以实现多个用户同时访问,从而实现元数据的共享。本地模式支持元数据共享,并且支持本地多会话连接。

撕得失败的标签的博客 1149

【ESP32CAM+Android+OpenCV】自定义目标数据集、训练自己的OpenCV模型部署到手机APP并对ESP32CAM无线图传显示并实时检测识别目标_资料编号30

本项目实现自定义目标数据集(想检测什么就检测什么,按照本文教程自己来更换目标)、训练自己的OpenCV模型实时检测识别(pycharm工程)。手机APP(Android studio工程)部署OpenCV模型实现对ESP32CAM(arduino工程)无线WIFI图传过来的图像实时检测识别。 本文以火焰检测识别为例进行演示,通过该过程,结合本文可自定义尝试更换为其它目标的检测,例如更换为车辆、车牌、手势、人脸面部活动、人脸表情、火焰烟雾、行人、口罩、行为、水果、植物、农作物、建筑、损伤等等部署进行检测。

嵌入式阿齐Archie 3478

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

Hive集群安装部署

hive集群安装部署

hello_heheha的博客 754

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Hive本地模式安装部署

Hive本地模式安装部署 使用mysql替换derby进行元数据的存储,hive的相关进程都是在同一台机器上,即本地模式。mysql因为是独立的进程,所以mysql可以和hive在同一机器上,也可以在其他机器上。 说明: 通常使用关系型数据库来进行元数据存储(mysql、oracle等执行带jdbc驱动的数据库) 优点:支持多session 缺点:需要配置、还需要安装mysql等关系型数据库 2.2.1 配置安装mysql 安装包准备 #查看mysql是否安装,如果安装了,卸载mysql

weixin_42947670的博客 1421

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

上一篇: Docker一键部署mysql数据库
下一篇: ETCD-Linux环境单机安装简易教程
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值