hive集群搭建

[Hadoop高可用集群]数仓工具之Hive的安装部署(超级详细,适用于初学者) Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。最初,Hive是由Facebook开发,后来由Apache软件基金会开发,并作为进一步将它作为名义下Apache Hive为一个开源项目。Hive 建立在Hadoop 基础之上,Hive 与 Hadoop 紧密集成,其设计可快速对 PB 级数据进行操作。 阅读详情

安装hive
1、安装在hadoop的namenode上,
拷贝安装文件到linux中,/usr/software

2、解压到指定的目录 tar -zxvf apache-hive-2.3.3-bin.tar.gz -C /usr/local/
在这里插入图片描述
3、添加环境变量
vi /etc/profile
export HIVE_HOME=/usr/local/apache-hive-2.3.3-bin
export PATH= P A T H : PATH: PATH:HIVE_HOME/bin
在这里插入图片描述
#source /etc/profile
4、输入hive命令,就可以进入hive sql了

在这里插入图片描述
安装mysql作为hive的Metastore
1、首先检查是否装了MySQL
使用rpm -qa | grep -i mysql检查
结果:无
如果有安装得MySQL,先删除
删除命令:
yum -y remove mysql-libs*
2、安装MySQL
下载压缩MySQL包
在这里插入图片描述
解压安装包/usr/software,并重命名
mv mysql-5.7.28-linux-glibc2.12-x86_64 mysql-5.7.28
在这里插入图片描述
把安装包移动到指定得位置
mv mysql-5.7.28 /usr/local/
在这里插入图片描述
3、检查mysql组和用户是否存在,如果没有则创建

cat /etc/group|grep mysql

groupadd mysql

useradd -r -g mysql mysql  #useradd -r参数表示mysql用户是系统用户,不可用于登录系统

刚开始查看是否创建MySQL组,是没有的。
在这里插入图片描述

操作完之后再运行cat /etc/group|grep mysql命令,显示的是
在这里插入图片描述

4、安装数据库
创建data目录

cd

/usr/local/mysql-5.7.28

mkdir data

在这里插入图片描述
在这里插入图片描述

5、将/usr/local/mysql-5.7.2

hive集群部署 阅读详情

相关推荐

Hive 集群安装配置

Hive 集群安装配置

主要分享大数据相关的知识,如Spark、Hudi 1115

Hadoop集群和Hive的搭建

这里写自定义目录标题 这个月从月初到月末,我进行了以下学习: Hadoop及其部分组件的搭建; HDFS; MapReduce; Hive; 5.以及使用以上组件进行简单的数据分析及可视化。 1.搭建 搭建Hadoop用的系统是Ubuntu18.04. 搭建过程中遇到的其中一个问题并进行了记录: 启动HDFS时报错localhost: Warning: Permanently added ‘localhost‘ (ECDSA)Permission denied 5.简单分析及可视化 代码及结果如下

good_guy_letmego的博客 1792

Hive在hadoop集群中的搭建

hive的安装、部署 ,mysql的安装,hive元数据存储到MySQL,配置文件的修改,hive启动停止脚本的编写

BXMMJ的博客 1031

hive3.1集群搭建

hive3.1集群搭建 Hive 3新特性 不再支持Mr,取而用Tez 查询引擎,且支持两种查询模式:Container 和 LLAP Hive CLI不再支持(被beeline取代) SQL Standard Authorization 不再支持,且默认建的表就已经是ACID表 支持 “批查询” (TEZ) 或者 “交互式查询”(LLAP) Hive 3其他特性: 1、物化视图重写; 2、自动查询缓存; 3、会话资源限制:用户会话数,服务器会话数,每个服务器每个用户会话数限制 文章目录hive3.1

liu137612432的博客 3549

centos7 搭建Hive3集群

上一篇写了在centos7上搭建hadoop3集群,这期简单写下hive3。 一、Mysql hive需要mysql,但是我公司开发环境有mysql,所以我没有安装,直接用现成的。 二、master安装hive3 我的机子:10.0.2.4是node1(master),10.0.2.15是node2(slave),10.0.2.5是node3(slave),先配置node1. ①下载hive放到master机器上,我是放在/opt/hive/Index of /hive/hive-3.1.2htt

jyyy1990的博客 3355

一键搭建hive集群

1. 创建4.ssh.sh脚本,用来在三台服务器上做免密登录。

u011458344的专栏 231

大数据领域Hive集群搭建与配置详细教程

本教程的目的是为大数据领域的开发者、数据分析师和相关技术人员提供一份详细且全面的Hive集群搭建与配置指南。通过本教程,读者将能够了解Hive的基本概念和原理,掌握Hive集群的搭建步骤和配置方法,以及如何在实际项目中应用Hive进行数据处理和分析。本教程的范围涵盖了从Hive的基础概念到集群搭建、配置、实战应用以及相关工具和资源的推荐等方面。核心概念与联系:介绍Hive的基本概念、架构以及与其他大数据组件的关系。

大数据洞察的博客 1066

深入解析SAP F4帮助函数F4IF_INT_TABLE_VALUE_REQUEST的回调机制

本文深入解析了SAP ABAP开发中F4IF_INT_TABLE_VALUE_REQUEST函数的回调机制。通过剖析其工作原理与核心参数,详细阐述了如何利用回调函数实现F4帮助的多值返回、动态数据过滤及选择后校验等高级定制功能,并提供了实用的代码示例与调试技巧,帮助开发者高效应对复杂的屏幕交互需求。

weixin_29213827的博客 198

Cherry Studio 新手必看:5分钟搞定MCP服务器配置(附常见问题解决)

本文为Cherry Studio新手提供了详细的MCP服务器配置指南。文章从核心概念入手,解释了Cherry Studio作为MCP客户端如何通过MCP协议安全、标准化地扩展AI助手能力。重点讲解了uv和Bun环境的安装与常见网络问题的解决方案,并演示了如何添加首个MCP服务器(如mcp-server-fetch),助你快速构建可扩展的智能工作流。

corn8的博客 595

解决相同型号USB设备在Windows系统中重复枚举问题

本文详细解析了Windows系统中相同型号USB设备重复枚举问题的成因及解决方案。通过修改注册表、使用PsTools工具清除设备记录以及编程实现自动化处理等方法,有效解决设备识别混乱问题,特别适用于自动化测试和工业设备管理场景。

weixin_42561040的博客 565

STM32F407串口DMA收发实战:标准库配置与环形缓冲区实现

DMA(直接存储器访问)是嵌入式系统中提升数据传输效率的核心技术,它允许外设与内存直接交换数据而无需CPU干预。其工作原理是通过专用硬件控制器接管数据搬运任务,CPU仅需初始化传输参数即可处理其他事务,从而显著降低系统负载。这项技术的核心价值在于释放CPU算力,实现高吞吐、低延迟的实时通信,尤其适用于数据采集、工业控制和通信网关等场景。在STM32F407等ARM Cortex-M4芯片中,串口结合DMA可实现稳定的高速数据流处理。本文以STM32F407标准库为基础,深入解析USART1的DMA发送与接收

weixin_29169899的博客 319

【SABRE 3D, SABRE 3DxT,LAM设备】2025年9月13日-安全配置-准备工作

请遵循本规程将SABRE 3D/3DxT/3D Scimitar系统设置为安全配置,以便能够在电镀单元、APT模块、XMM(或SRD)模块、工厂接口(FI)外壳或中央通道内部及周边区域执行作业p104-p117。在生产过程中暂停调度程序存在一定风险:若待维护模块未离线且在其他模块完成处理前重启调度程序,可能对生产晶圆造成影响。维护人员需特别注意电镀模块内的晶圆状态,并尽可能快速地恢复调度程序。确认待维护模块内无晶圆滞留暂停调度程序并将相应模块设置为离线状态打开模块检修门并关闭安全盖板(槽位)

weixin_46735260的博客 1368

华为CNA VRM搭建(使用vmware worfstartion搭建)

华为CNA和VRM在 vmware workstation安装使用

weixin_70595351的博客 1811

如何使用 ABAP 代码调度一个 ABAP 程序,让其以后台作业的方式运行

笔者之前的教程,介绍了如何使用 SM36 一系列事务码,将一个 ABAP 程序,调度成以后台作业方式运行的详细步骤。 38. 如何让 ABAP 报表在后台作业的模式下运行 大家如果照着上述文章的步骤走一遍,会发现这些手动执行的步骤还是有些繁琐的。 有没有可能让这一切都自动化起来,即通过 ABAP 代码去完成呢?当然可以。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1944

基于ArduPilot的旋翼式无人机飞行器开发系列(二,学习路线)

一,热爱 作为一名耿直的技术男,在这里我只想说一句,热爱是可持续学习的第一要素,也只有热爱才能让你坚持到最后。 至于最后能得到什么,只有你自己知道。常说书中自有颜如玉,书中自有黄金屋。如果你是为了颜如玉,我相信大多数颜如玉做不了你的红颜知己。如果是为了黄金屋,当你持续投入时间和金钱却看不到回报的时候,相信退堂鼓早已隆隆作响。 我给自己的信条就是为当下努力工作,为将来持续学习。当前飞控行业并没有爆发,如果想赚块钱,去互联网汽车,去VR/AR吧,去元宇宙吧。 那么我热爱...

从0到1,突破自己 1670

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

上一篇: hive的优化
下一篇: Hadoop集群搭建
Miss . 李
博客等级 码龄8年 1粉丝 10原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值