4.hive安装操作

CentOS7下,hive4.0.0安装部署 为了简单起见,都安装到。(集群:node1,node2,node3)上传下面3个文件到虚拟机上node1上。 阅读详情
  1. hive安装操作
    1. Hive metastore远程模式安装部署

课程中采用远程模式部署hive的metastore服务。在node1机器上安装。

注意:以下两件事在启动hive之前必须确保正常完成。

  1. 选择某台机器提前安装mysql,确保具有远程访问的权限。
  2. 启动hadoop集群 确保集群正常健康
      1. Hadoop中添加用户代理配置

#修改hadoop 配置文件 etc/hadoop/core-site.xml,加入如下配置项

<property>

    <name>hadoop.proxyuser.root.hosts</name>

    <value>*</value>

</property>

<property>

    <name>hadoop.proxyuser.root.groups</name>

    <value>*</value>

</property>

      1. 上传安装包 并解压

tar -zxvf apache-hive-3.1.2-bin.tar.gz  -C /export/server/

cd /export/server/

ln -s apache-hive-3.1.2-bin/ hive

# 解决Hive与Hadoop之间guava版本差异

cd /export/server/hive/

rm -rf lib/guava-19.0.jar

cp /export/server/hadoop/share/hadoop/common/lib/guava-27.0-jre.jar lib/

      1. 修改配置文件hive-env.sh

cd /export/server/hive/conf

cp hive-env.sh.template hive-env.sh

vim hive-env.sh

# 修改一下几处内容:  第48行

export HADOOP_HOME=/export/server/hadoop

export HIVE_CONF_DIR=/export/server/hive/conf

export HIVE_AUX_JARS_PATH=/export/server/hive/conf/lib

      1. 添加配置文件hive-site.xml

vim hive-site.xml

添加以下内容:

<configuration>

    <!-- 存储元数据mysql相关配置 -->

    <property>

        <name>javax.jdo.option.ConnectionURL</name>

        <value>jdbc:mysql://node1.itcast.cn:3306/hive3?createDatabaseIfNotExist=true&useSSL=false</value>

    </property>

    <property>

        <name>javax.jdo.option.ConnectionDriverName</name>

        <value>com.mysql.jdbc.Driver</value>

    </property>

    <property>

        <name>javax.jdo.option.ConnectionUserName</name>

        <value>root</value>

    </property>

    <property>

        <name>javax.jdo.option.ConnectionPassword</name>

        <value>123456</value>

    </property>

    <!-- H2S运行绑定host -->

    <property>

        <name>hive.server2.thrift.bind.host</name>

        <value>node1.itcast.cn</value>

    </property>

    <!-- 远程模式部署metastore metastore地址 -->

    <property>

        <name>hive.metastore.uris</name>

        <value>thrift://node1.itcast.cn:9083</value>

    </property>

    <!-- 关闭元数据存储授权  -->

    <property>

        <name>hive.metastore.event.db.notification.api.auth</name>

        <value>false</value>

    </property>

</configuration>

      1. 上传MySQL驱动

#上传mysql jdbc驱动到hive安装包lib下

mysql-connector-java-5.1.32.jar

      1. 初始化元数据

cd /export/server/hive/

bin/schematool -initSchema -dbType mysql -verbos

#初始化成功会在mysql中创建74张表

      1. 创建hive存储目录

hadoop fs -mkdir /tmp

hadoop fs -mkdir -p /user/hive/warehouse

hadoop fs -chmod g+w /tmp

hadoop fs -chmod g+w /user/hive/warehouse

    1. metastore 的启动方式

cd /export/server/hive

#前台启动  关闭ctrl+c

./bin/hive --service metastore

#前台启动开启debug日志

./bin/hive --service metastore --hiveconf hive.root.logger=DEBUG,console  

#后台启动 进程挂起  关闭使用jps+ kill -9

nohup ./bin/hive --service metastore &

nohup ./bin/hive --service hiveserver2 &

    1. Hive Client、Beeline Client
      1. 第一代客户端Hive Client

在hive安装包的bin目录下,有hive提供的第一代客户端 bin/hive。使用该客户端可以访问hive的metastore服务。从而达到操作hive的目的。

使用下面的命令启动hive的客户端:

/export/server/hive/bin/hive

可以发现官方提示:第一代客户端已经不推荐使用了。

      1. 第二代客户端Hive Beeline Client

hive经过发展,推出了第二代客户端beeline,但是beeline客户端不是直接访问metastore服务的,而是需要单独启动hiveserver2服务。

在hive运行的服务器上,首先启动metastore服务,然后启动hiveserver2服务。

nohup /export/server/hive/bin/hive --service metastore &

nohup /export/server/hive/bin/hive --service hiveserver2 &

使用beeline客户端进行连接访问。

/export/server/hive/bin/beeline

beeline> ! connect jdbc:hive1://node1:10000

Enter username for jdbc:hive1://node1:10000: root

Enter password for jdbc:hive1://node1:10000: *******(任意)

Sqoop1.4.4将MySQL中数据导入到Hive表中 问题导读:          1、--hive-import、--hive-overwrite的作用?          2、如何处理关系型数据库字段中字符串含有分隔符问题?          3、使用--hive-import默认字段分隔符是?一行记录分隔符是?          4、NULL值是怎么处理的?--null-string和--null-string的作用? 阅读详情

相关推荐

基于CDH5.4的hive与hbase的整合

[Author]: kwu -- 基于CDH5.4的hive与hbase的整合

2806

(最新版本)hive4.0.0 + hadoop3.3.4 集群安装(无坑版)-大数据学习系列(一)

网上的找的文档大多残缺不靠谱,所以我整理了一份安装最新版本的hive4..0.0+hadoop3.3.4的学习环境,可以提供大家安装一个完整的hive+hadoop的环境供学习。Hive Metastore是Hive的元数据存储服务,需要确保Metastore服务已经启动,并且在Beeline的配置文件中正确配置了Metastore的地址。HiveServer2是Hive的查询服务,需要确保HiveServer2服务已经启动,并且在Beeline的配置文件中正确配置了HiveServer2的地址。

zhenwudi的专栏 1万+

hadoop Hive-2.3.4 安装配置

1、root用户登录,安装mysql apt-get install mysql-server 2、下载apache-hive-2.3.4-bin。tar.gz,mysql-connector-java-5.1.47.tar.gz hive资源:http://archive.apache.org/dist/hive/hive-2.3.4/ 3、hadoop用户登录,将以上两个gz文件解压(我的直接解压在/home/hadoop/下面),将mysql-connector-java-5.1.47文件夹下的m

科大人的博客 3440

Apache Hive安装部署详细图文教程

Apache Hive安装部署详细图文教程

GG Bond 的博客 3305

Hive2.3.4安装

1、环境配置 1.1、下载https://mirrors.tuna.tsinghua.edu.cn/apache/hive/ (下载hive2.X(支持使用MR、Spark、Tez作为执行引擎)的稳定版2.3.4) 上传到服务器/usr/local/big_data/hive目录下 解压: tar -zxvf ap...

看图说话 1440

2、Hive:启动Hive

Hive:启动Hive

m0_53336038的博客 6925

Hive4.0部署

四、MySQL正常 上传MySQL连接驱动到hive的lib目录下。六、元数据数据库初始化。七、使用beeline。

qq_40208532的博客 1110

Python 实现 傅里叶级数 对 函数拟合 并绘图

好记性不如烂笔头 目录傅里叶级数变换原理代码实现效果图 傅里叶级数变换原理 原理:待续… 傅里叶级数变换公式: 代码实现 本次实现的是符号函数的拟合: 注:若要实现其他函数的拟合,修改程序中 fx 的表达式即可 """ 傅里叶级数""" import sympy as sym import numpy as np import matplotlib.pyplot as plt N = 8 # 拟合的阶数 L = sym.pi # 周期的一半 n, x = sym.symbols('n x')

qq_41676952的博客 1万+

Linux环境下Hive4.0.0部署

hive4.0.0部署

super_mochi1 4368

Excel药品说明书数据库:从零开始搭建医药数据查询系统(附完整模板)

本文详细介绍了如何从零开始搭建Excel药品说明书数据库,提供完整的医药数据查询系统模板。涵盖数据库架构设计、数据清洗标准化、智能查询系统搭建及维护优化,帮助医药从业者高效管理药品信息,提升查询速度和准确性。

weixin_28327051的博客 236

LightningChart使用教程:创建 JS 散点图

这是对 LightningChart JS XY 图表一些有趣功能的快速技术研究,以及如何使用 LightningChart JS 创建嵌入式散点聊天和添加自定义交互。 此图表将可视化一个 XY 坐标列表以及一个额外的自定义属性,它只是一段文本。这些自定义属性将与 UI 文本元素一起显示,这些元素将与用户的鼠标移动交互。 我们将介绍的突出功能是: 什么是散点图? 如何创建散点图? 如何将自定义属性附加到数据点。 如何创建交互式 UI 文本元素。 最终结果 什么是散点图? 散点图或散点图是..

Augenstern__zyx的博客 1372

Hive 安装操作

本篇为安装篇较简单:前提:1: 安装了hadoop-1.0.4(1.0.3也可以)正常运行2:安装了hbase-0.94.3, 正常运行接下来,安装Hive,基于已经安装好的hadoop,步骤如下:1:下载从http://hive.apache.org/下载hive-0.9.0/创建目录/hive将文件hive-0.9.0保存在/hive下2:解压缩[root@pg2 download]# cd ...

weixin_34127717的博客 92

ADS交叉耦合振荡器VCO相位噪声优化仿真实践

本文详细介绍了在ADS软件中搭建和优化交叉耦合VCO相位噪声的完整仿真实践。通过谐波平衡与瞬态仿真分析电路性能,并重点阐述了通过提升谐振腔Q值、优化晶体管工作点及改善尾电流源来有效降低相位噪声的具体方法,为射频电路设计提供了实用指南。

weixin_29235923的博客 639

openEuler 安装 hive4

openEuler 安装 hive4

桃李不言下自成蹊 1万+

【Qwen2微调实战】LLaMA-Factory框架对Qwen2-7B模型的微调实践

在人工智能的浪潮中,大型语言模型(LLMs)正逐渐成为研究和应用的热点。它们在自然语言处理(NLP)的各个领域,如文本生成、翻译、问答等任务中展现出了卓越的能力。Qwen2-7B模型,作为该领域的佼佼者,不仅因其庞大的参数量和强大的表示能力受到关注,更因其在微调后能够更好地适应特定任务而备受关注。本文将详细介绍如何利用LLaMA-Factory这一高效的微调框架对Qwen2-7B进行微调,以期达到提升模型在特定任务上的表现。

寻道AI,探索AI无限可能! 2万+

[DevExpress]GridControl拖拽行记录排序

DevExpress的GridControl拖拽行记录排序需求效果代码 需求 现在用户对按钮点击排序不满意了, 希望拖拽排序。 重载GridControl控件,对MouseMove、MouseDown、MouseUp事件修改一下。 效果 代码 using System; using System.Drawing; using System.Windows.Forms; using xiaoid.forms; using System.Data; using System.Collections.Gener

德仔 1563

Hive2.0安装完整版——Hive2.3.4

@羲凡——只为了更好的活着 Hive安装完整版——Hive2.3.4 Hive是大数据生态圈中最常用的数据仓库,也是有hadoop集群的公司的必备。所以hive安装和使用也是大数据开发或运维人员都必须掌握的。hive的安装很简单,而且各版本的安装都非常类似,完全可以套用。此文中选择Hive2.3.4作为示范! 一、下载对应的安装包 1.下载mysql驱动 下载地址如下 http://central...

@羲凡—只为更好的活着 8418

基于射频技术的校园无人超市管理系统_360

本设计实现了一种基于射频技术的校园无人超市管理系统,系统集成了环境监测与商品管理两大核心模块。在环境监测部分,采用DHT11温湿度传感器与MQ2烟雾传感器对超市内部环境进行实时监测,结合温控与报警机制,实现自动通风与烟雾报警功能,并通过1.44寸SPI LCD显示屏进行本地信息显示。商品管理部分基于RC522-RFID读卡器完成商品识别,结合Qt上位机软件实现顾客自助选购与结算,同时支持管理员进行商品入库与会员卡管理等操作。系统采用STM32F103RCT6为主控核心,结合串口通信方式与Qt开发的上位机进行

379

Hive安装操作 及初体验

hive的安装操作 第一步:修改 hadoop的 core-site.xml中, 添加以下内容: #修改hadoop 配置文件 etc/hadoop/core-site.xml,加入如下配置项 <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <property> <name&gt

qq_59472803的博客 377

RK3588平台开发系列讲解(项目篇)常见模型结构

📢 AI 模型常采用人工神经网络来模拟人脑神经的记忆和处理信号的能力。常见的人工神经网络类型有深度神经网络(Deep Neural Network,DNN)、卷积神经网络(Convolutional Neural Network,CNN)、循环神经网络(Recurrent Neural Network,RNN)等。

内核笔记 1759

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

【Hive】Hive 2.3.4 安装

文章目录一、前期工作二、下载安装2.1、下载2.2、安装2.3、设置环境变量三、 创建 hive 所要的 hdfs 目录四、修改 hive 所需配置4.1、配置文件 hive.site.xml4.2、创建及配置 Mysql4.2.1、创建 Hive 数据库4.2.2、配置 Hive 数据库4.2.3、拷贝 JDBC 驱动包4.2.4、初始化 Hive 数据库4.3、 配置文件 hive-env.s...

w1992wishes的博客 1140

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

Hive 4

1.hive的四大by 1.1order by(全局排序) 只有一个reduce,这里无论你设置多少个reduce,都是一个 优点:全局排序 缺点:当数据量大的时候,耗时长,效率低,适用于较小数据量的场景 1.2sort by(分区内排序) 对每一个reduce内部的数据进行排序,全局结果来说不是排序的 只能保证每一个reduce输出的文件中的数据是按照规定字段排序的 适用于数据量大,但是对排序要求不严格的场景,可以大幅提高执行效率 1.3distribute by(分区排序)

MINAMI373的博客 1807

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

大数据学习栈记——Hive4.0.1安装

本文介绍大数据技术中数据仓库Hive的安装配置,版本:Hive4.0.1,Ubuntu24.04

youka150的博客 2435

Linux环境下Hive4.0.1部署

本文详细介绍了在Linux环境下部署Apache Hive 4.0.1的完整步骤,部署前需确保已安装Hadoop 3.4.1和MySQL 8,并正确配置相关参数

super_mochi1 2003
上一篇: 3.Hadoop集群搭建
下一篇: 5.spark部署安装
一凡888
博客等级 码龄7年 1756粉丝 217原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一凡888

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值