【Hive总结】3.Hive安装

Hive 2.3.3 安装指南 本教程全面介绍了Hive安装配置,并详细介绍了Hive文件配置,以及常见错误,让初学者也能轻易地完成数据仓库安装。 阅读详情

1. apache官网下载Hive的安装包 (hive2.0.0)

2. tar -zxvf hive安装包

3. 修改conf目录下的配置文件名字: mv hive-default.xml.template hive-site.xml

4. 安装mysql数据库。

CentOS6:
            yum install mysqld
            yum install mysql-server
            service mysqld start
            netstat -nplt | grep 3306 查看3306端口启动情况
            
        CentOS7:
            rpm -ivh https://repo.mysql.com//mysql57-community-release-el7-11.noarch.rpm
            yum install mysql-server
            service mysqld start
            netstat -nap |grep 3306
            
        【注意】
            1. grep 'temporary password' /var/log/mysqld.log 查看MySQL5.7的root用户的初始密码,登陆进去之后必须先修改密码,否则不能进行任何操作!
            2.MySQL5.7是有安全认证机制的,若要使用简单密码做下面的操作:
                
                修改mysql配置参数
                
                set global validate_password_policy=0;
                set global validate_password_mixed_case_count=0;
                set global validate_password_number_count=3; 
                set global validate_password_special_char_count=0;
                set global validate_password_length=3;
                
                SET PASSWORD = '*0D3CED9BEC10A777AEC23CCC353A8C08A633045E';
                
                SHOW VARIABLES LIKE 'validate_password%';
                 
                修改简单密码
                use mysql
                SET  PASSWORD = PASSWORD('123456');
                flush privileges;
                设置完后重启mysql服务器就可以了

5. 把mysql的驱动包放入hive的lib目录下

6. 授权远程访问

grant all on *.* to root@'%' identified by '123456';

所有的机器都可以通过以用户名是root密码是123456的身份登陆MySQL数据库

7. 修改hive-site.xml文件

 <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://Master:3306/hive</value>
    <description>JDBC connect string for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    <description>Username to use against metastore database</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>root</value>
    <description>password to use against metastore database</description>
  </property>

【注意】 MySQL中的数据库需要提前创建

 

 

扩展:安装中出现的问题

(1)

Caused by: MetaException(message:Hive metastore database is not initialized. Please use schematool (e.g. ./schematool -initSchema -dbType ...) to create the schema. If needed, don't forget to include the option to auto-create the underlying database in your JDBC connection string (e.g. ?createDatabaseIfNotExist=true for mysql))
 

很显然这是因为作为metastore的数据库没有初始化,错误中已经告诉我们怎么解决,只要一条命令:

./schematool -initSchema -dbType mysql

(这里按照你自己用的数据库来初始化,可以是derby,我用的mysql)

 

(2)

Exception in thread "main" java.lang.RuntimeException: java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D
    at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:472)
    at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:671)
    at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:615)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
Caused by: java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D
    at org.apache.hadoop.fs.Path.initialize(Path.java:205)
    at org.apache.hadoop.fs.Path.<init>(Path.java:171)
    at org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:515)
    at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:458)
    ... 8 more
Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D
    at java.net.URI.checkPath(URI.java:1804)
    at java.net.URI.<init>(URI.java:752)
    at org.apache.hadoop.fs.Path.initialize(Path.java:202)
    ... 11 more
 

解决办法

<property>
    <name>hive.exec.scratchdir</name>
    <value>/tmp/hive</value>
    <description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/&lt;username&gt; is created, with ${hive.scratch.dir.permission}.</description>
  </property>

  <property>
    <name>hive.exec.local.scratchdir</name>
    <value>/tmp/hive/local</value>
    <description>Local scratch space for Hive jobs</description>
  </property>

  <property>
    <name>hive.downloaded.resources.dir</name>
    <value>/tmp/hive/resources</value>
    <description>Temporary local directory for added resources in the remote file system.</description>
  </property>
--------------------- 
作者:fhg12225 
来源:优快云 
原文:https://blog.youkuaiyun.com/fhg12225/article/details/45817477 
版权声明:本文为博主原创文章,转载请附上博文链接!

 

Hive3.1.3-安装和部署 hive 只能单机,没有集群。好,hive部署,就写到这里。如需沟通:lita2lz。 阅读详情

相关推荐

二、Hive3.1安装

前言 前面已经讲过hadoop3.1的安装教程,本次主要基于hadoop3.1安装3.1 安装hive 第一步 下载hive3.1 http://mirrors.hust.edu.cn/apache/hive/ 解压 tar -zxvf apache-hive-3.1.0-bin.tar.gz 重命名 mv apache-hive-3.1.0-bin/ hive-3.1.0/ ...

啊光的专栏 9476

Apache Hive安装部署详细图文教程

Apache Hive安装部署详细图文教程

GG Bond 的博客 3305

Ubuntu下安装Hive3.1.2教程(附MySQL安装方法及安装包)

文章目录前言一、安装Hive1. 下载压缩包并解压2. 安装Hive3. 配置环境变量4. 修改配置文件二、MySQL安装与配置1. 安装MySQL2. 安装MySQL jdbc包3. 为Hive创建MySQL账号三、验证Hive安装及错误处理1. 启动Hadoop2. 启动hive3. 运行Hive实例总结 前言 Hive 的安装需要建立在 Hadoop 的之上(类似于Hbase),关于 Hadoop 的单机安装以及伪分布式安装可以参考作者的另两篇博客: Ubuntu下单机安装Hadoop详细教程(附

程序必须为人类阅读而编写,并且仅仅碰巧可以让机器执行 1万+

4.hive安装操作

Enter password for jdbc:hive1://node1:10000: *******(任意)使用该客户端可以访问hive的metastore服务。-- 远程模式部署metastore metastore地址 -->在hive安装包的bin目录下,有hive提供的第一代客户端。-- 存储元数据mysql相关配置 -->注意:以下两件事在启动hive之前必须确保正常完成。-- H2S运行绑定host -->-- 关闭元数据存储授权 -->远程模式部署hive的metastore服务。

HelloWowofei的博客 228

Cursor生成JAVA相关的关键词提示规则

你是 Java 编程、Spring Boot、Spring Framework、Maven、JUnit 及相关 Java 技术的专家。在项目根目录创建一个.curstorrules文件(注意有个小数点),之后在该文件内填入下面内容。始终遵循 SOLID 原则,保持高内聚低耦合的 Spring Boot 应用设计。Java 和 Spring Boot 使用规范。Spring Boot 具体规范。

kitonGao的博客 2118

海康视觉脚本开发全流程解析

本文详细解析了海康机器视觉平台(VM)中脚本模块的开发全流程。从创建第一个脚本模块入手,深入讲解了输入参数、输出参数与内部变量的定义与区别,并提供了C#脚本编写、公用函数调用、代码结构组织以及编译调试的实用指南。旨在帮助开发者掌握海康视觉脚本开发的核心技巧,高效实现复杂的自定义视觉逻辑处理。

beer8的博客 603

【Hive】——安装部署

Hive 数据库 安装部署

qq_42000631的博客 928

WorkBuddy 集成 飞书CLI,全程10分钟,丝滑无比,老板要注意了...

飞书CLI实测:10分钟实现AI操控飞书办公 飞书CLI作为命令行工具,让用户通过简单命令完成飞书各项操作。本文记录了从安装到使用的完整过程:一键安装仅需10分钟,支持200多条命令覆盖飞书全部功能,与AI结合后可实现自然语言办公。实测中成功用语音指令创建了7天发文计划日程,验证了其便捷性。虽然首次认证存在超时问题,但整体体验流畅。该工具将复杂操作简化为自然语言指令,大幅提升办公效率,特别适合需要频繁使用飞书的用户。后续还将探索更多自动化办公场景。

三棱球的专栏 1148

(十八)大数据实战——Hive的metastore元数据服务安装

Hive的metastore服务作用是为Hive CLI或者Hiveserver2提供元数据访问接口。Hive的metastore 是Hive元数据的存储和管理组件,它负责管理 Hive 表、分区、列等元数据信息。元数据是描述数据的数据,它包含了关于表结构、存储位置、数据类型等信息。本节内容延续上节内容,完成hive的metastore服务的安装部署。

厉害哥哥的博客 833

生产实习-实习报告-Raspberry Pi的应用

生产实习-Raspberry Pi的应用 一.设计任务: 1、搭建树莓派开发环境 主要包括烧录树莓派操作系统,远程访问树莓派,树莓派接口配置以及树莓派与windows实现文件共享等。 2、树莓派的基本操作 控制GPIO点亮LED灯以及树莓派舵机云台控制 3、安装OpenCV及图像采集实验 OpenCV配合树莓派,直接读取来自树莓派摄像头Pi Camera的视频,进行人脸识别、边缘检测、颜色判别等各种计算机视觉开发。 4、树莓派小车远程Wi-Fi控制 使用树莓派驱动L298N,用树莓派板载Wi-Fi控制

青竹小轩的博客 751

自由曲面与衍射光学元件DOE:从基础理论到工业应用的全景解析

本文全景解析了自由曲面与衍射光学元件的核心理论与工业应用。文章深入探讨了自由曲面在非对称光学设计中的灵活性及其数学描述与制造挑战,并阐述了衍射光学元件通过微纳结构进行波前相位调制的原理与多样化功能。两者与经典光学互补融合,共同构成了高端成像、智能照明、激光加工及AR/VR等前沿领域的底层技术支柱。

devops8pract的博客 392

hive安装

hive其他版本安装,请参考:https://blog.csdn.net/stefan_xiepj/article/details/88583076 环境 hadoop2.7.6 mysql5.7 jdk8 安装 安装机器:hadoop2一台机器 1.mysql 在mysql中建hive用户 GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' IDENTIF...

王小禾 368

Android GNSS 可视卫星星空图/卫星天顶图 原理及画法介绍

目录1 概念介绍2 绘制步骤2.1 获取卫星信息2.2 绘制底图 效果图: 1 概念介绍 首先介绍一下方位角和高度角的概念: 方位角:是从某点的指北(地理北极)方向线起,依顺时针方向到目标方向线之间的水平夹角。 高度角:从一点至观测目标的方向线与水平面间的夹角。 卫星天顶图 即是根据每一颗卫星的方位角和高度角将其画在以观测位置为中心的天顶图上。 天顶图其底图为由外向内的三个圆和四条直线。三个圆由外向内依次代表高度角0°、30°、60°,中心点代表90°;四条直线分别表示正北-正南、东北-西南、正东

x1471898145的博客 1万+

Hive3安装

配置完hadoop的集群之后,对hive进行配置

wanglaoliu888的博客 1212

深度学习笔记——Transformer

本文详细介绍面试过程中可能遇到的Transformer知识点。

haopinglianlian的博客 1706

SEGGER Embedded Studio初体验

先楫HPM5E00EVK开发环境搭建

hywing's blog 1110

Hive3详细教程(一)Hive3+Hadoop3环境安装

本次Hive使用Hive3.1.2。 本次规划为三台虚拟机结点,其中在hp301上安装mysql和hive。 主机名 IP地址 hp301 192.168.150.31 mysql/hive hp302 192.168.150.32 hp303 192.168.150.33 使用Hive需要用到的环境是Hadoop,本次使用的是Hadoop3.3.1,其安装、使用过程详见本博客Hadoop3系列:Hadoop3详细教程 使用Hive需要在Linux虚拟机上安装Mysql,安

Java朱老师博客 6098

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

Hive2.3.3的安装

最近需要安装webank开源的DataSphere Studio(https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2/DSS%E5%8D%95%E6%9C%BA%E9%83%A8%E7%BD%B2%E6%96%87%E6%A1%A3.md),发现里面需要 Hive(2.3.3,Hive其他版本需自行编译Linkis),为了方便,就安装2.3.3版本

qq_44665283的博客 2247

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

安装hive3

安装hive3 一.下载&解压 下载地址,下载安装文件之后解押到自己机器上合适的目录即可。 https://downloads.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz 二. 配置hive 1:配置环境变量 配置HIVE_HOME环境变量,然后将HIVE_HOME下的bin目录加入到PATH路径中 export HIVE_HOME=/data/java/apache-hive-3.1.2-bin export

AiBigData的博客 431

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

Hive 3 安装部署教程

前言 本文隶属于专栏《100个问题搞定大数据安装部署》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢! 本专栏目录结构和参考文献请见100个问题搞定大数据安装部署 正文 1. 准备 Hive 安装包 Hive 3.x 版本需要搭配 Hadoop 3.x 环境 自行按照教程提示下载 Hive 安装包 或者使用笔者提供的 Hive 安装包——Hive3.1.2安装包 下载hive 下载地址 打开下载地址后,如下图点击 apache-hive-3.1.2-bin.tar.gz

Shockang的博客 1万+

Hive3 安装和简单使用(含Hive on Spark)

Hive3 安装和简单使用 准备工作 JDK 8 安装 参考《Oracle JDK 安装》笔记内容 ZooKeeper 安装 参考《Zookeeper 集群配置》笔记内容,仅Hadoop3 HA 会用到 Hadoop 3 安装 参考《Hadoop3 集群配置》,《Hadoop3 HA 安装配置》笔记内容 MySQL 5.6 安装 参考《Ubuntu14.04 安装MySQL5.6》笔记内容 Hive3 安装设置 Hive3 下载部署 # 0. 应用准备工作的环境变量 _HIVE_VER=3.1.2 _HIV

yoshubom的专栏 4023

linux安装Hive(Hive-2.3.7)

linux安装Hive-2.3.7 1、需要有jdk和hadoop环境: 这里使用的: JDK1.8 Hadoop2.9 2、获取安装包: 在要放置hive的目录,执行命令下载: $ wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.7/apache-hive-2.3.7-bin.tar.gz 解压并重命名: $ tar -zxvf apache-hive-2.3.7-bin.tar.gz $ mv apache-hive-2

weixin_42393724的博客 1485

Hive3.1.2安装指南

在新建用户自定义函数(UDF)方法前,先了解一下Hive自带的那些函数。

不能将运气当成战略! 3760

openEuler24.03 LTS下安装Hive3

openEuler24.03 LTS下安装Hive3。

大头皮鞋的博客 3787

ubuntu下Hive3.1.3与MySQL8的配置与安装

hive的安装,mysql的安装,hive和mysql如何进行数据初始化

代码猫,全栈开发 2438
上一篇: 【Hive总结】2. Hive整合HBase(亲测)
下一篇: 【Hive总结】4. Hive的外部表与内部表
Rita楠神
博客等级 码龄9年 27粉丝 61原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值