Hadoop Hive配置

最新推荐文章于 2024-04-08 19:45:33 发布
最新推荐文章于 2024-04-08 19:45:33 发布
阅读量578 收藏
点赞数
分类专栏： 学习 文章标签： hive hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/breyan/article/details/106164075
版权
本文详细介绍了在Hadoop环境中配置和初始化Hive的步骤，包括设置环境变量、创建HDFS目录、修改hive-site.xml配置，特别是针对数据库连接的调整，以及处理Hive与Hadoop之间的SLF4J绑定冲突问题。同时提到了使用MySQL作为Hive的元数据库，以及在遇到问题时的解决策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

细节！细节！细节！细节决定成败！速度源于熟练！
参考博客：https://blog.youkuaiyun.com/qq_39315740/article/details/98626518
https://blog.youkuaiyun.com/SXY16044314/article/details/94599142
https://blog.youkuaiyun.com/u012922838/article/details/73291524

准备：Hive的安装基于Hadoop，因此需要先搭建好Hadoop环境，其次以MySQL作为Hive的元数据库，所以也要先安装好MySQL。
解压Hive安装包,添加环境变量：
tar -zxvf apache-hive-3.1.1-bin.tar.gz
#添加以下内容
export HIVE_HOME=/usr/local/hadoop/apache-hive-3.1.1-bin
export PATH= H I V E H O M E / b i

最低0.47元/天 解锁文章
Hive 不同级别日志配置 hive-log4j2.properties
weixin_52918377的博客
02-08 2406
# Licensed to the Apache Software Foundation (ASF) under one # or more contributor license agreements. See the NOTICE file # distributed with this work for additional information # regarding copyright ownership. The ASF licenses this file # to you under
黑猴子的家：Hive 运行日志信息配置
黑猴子的博客
09-28 216
Hive的log默认存放在/tmp/victor/hive.log目录下（当前用户名下） 1、创建hive-log4j.properties 修改hive-log4j.properties.template文件名称为hive-log4j.properties [victor@node1 conf]$ pwd /opt/module/hive/conf [victor@node1 conf]...
hive安装与配置
liulidoing的博客
09-11 490
hive安装与配置 1.修改配置文件 2.复制jar包 3.配置环境变量 hive安装与配置 首先准备好安装包，官网都有下载， tar -zxvf +安装包名（apache-hive-1.2.2-bin.tar.gz） 解压缩完毕后 进入apache-hive-1.2.2-bin 目录下的conf 修改配置文件 1.修改配置文件 创建一个 hive...
log4j+flume+HDFS实现日志存储
u014033218的专栏
08-06 1646
参考：http://blog.youkuaiyun.com/sum__mer/article/details/52474443 376 hadoop dfs -chown -R hadoop:hadoop /flume 377 hdfs dfs -chown -R hadoop:hadoop /flume 378 hdfs dfs -chown -R 777 /flume 37
hive 2.0 安装配置
Rambo zheng的博客
04-26 2531
1. Hive的安装 系统环境 装好hadoop的环境后，我们可以把Hive装在namenode机器上(c1)。 hadoop的环境，请参考Hadoop环境搭建 下载: apache-hive-2.0.0-bin.tar.gz  解压到： /home/hadoop/hadoop/hive hive配置 ~ cd /home/hadoop/hadoop/hive
hadoop的hive安装与配置教程
最新发布
qsl428的博客
04-08 1030
(1)将MySQL数据库驱动（/opt/software/mysql-connector-java-5.1.46.jar）拷贝到 Hive安装目录的lib下；将/usr/local/src/hive/conf文件夹下hive-default.xml.template文件，更名为 hive-site.xml。（1）MySQL 软件包路径 [root@master ~]# cd /opt/software/mysql-5.7.18/“/usr/local/src/hive/tmp”目录及其子目录。
部署Hadoop Hive
05-10
通过以上详细步骤，可以成功部署和配置Hadoop Hive环境。需要注意的是，这些知识点虽然涵盖了部署Hive的大部分内容，但在实际操作过程中，还可能会遇到各种各样的细节问题，需要根据具体情况进行调整和解决。
hadoop下hive的安装
03-29
这里详细介绍了hive的安装，以及和mysql的整合，以及一些其他的一些简单操作
hadoop集群配置hive
ab12__cd34的专栏
11-10 2644
1.下载hive包，这里使用的是hive 2.3.0，hadoop 2.7.1 Index of /dist/hive 2.解压压缩包 tar zxvf apache-hive-2.3.0-bin.tar.gz -------------------------- 只是为了做实验使用，因此未创建工作组及hive用户，不涉及core-site.xml代理配置 -------------------------- 3.添加$HIVE_HOME，使用source生效环境变量 vim /etc/
Hadoop和hive-exec-3.1.2的Guava的版本冲突导致Flink任务启动异常
weixin_44500374的博客
01-27 4143
一、背景 1、出现异常 公司准备从CDH迁回社区版Hadoop集群，直接把Hadoop升级为比较新的3.30版本，Hive升级为3.12版本。Flink编译的是1.12.0版本，启动自己的测试直接报出下面的错，甚至启动官方的demo任务也会报相同的错。 Caused by: java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument (ZLjava/lang/String;Ljava/lang/Object;
hive中的参数配置方式
qq_36055407的博客
08-24 470
1．查看当前所有的配置信息 hive>set; 2．参数的配置三种方式 （1）配置文件方式 默认配置文件：hive-default.xml 用户自定义配置文件：hive-site.xml 注意：用户自定义配置会覆盖默认配置。另外，Hive也会读入Hadoop的配置，因为Hive是作为Hadoop的客户端启动的，Hive的配置会覆盖Hadoop的配置。...
hadoop环境下配置hive及sqoop
个人学习笔记库，一篇一篇记录成长的足迹
08-19 941
Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。sqoop的作用就是将关系型数据库中的某张表数据到Hadoop的hdfs文件系统当中，底层运用的还是Map Reduce 。它利用MapReduce加快数据传输速度，批处理方式进行数据传输。也可以将HDFS上的文件数据或者是Hive表中的数据导出到关系型数据库中的某张表。
Hive环境搭建(完整版)-配置
彬正的博客
10-15 6231
Hive部署： 前提： 在安装Hive之前，要求先预装： - 安装JDK 8 - 安装Hadoop-2.7.7 - 安装MySQL 5.6.x ！！！我这里主节点叫chun1，根据自己的进行修改 一、安装 1. 下载hive，并解压缩到用户主目录下： tar -xzvf apache-hive-2.3.6-bin.tar.gz 改名： mv apache-hive-2.3.6-bin hive 2. 设置环境变量： 二、配置管理 首先进入conf目录把所有带template后缀的文
(冲突)hive
Jiashilin
03-25 269
yum install mysql-server service mysqld start mysql show databases use mysql show tables mysql -u root 指定用户名登陆 配置hive 后 hive show tables treate table tbl(id int, name string) desc tbl #做了个准换成mapred...
记录spark3.x on hive时候因为依赖冲突导致的bug
weixin_44513718的博客
06-01 546
记录spark3.x on hive时候因为依赖冲突导致的bug
解决使用hive打印无效INFO日志问题
LOGAN'S BLOG
08-24 3186
一劳永逸的方法 配置hive-site.xml，添加下面配置信息 <property> <name>hive.server2.logging.operation.enabled</name> <value>false</value> </property> 然后重启集群 stop-all.sh start-all.sh 再开启hive，问题解决！ ...
一个简单粗暴的定位冲突jar的方法
printsky的博客
10-19 1691
这是一个简单粗暴的定位冲突jar的方法 项目中加了三个jar依赖之后 启动时就报错，去掉之后 运行正常 &lt;dependency&gt; &lt;groupId&gt;org.apache.hadoop&lt;/groupId&gt; &lt;artifactId&gt;hadoop-common&lt;/artifactId&gt; ...
Hive中UDF函数包含HttpClient依赖冲突
辉哥大数据
04-11 2207
目录 一、错误信息 二、问题分析及解决 三、httpclient-4.2.5版本Get，Post方法 四、httpclient-4.5.3版本Get，Post方法 一、错误信息： Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Unable to execute method public java.lang.String...
Hive0.13+Hadoop cdh3中的log4j问题
10-22 236
Hive0.12+ 在Hadoop cdh3（1.0）中使用，会有如下错误：   log4j:ERROR Could not instantiate class [org.apache.hadoop.hive.shims.HiveEventCounter]. java.lang.RuntimeException: Could not load shims in class org.apac...
Hadoop hive 配置文件
08-18
Hadoop Hive是一个基于Hadoop的数据仓库工具，它使用HiveQL（类似于SQL）查询语言来进行数据查询和分析。Hive的配置文件位于Hive安装目录下的`conf`文件夹中。以下是一些常见的Hive配置文件： 1. `hive-site.xml`：这是Hive的主要配置文件，包含了许多Hive的配置选项，如Hive元数据存储位置、数据仓库目录、Hive执行引擎、HiveServer2配置等。 2. `hadoop-metrics2-hiveserver2.properties`：这是用于配置HiveServer2的指标监控的配置文件。 3. `hive-env.sh`：这个脚本文件用于设置Hive的环境变量，如Java路径、Hadoop路径等。 4. `hiveserver2-site.xml`：这是HiveServer2服务的配置文件，包含了一些与HiveServer2相关的配置选项，如连接类型、身份验证方式、并发连接数等。 这些配置文件可以根据您的需求进行修改和调整，以满足特定的环境和需求。请注意，在修改配置文件之前，请备份原始文件以防止意外情况发生。 希望这些信息对您有所帮助。如果您有其他问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值