hive安装

最新推荐文章于 2024-09-02 19:51:39 发布
原创 最新推荐文章于 2024-09-02 19:51:39 发布 · 760 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive安装

本文详细介绍了在Hadoop 2.6.4环境下安装Hive 2.1.0的步骤，包括环境配置、安装Hive、配置Hive及解决Hive连接问题。特别针对User: hadoop is not allowed to impersonate hive错误，提出了在core-site.xml中添加hadoop.proxyuser配置的解决方案。同时，文章还涵盖了数据导入到Hive表的四种方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Hive 2.1.0安装

环境

Hadoop2.6.4   jdk1.7

安装Hive

修改hadoop 配置文件 etc/hadoop/core-site.xml,加入如下配置项

<property>

<name>hadoop.proxyuser.hadoop.hosts</name>

<value>*</value>

</property>

<property>

<name>hadoop.proxyuser.hadoop.groups</name>

<value>*</value>

</property>

1.上传到/home/Hadoop/software, 解压安装Hive:

tar -xzvf apache-hive-2.1.0-bin.tar.gz    ##解压

ln -s apache-hive-2.1.0-bin hive     ##创建软链接

 

2.设置 Hive环境变量。编辑 .bash_profile 文件, 在其中添加以下内容:

#cd

vi .bashrc

export HIVE_HOME=/home/hadoop/software/hive

export PATH=$PATH:$HIVE_HOME/bin

 

使环境变量生效:

. .bashrc

scp .bashrc slave1:~/

在slave1     . .bashrc

scp .bashrc slave2:~/

在slave2     . .bashrc

 

配置Hive

配置文件重命名。在运行 Hive 之前需要使用以下命令修改配置文件:

cd /home/hadoop/software/hive/conf

cp hive-env.sh.template hive-env.sh

cp hive-default.xml.template hive-site.xml

cp hive-log4j2.properties.template hive-log4j2.properties

cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

修改hive-env.sh

底部添加

export JAVA_HOME=/usr/java/jdk1.7.0_67/

export HADOOP_HOME=/home/hadoop/software/hadoop-2.6.4

export HIVE_HOME=/home/hadoop/software/hive

export HIVE_CONF_DIR=/home/hadoop/software/hive/conf

 

修改hive-site.xml。

/关键字             #查找

输入name的值，修改value的值

<property>

    <name>hive.exec.scratchdir</name>

    <value>/home/hadoop/software/hive/iotmpdir</value>

    <description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/<username> is created, with ${hive.scratch.dir.permission}.</description

最低0.47元/天 解锁文章

200万优质内容无限畅学
DT弄潮儿
关注
一文带你Hive入门：从安装到配置全攻略
邓邓子的博客
06-13 1085
在大数据时代，Hive作为基于Hadoop的数据仓库工具，能将结构化数据文件映射为表，提供类SQL查询功能，深受开发者青睐。本文聚焦Hive安装与配置，先阐述安装前JDK、Hadoop、MySQL 等必备软件及版本要求，介绍环境检查方法；接着详细讲解从下载、解压安装包到设置环境变量的安装步骤，以及 hive-env.sh、hive-site.xml 等核心配置文件的修改；随后展示启动 Hive 及基础测试流程；最后罗列常见问题及解决方案。旨在为优快云博主和技术爱好者提供全面、实用的Hive安装配置指南。
HIve搭建（hive安装）
weixin_61959567的博客
12-08 528
1、下载安装包：apache-hive-3.1.2-bin.tar.gz 上传至linux系统/opt/software/路径 2、解压软件 cd /opt/software/ tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/module/ 3、修改系统环境变量 vi /etc/profile 添加内容： export HIVE_HOME=/opt/module/apache-hive-3.1.2-bin export PATH=$PATH:$H
Hive安装
别这么骄傲
01-05 1802
linux 安装hive 超简单实用，配置最少，简单明了 安装速度最快！！！！基本0报错！！！
HIVE安装及详解
10-14
"HIVE安装及详解" HIVE是一种基于Hadoop的数据仓库工具，主要用于处理和分析大规模数据。下面是关于HIVE的安装及详解。 HIVE基本概念 HIVE是什么？HIVE是一种数据仓库工具，主要用于处理和分析大规模数据。它将...
大数据技术基础实验报告-Hive安装配置与应用.doc
08-21
【大数据技术基础实验报告-Hive安装配置与应用】 在大数据处理领域，Apache Hive是一个非常重要的组件，它提供了基于Hadoop的数据仓库工具，用于数据查询、分析以及存储。本实验报告将详细阐述如何安装、配置Hive，...
Hive 安装
qq_45115959的博客
09-02 1949
原因在于 Hive 默认使用的元数据库为 Derby。Derby 数据库的特点是同一时间只允许一个客户端访问。如果多个 Hive 客户端同时访问，就会报错。由于在企业开发中，都是多人协作开发，需要多客户端同时访问 Hive，怎么解决呢？我们可以将 Hive 的元数据改为用 MySQL 存储，MySQL 支持多客户端同时访问。，体会 Hive 与 Hadoop 之间的关系。（2）source 一下。观察 HDFS 的路径。
Hive介绍及安装
Loneliness Ends HUHU
07-05 420
                                                                Hive介绍：        Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性，因此使用Hive构建的数据仓库也秉承了这些特性。   简单来说，Hive就是在Hadoop上架了一层SQL接口，可以将SQL翻译...
hive安装过程
孤岛纤夫的专栏
03-05 5412
一、查看需求 安装java 1.6及hadoop 0.20.x 二、安装hive tar -xf hive-x.y.z.tar.gz（本次安装为hive-0.8.1.tar.gz） 将解压后的hive-0.8.1文件放在系统的/home/hadooptest/中。 在/etc/profile中添加： export HIVE_HOME=/home/hadooptest
hive搭建一
m0_66301161的博客
06-12 593
(8)拷贝mysql驱动jar 到/export/servers/apache-hive-3.1.3-bin/lib。(4)修改$HADOOP_HOME/etc/hadoop/core-site.xml 开启hadoop代理功能。(5) 拷贝hive-env.sh.template模版配置文件为hive-env.sh。(9) 删除冲突的log4j（log4j-slf4j-impl-2.4.1.jar）(7) 在MySQL中创建hive用的元数据库hive_meta。(10) hive初始化mysql。
hive 安装
最新发布
05-02
### Hive 安装教程概述 Hive 是一种建立在 Hadoop 上的数据仓库工具，支持结构化数据的查询和分析。以下是基于多种资料整理而成的一份完整的 Hive 安装指南。 --- #### 1. 准备工作 在安装 Hive 之前，需要完成以下准备工作： - **Java 环境配置** Hive 需要 Java 环境的支持。可以通过以下命令安装 JDK 并设置环境变量[^2]： ```bash mkdir -p /opt/module tar -zxvf /tmp/jdk-8u391-linux-x64.tar.gz -C /opt/module/ echo "export JAVA_HOME=/opt/module/jdk1.8.0_391" >> /etc/profile echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile source /etc/profile ``` - **Hadoop 环境准备** Hive 查询依赖于 Hadoop 提供的分布式计算能力。因此，在安装 Hive 前需先部署好 Hadoop 集群或单机版环境[^3]。 - **MySQL 数据库配置（可选）** 如果希望将 Hive 的元数据存储到 MySQL 中，则需要提前安装并初始化 MySQL 数据库[^4]。可以参考以下命令进行最小化安装： ```bash sudo apt-get update sudo apt-get install mysql-server service mysql start ``` --- #### 2. Hive 下载与解压 下载最新版本的 Hive 并将其解压至目标目录。例如，对于 Hive 3.1.3 版本，操作如下[^4]： ```bash cd /usr/local sudo wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz sudo tar -zxvf apache-hive-3.1.3-bin.tar.gz sudo mv apache-hive-3.1.3-bin hive ``` --- #### 3. 环境变量配置 为了方便调用 Hive 工具，建议修改系统的环境变量文件 `~/.bashrc` 或 `/etc/profile`，添加以下内容: ```bash export HIVE_HOME=/usr/local/hive export PATH=$PATH:$HIVE_HOME/bin source ~/.bashrc ``` --- #### 4. 配置 Hive 参数 进入 Hive 的配置目录 (`$HIVE_HOME/conf`)，并将默认模板文件复制为实际使用的配置文件[^5]： ```bash cp $HIVE_HOME/conf/hive-default.xml.template $HIVE_HOME/conf/hive-site.xml ``` 随后，编辑 `hive-site.xml` 文件以指定必要的参数。例如，定义本地临时目录的位置： ```xml <property> <name>hive.exec.local.scratchdir</name> <value>/path/to/hive/local/scratchdir</value> <description>Local scratch space for Hive jobs</description> </property> ``` 如果使用 MySQL 存储元数据，还需额外配置 JDBC 连接信息。具体示例如下： ```xml <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true&useSSL=false</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.cj.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>password</value> </property> ``` --- #### 5. 启动 Hive 和验证 完成以上步骤后，即可启动 Hive 并验证其功能。首先确保 Hadoop 集群已正常运行[^3]： ```bash cd /usr/local/hadoop ./sbin/start-dfs.sh ``` 接着尝试启动 Hive CLI 或 Beeline 接口： ```bash cd /usr/local/hive ./bin/hive ``` 或者通过 Beeline 方式连接： ```bash ./bin/beeline -u jdbc:hive2://localhost:10000 ``` --- #### 6. 常见问题排查 在安装过程中可能会遇到一些常见的错误提示。例如，JDBC 驱动缺失时需要手动下载对应的驱动包，并放置到 `$HIVE_HOME/lib` 目录下。 --- ### 结论 按照上述流程，能够顺利完成 Hive 的安装与基本配置过程。需要注意的是，生产环境中通常还需要进一步优化性能参数以及增强安全性措施。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值