Hive配置实验

Hive配置实验

内嵌模式配置

下载Hive

wget https://www-eu.apache.org/dist/hive/hive-2.3.5/apache-hive-2.3.5-bin.tar.gz

解压包

tar -xvf apache-hive-2.3.5-bin.tar.gz 

将解压后的Hive文件夹放到Hadoop文件夹下

cd /cloud/hadoop-3.2.0/
mv ~/apache-hive-2.3.5-bin .

设置环境变量

vim ~/.bash_profile 

添加以下内容

export HIVE_HOME=/cloud/hadoop-3.2.0/apache-hive-2.3.5-bin
export PATH=$HIVE_HOME/bin:$PATH

添加完成后重启配置使其生效

. ~/.bash_profile 

本地模式配置

解压MySQL

tar -xvf  mysql-5.7.22-1.el6.x86_64.rpm-bundle.tar

安装组件

sudo rpm -ivh mysql-community-server-5.7.22-1.el6.x86_64.rpm  --force --nodeps
sudo rpm -ivh mysql-community-libs-5.7.22-1.el6.x86_64.rpm --force --nodeps
sudo rpm -ivh mysql-community-client-5.7.22-1.el6.x86_64.rpm --force --nodeps
sudo rpm -ivh mysql-community-common-5.7.22-1.el6.x86_64.rpm  --force --nodeps

/var/log/mysqld.log处获取密码

屏幕快照 2019-06-15 17.18.34.png

启动MySQL

/etc/init.d/mysqld restart
mysql

屏幕快照 2019-06-15 15.45.06.png

修改密码

set password for root@localhost = password('123');  

屏幕快照 2019-06-15 17.17.16.png

运行Hive实例

hive --service metastore
$HIVE_HOME/bin/schematool -initSchema -dbType mysql
hive
create database db_hive_test;
use db_hive_test;

屏幕快照 2019-06-16 11.05.53.png

create table test(id int, name string);

# 加载本地数据
load data local inpath '/cloud/hadoop-3.2.0/input/test.txt' into table test;

屏幕快照 2019-06-16 11.07.15.png

检查插入内容

select * from test;

屏幕快照 2019-06-16 11.17.53.png

Reference

https://blog.youkuaiyun.com/scgaliguodong123_/article/details/46868525

https://www.itread01.com/content/1550319667.html

<think>好的,我现在需要帮用户找到关于Hive安装与配置实验报告或相关资料。首先,用户的问题提到了几个引用,我需要先看看这些引用内容是否相关。引用1是关于Hive中上传数据到HDFS的命令,引用2和3提到了Hive的SQL执行和命令行操作,引用4涉及Hive临时目录的配置。虽然这些引用都和Hive的使用有关,但用户主要需要的是安装与配置实验报告或指南,所以可能需要结合这些内容中的配置部分。 接下来,我应该整理Hive安装的基本步骤。通常Hive的安装需要依赖Hadoop,所以需要先确认Hadoop环境是否已经配置好。然后安装Hive软件包,配置环境变量,设置hive-site.xml文件,初始化元数据库,最后进行测试。用户提供的引用4提到了hive.exec.scratchdir的配置,这说明在配置文件中可能需要设置临时目录,这可以作为实验报告中的一个配置示例。 然后,我需要考虑如何将这些步骤结构化为实验报告。通常实验报告包括实验目的、环境准备、步骤详解、常见问题及解决方法等部分。用户提供的引用中有命令行操作示例,比如引用3中的hive -f执行SQL脚本,这可以作为测试步骤的一部分。引用1中的dfs -put命令可能属于数据准备阶段,但安装实验报告中可能不需要这部分,不过如果实验包括数据导入测试的话,可以提及。 另外,用户可能需要具体的配置文件示例。例如,在hive-site.xml中配置元数据存储为本地或远程数据库,如MySQL。引用4中的临时目录配置也是一个关键点,需要包含在配置文件中。同时,初始化元数据库的步骤可能涉及到运行schematool命令,这也是安装过程中的重要步骤。 还要注意用户可能遇到的问题,比如环境变量未正确设置导致Hive命令无法识别,或者元数据库连接失败。这时候在实验报告中应该包含常见问题及解决方法,比如检查HADOOP_HOME环境变量,确认MySQL服务是否启动等。 最后,生成相关问题时要围绕Hive安装配置的扩展内容,比如性能优化、不同模式的区别、日志配置以及与Hadoop的兼容性等。这些问题能够帮助用户进一步理解和应用Hive配置。 现在需要确保回答结构清晰,步骤详细,并且引用相关的参考资料。用户提供的引用虽然不直接涉及安装步骤,但其中的配置项和命令可以作为补充内容,增强实验报告的实用性。</think>### Hive安装与配置实验报告指南 #### 一、实验目的 掌握Hive的本地模式安装方法,完成元数据存储配置、环境变量设置和基础功能验证。 #### 二、实验环境 1. Hadoop 3.x集群(需提前部署) 2. MySQL 5.7+(用于远程元数据存储) 3. Apache Hive 3.1.2 #### 三、核心配置步骤 1. **软件解压与环境变量** ```bash tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/module echo 'export HIVE_HOME=/opt/module/apache-hive-3.1.2-bin' >> /etc/profile echo 'export PATH=$PATH:$HIVE_HOME/bin' >> /etc/profile source /etc/profile ``` 2. **hive-site.xml配置** ```xml <configuration> <!-- 元数据存储配置 --> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://bigdata111:3306/metastore?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <!-- 临时目录设置(引用[4]相关配置) --> <property> <name>hive.exec.scratchdir</name> <value>/tmp/hive-${user.name}</value> </property> </configuration> ``` 3. **MySQL驱动放置** 将mysql-connector-java-5.1.37.jar放入`$HIVE_HOME/lib` #### 四、初始化验证 ```bash # 初始化元数据库 schematool -initSchema -dbType mysql # 启动Hive CLI验证 hive> CREATE DATABASE testdb; hive> SHOW DATABASES; ``` #### 五、文件执行验证(引用[3]) ```bash hive -f /path/to/test_script.sql > output.log ``` #### 六、常见问题 1. **HDFS权限问题** 检查Hadoop集群的`hadoop.proxyuser`配置,确保Hive有权限创建HDFS目录 2. **元数据连接失败** 验证MySQL服务状态,检查连接字符串中的IP、端口和权限设置 3. **临时目录写入失败(引用[4])** 确认`hive.exec.scratchdir`配置的HDFS路径存在且用户有写权限
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值