hive 安装配置实验

本文提供了从安装配置Hadoop到安装MySQL再到配置Hive的完整流程,包括解压、建立软链接、初始化安装、设置环境变量等关键步骤,确保读者能够顺利搭建自己的大数据平台。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

目录

一、安装前准备

二、安装 MySQL

1. 解压

2. 建立软连接

3. 建立数据目录

4. 编辑配置文件 ~/.my.cnf

5. 初始化安装,并记下初始密码

6. 启动 MySQL

7. 登录 MySQL,修改初始密码

8. 在 /etc/profile 中添加环境变量

三、安装配置 hive

1. 解压

2. 建立软连接

3. 建立临时目录

4. 建立配置文件 hive-site.xml

5. 拷贝 JDBC 驱动

6. 在 /etc/profile 中添加环境变量

7. 重新登录 Liunx,运行 hive


一、安装前准备

1. 安装配置 Hadoop,参见:http://blog.youkuaiyun.com/wzy0623/article/details/50681554

2. 下载安装包

mysql-5.7.10-linux-glibc2.5-x86_64
apache-hive-1.2.1-bin.tar.gz
mysql-connector-java-5.1.38.tar.gz

二、安装 MySQL

1. 解压

tar -zxvf mysql-5.7.10-linux-glibc2.5-x86_64.tar.gz

2. 建立软连接

ln -s /home/grid/mysql-5.7.10-linux-glibc2.5-x86_64 mysql

3. 建立数据目录

mkdir /home/grid/mysql/data

4. 编辑配置文件 ~/.my.cnf

        内容如下:

[mysqld]  
basedir=/home/grid/mysql 
datadir=/home/grid/mysql/data
log_error=/home/grid/mysql/data/master.err
log_error_verbosity=2

5. 初始化安装,并记下初始密码

mysqld --defaults-file=/home/grid/.my.cnf --initialize

6. 启动 MySQL

mysqld --defaults-file=/home/grid/.my.cnf --user=grid &

7. 登录 MySQL,修改初始密码

mysql -u root -p 
mysql> ALTER USER USER() IDENTIFIED BY 'new_password';
mysql> exit;

8. 在 /etc/profile 中添加环境变量

export PATH=$PATH:/home/grid/mysql/bin

三、安装配置 hive

1. 解压

tar -zxvf apache-hive-1.2.1-bin.tar.gz

2. 建立软连接

ln -s /home/grid/apache-hive-1.2.1-bin hive

3. 建立临时目录

mkdir /home/grid/hive/iotmp

4. 建立配置文件 hive-site.xml

cp ~/hive/conf/hive-default.xml.template ~/hive/conf/hive-site.xml

        内容如下:

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>new_password</value>
    </property>
    <property>
    <name>hive.cli.print.current.db</name>
    <value>true</value>
    </property>
</configuration>

5. 拷贝 JDBC 驱动

tar -zxvf mysql-connector-java-5.1.38.tar.gz
ln -s mysql-connector-java-5.1.38 connector
cp /home/grid/connector/mysql-connector-java-5.1.38-bin.jar /home/grid/hive/lib/

6. 在 /etc/profile 中添加环境变量

export HIVE_HOME=/home/grid/hive
export PATH=$PATH:$HIVE_HOME/bin

7. 重新登录 Liunx,运行 hive

hive
hive> show databases;

        结果如图1 所示: 

图1 

<think>好的,我现在需要帮用户找到关于Hive安装配置实验报告或相关资料。首先,用户的问题提到了几个引用,我需要先看看这些引用内容是否相关。引用1是关于Hive中上传数据到HDFS的命令,引用2和3提到了Hive的SQL执行和命令行操作,引用4涉及Hive临时目录的配置。虽然这些引用都和Hive的使用有关,但用户主要需要的是安装配置实验报告或指南,所以可能需要结合这些内容中的配置部分。 接下来,我应该整理Hive安装的基本步骤。通常Hive安装需要依赖Hadoop,所以需要先确认Hadoop环境是否已经配置好。然后安装Hive软件包,配置环境变量,设置hive-site.xml文件,初始化元数据库,最后进行测试。用户提供的引用4提到了hive.exec.scratchdir的配置,这说明在配置文件中可能需要设置临时目录,这可以作为实验报告中的一个配置示例。 然后,我需要考虑如何将这些步骤结构化为实验报告。通常实验报告包括实验目的、环境准备、步骤详解、常见问题及解决方法等部分。用户提供的引用中有命令行操作示例,比如引用3中的hive -f执行SQL脚本,这可以作为测试步骤的一部分。引用1中的dfs -put命令可能属于数据准备阶段,但安装实验报告中可能不需要这部分,不过如果实验包括数据导入测试的话,可以提及。 另外,用户可能需要具体的配置文件示例。例如,在hive-site.xml中配置元数据存储为本地或远程数据库,如MySQL。引用4中的临时目录配置也是一个关键点,需要包含在配置文件中。同时,初始化元数据库的步骤可能涉及到运行schematool命令,这也是安装过程中的重要步骤。 还要注意用户可能遇到的问题,比如环境变量未正确设置导致Hive命令无法识别,或者元数据库连接失败。这时候在实验报告中应该包含常见问题及解决方法,比如检查HADOOP_HOME环境变量,确认MySQL服务是否启动等。 最后,生成相关问题时要围绕Hive安装配置的扩展内容,比如性能优化、不同模式的区别、日志配置以及与Hadoop的兼容性等。这些问题能够帮助用户进一步理解和应用Hive配置。 现在需要确保回答结构清晰,步骤详细,并且引用相关的参考资料。用户提供的引用虽然不直接涉及安装步骤,但其中的配置项和命令可以作为补充内容,增强实验报告的实用性。</think>### Hive安装配置实验报告指南 #### 一、实验目的 掌握Hive的本地模式安装方法,完成元数据存储配置环境变量设置和基础功能验证。 #### 二、实验环境 1. Hadoop 3.x集群(需提前部署) 2. MySQL 5.7+(用于远程元数据存储) 3. Apache Hive 3.1.2 #### 三、核心配置步骤 1. **软件解压与环境变量** ```bash tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/module echo 'export HIVE_HOME=/opt/module/apache-hive-3.1.2-bin' >> /etc/profile echo 'export PATH=$PATH:$HIVE_HOME/bin' >> /etc/profile source /etc/profile ``` 2. **hive-site.xml配置** ```xml <configuration> <!-- 元数据存储配置 --> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://bigdata111:3306/metastore?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <!-- 临时目录设置(引用[4]相关配置) --> <property> <name>hive.exec.scratchdir</name> <value>/tmp/hive-${user.name}</value> </property> </configuration> ``` 3. **MySQL驱动放置** 将mysql-connector-java-5.1.37.jar放入`$HIVE_HOME/lib` #### 四、初始化验证 ```bash # 初始化元数据库 schematool -initSchema -dbType mysql # 启动Hive CLI验证 hive> CREATE DATABASE testdb; hive> SHOW DATABASES; ``` #### 五、文件执行验证(引用[3]) ```bash hive -f /path/to/test_script.sql > output.log ``` #### 六、常见问题 1. **HDFS权限问题** 检查Hadoop集群的`hadoop.proxyuser`配置,确保Hive有权限创建HDFS目录 2. **元数据连接失败** 验证MySQL服务状态,检查连接字符串中的IP、端口和权限设置 3. **临时目录写入失败(引用[4])** 确认`hive.exec.scratchdir`配置的HDFS路径存在且用户有写权限
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值