windows32位搭建hive

本文详细介绍了如何在Windows 32位系统上搭建Hive,并将其元数据存储配置为MySQL数据库。包括下载Hive、安装MySQL和Hadoop,配置Hive环境变量,创建HDFS目录,编辑hive-site.xml配置文件,设置MySQL连接参数,以及启动Hadoop和Hive服务的过程。最后通过检查MySQL中的Hive表验证搭建是否成功。

****如果最后搭建不成功说明没将环境切换至mysql,仍然是derby;在配置文件中已特别注明

准备工作(可不做任何修改hive也能运行,默认的配置元数据是存放在Derby数据库里面的,大多数人都不怎么熟悉,我们得改用mysql来存储我们的元数据,以及修改数据存放位置和日志存放位置等使得我们必须配置自己的环境)

下载apache-hive-2.1.1-bin.tar.gz(下载网址Index of /dist/hive)

安装mysql

安装hadoop(参考一份简单明了的Hadoop搭建基于windows32位

  1. 将apache-hive-2.1.1-bin.tar.gz解压出来
  2. 设置环境变量(此电脑/属性/高级属性设置/环境变量)
  3. 系统变量添加HADOOP_HOME=安装目录(例:D:\学习视频\apache-hive-2.1.1-bin);PATH中添加D:\学习视频\apache-hive-2.1.1-bin\bin
  4. D:\学习视频\apache-hive-2.1.1-bin\conf有4个默认的配置文件hive-default.xml.template、hive-env.sh.template、hive-exec-log4j.properties.template、hive-log4j.properties.template将四个文件复制粘贴一下(防止出错)并将后缀.template去掉并将hive-default.xml重命名为hive-site.xml;
  5. 在hive安装目录中创建hive文件,在hive下创建scratch_dir、resources_dir、querylog_dir、operation_logs_dir;hadoop上创建hdfs目录

6.1cmd中切换到D盘: d:

6.2 cd d:/Hadoop-2.6.2/bin

6.3 hadoop fs -mkdir /user;Hadoop fs -mkdir /user/hive;Hadoop fs -mkdir /user/hive/warehouse;Hadoop fs -mkdir /tmp;Hadoop fs -mkdir /tmp/hive

配置D:\学习视频\apache-hive-2.1.1-bin\conf\hive-site.xml

<property>

<name>hive.metastore.warehouse.dir</name>

<!--hive的数据存储目录,指定的位置在hdfs上的目录-->

<value>/user/hive/warehouse</value>

<description>location of default database for the warehouse</description>

</property>

<property>

<name>hive.exec.scratchdir</name>

<!--hive的临时数据目录,指定的位置在hdfs上的目录-->

<value>/tmp/hive</value>

<description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/<username> is created, with ${hive.scratch.dir.permission}.</description>

</property>

<property>

<name>hive.exec.local.scratchdir</name>

<!--本地目录-->

<value> D:\学习视频\apache-hive-2.1.1-bin\hive\scratch_dir </value>

<description>Local scratch space for Hive jobs</description>

</property>

<property>

<name>hive.downloaded.resources.dir</name>

<!--本地目录-->

<value> D:\学习视频\apache-hive-2.1.1-bin\hive\resources_dir </value>

<description>Temporary local directory for added resources in the remote file system.</description>

</property>

<property>

<name>hive.querylog.location</name>

<!--本地目录-->

<value> D:\学习视频\apache-hive-2.1.1-bin\hive\querylog_dir </value>

<description>Location of Hive run time structured log file</description>

</property>

<property>

<name>hive.server2.logging.operation.log.location</name>

<value> D:\学习视频\apache-hive-2.1.1-bin\hive\operation_logs_dir </value>

<description>Top level directory where operation logs are stored if logging functionality is enabled</description>

</property>

在最后添加

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://localhost:3306/hive?characterEncoding=UTF-8</value>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

</property>

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>root</value>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>123456</value>

</property>

<!-- 解决 Required table missing : "`VERSION`" in Catalog "" Schema "". DataNucleus requires this table to perform its persistence operations. Either your MetaData is incorrect, or you need to enable "datanucleus.autoCreateTables"  -->

<property>

<name>datanucleus.autoCreateSchema</name>

<value>true</value>

</property>

<property>

<name>datanucleus.autoCreateTables</name>

<value>true</value>

</property>

<property>

<name>datanucleus.autoCreateColumns</name>

<value>true</value>

</property>

如果不会加我会将hive-site.xml附加,供大家参考

8、修改D:\学习视频\apache-hive-2.1.1-bin\conf\hive-env.sh

# Set HADOOP_HOME to point to a specific hadoop install directory

HADOOP_HOME=D:\hadoop-2.6.2

# Hive Configuration Directory can be controlled by:

export HIVE_CONF_DIR=D:\学习视频\apache-hive-2.1.1-bin\conf

# Folder containing extra ibraries required for hive compilation/execution can be controlled by:

export HIVE_AUX_JARS_PATH=D:\学习视频\apache-hive-2.1.1-bin\lib

  1. 连接数据库的jar包已经附加

9MySQL设置

(1)创建hive数据库: create database hive default character set latin1;

(2)grant all on hive.* to hive@'localhost'  identified by 'hive'; 

 flush privileges;

10、启动服务
(1)启动hadoop:start-all.cmd
(2)启动metastore服务:hive --service metastore

11、查看mysql数据库
use hive;

show tables;

当出现下方内容说明初始化成功


(3)启动Hive:hive


 若Hive成功启动,Hive本地模式安装完成。

### Windows搭建HDFS和Hive的配置指南 在Windows环境下搭建HDFS和Hive需要经过多个步骤,包括安装Hadoop、配置环境变量、创建必要的HDFS目录以及下载和配置Hive。以下是详细的配置教程: #### 1. 安装Hadoop - 下载Hadoop二进制包(如hadoop-2.7.7),解压到指定目录,例如`C:\hadoop`。 - 配置Hadoop环境变量: - 新建系统变量`HADOOP_HOME`并设置值为`C:\hadoop`。 - 将`%HADOOP_HOME%\bin`添加到系统变量`Path`中[^3]。 #### 2. 启动HDFS服务 - 在命令行中执行以下命令启动HDFS服务: ```bash hdfs namenode -format start-dfs.cmd ``` - 确保HDFS服务正常运行,可以通过浏览器访问`http://localhost:9870`查看HDFS状态。 #### 3. 创建HDFS目录 - 执行以下命令创建Hive数仓路径和临时目录,并赋予适当的权限: ```bash hdfs dfs -mkdir -p /user/hive/warehouse hdfs dfs -chmod -R 777 /user/hive/warehouse hdfs dfs -mkdir /tmp hdfs dfs -chmod -R 777 /tmp ``` 这些命令确保Hive能够正确存储数据和元信息[^1]。 #### 4. 下载和安装Hive - 从Apache官网下载Hive二进制包(推荐使用hive-2.1.1,因为较新的版本可能缺少必要的`.cmd`文件)[^5]。 - 解压Hive到指定目录,例如`C:\hive`。 #### 5. 配置Hive环境变量 - 新建系统变量`HIVE_HOME`并设置值为`C:\hive`。 - 将`%HIVE_HOME%\bin`添加到系统变量`Path`中[^2]。 #### 6. 配置HiveHadoop集成 - 修改Hive配置文件`hive-site.xml`,添加以下内容以指定HDFS路径和Metastore URI: ```xml <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> </property> <property> <name>hive.exec.scratchdir</name> <value>/tmp</value> </property> ``` - 如果需要连接远程Metastore,还需配置`hive.metastore.uris`属性[^4]。 #### 7. 下载MySQL驱动 - Hive默认使用Derby作为Metastore数据库,但建议替换为MySQL以支持多用户操作。 - 下载MySQL JDBC驱动(`mysql-connector-java.jar`),并将该文件复制到Hive的`lib`目录下。 - 创建MySQL数据库并初始化Metastore表结构: ```sql CREATE DATABASE hive_db; USE hive_db; SOURCE /path/to/hive/scripts/metastore/upgrade/mysql/hive-schema-2.1.0.mysql.sql; ``` #### 8. 测试Hive安装 - 在命令行中输入`hive`启动Hive CLI。 - 执行简单查询测试Hive是否正常工作: ```sql CREATE TABLE test_table (id INT, name STRING); INSERT INTO test_table VALUES (1, 'test'); SELECT * FROM test_table; ``` --- ### 注意事项 - 确保Java已正确安装并配置环境变量`JAVA_HOME`。 - 如果遇到`.cmd`文件缺失问题,可以选择较低版本的Hive(如hive-2.1.1)[^5]。 - 如果需要调试Spark与Hive的集成,可以参考相关配置参数,如`spark-env`和`hive-site.xml`[^4]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值