hive安装与mysql对接

本文详细介绍如何在单节点上安装Hive,并配置其与Hadoop及MySQL的集成。包括上传与解压Hive包、配置MySQL作为元数据存储、设置HIVE_HOME环境变量、配置hive-site.xml文件等步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Hive只在一个节点上安装即可


必须有hadoop的支持


1.上传tar包
2.解压
tar -zxvf hive-0.9.0.tar.gz
3.配置mysql metastore(切换到root用户)
配置HIVE_HOME环境变量
rpm -qa | grep mysql
rpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodeps
rpm -ivh MySQL-server-5.1.73-1.glibc23.i386.rpm 
rpm -ivh MySQL-client-5.1.73-1.glibc23.i386.rpm 
修改mysql的密码
/usr/bin/mysql_secure_installation
(注意:删除匿名用户,允许用户远程连接)
登陆mysql
mysql -u root -p


4.配置hive
cp hive-default.xml.template hive-site.xml 
修改hive-site.xml(删除所有内容,只留一个<property></property>)
添加如下内容:
<property>
 <name>javax.jdo.option.ConnectionURL</name>
 <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
 <description>JDBC connect string for a JDBC metastore</description>
</property>


<property>
 <name>javax.jdo.option.ConnectionDriverName</name>
 <value>com.mysql.jdbc.Driver</value>
 <description>Driver class name for a JDBC metastore</description>
</property>


<property>
 <name>javax.jdo.option.ConnectionUserName</name>
 <value>root</value>
 <description>username to use against metastore database</description>
</property>


<property>
 <name>javax.jdo.option.ConnectionPassword</name>
 <value>123456</value>
 <description>password to use against metastore database</description>
</property>

5.安装hive和mysq完成后,将mysql的连接jar包拷贝到$HIVE_HOME/lib目录下
如果出现没有权限的问题,在mysql授权(在安装mysql的机器上执行)
mysql -u root -p
#(执行下面的语句  *.*:所有库下的所有表   %:任何IP地址或主机都可以连接)
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION;

FLUSH PRIVILEGES;


6.出现的常见错误

    Logging initialized using configuration in jar:file:/hive/apache-hive-1.1.0-bin/lib/hive-common-1.1.0.jar!/hive-log4j.properties
    SLF4J: Class path contains multiple SLF4J bindings.
    SLF4J: Found binding in [jar:file:/hadoop-2.5.2/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: Found binding in [jar:file:/hive/apache-hive-1.1.0-bin/lib/hive-jdbc-1.1.0-standalone.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
    SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
    [ERROR] Terminal initialization failed; falling back to unsupported
    java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected
            at jline.TerminalFactory.create(TerminalFactory.java:101)
            at jline.TerminalFactory.get(TerminalFactory.java:158)
            at jline.console.ConsoleReader.<init>(ConsoleReader.java:229)
            at jline.console.ConsoleReader.<init>(ConsoleReader.java:221)
            at jline.console.ConsoleReader.<init>(ConsoleReader.java:209)
            at org.apache.hadoop.hive.cli.CliDriver.getConsoleReader(CliDriver.java:773)
            at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:715)
            at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:675)
            at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:615)
            at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
            at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
            at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
            at java.lang.reflect.Method.invoke(Method.java:606)
            at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
     
    原因是hadoop目录下存在老版本jline:
    /hadoop-2.5.2/share/hadoop/yarn/lib:
    -rw-r--r-- 1 root root   87325 Mar 10 18:10 jline-0.9.94.jar
     
    解决方法是:
    将hive下的新版本jline的JAR包拷贝到hadoop下:
    cp /hive/apache-hive-1.1.0-bin/lib/jline-2.12.jar ./
     
    /hadoop-2.5.2/share/hadoop/yarn/lib:
    -rw-r--r-- 1 root root   87325 Mar 10 18:10 jline-0.9.94.jar.bak
    -rw-r--r-- 1 root root  213854 Mar 11 22:22 jline-2.12.jar
     
    hive cli启动成功:
    root@ubuntu:/hive# hive


### Hive MySQL 驱动包下载及配置方法 #### 1. 下载合适的MySQL驱动包 为了使Hive能够成功连接到MySQL作为元数据存储,需要下载适合的MySQL JDBC驱动包。通常推荐使用`mysql-connector-java-5.1.x.jar`版本,因为这些版本已被广泛测试并证明大多数Hive版本兼容[^2]。 可以通过Maven中央仓库或其他可信源下载所需的JAR文件。例如: ```bash wget http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.38/mysql-connector-java-5.1.38.jar ``` 如果使用的是较新版本的Hive(如3.1.2),则建议验证其文档中的具体依赖需求,并选择匹配的MySQL驱动版本[^3]。 #### 2. 将驱动放置于适当位置 下载完成后,需将此`.jar`文件复制至Hive安装路径下的`lib`目录中。假设Hive已部署在`/usr/local/hive`下,则可执行以下命令完成操作: ```bash cp mysql-connector-java-5.1.38.jar /usr/local/hive/lib/ ``` 这一步骤确保了Hive运行时能加载必要的类库以支持MySQL交互功能[^1]。 #### 3. 修改Hive配置文件 编辑Hive的核心配置文件`hive-site.xml`,设置指向MySQL实例的相关参数。典型条目应包含但不限于以下几个选项: ```xml <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive_metastore?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>password</value> </property> ``` 上述XML片段定义了如何访问为`hive_metastore`的数据库;其中`ConnectionURL`指定了目标地址、端口和服务,而其他字段分别对应所用驱动称及其认证凭证信息[^4]。 #### 4. 测试连接有效性 启动Hive CLI或者Beeline客户端尝试初始化环境,观察是否存在异常日志输出表明无法找到正确的驱动程序或因权限不足而导致失败的情况发生。正常情况下应该可以看到系统自动创建默认表结构的过程。 --- ### 注意事项 尽管存在第三方提供的ODBC解决方案用于更复杂的跨平台场景处理,但对于标准内部网络环境下单纯依靠Java层面上实现的关系型数据库对接而言,直接采用官方发布的Connector/J往往是更为简便可靠的选择[^5]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值