hive配置

最新推荐文章于 2024-01-26 14:50:46 发布

samwalt

最新推荐文章于 2024-01-26 14:50:46 发布

阅读量130

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签：数据库大数据 java

本文链接：https://blog.youkuaiyun.com/samwalt/article/details/84444075

hadoop 专栏收录该内容

8 篇文章

订阅专栏

本文介绍了Hive数据仓库的基本配置流程，包括Hadoop的运行模式设置、Hive数据仓库路径配置、表创建及数据加载步骤，并详细说明了如何使用MySQL作为元数据存储。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hive本身的配置还是很简单的，关键在于需要一些前提条件。

1）hadoop必须配置成伪分布模式或者集群模式
2）必须启动hadoop

hive的数据仓库路径不是本机文件系统路径，而是hdfs的路径

<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/home/hadoop/hive/warehouse</value>
  <description>location of default database for the warehouse</description>
</property>

创建表

create table visit_record(code string, created_at string, phone string, ip string)    row  format delimited fields terminated by ' ';

向hive数据仓库中加载数据

load data local inpath '/home/hadoop/hive.txt' into table visit_record;

这里的inpath是本机文件系统路径

采用mysql存储metadata

hive-site.xml文件添加如下配置：

<property>
           <name>hive.metastore.local</name>
           <value>true</value>
</property>

<property>
           <name>javax.jdo.option.ConnectionURL</name>
           <value>
            jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true
           </value>
</property>
<property>
           <name>javax.jdo.option.ConnectionDriverName</name>
           <value>com.mysql.jdbc.Driver</value>
</property>
<property>
           <name>javax.jdo.option.ConnectionUserName</name>
           <value>这里是mysql的用户名</value>
</property>
<property>
           <name>javax.jdo.option.ConnectionPassword</name>
           <value>这里是mysql的密码</value>
</property>