Hive安装配置 - 本地模式

已于 2023-11-28 09:59:56 修改
阅读量1.6k 收藏 9
点赞数
CC 4.0 BY-SA版权
分类专栏： 探索大数据-从Hadoop到Flink 文章标签： hive hadoop MySQL
于 2023-11-20 20:07:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/howard2005/article/details/134517259
本文详细介绍了如何在Hive中配置本地模式，包括删除系统自带的MariaDB，安装和配置MySQL，设置Hive与MySQL的连接，以及HiveServer2和HiveThrift的配置。还涉及了在HDFS上创建数仓目录和分发Hive到从节点的过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

一、Hive运行模式

  • Hive有三种运行模式：内嵌模式、本地模式和远程模式
    在这里插入图片描述

二、安装配置本地模式Hive

（一）安装配置MySQL

1、删除系统自带的MariaDB

在这里插入图片描述

2、上传MySQL组件到虚拟机

在这里插入图片描述

3、在主节点上安装MySQL组件

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Hive安装配置 - 内嵌模式
howard2005的专栏
10-19 815
安装配置内嵌模式Hive
Hive总结（一）Hive 2.1.0本地模式搭建教程
Santiago
01-12 3183
零．前言Apache Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 Hive有三种运行模式： 1.内嵌模式：将元数据保存在本地
Hive数据仓库---Hive的安装与配置
m0_58625397的博客
03-26 2399
Hive的安装与配置
【入门篇】HIVE的本地模式安装及远程模式配置
2503_91686028的博客
05-23 703
本文详细介绍了Hive的本地模式安装及远程模式配置步骤。Hive是一个基于Hadoop的数据仓库工具，能够将SQL语句自动编译为MapReduce任务。本地模式安装包括下载Hive压缩包、配置环境变量、修改配置文件、启动Hadoop集群、检查MySQL状态、创建并配置hive-site.xml文件、上传MySQL驱动包以及初始化元数据。远程模式配置则涉及修改hive-site.xml和core-site.xml文件，配置hiveserver2和metastore服务，并提供了多种启动方式。最后，文章提到可以
hive安装——本地模式
qq_53316208的博客
12-22 2181
步骤一、安装hive，配置环境变量 1.上传hive安装包到/opt/software/,进行解压 [hadoop@master software]$ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/apps/ 2.配置环境变量，使生效 vi /etc/profile //在最后面放入hive环境变量（只要不放入if-fi之间） export HIVE_HOME=/opt/apps/hive-1.2.1/ export PATH=$...
Hive本地模式安装部署
weixin_42947670的博客
07-29 1301
Hive本地模式安装部署 使用mysql替换derby进行元数据的存储，hive的相关进程都是在同一台机器上，即本地模式。mysql因为是独立的进程，所以mysql可以和hive在同一机器上，也可以在其他机器上。 说明： 通常使用关系型数据库来进行元数据存储（mysql、oracle等执行带jdbc驱动的数据库） 优点：支持多session 缺点：需要配置、还需要安装mysql等关系型数据库 2.2.1 配置安装mysql 安装包准备 #查看mysql是否安装，如果安装了，卸载mysql
hive-本地模式设置
weixin_44896621的博客
05-01 4649
前言 当在hive上提交mapreduce任务时，常见的管理引擎有yarn与local，默认使用集群模式yarn进行执行。当执行任务计算的文件大小与文件数相对较小时，可以开启本地模式进行执行，效率相对集群模式会更高。 查看当前hive的本地模式情况 查看本地模式是否开启：set hive.exec.mode.local.auto; 查看启用本地模式允许的最大输入文件数：set hive.exec.mode.local.auto.input.files.max; 查看启用本地模式允许的最大文件大小：set
Hive本地模式安装（详细）
阿极的博客
12-01 3417
本地模式安装采用外部数据库存储元数据，该模式不需要单独开启Metastore服务，因为本地模式使用的是和Hive在同一个进程中的Metastore服务。
hive的本地模式
First_____的博客
06-09 865
Hoodoop处理数据时,数据量小,可能会出现启动任务的mr时会比实际处理任务的时间长,Hive可以通过本地模式使用单机来处理所有的任务,对于小的数据量,执行时间会少很多. 设置 hive.exec.mode.local.auto 为true ,让hive在适当的时候启用本地模式,会减少小数据的执行时间 参数: //开启本地模式 mr set hive.exec.mode.local.auto=true; //设置 local mr 的最大输入数据量，当输入数据量小于这个值时采用 local mr 方
hive中的本地模式
dsl200970的博客
04-19 489
hive中的hql语句的执行大部分最后转化为了mr，但是执行的过程非常的慢，可以使用本地模式提高效率，不过不适合大数据量的时候。 需要开启本地模式： sethive.exec.mode.local.auto=true; 这时再去执行相同的hql时，会发现速度提高很多。但是，本地模式主要用来做调试，不能配置到hive-site.xml中，因为本地模式，会只在当前机器上执行mr，如果
Hive本地模式详解
My_wife_QBL的博客
07-29 899
Hive本地模式是Hive的运行方式之一。在这种模式下，Hive将在本地文件系统中运行，而不是在Hadoop集群中。用户可以将数据存储在本地文件系统上，例如个人电脑的硬盘驱动器中，Hive将在该环境中执行查询和数据分析任务。Hive的本地模式为用户提供了一种简单易用的数据处理和分析方式，特别适合于开发、测试和小规模数据处理。通过在本地文件系统中运行，用户可以快速验证HiveQL查询，提高开发效率。尽管本地模式在处理小规模数据时表现优异，但在面对大规模数据集时，其性能瓶颈和资源限制使得集群模式更具优势。
apache-hive-2.0.0-bin.tar.gz.zip
11-06
3. **Hive Executor**：执行实际的计算任务，可以是本地模式（适用于小规模测试），也可以是MapReduce（Hadoop的早期计算框架）或Tez（更高效的任务调度框架）。 4. **Hive CLI**：命令行接口，用户通过它提交查询。...
Hive-企业级调优(表的优化)
weixin_43586713的博客
10-20 469
表的优化小表大表Join(MapJOIN)案例实操大表 Join 大表空 KEY 过滤空 key 转换 小表大表Join(MapJOIN) 将 key 相对分散，并且数据量小的表放在 join 的左边，可以使用 map join 让小的维度表先进内存。在 map端完成 join。 实际测试发现：新版的 hive 已经对小表 JOIN 大表和大表 JOIN 小表进行了优化。小表放在左边和右边已经没有区别。 案例实操 1）需求介绍 测试大表 JOIN 小表和小表 JOIN 大表的效率 2）开启 MapJoin
hive本地模式设置
M10F的博客
05-23 952
set hive.exec.mode.local.auto=true;
hive本地模式安装
万物皆可互联，一切均可编程
06-17 361
前言 三种模式 嵌入模式，使用derby作为元数据库 本地模式，使用mysql等数据库作为元数据库，与hive安装在同一台机器上 远程模式，使用mysql等数据库作为元数据库，与hive安装在不同机器上 环境 ubuntu 18.04 mysql 5.7.30 hadoop 2.8.5 hive 2.3.7 前提条件 mysql数据库已安装 hadoop已安装，并已经配置好环境变量（hive依赖hadoop） 本地模式安装 mysql数据库 数据库用户名：root 数据库密码：root 新建一
Hive本地模式安装（傻瓜式）
TANSHENGYAO的博客
05-22 1247
安装前提： MySQL Hadoop 安装准备： MySQL中创建hive数据库 Hadoop集群启动 apache-hive-2.3.7-bin.tar.gz mysql-connector-java-5.1.49-bin.jar（在官网下载的tar文件需解压后里面才有） 安装过程： 1、 将需要的压缩包拷贝到虚拟机里（不必多说） 2、 将apache-hive-2.3.7-bin.tar.gz解压到/usr/local/ （/usr/local是我的安装目录，至于你想装哪装哪） tar -zxvf
hive及hive的本地模式
weixin_52812666的博客
11-22 1019
进入安装包文件夹 [root@moyue ~]# cd soft/ 解压 [root@moyue soft]# tar -zxvf apache-hive-2.3.7-bin.tar.gz -C /usr/local/ 更名 [root@moyue local]# mv apache-hive-2.3.7-bin.tar.gz hive 配置环境 [root@moyue local]# vim /etc/profile export HIVE_HOME=/usr/local/hive export PAT.
hive设置本地执行方式
qq_43759478的博客
07-05 2236
假如hive中的SQL语句执行时间太长，可以设置本地执行方式，设置本地执行模式可以优化执行速度，数据量小的时候，使用本地模式：。以上这些配置，都可以写在 hive 的conf 下的 .hiverc 文件中，当hive启动的时候，就会加载。在hive的配置文件 hive-env.sh中将一些配置注释解开。
Hive 2、Hive 的安装配置(本地MySql模式)
02-01 134
一、前提条件 　　安装了Zookeeper、HadoopHDFSHA 安装方法：http://www.cnblogs.com/raphael5200/p/5154325.html 二、安装Mysql 　　因为使用量多的是单用户数据库模式，并且数据库使用最多的是mysql 所以在这里选择mysql数据库； $ yum install mysql-server $ se...
ubuntu安装hive的hive-site.xml
最新发布
06-17
### Hive 配置文件 `hive-site.xml` 示例 在 Ubuntu 系统上安装 Hive 并配置 `hive-site.xml` 文件时，需要确保 Hive 的核心配置正确设置以适配 Hadoop 和其他相关组件。以下是一个典型的 `hive-site.xml` 配置示例： ```xml <configuration> <!-- 指定 Hive 元数据存储的 JDBC URL --> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive_metastore?createDatabaseIfNotExist=true</value> <description>JDBC connect string for a JDBC metastore</description> </property> <!-- 指定用于连接 MySQL 数据库的驱动程序 --> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.cj.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <!-- 指定连接 MySQL 数据库的用户名 --> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hive_user</value> <description>Username to use against metastore database</description> </property> <!-- 指定连接 MySQL 数据库的密码 --> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>hive_password</value> <description>Password to use against metastore database</description> </property> <!-- 指定 Hive 临时目录 --> <property> <name>hive.exec.scratchdir</name> <value>/tmp/hive</value> <description>HDFS directory for temporary files</description> </property> <!-- 指定 Hive 查询结果的默认存储位置 --> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> <description>Location of default database for the warehouse</description> </property> <!-- 指定是否启用 Hive 的本地模式 --> <property> <name>hive.exec.mode.local.auto</name> <value>true</value> <description>Enable local mode auto detection</description> </property> </configuration> ``` 以上配置中： - `javax.jdo.option.ConnectionURL` 定义了 Hive 元数据存储的数据库连接字符串。 - `javax.jdo.option.ConnectionDriverName` 指定了用于连接数据库的 JDBC 驱动程序名称。 - `hive.exec.scratchdir` 定义了 Hive 在运行查询时使用的临时目录。 - `hive.metastore.warehouse.dir` 定义了 Hive 默认的数据仓库目录。 此外，为了确保 Hive 能够正常工作，还需要将 MySQL JDBC 驱动程序（如 `mysql-connector-java.jar`）复制到 Hive 的 `lib` 目录下[^4]。 ### 注意事项 - 如果使用的是 MySQL 数据库作为元数据存储，请确保已安装并配置好 MySQL，并创建相应的数据库和用户。 - 配置完成后，建议重启 Hive 服务以使更改生效。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值