HIVE使用本地模式执行操作

最新推荐文章于 2025-10-11 18:30:28 发布
原创 最新推荐文章于 2025-10-11 18:30:28 发布 · 6.9k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #hive本地模式执行MR

博客指出将Hive的Job交给Yarn执行速度慢，而Hive支持本地模式。默认情况下，hive.exec.mode.local.auto为false，可通过设置为true开启本地模式，并给出测试例子，对比非本地模式和本地模式的执行情况。

将hive的Job交给yarn执行太慢，hive支持本地模式

set hive.exec.mode.local.auto=true;默认为false

测试例子：

试验：先创建一张表，指定文件格式为sequencefile
create table t_seq(id int, name string, addr string)
stored as sequencefile;
然后往表中插入数据，hive就会生成sequence文件插入表目录中
insert into table t_seq
select * from t_1;

 

非本地模式：（执行很慢）

0: jdbc:hive2://master.hadoop:10000> create table t_seq(id int, name string, addr string)
0: jdbc:hive2://master.hadoop:10000> stored as sequencefile;
No rows affected (0.936 seconds)
0: jdbc:hive2://master.hadoop:10000> desc t_seq;
+-----------+------------+----------+--+
| col_name  | data_type  | comment  |
+-----------+------------+----------+--+
| id        | int        |          |
| name      | string     |          |
| addr      | string     |          |
+-----------+------------+----------+--+
3 rows selected (0.271 seconds)
0: jdbc:hive2://master.hadoop:10000> insert into table t_seq
0: jdbc:hive2://master.hadoop:10000> select * from t_1;
INFO  : Number of reduce tasks is set to 0 since there's no reduce operator
INFO  : number of splits:1
INFO  : Submitting tokens for job: job_1535503381660_0001
INFO  : The url to track the job: http://master.hadoop:8088/proxy/application_1535503381660_0001/
INFO  : Starting Job = job_1535503381660_0001, Tracking URL = http://master.hadoop:8088/proxy/application_1535503381660_0001/
INFO  : Kill Command = /apps/hadoop-2.8.0//bin/hadoop job  -kill job_1535503381660_0001
INFO  : Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 0
INFO  : 2018-08-29 09:34:51,400 Stage-1 map = 0%,  reduce = 0%
INFO  : 2018-08-29 09:35:50,891 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 2.8 sec
INFO  : MapReduce Total cumulative CPU time: 2 seconds 800 msec
INFO  : Ended Job = job_1535503381660_0001
INFO  : Stage-4 is selected by condition resolver.
INFO  : Stage-3 is filtered out by condition resolver.
INFO  : Stage-5 is filtered out by condition resolver.
INFO  : Moving data to: hdfs://ns/user/hive/warehouse/mydb.db/t_seq/.hive-staging_hive_2018-08-29_09-33-06_088_8510141274510902888-1/-ext-10000 from hdfs://ns/user/hive/warehouse/mydb.db/t_seq/.hive-staging_hive_2018-08-29_09-33-06_088_8510141274510902888-1/-ext-10002
INFO  : Loading data to table mydb.t_seq from hdfs://ns/user/hive/warehouse/mydb.db/t_seq/.hive-staging_hive_2018-08-29_09-33-06_088_8510141274510902888-1/-ext-10000
INFO  : Table mydb.t_seq stats: [numFiles=1, numRows=6, totalSize=249, rawDataSize=84]
No rows affected (173.614 seconds)
0: jdbc:hive2://master.hadoop:10000> 
0: jdbc:hive2://master.hadoop:10000> show tables;
+-----------+--+
| tab_name  |
+-----------+--+
| t_1       |
| t_seq     |
+-----------+--+
2 rows selected (0.237 seconds)
0: jdbc:hive2://master.hadoop:10000> select * from t_seq;
+-----------+-------------+-------------+--+
| t_seq.id  | t_seq.name  | t_seq.addr  |
+-----------+-------------+-------------+--+
| 1         | user1       | 123123      |
| 2         | user2       | 123123      |
| 3         | user3       | 123123      |
| 1         | user1       | 123123      |
| 2         | user2       | 123123      |
| 3         | user3       | 123123      |
+-----------+-------------+-------------+--+
6 rows selected (0.28 seconds)
0: jdbc:hive2://master.hadoop:10000>

本地模式：（注意执行之前添加这句set hive.exec.mode.local.auto=true;）

0: jdbc:hive2://master.hadoop:10000> drop table t_seq;
No rows affected (0.474 seconds)
0: jdbc:hive2://master.hadoop:10000> create table t_seq(id int, name string, addr string)
0: jdbc:hive2://master.hadoop:10000> stored as sequencefile;
No rows affected (0.236 seconds)
0: jdbc:hive2://master.hadoop:10000> desc t_seq;
+-----------+------------+----------+--+
| col_name  | data_type  | comment  |
+-----------+------------+----------+--+
| id        | int        |          |
| name      | string     |          |
| addr      | string     |          |
+-----------+------------+----------+--+
3 rows selected (0.225 seconds)
0: jdbc:hive2://master.hadoop:10000> set hive.exec.mode.local.auto=true;
No rows affected (0.055 seconds)
0: jdbc:hive2://master.hadoop:10000> insert into table t_seq
0: jdbc:hive2://master.hadoop:10000> select * from t_1;
INFO  : Number of reduce tasks is set to 0 since there's no reduce operator
INFO  : number of splits:1
INFO  : Submitting tokens for job: job_local1471930920_0001
INFO  : The url to track the job: http://localhost:8080/
INFO  : Job running in-process (local Hadoop)
INFO  : 2018-08-29 09:42:15,722 Stage-1 map = 100%,  reduce = 0%
INFO  : Ended Job = job_local1471930920_0001
INFO  : Stage-4 is selected by condition resolver.
INFO  : Stage-3 is filtered out by condition resolver.
INFO  : Stage-5 is filtered out by condition resolver.
INFO  : Moving data to: hdfs://ns/user/hive/warehouse/mydb.db/t_seq/.hive-staging_hive_2018-08-29_09-42-13_245_3754575447692258889-1/-ext-10000 from hdfs://ns/user/hive/warehouse/mydb.db/t_seq/.hive-staging_hive_2018-08-29_09-42-13_245_3754575447692258889-1/-ext-10002
INFO  : Loading data to table mydb.t_seq from hdfs://ns/user/hive/warehouse/mydb.db/t_seq/.hive-staging_hive_2018-08-29_09-42-13_245_3754575447692258889-1/-ext-10000
INFO  : Table mydb.t_seq stats: [numFiles=1, numRows=6, totalSize=249, rawDataSize=84]
No rows affected (3.024 seconds)
0: jdbc:hive2://master.hadoop:10000> show tables;
+-----------+--+
| tab_name  |
+-----------+--+
| t_1       |
| t_seq     |
+-----------+--+
2 rows selected (0.068 seconds)
0: jdbc:hive2://master.hadoop:10000> select * from t_seq;
+-----------+-------------+-------------+--+
| t_seq.id  | t_seq.name  | t_seq.addr  |
+-----------+-------------+-------------+--+
| 1         | user1       | 123123      |
| 2         | user2       | 123123      |
| 3         | user3       | 123123      |
| 1         | user1       | 123123      |
| 2         | user2       | 123123      |
| 3         | user3       | 123123      |
+-----------+-------------+-------------+--+
6 rows selected (0.281 seconds)
0: jdbc:hive2://master.hadoop:10000>

 

Hive安装配置 - 本地模式
howard2005的专栏
11-20 1772
在Hadoop分布式集群上安装配置本地模式的Hive
优化 | Hive 本地执行模式
SmartSi
08-14 908
Hive本地执行模式是一种优化小数据查询性能的轻量级方案。当满足输入数据量小于128MB且任务数少于4个时，Hive可自动在单机执行查询，避免了启动分布式MapReduce作业的系统开销。通过配置hive.exec.mode.local.auto等参数可启用该模式，测试显示本地模式查询耗时仅7.5秒，而远程模式需要89秒。本地模式特别适合处理小规模数据查询，能显著减少资源占用和执行时间。该功能自Hive 0.7.0版本引入，可通过临时SQL设置或修改hive-site.xml实现永久配置。
hive开启本地模式执行
cihongmo6452的博客
10-13 347
先讲一个hive使用的一个小技巧。对于使用惯了oracle数据库的人来说，hive中没有dual啊，想验证一些函数的执行结果很是麻烦。 比如我们在oracle数据库里面可以写select (1+2) from dual可以返回3。 为了保证使用习惯，我们类似的在hive中也建一张dual表...
hive的一些优化配置
最新发布
weixin_62206215的博客
10-11 951
以上三种参数设置方式优先级如下：会话参数设置>命令行参数设置>配置文件设置。
Hive本地模式搭建
url_list的博客
03-15 3742
查看本地是否安装了mysql [root@hadoop104 servers]# rpm -qa | grep mysql mysql57-community-release-el7-10.noarch mysql-community-libs-5.7.37-1.el7.x86_64 mysql-community-client-5.7.37-1.el7.x86_64 mysql-community-common-5.7.37-1.el7.x86_64 mysql-community-libs-compat
hive设置本地执行方式
qq_43759478的博客
07-05 2309
假如hive中的SQL语句执行时间太长，可以设置本地执行方式，设置本地执行模式可以优化执行速度，数据量小的时候，使用本地模式：。以上这些配置，都可以写在 hive 的conf 下的 .hiverc 文件中，当hive启动的时候，就会加载。在hive的配置文件 hive-env.sh中将一些配置注释解开。
配置HIVE执行的本地模式
传物易人
07-21 570
自0.7版本后Hive开始支持任务执行选择本地模式(local mode)，如此一来，对数据量比较小的操作，就可以在本地执行，这样要比提交任务到集群执行效率要快很多。 配置如下参数，可以开启Hive的本地模式： hive> set hive.exec.mode.local.auto=true;(默认为false) 当一个job满足如下条件才能真正使用本地模式： ...
Hive>本地模式
qq_44509920的博客
12-02 356
本地模式 大多数的Hadoop Job是需要Hadoop提供的完整的可扩展性来处理大数据集的。不过，有时Hive的输入数据量是非常小的。在这种情况下，为查询触发执行任务时消耗可能会比实际job的执行时间要多的多。对于大多数这种情况，Hive可以通过本地模式在单台机器上处理所有的任务。对于小数据集，使用本地模式执行时间可以明显被缩短。 用户可以通过设置hive.exec.mode.local.au...
Hive优化（提高hive运行速度）
01-20
一、Hive 使用本地模式执行操作 在默认情况下，当 Hive 作业的资源需求超过20MB 时，它会将任务提交到 YARN（Hadoop 的资源管理系统）进行分布式处理。然而，对于小型任务来说，这种分布式处理方式可能会引入不必要...
【Hive面试必知】Hive的三种运行模式详解：本地模式、MapReduce模式与Tez、Spark模式
IT成长日记的博客
05-09 1276
Hive作为Hadoop生态系统中的数据仓库工具，提供了三种核心运行模式以适应不同场景的需求。本地模式（Local Mode）适合小数据量测试和快速验证，无需依赖Hadoop集群，但性能有限。MapReduce模式（MR Mode）适用于大规模批处理，具有高容错性，但延迟较高。Tez/Spark模式则适合交互式查询和低延迟场景，通过DAG优化和内存计算提升性能，但资源占用较大。
Hive本地模式
shengpli′s blog
06-09 3372
一、原理本地运行map-reduce作业。这对于在小型数据集上运行查询非常有用 - 在这种情况下，本地模式的执行通常比向大型集群提交​​作业要快得多。从HDFS透明地访问数据。相反，本地模式只能运行一个reducer，处理较大的数据集可能非常慢。二、配置1.完全本地模式 从0.7版本开始，Hive完全支持本地模式的执行。对于所有mapreduce任务都以本地模式运行，要启用此功能，用户可以启用以下
hive使用本地模式
热门推荐
wisgood的专栏
12-17 3万+
hive使用本地模式
Hive-2.1.1的本地模式和远程模式部署
evenljj的博客
12-21 1140
首先到hive的官网下载hive：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/ 本地化部署Hive，需要mysql的支持，我们先介绍安装mysql的步骤： 1. sudo apt-get update获取最新的软件包列表； 2. sudo apt-get install mysql-server下载并安装mysql服务器端，需要设置ro
Hive 调优 本地模式
大数据流浪法师的学习笔记与分享
11-28 637
本地模式 本地模式就是不上传集群，在本节点上运行。 大多数的Hadoop Job是需要Hadoop提供的完整的可扩展性来处理大数据集的。 不过，有时Hive的输入数据量是非常小的。 在这种情况下，为查询触发执行任务时消耗可能会比实际job的执行时间要多的多。 对于大多数这种情况，Hive可以通过本地模式在单台机器上处理所有的任务。 对于小数据集，使用本地模式执行时间可以明显被缩短。 用户可以通过设...
Hive调优之 本地模式
哈
03-02 1645
大多数的Hadoop Job是需要Hadoop提供完整的可扩展性来处理数据的。不过，有时Hive的输入数据量是非常小的。在这种情况下，为查询而触发执行任务消耗的时间可能会比实际job的执行时间要多的多。 对于大多数这种情况，Hive可以通过本地模式在单台机器上处理所有的任务。 本地模式对于小数据集，执行时间可以明显被缩短。 用户可以通过设置hive.exec.mode.local.auto的值为t...
Hive开启本地模式的命令
夜归人的博客
06-01 2627
Hive开启本地模式的命令 SET hive.exec.mode.local.auto=true; 自动开启本地模式的方式 1、在hive的配置文件目录下，创建 .hiverc ，默认所有用户都可以使用这个配置，更改hive配置会影响此文件 路径 ： /etc/hive/conf 2、将set hive.exec.mode.local.auto=true; 这个设置增加到你的$HOME/.hiverc配置文件中 3、远程模式时间消耗长的原因？ #大多数的Hadoop job是需要hadoop提供的完整的可
hive优化之参数调优
xingdianp的博客
10-17 4000
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 hive优化之参数调优 1、hive参数优化之默认启用本地模式 启动hive本地模式参数，一般建议将其设置为true，即时刻
Hive（十）Hive性能调优总结
dengshuabi6933的博客
08-12 3777
一、Fetch抓取 1、理论分析 Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。 在hive-default.xml.template文件中hive.fetch.task.conv...
HiveQL： 数据操作
Michael是个半路程序员
04-08 798
文章目录1. 向管理表中装载数据2. 通过查询语句向表中插入数据3. 动态分区插入 学习自《Hive编程指南》 1. 向管理表中装载数据 hive (default)> load data local inpath "/home/hadoop/workspace/student.txt" > overwrite into table student1; 分区表可以跟 partition (key1 = v1, key2 = v2, …) 有 local ：复制本地路
hive本地模式
08-02
Hive支持本地模式（Local Mode）的执行，这种模式适合在单机环境下进行测试或处理小规模数据。本地模式通过将MapReduce任务直接在本地运行，而非提交到Hadoop集群，从而减少资源开销和提升执行效率。以下是Hive本地模式的配置方法和使用指南。 ### 配置Hive本地模式 1. **修改Hive配置文件** 在`hive-site.xml`文件中添加或修改以下配置项以启用本地模式： ```xml <property> <name>hive.exec.mode.local.auto</name> <value>true</value> <description>启用自动本地模式执行</description> </property> ``` 通过设置`hive.exec.mode.local.auto`为`true`，Hive将根据数据量和任务复杂度自动决定是否使用本地模式执行任务[^1]。 2. **设置本地模式的最大输入数据量** Hive本地模式适用于小规模数据集，因此可以通过以下参数限制输入数据的大小： ```xml <property> <name>hive.exec.mode.local.auto.inputbytes.max</name> <value>134217728</value> <description>自动本地模式下输入数据的最大字节数，默认为128MB</description> </property> ``` 上述配置限制了Hive在自动本地模式下处理的最大输入数据量，默认值为128MB。如果输入数据量超过此限制，Hive将回退到集群模式执行。 3. **设置本地模式的最大任务数** 为了控制本地模式的任务复杂度，可以设置任务的最大数量： ```xml <property> <name>hive.exec.mode.local.auto.tasks.max</name> <value>4</value> <description>自动本地模式下任务的最大数量，默认为4</description> </property> ``` 上述配置限制了本地模式下并行执行的任务数量，默认值为4。如果任务数量超过此限制，Hive将不再使用本地模式[^1]。 ### 使用Hive本地模式 在Hive查询执行时，可以通过HiveQL语句动态启用本地模式，而无需更改配置文件。例如，在Hive命令行界面中执行以下命令： ```sql SET hive.exec.mode.local.auto=true; SET hive.exec.mode.local.auto.inputbytes.max=134217728; SET hive.exec.mode.local.auto.tasks.max=4; ``` 上述命令在当前会话中启用了本地模式，并设置了输入数据量和任务数的限制。这种方式适用于临时测试或调试场景[^2]。 ### 验证本地模式是否生效 执行查询后，可以通过查看Hive的执行日志或任务信息验证本地模式是否生效。如果任务未提交到Hadoop集群，并且执行时间明显缩短，则说明本地模式已成功启用。 例如，执行以下查询： ```sql SELECT * FROM x; ``` 如果查询结果返回迅速且未出现Hadoop任务日志，则表示任务已通过本地模式执行。 ### 注意事项 - **数据规模限制**：本地模式适用于小规模数据处理，大规模数据仍需使用Hadoop集群模式。 - **性能优化**：适当调整`hive.exec.mode.local.auto.inputbytes.max`和`hive.exec.mode.local.auto.tasks.max`参数，以匹配实际数据量和任务需求。 - **兼容性**：确保Hive版本支持本地模式特性，部分旧版本可能需要手动编译或更新。 通过上述配置和使用方法，可以在Hive中启用本地模式，从而在单机环境下高效处理小规模数据集。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值