Hadoop、Hive 参数说明

本文详细介绍了在Hadoop和Hive中调整参数的经验,特别是针对mapreduce任务的优化。Hadoop的HADOOP_PID_DIR设置防止停止服务时找不到PID,fs.defaultFS定义默认文件系统,mapreduce.map.java.opts用于避免内存溢出问题。在Hive中,关注压缩配置如hive.exec.compress.output、avro.output.codec和parquet.compression,以及parquet.block.size对性能的影响。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

最近在用破机器跑mapreduce任务,部署的是社区版hadoop,参数都要手动调整。虽然hadoop已经火了很久了,但是网上关于参数的介绍基本都处于’语焉不详’的状态,大部分还都是无责任转载,哪个版本都有。

这个帖子记录一下最近调参数对mapreduce任务的影响,结合hadoop官方文档,尽量对涉及到的参数有比较正确详细的解释。
这篇文章随着研究的深入些,随时更新

Hadoop参数

hadoop-env.sh

HADOOP_PID_DIR

保存hadoop的pid的文件路径,默认设置为系统的临时目录,定期清空。不修改的话,用stop-hdfs.sh或者stop-yarn.sh的时候可能会出现找不到pid的情况。

core-site.xml

**fs.defaultFS

默认的文件系统,很常用的参数,不多说了

**

hdfs-site.xml

yarn-site.xml

mapreduce-site.xml

mapreduce.map.java.opts

这个参数很重要。如果遇到执行map任务的时候发生java heap space问题任务被杀掉,但是查看log发现申请的内存明明没有用满的情况,很可能是这个参数的原因。我就遇到了上面这个问题,无论修改其它哪个内存配置都不能解决,最后把这个参数设置为-Xmx1024m就ok了。他可以设置的比mapreduce.map.memory.mb还要大,甚至设置的比物理可用内存还要大,此时会使用虚拟内存。但是设置的超过可用虚拟内存大小的话,可能会因为申请了超过门限的内存而被yarn干掉。

基于hadoopHive数据仓库JavaAPI简单调用的实例,关于Hive的简介在此不赘述。hive提供了三种用户接口:CLI,JDBC/ODBC和 WebUI CLI,即Shell命令行 JDBC/ODBC 是 Hive 的Java,与使用传统数据库JDBC的方式类似 WebGUI是通过浏览器访问 Hive 本文主要介绍的就是第二种用户接口,直接进入正题。 1、Hive 安装: 1)hive的安装请参考网上的相关文章,测试时只在hadoop一个节点上安装hive即可。 2)测试数据data文件'\t'分隔: 1 zhangsan 2 lisi 3 wangwu 3)将测试数据data上传到linux目录下,我放置在:/home/hadoop01/data 2、在使用 JDBC 开发 Hive 程序时, 必须首先开启 Hive 的远程服务接口。使用下面命令进行开启: Java代码 收藏代码 hive --service hiveserver >/dev/null 2>/dev/null & 我们可以通过CLI、Client、Web UI等Hive提供的用户接口来和Hive通信,但这三种方式最常用的是CLI;Client 是Hive的客户端,用户连接至 Hive Server。在启动 Client 模式的时候,需要指出Hive Server所在节点,并且在该节点启动 Hive Server。 WUI 是通过浏览器访问 Hive。今天我们来谈谈怎么通过HiveServer来操作Hive。   Hive提供了jdbc驱动,使得我们可以用Java代码来连接Hive并进行一些类关系型数据库的sql语句查询等操作。同关系型数据库一样,我们也需要将Hive的服务打开;在Hive 0.11.0版本之前,只有HiveServer服务可用,你得在程序操作Hive之前,必须在Hive安装的服务器上打开HiveServer服务,如下: 1 [wyp@localhost/home/q/hive-0.11.0]$ bin/hive --service hiveserver -p10002 2 Starting Hive Thrift Server 上面代表你已经成功的在端口为10002(默认的端口是10000)启动了hiveserver服务。这时候,你就可以通过Java代码来连接hiveserver,代码如下:
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值