《Hadoop MapReduce实战手册》一2.6 设置HDFS块大小

最新推荐文章于 2020-07-08 17:30:09 发布

weixin_33868027

最新推荐文章于 2020-07-08 17:30:09 发布

阅读量219

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 java

原文链接：https://yq.aliyun.com/articles/97881

本文介绍了如何在Hadoop中设置HDFS块大小的方法。详细解释了通过NameNode配置文件和命令行两种方式来调整块大小的过程，并提供了使用Java API进行设置的示例。

本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第2章，第2.6节，作者：【美】Srinath Perera , Thilina Gunarathne 译者：杨卓荦责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。

2.6 设置HDFS块大小

Hadoop MapReduce实战手册
HDFS跨集群存储文件时，会把文件切分成粗粒度的、大小固定的块。默认的HDFS块大小为64 MB。数据产品的块大小会影响文件系统操作的性能，如果存储和处理非常大的文件，那么较大的块大小会更高效。数据产品的块大小会影响MapReduce计算的性能，因为Hadoop的默认行为是为输入文件中的每个数据块创建一个map任务。

操作步骤

要使用NameNode的配置文件来设置HDFS的块大小，需要在$HADOOP_HOME/conf/hdfs-
site.xml中添加或修改以下参数。块的大小用字节数提供。这种修改不会改变那些已经存储在HDFS中的文件的块大小。只有在参数修改后新复制的文件才有新的块大小。

<property>
　<name>dfs.block.size</name>
　<value>134217728</value>
</property>

要为特定的文件路径指定HDFS块大小，你可以在命令行上载文件时，通过如下参数指定块大小：

>bin/hadoopfs -Ddfs.blocksize=134217728 -put data.in /user/foo
更多参考
还可以使用HDFS Java API在创建文件时指定块大小。

publicFSDataOutputStream create(Path f,boolean overwrite, int bufferSize, 
short replication,long blockSize)

可以使用fsck命令来查找特定文件路径的块大小和数据块在HDFS中的存储位置。也可以通过从HDFS的监控控制台浏览文件系统，找到这些信息。

>bin/hadoopfsck /user/foo/data.in -blocks -files -locations
...
/user/foo/data.in 215227246 bytes, 2 block(s): ...
0. blk_6981535920477261584_1059len=134217728 repl=1 [hostname:50010]
1. blk_-8238102374790373371_1059 len=81009518 repl=1 [hostname:50010]

...