1.是在hdfs的配置文件中配置
2.是在app程序中设置
注意:假设配置文件的最大是 20K 最小是 10K 文件大小为72 块数就是 4
在程序中设置最大为15K 切割块数 5=72/15
在程序中设置最大为50K 错:切割块数 2=72/50 应该是4,
在程序中设置最大为5K 切割块数 15=72/15
结论: 在程序中设置 块的最大值 不能大于 配置文件中配置的最大值 否则按照配置文件的最大 值 计算

本文探讨了HDFS中文件切块的配置方法及其影响。包括如何通过配置文件及应用程序来设定文件块的最大值,并解释了程序设置不能超过配置文件所指定的最大值的原则。
1.是在hdfs的配置文件中配置
2.是在app程序中设置
注意:假设配置文件的最大是 20K 最小是 10K 文件大小为72 块数就是 4
在程序中设置最大为15K 切割块数 5=72/15
在程序中设置最大为50K 错:切割块数 2=72/50 应该是4,
在程序中设置最大为5K 切割块数 15=72/15
结论: 在程序中设置 块的最大值 不能大于 配置文件中配置的最大值 否则按照配置文件的最大 值 计算

转载于:https://www.cnblogs.com/yxnyd/p/9131040.html
3902
2205
1002
6940
2721

被折叠的 条评论
为什么被折叠?