
hadoop
wuyue_fighting
还在路上呢。。。
展开
-
hadoop中重要的配置文件详解
今天也要努力学习 1.slaves 2.core-site.xml 3.hdfs-site.xml 4.mapred-site.xml:(注意要将mapred-site.xml.template重命名为 .xml的文件) 5.Yarn-Site.xml ...原创 2019-08-15 21:02:32 · 873 阅读 · 0 评论 -
MapReduce的map数量控制详解
今天也要努力学习 在MapReduce过程中默认情况下是一个block块对应一个切片,一个切片对应一个map的,但是事实上map的数量应该是由具体的业务场景来决定的(一个块中对应了多行数据的情况下,为了提升性能可以考虑适当提高map的数量,而在有些情况比解码操作要求文件必须达到某个值时就应该考虑...原创 2019-08-18 14:23:26 · 1910 阅读 · 0 评论