Hadoop
关注
分享
扫一扫
allenhaohao
乐呵乐呵 得了
男人 fighting
展开
-
Hadoop 的学习
Configuration:实现了Iterable和Writable两个接口,有个静态方法待续...原创 2011-11-15 21:46:46 · 312 阅读 · 0 评论 -
hadoop 配置项的调优
dfs.block.size 决定HDFS文件block数量的多少(文件个数),它会间接的影响Job Tracker的调度和内存的占用(更影响内存的使用),mapred.map.tasks.speculative.execution=true mapred.reduce.tasks.speculative.execution=true这是两个推测式执行的配置项,默认是tr翻译 2011-11-02 20:55:21 · 1004 阅读 · 1 评论 -
Hadoop_HDFS 小文件
小文件是指文件size小于HDFS上block大小的文件, 在HDFS中,任何Block,文件或者目录在内存中均以对象的形式存储, 每个对象约占150B 如果有10,000,000 个小文件每个文件占用一个block,则namenode大约需要2G的空间,存储1亿个文件则namenode需要20G空间,访问大量小文件,需要不断从一个datanode跳到另一个datanode,严重影响性能,每一转载 2011-11-05 19:10:14 · 975 阅读 · 0 评论