本文探讨了Hadoop配置中的两个关键参数：tasktracker.http.threads和mapred.reduce.parallel.copies。tasktracker.http.threads指的是每个tasktracker用于服务map数据到reducer的工作线程数量，而mapred.reduce.parallel.copies则决定了reduce任务从多个map任务并行拉取数据的线程数。理解这两个参数有助于优化Hadoop集群的性能。
看hadoop权威指南，配置调优中tasktracker.http.threads与mapred.reduce.parallel.copies说明分别是
tasktracker.http.threads：每个tasktracker的工作线程数，将map数据输出到reducer
mapred.reduce.parallel.copies：复制map输出数据的线程数
对这个说明不是很理解，后来经过研究其它资料，找到说明如下，立即就明白了：
tasktracker.http.threads：决定作为server端的map用于提供数据传输服务的线程数
mapred.reduce.parallel.copies：决定作为client端的reduce同时从map端拉取数据的并行度（一次同时从多少个map拉数据）
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
