- 博客(2)
- 收藏
- 关注
RSS订阅原创 Mapreduce,Yarn,HDFS流程图(含部分源码解释)
Mapreduce,Yarn,HDFS流程图(含部分源码解释) 理解版 给大家推荐一个流程图工具:draw.io,需要上图.xml原文件,欢迎留言
2021-03-24 10:52:46
276
1
原创 Hadoop ＜MapReduce优化方法＞
Hadoop <MapReduce优化方法> MapReduce优化方法主要从六个方面考虑： 数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。 数据输入 （1）合并小文件：在执行MR任务前将小文件进行合并，大量的小文件会产生大量的Map任务，增大Map任务装载次数，而任务的装载比较耗时，从而导致MR运行较慢。 （2）采用CombineTextInputFormat来作为输入，解决输入端大量小文件场景。 Map阶段 （1）减少溢写（Spill）次数：通过调
2021-03-17 01:15:25
178
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人