笔记
关注
分享
扫一扫
文章平均质量分 61
ghyscn
这个作者很懒，什么都没留下…
展开
-
Atlas 2.1.0打包兼容hive2.1.1-cdh6.2.0 修改源码
Atlas 2.1.0打包兼容hive2.1.1-cdh6.2.0修改源码原创 2023-02-09 15:35:52 · 223 阅读 · 0 评论 -
hadoop调优及常用调优参数
hadoop调优及常用调优参数MapReduce跑的慢的原因MapReduce程序效率的瓶颈在于两点:1.计算机性能cpu,内存,磁盘健康,网络2.I/O操作优化数据倾斜Map和Reduce数设置不合理Map运行时间过长,导致Reduce等待过久小文件过多大量不可切片的超大压缩文件Spill次数过多等Merge次数过多…MapReduce优化方法MapReduce优化方法主要从六个方面考虑：数据输入Map阶段Reduce阶段I/O传输数据倾斜问题常用调优参数原创 2021-09-17 20:47:28 · 219 阅读 · 0 评论