- 博客(6)
- 收藏
- 关注
RSS订阅原创 Yarn参数调优
数据统计主要用HiveSQL，没有数据倾斜，小文件已经做了合并处理，开启的JVM重用，而且IO没有阻塞，内存用了不到50%。但是还是跑的非常慢，而且数据量洪峰过来时，整个集群都会宕掉。基于这种情况有没有优化方案。 解决办法 NodeManager内存和服务器实际内存配置尽量接近，如服务器有128g内存，但是NodeManager默认内存8G，不修改该参数最多只能用8G内存。NodeManager使用的CPU核数和服务器CPU核数尽量接近。 ①yarn.nodemanager.resource.memo
2022-07-05 17:21:00
292
原创 Hadoop参数调优
Namenode有一个工作线程池用来处理Datanode的并发心跳及客户端的并发元数据操作 调节hdfs-site.xml中dfs.namenode.handler.count的参数，默认值10。
2022-07-05 17:18:47
237
原创 Hadoop集群数据均衡
start-balancer.sh -threshold 10 集群节点相差不超过10% 尽量找一台空闲的节点启动节点平衡
2022-06-30 18:17:18
395
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人