hadoop
关注
分享
扫一扫
lbzz
不积bit, 无以成byte
展开
-
hadoop安装配置过程中的注意点
检查lib/native中是否包含snappapache 的原始hadoop 2.7.5的安装包, 不支持snapp压缩. 可以使用自行编译后的安装包.hadoop-2.7.5/bin/hadoop checknative添加环境变量export HADOOP_HOME=/export/servers/hadoop-2.7.5export PATH=:$...原创 2020-03-20 23:06:00 · 111 阅读 · 0 评论 -
YARN调度器的性能瓶颈
DataNode主机上的AppMaster向ResoureSchedule请求资源, ResoureSchedule向AppMaster返回资源. 同时这个过程是异步的.如何解决调度器调度能力不足, 计算资源浪费的问题.调度器有: 公平调度器, 和容量量调度器.公平调度器的性能瓶颈的核心原因是: 核心调度流程是单线程执行的。这意味着Container分配是串行的，这是调度器存在性能瓶颈的核...原创 2020-04-14 22:25:04 · 327 阅读 · 0 评论