- 博客(2)
- 收藏
- 关注
RSS订阅原创 YARN小计（简单版）
2Resource Manager 为Application Master分配一个container，与对应的Node Manger通信，在上面启动这个container，启动运行Appllication Master程序。5Application Master领取资源后，与对应的Node Manger通信，要求其启动对应的container。是每台机器的框架代理，管理单个节点的资源和任务，比如负责容器，监控其资源使用情况（cpu，内存，磁盘，网络等）（相当于子线程）仅负责自己的计算任务。
2024-08-25 20:36:51
449
原创 hive优化及性能调优小记
一.语法优化： 1.谓词下推：1. 对于 Join(Inner Join)、Full outer Join，条件写在 on 后面，还是 where 后面，性能上面没有区别，join 谓词下推都生效，Full outer Join 都不生效；Bucket Map join 两张表都大表，都是分桶表，关联字段为分桶字段，一张表的分桶数为另一张的整数倍。2.join优化：Map join 大表join小表，使用 两个只有map阶段的job，第一个由小表创建hash表，第二个读小表数据，与大表关联。
2024-08-01 20:30:25
446
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人