- 博客(3)
- 收藏
- 关注
RSS订阅原创 PySpark程序与Spark的交互流程:client on Spark集群
5-Driver拿到具体的资源分配方案以后，连接到具体的Worker从节点上面。(PY4J是一个让Python程序能够动态访问Java虚拟机(JVM)中Java对象的库，同时也支持Java程序回调Python对象,就是把Python代码转换成Java)2-Driver进程启动以后，执行main函数，首先创建SparkContext对象，但是发现是Python代码，底层是基于PY4J，映射转换为Java代码。4-主节点接收到资源申请以后，根据资源要求，进行资源分配，底层是基于FIFO方式（先进先出）。
2025-03-31 14:37:35
401
原创 Hadoop如何实现高可用:DFSZKFailoverController
ZKFC是一个ZooKeeper故障转移控制器，专门用于管理HDFS高可用集群中NameNode的自动故障转移。它解决了传统Hadoop中NameNode单点故障的问题。
2025-03-30 15:36:25
521
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人