- 博客(2)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark内存管理浅析
一、概述 在执行Spark的应用程序时，Spark集群会启动Driver和Executor两种JVM进程，前者为主控进程，后者负责执行具体的计算任务。Driver和Eexcutor都是JVM进程，Spark内存管理会涉及这两种进程中内存的管理操作。 二、内存区域划分 三、执行内存管理 四、缓存内存管理 ...
2022-03-31 23:25:16
2443
原创 Spark数据传输原理
一、Spark中数据传输的种类 1、shuffle远程数据读取和结果数据输出 2、driver、executor等组件进程间通信 3、文件上传下载 二、网络通信框架 1、基于netty的网络编程框架 把底层网络通信的代码独立出来放在network-common模块中，供上层rpc框架和内核模块调用。 协议：Message根据请求响应可以划分为RequestMessage和ResponseMessage两种；对于Response，根据处理结果，可以划分为Failure和Success两种类型
2022-03-17 15:09:01
2913
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人