
原理详解
绿萝蔓蔓绕枝生
这个作者很懒,什么都没留下…
展开
-
HDFS读写流程详细解读
HDFS读文件流程:读取文件过程简述:1、客户端向NameNode发起读数据请求;2、NameNode响应请求并告诉客户端要读的文件的数据块位置(存在哪个DataNode上);3、客户端到对应DataNode读取数据,当数据读取到达末端,关闭与这个DataNode的连接,并查找下一个数据块,直到文件数据全部读完;4、最后关闭输出流。读取文件过程详细解读:1、客户端调用FileSystem 实例的open 方法,获得这个文件对应的输入流InputStream。2、通过RPC 远程调用Name原创 2020-12-09 14:17:20 · 478 阅读 · 0 评论 -
分布式资源管理框架Yarn的工作机制(执行流程)
Yarn工作机制流程图Yarn工作机制详细介绍1.客户端提交作业,申请jobID(提交给ResourceManager中的Application Master(用于处理客户端的请求))2.ResourceManager返回一个作业ID,并将HDFS路径返回给客户端3.客户端将运行作业所需要的资源(Jar包、配置信息、分片信息等)上传到返回的HDFS路径4.客户端在次向ResourceManager发送请求,执行作业5.将请求转发到调度器(ResourceScheduler)原创 2020-12-07 20:12:33 · 324 阅读 · 0 评论