八天学会hadoop (1) 数据同步 rpc

最新推荐文章于 2024-07-29 21:51:36 发布

原创最新推荐文章于 2024-07-29 21:51:36 发布 · 1.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #基本概念

大数据学习专栏收录该内容

10 篇文章

订阅专栏

本文详细介绍了Hadoop中从HDFS下载文件到本地的流程，包括获取HDFS输入流和本地文件输出流的过程。同时，深入解析了Hadoop数据同步机制，涉及元数据信息的更新与合并。最后，探讨了RPC底层实现，通过具体实例说明了两台服务器间控制器服务的调用过程。

1 hadoop 下载hdfs文件到本地

拿到hdfs的输入流(把hdfs的文件搬运到内存) 拿到本地文件输出流(java)把内存搬运到本地文件

2 hadoop 数据同步的过程

元数据信息指的是文件的大小名称修改时间地址创建时间等等

edits 文件与fsimage文件合并在 secondary namenode里面

3 rpc 底层原理

如图为两台服务器的controller service。controller service 各在一台服务器上，rpc调用需要一个中间接口 LoginServiceInterface controller 所在服务器有个代理类proxy 实现了中间接口，调用login方法时被劫持，调用socket sendmsg方法右边service服务器有个动态代理对象(真正调用Login方法还是impl对象本身)接受参数返回结果。