1、HDFS、YARN、MapReduce三者关系

2、需求解说
模拟RPC的客户端、服务端、通信协议三者如何工作的

3、代码编写
1)在pom.xml中增加如下依赖

2)大数据培训在项目的src/main/resources目录下,新建一个文件,命名为“log4j.properties”,在文件中填入
log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern=%d%p [%c] - %m%n log4j.appender.logfile=org.apache.log4j.FileAppender log4j.appender.logfile.File=target/spring.log log4j.appender.logfile.layout=org.apache.log4j.PatternLayout log4j.appender.logfile.layout.ConversionPattern=%d%p [%c] - %m%n
3)在HDFSClient项目基础上创建包名com.atguigu.rpc
4)创建RPC协议

5)创建RPC服务端

6)创建RPC客户端

4、测试
(1)启动服务端
观察控制台打印:服务器开始工作
在控制台Terminal窗口输入,jps,查看到NNServer服务
(2)启动客户端
观察客户端控制台打印:我是客户端
观察服务端控制台打印:服务端,创建路径/input
(3)总结
RPC的客户端调用通信协议方法,方法的执行在服务端;
通信协议就是接口规范。
本文探讨了Hadoop生态系统中的HDFS、YARN和MapReduce之间的关系,并深入剖析了如何模拟RPC服务的客户端、服务端和通信协议。通过实例,展示了如何在项目中集成RPC协议,创建服务端和客户端,以及进行测试,揭示了RPC通信的核心原理。
16

被折叠的 条评论
为什么被折叠?



