本文深入探讨了Hadoop的远程过程调用(RPC)框架，包括函数调用层的实现机制，采用的网络传输方式，以及服务端处理框架的设计。通过分析Hadoop如何将用户请求转换成字节流进行跨机传输，以及其采用的基于reactor设计模式的事件驱动I/O模型，揭示了Hadoop高效处理大规模数据的秘密。
用于将用户请求中的参数或者应答转换成字节流以便跨机传输。
函数调用层：函数调用层主要功能是：定位要调用的函数，并执行该函数，Hadoop采用了java的反射机制和动态代理实现了函数的调用。
网络传输层：网络传输层描述了Client和Server之间消息的传输方式，Hadoop采用了基于TCP/IP的socket机制。
服务端处理框架：服务端处理框架可被抽象为网络I/O处理模型，她描述了客户端和服务器端信息交互的方式，她的设计直接决定了服务器端的并发处理能力。常见的网络I/O模型有阻塞式I/O，非阻塞式I/O、事件驱动式I/O等，而Hadoop采用了基于reactor设计模式的事件驱动I/O模型
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
