jstorm-yarn中thrift server/client的更换

最新推荐文章于 2022-08-16 18:12:14 发布

原创最新推荐文章于 2022-08-16 18:12:14 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

开源夏令营专栏收录该内容

10 篇文章

订阅专栏

本文介绍了解决JStorm-Yarn项目中Thrift通信问题的过程。作者最初尝试使用JStorm内部的ThriftServer和ThriftClient类，但发现无法正确获取MasterServer地址。最终通过使用Storm项目中的Thrift组件并进行调整，实现了MasterClient与MasterServer之间的正确通信。

由于jstorm-yarn各种命令需要通过thrift传递到appMaster执行，所以MasterServer类继续了ThriftServer类，另外写了MasterClient类继承于ThriftClient。但在storm-yarn项目中，是继承的storm项目中的ThrfitServer/Client，而在jstorm中，这两个类被改写了，刚开始我继承于jstorm中这两个类，但发现当需要连接MasterServer的时候，thriftServer会向zookeeper查询MasterServer地址，但这个名称却不是正确的MasterServer地址，从而导致连接失败。因此我转而考虑使用storm中的ThriftServer/Client类，又由于jstorm和storm中有太多类重合，同时引用jar包会造成较多冲突，所以新建了com.alibaba.jstorm.yarn.thrift包，放置原storm中的thriftServer/Client相关代码。经过调试，MasterClient终于能够找到正确的MasterServer地址并与之通信了！大功告成！！=v=