thrift客户端复用链接性能掉坑记之源码分析

最新推荐文章于 2025-06-28 14:00:00 发布
原创 最新推荐文章于 2025-06-28 14:00:00 发布 · 512 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了Apache Thrift的TThreadedSelectorServer在处理长链路通信时的机制，揭示了一请求一应答模式下，服务器如何通过读写事件的注册与取消，实现对长链接的有效利用。分析表明，该模式下长链接并非完全复用，而是每次请求后重新等待下一次请求。

这是分析长链掉坑里源码:

accept之后只注册了read

 

这个不是最重点,看看读吧,这是重点

org.apache.thrift.server.AbstractNonblockingServer.FrameBuffer#read

 

基本是正常读了一个Frame后就不读了,就是不关注读的事了

重点来了,什么时候再开始呢?

我们来看下写

需要判断 buffer的状态的时候才会去注册写事件

继续看这个buffer的状态

org.apache.thrift.server.AbstractNonblockingServer.FrameBuffer#responseReady

再看看写buffer,这就知道整个的模式了吧,整理如下

1 客户端先发一个Req

2 server端在对这个发Req的链接已经注册了读事件

3 server收到这一个完整的Req,不管还有没有其它的req,先不继续管read事件了

4 server端处理完后,改写buffer的状态,并注册了写事件

5 server端写回去,这才再开始下一轮...

结论是对一个长链接,压根是不可复用的...至少

TThreadedSelectorServer的内部实现模式上看基本就是走的一请求一应答然后再往下的意思

 

 

 

 

 

 

深度剖析后端领域的 Thrift 性能优势
架构师的AI之路，分享AI应用开发架构的学习与实践。
06-06 712
本文聚焦“Thrift的性能优势”这一核心主题，覆盖Thrift的基础原理、性能优化关键点（如序列化效率、协议设计、连接管理）、与其他RPC框架的对比分析，以及实际项目中的性能测试数据。目标是帮助开发者理解Thrift为何能在后端通信中保持高性能，并掌握其优化技巧。用“快递运输”类比Thrift核心组件，降低理解门槛；拆解Thrift的序列化、协议、连接管理三大性能引擎；通过Python/Java代码示例演示Thrift服务实现，并对比JSON/Protobuf的性能；
相关业务问题+系统问题+设计问题整理统计
热门推荐
曾经“等你生日那天”都遥远得像未来，如今却可欢愉的挥手说“下个十年见”
04-07 171万+
业务系统及其他相关面试问题整理：线上相关问题排查+高并发系统的限流+高并发秒杀系统设计+负载均衡+一个网站有 20 亿 url 存在一个黑名单中，这个黑名单要怎么存？若此时随便输入一个 url，你如何快速判断该 url 是否在这个黑名单中？并且需在给定内存空间（比如：500M）内快速判断出？
thrift客户端复用链接性能掉坑记
hahe2010的专栏
10-23 1575
1 这次thrift是为了在一个特殊的场景下，我想在客户端来个复用，其实和dubbo在客户端复用连接是一个道理．直接用netty撸一个客户端出来(因为rpc方法只有两个)． 很快撸出来了，能跑．．．爽． 2 嗯，拿出jmeter出来试试调用速度，毕竟不要跟我说单线程能跑就是能跑了．．．．．   我把业务场景用一个sleep 500-1000毫秒来模拟．   jmeter的截图没有了，现在写...
Thrift多路复用RPC(JavaSE)
blog
10-24 511
1.初识RPC 关于RPC，它能够解决不同编程语言间的服务调用与通讯问题。 【百度百科：Thrift是一种接口描述语言和二进制通讯协议，它被用来定义和创建跨语言的服务。它被当作一个远程过程调用（RPC）框架来使用，是由Facebook为“大规模跨语言服务开发”而开发的。】 【拓展：RMI 是一个良好的、特殊的RPC实现，但它适用在服务端与客户端都为JAVA语言的情况下，不可以跨语言使用。】 使用Thrift时，需要写IDL（Interface Definition Language）文件，再通过Th
Thrift 源码修改
Rocky的博客
01-04 1898
修改原因: thrfit (0.9.2版本)在生成的c#代码,如果thrift server 返回了null,生成的c#代码会抛出错误,提示 "unkown result.". 由于这个异常并不能明确说明sever端返回了null,同时个人觉得如果server端返回了null,客户端自然返回null就是了. 也就是server端返回了什么,客户端就拿到什么,而不应该报错.所以产出了修改源码的
TThreadedSelectorServer介绍及Direct Memory OOM分析
weixin_33719619的博客
05-29 249
2019独角兽企业重金招聘Python工程师标准>>> ...
thrift实战《原理》
qq_42511550的博客
04-13 1262
Thrift定义 Thrift是轻量级，跨语言的RPC框架，主要用于各个服务之间的RPC通信，最初由facebook2007开发，2008年进入Apache开源项目，它通过自身的IDL中间语言，并借助代码生成引擎，生成各种主流语言的RPC服务端，客户端代码，Thrift支持多种不同的编程语言，包括c++,java,python,rubby,erlang,haskell,c#,golang等 Thrift架构 Thrift 技术栈分层从下向上分别为：传输层，协议层，处理层和服务层 传输层（Transport
thrift源码分析（四）TProtocol数据编码协议实现与CRTP
David
10-21 2038
TProtocol是Thrift数据序列化和反序列化的工具类，与Google的ProtocolBuffer类似。 1. Thrift TProtocol介绍 可接受的数据类型 实现了的序列化格式 Thrift中实现了多种序列化格式： – TBinaryProcotol：自定义的二进制格式 – TJSONProtocol：JSON 2. TVirtualProtocol和TProtocolDefaults的源码分析 在看完TVirtualProtocol和TProtocolDefaults后，我觉得这两个
从Thrift到I/O多路复用
XuDanT的博客
07-31 923
Thrift 什么是Thrift？ Thrift是一个轻量级、跨语言的远程服务调用框架，支持C++、Java、Python、PHP、Ruby等。通过代码生成引擎自动生成RPC接口Thrift IDL文件对应的各种主流语言的RPC服务端/客户端模板代码，省去自定义和维护接口编解码、消息传输、服务器多线程模型等基础工作，服务端只需要编写接口实现类，客户端根据服务对象调用远端服务。 Thrift架构 Thrift架构从下往上为传输层、协议层、处理层和服务层。 传输层主要负责从网络中读/写数据，定义了网络
LangChain性能优化策略在源码中的具体应用(90)
最新发布
Android开发领域创作者
06-28 1066
LangChain通过批量处理多个提示来减少与大语言模型的交互次数，从而提升整体性能。在`langchain.llms.base`模块中，`LLM`基类虽然定义了单例调用接口，但具体实现类如`OpenAI`则通过`agenerate`方法支持批量生成。
Thrift/RPC学习分享
qq_36309174的博客
09-20 1520
一个完整RPC调用链路。
Thrift源码分析（五）-- FrameBuffer类分析
ITer_ZC的专栏
09-30 7331
FrameBuffer是Thrift NIO服务器端的一个核心组件，它一方面承担了NIO编程中的缓冲区的功能，另一方面还承担了RPC方法调用的职责。 FrameBufferState定义了FrameBuffer作为缓冲区的读写状态 private enum FrameBufferState { // in the midst of reading the fra
thrift java多线程非阻塞同步/异步调用实例
社会化搜索与互联网广告精准推荐
04-25 1万+
本文由larrylgq编写，转载请注明出处：http://blog.csdn.net/larrylgq/article/details/7497342 作者:吕桂强 邮箱：larry.lv.word@gmail.com 首先创建thrift文件 namespace java thriftservice Hello{  string helloString(1
RPC的框架的应用--thrift
xiaocaodeshengri的博客
05-17 891
本文是多篇文章的转载，但是经过本人的亲自实践，多谢大神的分享，有幸学的好多的东西 thrift的安装 安装镜像下载地址 http://archive.apache.org/dist/thrift/0.12.0/ 安装 1.在C盘新建一个Thtift文件夹，将下载的thrift-0.9.1.exe重新命名为thrift.exe后放到Thtift文件夹下 2.配置环境变量path 3、测试安装是否成...
记flume部署过程中遇到的问题以及解决方法（持续更新）
小麒麟的成长之路
08-21 5万+
项目需求是将线上服务器生成的日志信息实时导入kafka，采用agent和collector分层传输，app的数据通过thrift传给agent，agent通过avro sink将数据发给collector，collector将数据汇集后，发送给kafka，拓扑结构如下：现将调试过程中遇到的问题以及解决方法记录如下：1、 [ERROR - org.apache.thrift.server.Abstr...
Thrift第四课 连接中断异常处理
weixin_34310127的博客
11-09 1077
场景 Thrift框架采用了异常处理机制，当客户端异常断开连接，服务端这个时候尝试发送数据给客户端，Thrift库会抛出异常，导致进程中断。这种情况是非常正常的，服务器端应该捕获异常的发生，但是不应该异常退出。所以应该当前发送数据失败，直接返回 修改代码如下： uint32_t TSocket::write_partial(const uint8_t*...
实现Thrift客户端连接池
任何技能都是从模仿开始，逐步升华。
03-01 9644
提到池一般做过Java开发的肯定会想到ObjectPool，Apache Commons项目确实给我们的开发得来了很大的便利性，其中的pool项目正是我们实现thrift连接池的基础，当然也离不了spring。在工程中添加依赖jar包：<dependency> <groupId>org.apache.thrift</groupId> <arti...
Thrift使用入门（2） - 用Thrift实现一个简单的Server/Client应用程序
oraclestudy
07-22 428
Thrift可以实现C++、Java、Python等多种语言的自动生成，此处以C++为例。 本文共5部分，其中1,2和3部分为重点。 1. 编写[.thrift]文件 你可以google到官方的实例如下： struct Student{ 1: i32 sno, 2: string sname, 3: bool ssex, 4: i16 sage, } service S...
Thrift Server nodejs Client C# ---学习笔记
蜗牛水里爬
10-19 525
Thrift中使用Nodejs作为服务端，C#作为客户端。 1、nodejs中回调在Thrift中的处理，没仔细看文档栽了。郁闷了一会。 2、nodejs支持的模式比较少，对接的时候C#示列代码如下： C# 客户端核心代码 需要使用Thrift nugget包最新版的即可。 using (TBufferedTransport transport = new TBufferedTrans
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值