pyhton=实现调用自定义模块_RocketMQ篇11：基于Netty的通信实现

最新推荐文章于 2023-06-28 14:54:05 发布
最新推荐文章于 2023-06-28 14:54:05 发布 · 195 阅读 · 0
文章标签：

#pyhton=实现调用自定义模块

本文介绍了Netty框架的特点和优势，包括其自定义的ByteBuffer实现、统一的异步I/O接口等核心组件。通过示例展示了如何使用Netty构建高性能网络应用，并探讨了RocketMQ如何利用Netty实现高效的通信。

Netty介绍

Netty是一个网络应用框架，Netty提供异步事件驱动的方式，使用它可以快速地开发出高性能的网络应用程序，比如客户端/服务器自定义协议程序，大大简化了网络程序的开发过程。

Netty架构总览

Netty主要分为三部分：

一是底层的零拷贝技术和统一通信模型；

二是基于JVM实现的传输层；

三是常用协议支持；

b4dc9e666bd9a1876c3e3d361e682d29.png

1、重新实现ByteBuffer

Netty使用自己重新实现的buffer API，而不是使用NIO的ByteBuffer来表示一个连续的字节序列。重新实现的ByteBuf特性包括允许使用自定义的缓存类型、透明的零拷贝实现、比ByteBuffer更快的相应速度。

字节缓存在网络通信中会被频繁地使用，ByteBuf实现的是一个非常轻量级的字节数组包装器。ByteBuf有读操作和写操作，为了方便用户使用，该缓冲区维护了读索引和写索引。

ByteBuf由三个片段组成：废弃段、可读段和可写段。可读段表示缓冲区实际存储的可用数据。

当用户使用read或者skip方法时，将会增加读索引。读索引之前的数据将进入可废弃段，表示该数据已被使用过。

用户可以主动使用discardReadBytes清空废弃段得到更多的可写空间。

2、统一的异步I/O接口

Netty Channel的统一异步I/O编程接口，这个接口抽象了所有点对点的通信操作。如果应用基于Netty的某一种传输方式来实现的，可以快速迁移到另一种传输实现上。

Netty提供了集中拥有相同编程接口的基本传输实现：

  1. 基于NIO的TCP/IP传输：io.netty.channel.nio
  2. 基于OIO的TCP/IP传输：io.netty.channel.oio
  3. 基于OIO的UDP/IP传输：io.netty.channel.oio
  4. 本地传输：io.netty.channel.local

Netty用法示例

1、Discard服务器

DiscardServerHandler继承自ChannelInboundHandlerAdapter，覆盖channelRead()时间处理方法，每当从客户端收到新的数据时，这个方法会在收到消息时被调用。

ByteBuf是一个引用计数对象，必须显式地调用realease()方法来释放。

在出现Throwable对象，即当Netty由于IO错误或者处理器在处理事件抛出异常时，exceptionCaught()时间处理方法会被调用。

985484b732021fcea895b2037be00af5.png

NioEventLoopGroup是用来处理I/O操作的多线程事件循环器，Netty提供了许多不同的EventLoopGroup的实现来处理不同的传输类型。bossGroup用来接收进来的数据，workerGroup用来处理已经被接收的连接。

ServerBootstrap是一个启动NOP服务的辅助启动类。

a6f71ef6343e9afc0bd1899e9b08b76b.png

2、查看收到的数据

d11bc6a86aaf92250be442bd23562ea1.png

RocketMQ基于Netty的通信功能实现

RocketMQ底层通信的实现是在Remoting模块里，用Netty实现了一个自定义协议的客户端/服务器程序。

1、顶层抽象类

RemotingServer类中比较重要的是：localListenPort、registerProcess、registerDefaultProcessor，registerDefaultProcessor用来设置接收到消息后的处理方法。

e9c48255f621c13369d4c4bb58c4104d.png

RemotingClient类中比较重要的是：updateNameServerAddressList、invokeSync、invokeOneway，updateNameServerAddressList用来获取有效的NameServer地址，invokeSync与invokeOneway用来向Server端发送请求。

8e039e12e00732b8e0614703ef3abf0e.png

2、自定义协议

NettyRemotingServer和NettyRemotingClient分别实现了RemotingServer与RemotingClient接口，共同继承类NettyRemotingAbstract父类。

处理请求消息

7b7380923317f2d12de2d6bf23d99734.png

RemotingCommand成员变量

RemotingCommand是RocketMQ自定义的协议。

279379a59f7db2b90239ab0b91ca636e.png

同步方式发送

函数的RemotingCommand来自对发送消息的封装，输入参数Channel来自io.netty.channel。Channel是通信的入口，Channel对象的获取，对于服务端你和客户端来说差别很大。

对于客户端来说，是主动获取消息的一方，需要向哪个地址发送消息，通过Netty的Bootstrap方法创建一个连接(同时把连接后的Channel保存起来，避免每发送一个消息都要重新创建连接)。

对于服务端来说，很少主动发送消息，服务端一直在监听某个端口，当有一个连接请求进入后，服务端会把的创建的Channel对象保存下来，供偶尔需要向客户端主动发消息的时候使用。

1a4b6f8e72a099522d4a604039483e0d.png

3、基于Netty的Server和Client

基于Netty实现的Server或Client程序，具体代码在NettyRemotingServer和NettyRemotingClient类中，从ServerBootstrap的初始化是如何实现的。

0ffc6e7c025bd659fc9a9bff9c5ba4f1.png

ServerBootstrap的BossEventLoop使用的是单线程的NioEventLoopGroup，writeEventLoop在Linux平台使用的是默认3个线程的EpollEventLoopGroup，在非Linux平台上使用的是3个线程的NioEventLoopGroup。

还可以看到添加了NettyEncoder和NettyDecoder这两个Handler。这些Handler执行在一个8线程的DefaultEventExecutorGroup中。

注册Processor

RocketMQ对通信过程的另一个抽象是Processor和Executor，当接收到一个消息后，直接根据消息的类型调用对应的Processor和Executor，把通信过程和业务逻辑分离开。

66c4aeba0af8adc7f31d0333e14b30e2.png
Netty工作笔记0060---Tcp长连接和短连接_Http长连接和短连接_UDP长连接和短连接
添柴程序猿的专栏
09-23 1868
技术交流QQ群【JAVA,C++,Python,.NET,BigData,AI】：170933152 因为做语音通信要用到,长连接,这里对各个协议的长短连接做个总结 刚接触HTTP请求就听说过HTTP请求有1.0和1.1两个版本（其实还有个0.9版本，因为只接受GET一种请求，不支持POST方法，因此客户端无法向服务器传递太多信息而为人们所忽略），而且还知道HTTP1.0协议不支持长连接，从HTTP1.1协议以后，连接默认都是长连接。但终究觉得对于长连接一直不明觉厉，有种抓不到关键点的感觉。 我.
netty连接nbiot_利用netty实现支持高并发的Tcp短连接接收服务
weixin_39728124的博客
12-21 407
public class ChannelHandler extendsSimpleChannelHandler {private ConcurrentHashMap socket2ByteArrayMap = new ConcurrentHashMap<>();publicChannelHandler() {}public voidmessageReceived(ChannelHand...
Flink流批一体计算（7）：Flink优化
victory0508的专栏
06-28 1323
Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。监控节点进程的YARN的日志，如果频繁出现Full GC，需要优化GC。
Flink运行时之基于Netty的网络通信中
VinoYang的专栏
01-12 5132
PartitionRequestClient分区请求客户端（PartitionRequestClient）用于发起远程PartitionRequest请求，它也是RemoteChannel跟Netty通信层之间进行衔接的对象。对单一的TaskManager而言只存在一个NettyClient实例。
Netty 短链接
zhangjianming2018的博客
09-08 1217
https://blog.youkuaiyun.com/albertfly/article/details/51747463?_t_t_t=0.35980429297254146
Netty - 粘包和半包(上)
death05的博客
10-23 1193
在网络传输中，粘包和半包应该是最常出现的问题，作为 Java 中最常使用的 NIO 网络框架 Netty，它又是如何解决的呢？今天就让我们来看看。 定义 TCP 传输中，客户端发送数据，实际是把数据写入到了 TCP 的缓存中，粘包和半包也就会在此时产生。 客户端给服务端发送了两条消息ABC和DEF，服务端这边的接收会有多少种情况呢？有可能是一次性收到了所有的消息ABCDEF，有可能是收到了三条消息...
pyhton中__pycache__文件夹的产生与作用详解
09-18
这样，只有在直接运行`test.py`时，`haha()`函数才会被调用；如果作为其他模块的导入部分，`haha()`将不会被执行。 Python解释器的工作流程如下： 1. 加载和链接所需的模块。 2. 将源代码编译为PyCodeObject对象，...
基于知识图谱的推荐算法-MKR的实现pyhton源码+运行说明.zip
05-27
基于知识图谱的推荐算法-MKR的实现pyhton源码+运行说明.zip基于知识图谱的推荐算法-MKR的实现pyhton源码+运行说明.zip基于知识图谱的推荐算法-MKR的实现pyhton源码+运行说明.zip基于知识图谱的推荐算法-MKR的实现...
loconotion::page_facing_up:Python工具可将Notion.so页面转换为轻量级，可自定义的静态网站
04-14
Loconotion是一个Python脚本，用于解析公共页面（及其所有子页面），并生成一个轻量级的，可自定义的静态网站。 但为什么？ 是一个Web应用程序，您可以在其中使用内容块创建自己的工作区/相关Wiki。 使用起来感觉很...
python-vlc-for-Pyqt5-master_ip摄像头_pyhton；vlc_pyqt5_pyqtvlc_vlc_源
10-04
标题中的"python-vlc-for-Pyqt5-master_ip摄像头_pyhton；vlc_pyqt5_pyqtvlc_vlc_源"表明这是一个使用Python、VLC（VideoLAN Client）库以及PyQt5构建的项目，目的是在PyQt5应用程序中展示IP摄像头的实时监控画面。...
netty tcp服务端主动断开客户端_网络通信协议之TCP
weixin_39823676的博客
11-27 1528
奇技指南笔者最近看了关于Python的部分内容，发现网络编程部分非常容易能够创建一个本地TCP服务器，正好可以用来分析一下TCP的请求和响应过程。在本篇文章，笔者将给大家介绍下TCP建立连接(三次握手)，传输数据，断开连接(四次挥手)的过程。本文来自公众号360云计算。TCP简介TCP：TCP(Transmission Control Protocol 传输控制协议)是一种面向连接的、可...
基于netty4的TCP短连接测试
热门推荐
网络
09-18 1万+
本文中的代码做了一定优化，但是还不是很完全，欢迎指正工程结构图如下： TcpServer.javapackage com.lin.netty4.tcp;import io.netty.bootstrap.ServerBootstrap;import io.netty.channel.ChannelInitializer;import io.netty.channel.ChannelPipeline
netty tcp服务端主动断开客户端_【Netty】服务端和客户端
weixin_39643255的博客
12-05 2890
欢迎关注公众号：【爱编程】如果有需要后台回复2019赠送1T的学习资料哦！！本文是基于Netty4.1.36进行分析服务端Netty服务端的启动代码基本都是如下： private void start() throws Exception { final EchoServerHandler serverHandler = new EchoServerHandler(); ...
Netty进阶——粘包与半包（短链接方式解决粘包问题）
小志的博客
11-30 643
Netty进阶——粘包与半包（短链接方式解决粘包问题）
netty tcp服务端主动断开客户端_Netty心跳机制
weixin_39638105的博客
12-02 1874
一、何为心跳顾名思义, 所谓心跳, 即在 TCP 长连接中, 客户端和服务器之间定期发送的一种特殊的数据包, 通知对方自己还在线, 以确保 TCP 连接的有效性.二、为什么需要心跳因为网络的不可靠性, 有可能在 TCP 保持长连接的过程中, 由于某些突发情况, 例如网线被拔出, 突然掉电等, 会造成服务器和客户端的连接中断. 在这些突发情况下, 如果恰好服务器和客户端之间没有交互的话,...
利用netty实现支持高并发的Tcp短连接接收服务
ainens006679的博客
12-03 1466
如果你对Netty有所了解，我们利用Netty写Tcp服务时，通常会继承SimpleChannelUpstreamHandler类，重写messageReceived函数进行数据的接收，如下就是个简单的tcp短连接服务样例： public class TelnetServerHandler extends SimpleChannelUpstreamHandler { ...
Nety学习笔记三—Netty线程模型
lhx574938077的博客
08-25 557
Reactor单线程模型 Reactor单线程模型，是指所有的I/O操作都在同一个NIO线程上面完成。职责如下： 作为NIO服务端，接收客户端的TCP连接； 作为NIO客户端，像服务端发起TCP连接； 读取通信对端的请求或者应答消息； 向通信对端发送消息请求或者应答消息； 由于Reactor模式使用的是异步非阻塞I/O，所有丶I/O操作都不会导致...
tcp 通信结束后释放连接的原因_一篇搞懂TCP的三次握手 四次挥手
weixin_39799307的博客
11-25 582
TCP的三次握手四次挥手，估计大家都听过。但是真的能把每一步说明白的人比较少。我还记得在之前面试的时候被面试官一顿问，然后一脸懵B... 都是大学没好好上课 ，这篇文章就跟大家讲讲到底这三握四挥是在搞什么飞机。三次握手握手是指的双方进行连接的操作。三次握手（图片来自网络）为什么是三次握手确认通信能力我们要明白，如果需要进行通信，首先需要保证的是双方都具有发信和收信能力。在不知双方能力状态下进行的通...
java nio 短连接_netty01(长短连接、java)
weixin_39913105的博客
02-16 604
使用netty需要添加依赖包maven依赖：io.nettynetty-all5.0.0.Alpha2这个案例采用的是idea编辑器，maven管理项目，也可以直接采用普通项目进行测试，只需要将对应的jar包添加进去即可。接下来我们要搞清楚，netty是什么玩意。官方那个给出的介绍是：Netty是由JBOSS提供的一个java开源框架。Netty提供异步的、事件驱动的网络应用程序框架和工具，用以快...
pyhton3 TypeError: 'async_generator' object is not iterable
最新发布
10-22
<think>首先，用户的问题是："我想查找Python 3中解决 'async_generator' 对象不可迭代错误（TypeError: 'async_generator' object is not iterable）的解决方案 请问Python 3 解决 'async_generator' object is not iterable 错误的方法"。他们在询问如何解决在Python 3中遇到的TypeError，具体是当尝试迭代一个异步生成器对象时。 参考用户提供的站内引用： - 引用[1] 讨论了TypeError: 'int' object is not iterable，但这不直接相关，因为用户的问题是关于async_generator的。 - 引用[2]、[3]、[4]、[5] 都直接针对TypeError: 'async_generator' object is not iterable，特别在Django框架的上下文中的解决方案。 从引用中： - 引用[2]、[4] 显示了错误堆栈跟踪，其中在Django的响应处理中尝试调用iter()在一个异步生成器上时出错。 - 引用[3] 提供了一个解决方案：使用一个名为"stream"的装饰器来使异步生成器与Django的StreamingHttpResponse兼容。 - 引用[5] 给出了一个示例代码，展示如何使用@stream装饰器来处理异步生成器。 关键点： - 错误发生在尝试迭代一个异步生成器（async_generator）对象，这在Python中是不可迭代的，因为迭代需要同步上下文。 - 在Django中，StreamingHttpResponse期望一个可迭代的对象，但异步生成器是异步的。 - 解决方案涉及创建一个装饰器或适配器，使异步生成器可以与同步响应兼容。 根据系统级指令： - 我必须使用$...$格式处理行内数学表达式，但由于这是编程问题，数学表达式可能不相关。 - 独立公式使用$$...$$格式，但这里可能不需要。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 在回答中引用的段落末尾自然地添加引用标识，例如[^1]。 回答结构： - 既然用户要求解决方案，我需要提供清晰、逐步的解释。 - 参考提供的引用，特别是[^3]和[^5]，因为它们是相关的。 - 格式回答：结构清晰，帮助用户逐步解决问题。 大纲回答： 1. **解释错误原因**：简要说明为什么出现这个错误。引用[^2]中提到："TypeError: 'async_generator' object is not iterable"，因为异步生成器不是可迭代的对象；它们需要在异步上下文中使用。 2. **提供解决方案**： - 从引用[^3]：创建一个装饰器来适配异步生成器。 - 从引用[^5]：示例代码展示如何使用装饰器。 - 详细解释步骤。 3. **代码示例**：提供代码片段，使用装饰器来解决。 4. **生成相关问题**：在结束时添加相关问题。 解决方案核心： - 创建装饰器：如引用[^3]所述，定义一个装饰器来处理异步生成器，使其可以与StreamingHttpResponse一起工作。 - 代码示例：类似于引用[^5]的代码。 我的回答应该： - 用中文写。 - 在引用相关部分时添加引用编号。 - 确保解决方案可靠。 最终输出： - 解释问题。 - 给出解决方案。 - 提供代码。 - 添加相关问题。 </think>### Python 3 解决 'async_generator' object is not iterable 错误的方案 在 Python 3 中，当您尝试在同步上下文中迭代一个异步生成器（async_generator）对象时，会引发 `TypeError: 'async_generator' object is not iterable` 错误[[^2][^4]]。这是因为异步生成器只能在异步函数（如 `async for`）中使用，而不能直接传递给同步迭代器（如 Django 的 `StreamingHttpResponse`）[[^3][^5]]。常见场景发生在 Django 框架中，使用异步视图返回流式响应时。下面我将逐步解释原因并提供可靠的解决方案。 #### 错误原因分析 - **核心问题**：异步生成器（例如 `async def chunks(): yield ...`）不能直接被 `iter()` 函数处理，因为它们是异步的，需要 `async for` 循环来迭代。但在同步代码中（如 Django 视图），尝试将其作为可迭代对象使用时会导致错误[[^2][^4]]。 - **典型错误堆栈**： ``` File ".../django/http/response.py", line 386, in _set_streaming_content self._iterator = iter(value) TypeError: 'async_generator' object is not iterable ``` 这表明在设置流式内容时，Django 试图调用 `iter()` 但在异步生成器上失败[[^2][^4]]。 #### 解决方案：使用装饰器适配异步生成器 为了解决这个问题，您可以创建一个自定义装饰器，将异步生成器转换为与 Django `StreamingHttpResponse` 兼容的同步可迭代对象。这种方法已在多个引用中得到验证[[^3][^5]]。步骤如下： 1. **定义装饰器**：创建一个名为 `stream` 的装饰器函数。它将包裹异步生成器，并在内部使用异步循环来提取数据。 2. **在视图函数中使用**：应用装饰器到您的异步视图函数上。 3. **返回流式响应**：确保视图返回 `StreamingHttpResponse`，并传入装饰后的生成器。 下面是完整的代码示例（基于引用[[^3][^5]]的优化实现）： ```python from django.http import StreamingHttpResponse import asyncio # 步骤1: 定义装饰器函数 def stream(async_generator_func): def wrapper(*args, **kwargs): async def iter_chunks(): # 在异步上下文中迭代生成器 async for chunk in async_generator_func(*args, **kwargs): yield chunk # 创建同步迭代器适配器 loop = asyncio.new_event_loop() asyncio.set_event_loop(loop) return iter(iter_chunks().__aiter__()) return wrapper # 步骤2: 在视图函数中应用装饰器 @stream async def async_data_generator(request): """异步生成器示例：模拟数据流""" for i in range(5): await asyncio.sleep(0.5) # 模拟异步操作 yield f"数据块: {i}\n" # 步骤3: 在视图绑定中返回流式响应 def streaming_view(request): return StreamingHttpResponse(async_data_generator(request)) ``` #### 关键说明 - **为什么有效？**：装饰器 `@stream` 将异步生成器包裹为一个同步迭代器，通过 `asyncio` 事件循环在后台处理异步操作，从而使 `StreamingHttpResponse` 能正确迭代输出[[^3][^5]]。 - **注意事项**： - 确保您的 Django 项目使用 Python 3.7+ 和 Django 3.1+（支持异步视图）。 - 在 `urls.py` 中绑定视图时，不需要特殊处理；直接引用视图函数即可： ```python # urls.py 示例 from django.urls import path from .views import streaming_view urlpatterns = [ path('stream/', streaming_view, name='stream-view'), ] ``` - **测试建议**：使用浏览器或 `curl` 访问 `/stream/` 路由，应能看到数据流式输出，避免错误。 #### 备选方案 如果您不使用 Django，但仍遇到类似错误（例如在多线程环境中），可以采用类似的适配器模式： - 使用 `asyncio.run_coroutine_threadsafe()` 在同步代码中安全调用异步生成器。 - 示例： ```python import asyncio loop = asyncio.get_event_loop() async def my_async_gen(): async for item in some_gen: yield item # 在同步函数中迭代 for item in loop.run_until_complete(my_async_gen().__anext__()): print(item) ``` 这种方法通过事件循环桥接同步和异步上下文，确保兼容性[[^5]]。 ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值