Universe远程控制协议：WebSocket与VNC通信全解析-优快云博客

Universe远程控制协议：WebSocket与VNC通信全解析

【免费下载链接】universe Universe: a software platform for measuring and training an AI's general intelligence across the world's supply of games, websites and other applications. 项目地址: https://gitcode.com/gh_mirrors/un/universe

你是否在构建AI智能体时遇到过远程环境控制延迟高、协议兼容性差的问题？本文将深入解析Universe平台的双协议架构，带你掌握WebSocket与VNC通信的核心机制，轻松实现AI智能体对游戏、网站等应用的跨平台控制。读完本文，你将能够：理解Universe的网络通信架构、掌握VNC协议的像素传输机制、解析WebSocket rewarder协议的消息格式，并通过实际代码示例快速上手开发。

网络架构总览

Universe采用客户端-服务器架构，通过双协议实现AI智能体与远程环境的高效通信。核心组件包括运行在智能体机器上的客户端和部署在远程环境的服务器，两者通过VNC和WebSocket协议进行数据交互。

双端口通信机制

每个远程环境暴露两个关键端口：

VNC端口（默认5900）：基于RFC 6143标准的远程帧缓冲协议，传输像素数据和输入事件
Rewarder端口（默认15900）：基于WebSocket的自定义JSON协议，传输奖励信号和控制命令

官方协议文档详细描述了这一架构：doc/protocols.rst

VNC协议深度解析

VNC（Virtual Network Computing）协议是Universe实现远程桌面控制的基础，负责传输屏幕像素数据和接收键盘鼠标输入。Universe使用自定义VNC客户端驱动，支持ZRLE、ZLIB等高效编码方式，确保在60FPS下的低延迟传输。

协议握手流程

VNC通信始于协议版本协商，客户端和服务器交换版本信息后进行安全认证：

# VNC协议握手实现 [universe/vncdriver/vnc_client.py](https://link.gitcode.com/i/fe89a95d920c506f8fe02545dafc3fea)
def recv_ProtocolVersion_Handshake(self, block):
    match = re.search(b'^RFB (\d{3}).(\d{3})\n$', block)
    assert match, 'Expected RFB line, but got: {!r}'.format(block)
    major = int(match.group(1))
    minor = int(match.group(2))
    self.sendMessage(b'RFB 003.003\n')  # 发送支持的版本

认证通过后，服务器发送帧缓冲初始化信息，包括分辨率、像素格式等关键参数：

# 帧缓冲初始化 [universe/vncdriver/vnc_client.py](https://link.gitcode.com/i/3a447f115577d93074308448648d11f9)
def recv_ServerInit_name(self, block, width, height, server_pixel_format):
    self.framebuffer = Framebuffer(width, height, server_pixel_format, block)
    self.numpy_screen = self.framebuffer.numpy_screen
    self.initialized = True

像素编码与传输

Universe支持多种VNC编码方式，优先使用ZRLE（Zlib Run-Length Encoding）实现高效压缩：

# 编码方式设置 [universe/vncdriver/vnc_client.py](https://link.gitcode.com/i/cb975b9eb8ccd2caceeab8c34b71f930)
self.send_SetEncodings([
    constants.ZRLE_ENCODING,  # 首选ZRLE编码
    constants.ZLIB_ENCODING,
    constants.RAW_ENCODING,
])

帧缓冲更新通过FramebufferUpdateRequest消息触发，服务器响应包含编码后的矩形区域数据：

# 发送帧缓冲更新请求 [universe/vncdriver/vnc_client.py](https://link.gitcode.com/i/5afa9a3c77e7cf0afa87e5c5be6182a8)
def send_FramebufferUpdateRequest(self, x=0, y=0, width=None, height=None, incremental=0):
    self.sendMessage(struct.pack("!BBHHHH", 3, incremental, x, y, width, height))

输入事件处理

VNC客户端通过send_KeyEvent和send_PointerEvent方法发送输入事件：

# 键盘事件发送 [universe/vncdriver/vnc_client.py](https://link.gitcode.com/i/e72be6221c21ea06def7a98393194e7c)
def send_KeyEvent(self, key, down):
    """发送键盘事件，down=1表示按下，0表示释放"""
    self.sendMessage(struct.pack('!BBxxI', 4, down, key))

# 鼠标事件发送 [universe/vncdriver/vnc_client.py](https://link.gitcode.com/i/db499a5d7635bdc30c21abcbb97dc1b4)
def send_PointerEvent(self, x, y, buttonmask=0):
    """发送鼠标事件，buttonmask表示按键状态"""
    self.sendMessage(struct.pack('!BBHH', 5, buttonmask, x, y))

WebSocket Rewarder协议详解

Rewarder协议是Universe的自定义双向通信协议，基于WebSocket传输JSON格式消息，主要用于传递奖励信号、环境状态和控制命令。

消息结构

每个Rewarder消息包含方法名、头部和主体三部分：

{
  "method": "v0.env.reward",
  "headers": {
    "sent_at": 1479493678.1937322617,
    "message_id": 15,
    "episode_id": "1.2"
  },
  "body": {
    "reward": 10,
    "done": false,
    "info": {}
  }
}

核心消息类型

服务器到客户端的关键消息类型：

v0.env.describe: 环境描述信息（ID、状态、帧率等）
v0.env.reward: 奖励信号和回合结束标志
v0.env.observation: 结构化观测数据

客户端到服务器的关键消息类型：

v0.agent.action: 智能体动作指令
v0.env.reset: 重置环境请求
v0.control.ping: 连接心跳检测

协议实现可参考奖励缓冲区管理代码：universe/rewarder/reward_buffer.py

实际通信流程

环境初始化序列

分配远程资源：AllocatorManager请求并获取远程环境地址

# 资源分配实现 [universe/remotes/allocator_remote.py](https://link.gitcode.com/i/ba9126bdebfa9b8e0cd1524411604cc1)
allocation = self.with_retries(self._requestor.allocation_create,
    client_id=self.client_id,
    runtime_id=self.runtime_id,
    placement=self.placement,
    params=_params,
    handles=handles,
    initial=initial,
)

建立VNC连接：VNCSession管理多个并行环境连接

# VNC会话连接 [universe/vncdriver/vnc_session.py](https://link.gitcode.com/i/1d95a75f8ba13ab42b289bd3315aa2d9)
def connect(self):
    utils.blockingCallFromThread(self._connect)

WebSocket握手：Rewarder客户端建立控制通道

数据交互循环

mermaid

性能优化与最佳实践

编码选择策略

Universe默认启用多种编码方式，优先使用ZRLE编码（Zlib压缩的行程编码），在保持60FPS的同时显著降低带宽占用：

# 编码优先级设置 [universe/vncdriver/vnc_client.py](https://link.gitcode.com/i/cb975b9eb8ccd2caceeab8c34b71f930)
self.send_SetEncodings([
    constants.ZRLE_ENCODING,  # 最高优先级
    constants.ZLIB_ENCODING,
    constants.RAW_ENCODING,   # 最低优先级(无压缩)
])

连接管理

VNCSession类提供了完整的连接生命周期管理，包括自动重连和资源释放：

# 会话关闭实现 [universe/vncdriver/vnc_session.py](https://link.gitcode.com/i/5df448152b5a9b53c65f20e4eac50cc2)
def close(self):
    utils.blockingCallFromThread(self._close)

调试与监控

使用VNC查看器直接连接远程环境进行调试
通过Rewarder协议的env.text消息获取环境日志
监控帧缓冲更新频率和尺寸统计信息

总结与进阶

Universe的双协议架构为AI智能体提供了灵活高效的远程环境控制能力。通过VNC协议实现低延迟的视觉数据传输，结合WebSocket协议的结构化控制命令，构建了一个完整的AI训练平台。

进阶探索方向：

自定义Rewarder消息类型：扩展协议以支持特定领域需求
编码优化：针对特定游戏场景开发专用压缩算法
分布式控制：通过universe/vectorized/模块实现多环境并行

完整协议规范请参考官方文档：doc/protocols.rst，VNC驱动实现细节可查阅universe/vncdriver/目录下的源代码。

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考