使用流式计算引擎 eKuiper 处理 Protocol Buffers 数据

Protocol Buffers (Protobuf) 是一种语言中立、平台中立的可扩展机制，用于序列化结构化数据的二进制传输格式。相比常规数据传输格式（如 JSON 或 XML），Protobuf 更加高效和快速并节省传输带宽，因此得到了广泛的应用。

在云边协同架构中，往往既需要发送数据到云端，同时也需要接收云端发送过来的数据，进行云边协同计算。大规模的云边协同计算传输的数据总量巨大，在公网带宽资源有限而且昂贵的情况下，采用更紧凑的数据传输格式显得尤为重要。

LF Edge eKuiper 是适合部署于资源受限的边缘端的超轻量物联网边缘数据流式分析引擎，可通过 source 和 sink 连接 MQTT、HTTP 等各种通信协议的外部系统。eKuiper 支持配置 source/sink 的传输数据的编解码格式，目前可支持 JSON、ProtoBuf 和 Binary 格式。

本文将以 Protobuf 格式为例，讲解如何在 eKuiper 中设置编解码格式，通过 source 读入并解析该格式的数据以及在 sink 中使用该格式编码写入，从而实现高效的云边协同数据传输，缓解云边传输带宽紧张问题。

本教程采用 eKuiper Manager 进行规则的创建和管理，请参考 UI 教程。您也可以采用 REST API 或者在 eKuiper 运行的边端运行命令行工具来完成相同的规则管理操作。

环境准备

开始动手操作之前，需要准备以下环境：

• MQTT 服务器用于数据传输。 本教程使用位于 tcp://broker.emqx.io:1883 的 MQTT 服务器， broker.emqx.io 是一个由 EMQX Cloud 提供的公共 MQTT 服务器。若本地运行 eKuiper，需要更改 etc/mqtt_source.yaml，配置项 server 改为"tcp://broker.emqx.io:1883"；若使用 docker 启动，应设置环境变量 MQTT_SOURCEDEFAULTSERVER=“tcp://broker.emqx.io:1883”。
• 为了方便观察运行结果，我们需要安装一个 MQTT 客户端，例如 MQTT X 。