40、语言处理技术进展：从流处理到文本释义数据集

语言处理技术进展：从流处理到文本释义数据集

流处理与ELG平台集成

在流处理领域，Pipeline Element Microservices有着重要的架构设计。它涉及到ELG平台和Apache StreamPipes的集成，整体架构包含多个关键部分：
- 组件构成 ：有用户界面用于图形化管道建模，ELG服务涵盖ILSP机器翻译、NER Bert、Cogito情感分析等，还有LT算法包装器、消息代理、各类适配器与接收器等。
| 组件类型 | 具体组件 |
| — | — |
| ELG服务 | ILSP Machine Translation、NER Bert、Cogito Sentiment Analysis等 |
| 适配器与接收器 | Text Adapters & Sinks（E - Mail、Slack等）、Streaming Adapters & Sinks（OPC UA、Kafka等） |

• 工作流程 ：
  • 消息通过消息代理（如Apache Kafka）发布，后续管道元素订阅相关主题以获取之前发布的事件。
  • 事件驱动应用的整个生命周期由StreamPipes的核心进行内部管理，负责管道管理，包括基于语义验证的管道元素兼容性检查，以及消息代理协议协商和系统端主题管理。
  • 运行时，已部署管道的LT管道元素订阅的流文本事件会向ELG平台上的远程LT服务发出REST调用，执行必要的处理任务，结果再发送回相应的消息代理协议以供进一步使用。