AI教我做事之RAG开发-23 RAG框架之Pathway平台框架研究

1 Pathway简介

Pathway 是一个高性能、低延迟的 Python ETL（Extract, Transform, Load）框架，专为流处理、实时分析、大型语言模型（LLM）管道以及检索增强生成（RAG）设计。它提供了一个简单易用的 Python API，开发者可以无缝集成常用的 Python 机器学习库，例如 LangChain 或其他嵌入模型。Pathway 的代码设计兼顾开发和生产环境，能够高效处理批处理和流式数据。

官网地址：https://pathway.com/

其核心是一个基于 Rust 开发的引擎，采用 Differential Dataflow 技术，支持增量计算、多线程、多进程以及分布式计算，从而实现卓越的性能和可扩展性。

1. Pathway的特点

• 流处理 Pathway 专注于实时数据流处理，能够以低延迟和高吞吐量处理动态数据，非常适合实时问答、监控系统等场景。
• LLM集成 Pathway 提供了专门的 LLM 工具集，支持构建实时 LLM 和 RAG 管道。它包括对 LLM 服务（如 OpenAI）的封装、文本解析器、嵌入生成器和文本分割器等实用工具。
• 数据连接器 Pathway 支持多种数据源，包括 Kafka、Google Drive、PostgreSQL、SharePoint 等。此外，通过与 Airbyte 的集成，Pathway 可以连接超过 300 种数据源，极大地扩展了其适用范围。
• 可扩展性 得益于 Rust 引擎的支持，Pathway 能够轻松实现分布式计算，适合处理大规模数据集和复杂任务。
• 社区支持 Pathway 拥有一个活跃的社区，提供详尽的文档、教程以及 Discord 平台上的技术支持，帮助用户快速上手并解决问题。