Pathway实时数据处理框架安装指南

Pathway实时数据处理框架安装指南

pathway Pathway is an open framework for high-throughput and low-latency real-time data processing. 项目地址: https://gitcode.com/gh_mirrors/pa/pathway

Pathway是一个强大的实时数据处理框架，本文将详细介绍如何在不同环境下安装和配置Pathway，帮助开发者快速搭建实时数据处理环境。

核心安装方法

Pathway提供了简单易用的pip安装方式，只需执行以下命令即可完成基础安装：

pip install -U pathway

此命令将安装Pathway的核心组件，包括其高性能的Rust引擎。安装完成后，您就可以开始构建实时数据管道了。

系统兼容性说明：

• 支持MacOS和Linux系统
• 暂不支持原生Windows系统（可通过WSL、Docker或虚拟机使用）

可选功能组件安装

Pathway采用模块化设计，允许用户按需安装特定功能组件：

AI与LLM相关组件

# 基础LLM工具包（OpenAI、Langchain等）
pip install "pathway[xpack-llm]"

# 本地LLM部署支持
pip install "pathway[xpack-llm-local]"

# 文档处理工具（PDF、Word等）
pip install "pathway[xpack-llm-docs]"

数据连接器组件

# Airbyte连接器
pip install "pathway[airbyte]"

# SharePoint连接器（需许可证）
pip install "pathway[xpack-sharepoint]"

完整安装

如需所有功能，可使用：

pip install "pathway[all]"

Docker部署方案

对于容器化环境，Pathway提供了官方Docker镜像：

docker pull pathwaycom/pathway

Docker部署特别适合：

• 快速搭建开发测试环境
• 保证环境一致性
• 集成到现有容器化架构中

许可证管理

Pathway采用BSL 1.1许可证：

• 非商业用途完全免费
• 大多数商业用途也免费
• 代码4年后自动转为Apache 2.0开源协议

部分高级功能（如监控、特定连接器）需要免费许可证，获取方式如下：

1. 通过环境变量设置：

export PATHWAY_LICENSE_KEY=file:///path/to/license.lic

2. 或在Python代码中直接设置：

import pathway as pw
pw.set_license_key("file:///path/to/license.lic")

企业版安装指南

企业用户需要配置私有PyPI仓库：

1. 修改pip配置文件~/.pip/pip.conf：

[global]
extra-index-url = https://<用户名>:<密码>@<企业仓库地址>

2. 或直接在安装命令中指定：

pip install -U pathway --extra-index-url=https://<用户名>:<密码>@<企业仓库地址>

版本要求：请使用Python 3.10或更高版本

快速体验Pathway

安装完成后，建议通过以下方式快速上手：

1. 运行入门示例了解基础功能
2. 尝试预构建的模板项目
3. 探索实时AI应用场景

Pathway的强大之处在于其能够：

• 处理高速数据流
• 无缝集成AI模型
• 构建端到端的实时应用

希望本指南能帮助您顺利开始Pathway之旅！

pathway Pathway is an open framework for high-throughput and low-latency real-time data processing. 项目地址: https://gitcode.com/gh_mirrors/pa/pathway