使用Apache Kafka路由消息
本示例向您展示了如何使用LangChain的标准聊天功能,并通过Apache Kafka来回传递聊天消息。
目标是模拟一个架构,其中聊天前端和LLM作为需要通过内部网络相互通信的独立服务运行。
这是一种替代通过REST API请求模型响应的典型模式(本文末尾有更多信息,解释了为什么您可能想要这样做)。
1. 安装主要依赖项
依赖项包括:
- Quix Streams库,用于以"Pandas-like"的方式管理与Apache Kafka(或Kafka-like工具,如Redpanda)的交互。
- LangChain库,用于管理与Llama-2的交互并存储对话状态。
!pip install quixstreams==2.1.2a langchain==0.0.340 huggingface_hub==0.19.4 langchain-experimental==0.0.42 python-dotenv
2. 构建并安装llama-cpp-python库(启用CUDA以利用Google Colab GPU)
llama-cpp-python库是一个Python包装器,围绕llama-cpp库,使您能够高效地仅使用CPU运行量化的LLM。
使用标准的pip安装命令llama-cpp-python
默认不支持GPU。如果在Google Colab中仅依赖CPU,生成可能会非常慢,所以下面的命令添加了一个额外的选项来构建并安装带有GPU支持的llama-cpp-python(确保您在Google Colab中选择了GPU支持的运行环境)。
!CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip install llama-cpp-python
3. 下载并设置Kafka和Zookeeper实例
从Apache网站下载Kafka二进制文件,并以守护进程方式启动服务器。我们将使用Apache Kafka提供的默认配置来启动实例。
!curl -sSOL https://dlcdn.apache.org/kafka/3.6.1/kafka_2.13-3.6.1.tgz
!tar -xzf kafka_2.13-3.6.1.tgz
!./kafka_2.13-3.6.1/bin/zookeeper-server-start.sh -daemon ./kafka_2.13-3.6.1/config/zookeeper.properties
!./kafka_2.13-3.6.1/bin/kafka-server-start.sh -daemon ./kafka_2.13-3.6.1/config/server.properties
!echo "Waiting for 10 secs until kafka and zookeeper services are up and running"
!sleep 10
4. 检查Kafka守护进程是否正在运行
显示正在运行的进程,并过滤Java进程(您应该看到两个——每个服务器一个)。
!ps aux | grep -E '[j]ava'
5. 导入所需的依赖项并初始化所需的变量
导入与Kafka交互的Quix Streams库,以及运行ConversationChain所需的LangChain组件。
# 导入实用程序库
import json
import random
import re
import time
import uuid
from os import environ
from pathlib