构建LangChain应用程序的示例代码:10、如何使用LangChain的标准聊天功能,并通过Apache Kafka来回传递聊天消息教程

使用Apache Kafka路由消息

本示例向您展示了如何使用LangChain的标准聊天功能,并通过Apache Kafka来回传递聊天消息。

目标是模拟一个架构,其中聊天前端和LLM作为需要通过内部网络相互通信的独立服务运行。

这是一种替代通过REST API请求模型响应的典型模式(本文末尾有更多信息,解释了为什么您可能想要这样做)。

1. 安装主要依赖项

依赖项包括:

  • Quix Streams库,用于以"Pandas-like"的方式管理与Apache Kafka(或Kafka-like工具,如Redpanda)的交互。
  • LangChain库,用于管理与Llama-2的交互并存储对话状态。
!pip install quixstreams==2.1.2a langchain==0.0.340 huggingface_hub==0.19.4 langchain-experimental==0.0.42 python-dotenv

2. 构建并安装llama-cpp-python库(启用CUDA以利用Google Colab GPU)

llama-cpp-python库是一个Python包装器,围绕llama-cpp库,使您能够高效地仅使用CPU运行量化的LLM。

使用标准的pip安装命令llama-cpp-python默认不支持GPU。如果在Google Colab中仅依赖CPU,生成可能会非常慢,所以下面的命令添加了一个额外的选项来构建并安装带有GPU支持的llama-cpp-python(确保您在Google Colab中选择了GPU支持的运行环境)。

!CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip install llama-cpp-python

3. 下载并设置Kafka和Zookeeper实例

从Apache网站下载Kafka二进制文件,并以守护进程方式启动服务器。我们将使用Apache Kafka提供的默认配置来启动实例。

!curl -sSOL https://dlcdn.apache.org/kafka/3.6.1/kafka_2.13-3.6.1.tgz
!tar -xzf kafka_2.13-3.6.1.tgz

!./kafka_2.13-3.6.1/bin/zookeeper-server-start.sh -daemon ./kafka_2.13-3.6.1/config/zookeeper.properties
!./kafka_2.13-3.6.1/bin/kafka-server-start.sh -daemon ./kafka_2.13-3.6.1/config/server.properties
!echo "Waiting for 10 secs until kafka and zookeeper services are up and running"
!sleep 10

4. 检查Kafka守护进程是否正在运行

显示正在运行的进程,并过滤Java进程(您应该看到两个——每个服务器一个)。

!ps aux | grep -E '[j]ava'

5. 导入所需的依赖项并初始化所需的变量

导入与Kafka交互的Quix Streams库,以及运行ConversationChain所需的LangChain组件。

# 导入实用程序库
import json
import random
import re
import time
import uuid
from os import environ
from pathlib 
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Hugo_Hoo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值