使用Vectara平台构建智能聊天机器人-优快云博客

在这一篇文章中，我们将探索如何利用Vectara平台快速构建一个类似ChatGPT的AI助手。这种助手基于组织内部的数据、文件和知识，技术上称为"检索增强生成即服务"（Retrieval-Augmented-Generation-as-a-Service, RAG）。

技术背景介绍

Vectara提供了一种无服务器的RAG服务，通过简单易用的API集成所有RAG组件，包括文本提取、ML分块、向量数据库、查询服务和生成性摘要的创建等。它支持从多种文件格式（如PDF、PPT、DOCX等）中提取文本，并采用最先进的分块技术，提供卓越的性能。

核心原理解析

在通常的聊天机器人实现中，需要集成一个特殊的内存组件以维护会话记录。然而，使用Vectara的Chat功能，这一切都在后台自动完成。Vectara会自动从输入文件中提取和分块文本，将其存储在内部向量数据库中，并通过嵌入技术实时检索相关文本，提高响应的准确性和上下文关联性。

代码实现演示

下面我们将展示如何使用Vectara的Chat功能来创建一个智能聊天机器人。

初始化环境

首先，确保您已经注册了Vectara账户，并创建了至少一个corpus。接下来，您需要获取三个值：customer ID、corpus ID以及api_key。

import os
import getpass

# 提供Vectara所需的配置
os.environ["VECTARA_CUSTOMER_ID"] = getpass.getpass("Vectara Customer ID:")
os.environ["VECTARA_CORPUS_ID"] = getpass.getpass("Vectara Corpus ID:")
os.environ["VECTARA_API_KEY"] = getpass.getpass("Vectara API Key:")

加载文档并配置聊天

我们将加载 state_of_the_union.txt 作为示例文档。Vectara会自动从中提取文本并进行处理。

from langchain.document_loaders import TextLoader
from langchain_community.vectorstores import Vectara
from langchain_community.vectorstores.vectara import (
    RerankConfig,
    SummaryConfig,
    VectaraQueryConfig,
)

# 加载文档
loader = TextLoader("state_of_the_union.txt")
documents = loader.load()

# 初始化Vectara
vectara = Vectara.from_documents(documents, embedding=None)

# 配置聊天
summary_config = SummaryConfig(is_enabled=True, max_results=7, response_lang="eng")
rerank_config = RerankConfig(reranker="mmr", rerank_k=50, mmr_diversity_bias=0.2)
config = VectaraQueryConfig(
    k=10, lambda_val=0.005, rerank_config=rerank_config, summary_config=summary_config
)

# 创建聊天机器人
bot = vectara.as_chat(config)

提出问题并输出答案

以下是一个简单的示例，通过提问来获取答案：

# 提问
response = bot.invoke("What did the president say about Ketanji Brown Jackson?")["answer"]
print(response)

实现流式聊天

Vectara还支持流式输出，允许实时获取和显示回复。

output = {}
curr_key = None

# 实现流式输出
for chunk in bot.stream("what about her accomplishments?"):
    for key in chunk:
        if key not in output:
            output[key] = chunk[key]
        else:
            output[key] += chunk[key]
        if key == "answer":
            print(chunk[key], end="", flush=True)
        curr_key = key

应用场景分析

Vectara的Chat功能适用于需要实时交互的场景，如企业内部知识库查询、客户支持系统、教育平台等。它能够在不需要复杂配置的情况下，迅速部署并运行。

实践建议

初始设置：确保在创建API密钥时根据实际需求选择查询或索引权限。
隐私和安全：妥善保管API密钥，避免泄露。
性能优化：调整SummaryConfig和RerankConfig中的参数以适应特定应用场景，提高响应速度和准确性。

如果遇到问题欢迎在评论区交流。
—END—