Windows和Linux环境下OpenAI和LangChain的使用

 

推荐运行环境

　　由于在Linux 操作系统上安装Conda、Python、LangChain等库非常方便，因此强烈建议在Linux操作系统中运行代码示例。例如，笔者使用的是Ubuntu 20.04系统。
　　理论上，Windows 操作系统也可以运行本书中的所有代码。示例主要调用了 OpenAI的GPT系列模型,通过API方式连接远程服务器上的大语言模型,这意味着对于本地环境的兼容性要求并不是特别高。有经验的可以根据自己的喜好选择合适的操作系统。
　　然而，考虑到可能涉及本地模型部署等需求，需要安装CUDA、CuDNN等库，在Linux 操作系统上配置一个适合运行大语言模型的环境，稳定性和兼容性通常会更好，因此，建议读者尽量使用 Linux 操作系统。

　　部署LangChain 的 Python 运行环境
　　这里提供了pip和Conda两种安装方式，强烈建议优先选择Conda,因为它提供了更加一致和可控的环境。Conda是用于包管理和环境管理的开源工具、主要用于科学计算、数据分析和机器学习等领域。它是Anaconda发行版的一部分，但也可以单独安装和使用。通过Conda可以轻松地创建一个虚拟环境，其中包含了所有库，可以确保读者的运行环境与笔者一致。这种一致性非常重要，因为不同的库版本可能导致代码在运行时不兼容性，从而引发错误或异常。
　　1.pip安装方式
　　如果单独安装 LangChain 库，那么可以在 Linux 终端中输入命令行。

pip install langchain==0.0.268
pip install openai

       需要注意的是，这是安装LangChain 的最基本要求，如果需要安装LangChain所包含的各种库，则需要执行以下命令。

pip install langchain [all]==0.0.268
#如果在Linux 中使用 zsh 则运行：pip install "langchain[all]=0.0.268"

　　我始终选择0.0.268版本的LangChain,以确保能够成功复现案例。如果您想使用更新的 LangChain 版本，那么可以运行以下命令来升级。

pip install langchain --upgrade

　　请注意，升级LangChain 版本可能导致代码的兼容性问题，因此建议谨慎操作。
　　此外，建议按照Conda安装方式配置环境，以便快速完成本书中代码库的安装和配置，并顺利完成练习。

　　2.Conda安装方式
　　Conda是一个功能强大的包管理和环境管理工具，以下是在Linux 操作系统上安装 Conda的步骤。
　　(1)下载并安装 Miniconda。创建一个目录用于安装 Miniconda,下载最新的Miniconda 安装脚本，在终端运行以下命令。

mkdir -p ~/miniconda3
wget
https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm -rf ~/miniconda3/miniconda.sh

　　这将在~/miniconda3目录下安装Miniconda。
　　2)激活 Conda环境。安装完成后,通过以下方式激活 Conda环境。

source ~/miniconda3/bin/activate

　　这将激活默认的Conda环境，用户可以在其中安装和管理软件包。
　　
　　(3)基于 Conda安装  Langchain。一旦成功地激活了 Conda环境,就可以轻松地安装 LangChain。我们提供了一个名为 langchain.yml的Conda环境配置文件。以下是安装LangChain的命令。
 

conda env create -f langchain.yml#直接在代码库根目录中运行该命令这将使用

这将使用langchain.yml文件中指定的库函数版本创建一个专用的Conda_环境，以满足 LangChain和其他相关库的要求。
　　(4)激活 LangChain Conda环境。
　

source ~/miniconda3/bin/activate langchain

　　现在，环境已经准备就绪，可以运行 LangChain 并执行本书中的示例代码。
　　以上步骤将确保拥有一个干净的、包含所有必要库函数的Conda环境，以便无缝地学习和运行示例代码。Conda 确保了库的版本兼容性，因此读者可以专注于学习和实验，而不必担心依赖问题。

　　OpenAI API秘钥获取及环境变量配置
　　LangChain 是一个集成大语言模型的框架，它的许多集成示例都是基于 OpenAI提供的大语言模型 API实现的。OpenAI的API已按照token使用量的计费形式面向用户开放，用户需要通过设置OpenAIAPI 秘钥的方式实现API调用，OpenAIAPI秘钥可以在官网https:/platform.openai.com/account/api-keys申请得到。需要注意的是，如果读者在申请OpenAI账户时遇到困难，建议查阅相关资料以获取帮助，也可以在代码库中提出问题。
　　在获取了一个格式为sk-xxx的API秘钥之后，就能基于API的形式调用OpenAI的一系列模型https:/platform.openai.com/docs/models/overview，例如GPT-3.5、GPT-3等。

在获得API密钥后，可以通过设置环境变量的方式来调用OpenAI模型。读者可以在终端中设置环境变量，例如，export OPENAI_API_KEY="sk-xxx"。设置完环境变量，可以使用以下 Python 脚本来验证是否能够成功调用OpenAI 模型。

import os
import openai

#从环境变量或秘密管理服务中加载您的API密钥
openai.api_key = os.getenv("OPENAI_API_KEY")

#创建一个聊天完成请求
chat_completion = openai.ChatCompletion.create(
model="gpt-3.5-turbo",#使用特定的GPT-3.5 Turbo模型
messages=[{"role":"user", "content":"Hello world"}]#用户的消息
)

#输出模型的回复消息
print(chat_completion ["choices"] [0] ["message"] ["content"])
# -> Hello! How can I assist you today?

　　此时，已经能成功调用 OpenAI 模型，大多数示例使用了OpenAI模型。如果没有特殊说明，那么在示例运行之前都需要在终端设置OpenAIAPI秘钥的环境变量。

　　Hugging Face API 秘钥获取及环境变量配置
　　Hugging Face 是大语言模型领域中最著名的开源社区之一，以强大的模型生态系统和友好的用户接口闻名于世。在Hugging Face 社区，用户可以轻松地访问和使用各种开源模型,应对从文本生成到自然语言处理的各种任务。对于想要使用 HuggingFace 模型的用户，获取API 是一个关键的步骤。以下是对获取 Hugging Face API密钥方法的简单介绍。
　　创建一个 Hugging Face 账号并登录，登录后点击个人信息页面，就可以找到API密钥的相关信息https://huggingface.co/settings/tokens，一旦获得了API密钥，就可以轻松地使用它来访问和调用Hugging Face社区中的各种模型。在下面的代码示例中，我们展示了如何设置 Hugging Face Hub的APIToken,并使用它来调用指定模型。在这个示例中，我们使用了名为"google/flan-t5-xxl"的模型，但大家可以根据需要在Hugging Face 模型库中选择其他模型。

import os
from langchain import HuggingFaceHub

#设置 Hugging Face Hub的 API Token(请替换为您自己的 API Token)
os. environ {"HUGGINGFACEHUB_API_TOKEN"] ="hf_xxx"

#指定要使用的Hugging Face模型库中的模型（请根据您的需求替换为其他模型）
repo_id="google/flan-t5-xxl"#可以查看

#https:/huggingface.co/models?pipeline_tag=text-generation&sort=downloads

#以获取其他选项

#创建HuggingFaceHub对象，设置模型的一些参数（例如温度和生成的最大长度）
llm= HuggingFaceHub(
　　repo_id=repo_id, model_kwargs={"temperature":0.5, "max_length": 64}
)

#调用模型并生成结果
result = 1lm ("1+1=")
print(result).
#->2

　　请注意，示例中的APIToken(os.environ["HUGGINGFACEHUB_API_TOKEN"])需要替换为读者自己的有效Token,以便进行有效的调用。同时，可以根据具体的应用场景和需求更改模型参数,以满足特定任务要求。 Hugging Face提供了丰富的资源，无论是文本生成、问答，还是其他自然语言处理任务，都有很多选择。