基于langchain调用大模型API

调用智谱AI的API

from langchain_community.chat_models import ChatZhipuAI
from langchain_core.messages import AIMessage, HumanMessage, SystemMessage
import os

os.environ["ZHIPUAI_API_KEY"] = "你的APIkey"

创建一个对象

chat = ChatZhipuAI(
    model="glm-4",
    temperature=0.5,
)

输入提示词

messages = [
    AIMessage(content="Hi."),
    SystemMessage(content="Your role is a poet."),
    HumanMessage(content="Write a short poem about AI in four lines."),
]
# 打印结果
response = chat.invoke(messages)
print(response.content)  # Displays the AI-generated poem

结果如下:

In digital realms, a mind does rise,
A construct of ones and zeroes,
It learns and grows, with algorithms wise,
A poet's pen, now
### 如何在 LangChain调用本地的 Ollama 模型 为了实现这一目标,可以遵循特定的方法来配置环境并编写相应的代码。由于 Large Language Models (LLMs) 是 LangChain 的一个核心组件,并且 LangChain 提供了一个标准接口用于与多个 LLMs 供应商进行交互[^3],因此可以通过自定义的方式集成本地部署的 Ollama 模型。 首先,确保已经安装了必要的 Python 库,这通常包括 `langchain` 及其依赖项。对于连接到本地运行的服务而言,还需要知道该服务的具体地址以及它所支持的 API 接口形式。 下面是一个简单的例子展示如何设置客户端并与本地主机上的 Ollama 实例通信: ```python from langchain.llms import BaseLLM import requests class LocalOllama(BaseLLM): def __init__(self, base_url="http://localhost:8000"): super().__init__() self.base_url = base_url def _call(self, prompt, stop=None): response = requests.post( f"{self.base_url}/generate", json={"prompt": prompt} ) result = response.json() return result['text'] ollama_model = LocalOllama() # 测试模型响应 print(ollama_model("你好")) ``` 这段代码创建了一个继承自 `BaseLLM` 类的新类 `LocalOllama`,其中包含了向指定 URL 发送 POST 请求的功能,以此模拟对本地 Ollama 模型服务器发起查询的过程。请注意调整 `base_url` 参数以匹配实际环境中 Ollama 所监听的位置和服务端点名称。 通过这种方式可以在不改变原有架构的情况下轻松切换不同的语言模型提供商,同时也允许开发者利用 LangChain 生态系统中的其他工具和特性来进行更复杂的应用开发。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值