langchain 0.3.x 版本如何初始化本地模型

原创

已于 2025-05-27 16:50:24 修改 · 482 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#langchain

于 2025-05-27 16:48:36 首次发布

langchain 0.3.25

本地模型使用Xinference 搭建,地址为http://127.0.0.1:9997/v1

langchain 0.3.25 创建本地模型

from langchain.chat_models import init_chat_model

model = init_chat_model(model="qwen2.5-instruct", model_provider="openai")

其中"qwen2.5-instruct" 是本地模型的名称

这么创建,没有错,但是在调用的时候

model.invoke([HumanMessage(content="hi!,who are you ?")])

会报 connection error,是本地模型的url 和api_key 没有传进来,还是会调openai公开的接口

查看init_chat_model 源码

在***/site-packages/langchain/chat_models/base_client.py 函数里

def _init_chat_model_helper(
model: str, *, model_provider: Optional[str] = None, **kwargs: Any
) -> BaseChatModel:
model, model_provider = _parse_model(model, model_provider)
if model_provider == "openai":
_check_pkg("langchain_openai")
from langchain_openai import ChatOpenAI
return ChatO