langchain 如何使用本地大模型(LLM)

本文详细介绍了如何在Langchain中,特别是HuggingFacePipeline的上下文中,加载并使用本地的预训练Transformer模型进行文本生成,强调了device_map设置的重要性,以防运行时错误或设备不匹配的问题。

langchain 很多例子里面,默认都是调用的OpenAI的模型,但是有时候我们希望使用自己本地的大模型。具体代码如下: 

from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline
from langchain import LLMChain,HuggingFacePipeline,PromptTemplate
import torch

model_path = "写入模型存在路径"
device = torch.device("cuda:0")
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True, device_map="auto").half()
pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    max_length=512,
    top_p=1,
    repetition_penalty=1.15
)
llama_model = HuggingFacePipeline(pipeline=pipe)
template = '''
#背景信息# 
你是一名知识丰富的导航助手,了解中国每一个地方的名胜古迹及旅游景点. 
#问题# 
游客:我想去{地方}旅游,给我推荐一下值得玩的地方?"
'''
prompt = PromptTemplate(
    input_variables=["地方"],
    template=template
)
chain = LLMChain(llm=llama_model, prompt=prompt)
print(chain.run("天津"))

注意: 

这行代码一定要写成 device_

### 集成 LangChain 和 Ollama 的方法 要在 LangChain 中集成和使用本地 Ollama 模型,可以按照以下方式实现。首先需要确保已经成功安装并配置好 Ollama 环境[^3]。接着可以通过 Python 代码加载指定的模型,并将其作为语言模型 (LLM) 使用。 以下是具体的实现过程: #### 安装依赖项 在开始之前,请确认已安装 `langchain` 库及其社区扩展包 `langchain-community`。如果尚未安装这些库,可通过以下命令完成安装: ```bash pip install langchain langchain_community ``` #### 加载 Ollama 模型 LangChain 提供了专门用于与 Ollama 进行交互的类 `Ollama`,位于模块 `langchain_community.llms` 中。通过该类可以直接实例化一个 LLM 对象,并绑定特定的 Ollama 模型。 下面是一个完整的代码示例,展示了如何加载名为 `llama2:13b` 的模型[^4]: ```python from langchain_community.llms import Ollama # 初始化 Ollama 模型对象 llm = Ollama(model="llama2:13b") # 测试生成文本功能 response = llm("解释一下量子力学的基础概念是什么?") print(response) ``` 在此代码片段中,`model="llama2:13b"` 参数指定了要使用的具体 Ollama 模型版本。可以根据实际需求替换为其他已下载的模型名称,例如 `llama2` 或者自定义拉取的模型。 #### 切换不同的 Ollama 模型 当需要更换所使用的模型时,只需调整初始化参数中的 `model` 值即可。假设现在想改用另一个更轻量级的模型 `llama2:7b`,则仅需修改如下部分: ```python llm = Ollama(model="llama2:7b") ``` 此外,还可以动态更改正在运行的应用程序内的默认模型而无需重启服务。 --- ### 注意事项 - **模型兼容性**:并非所有类型的模型都完全适配于 LangChain 的接口设计,因此建议优先选用官方推荐或者经过验证支持良好的选项。 - **性能优化**:对于资源有限的情况(比如笔记本电脑),可以选择较小规模的预训练模型以减少内存占用和提升响应速度[^1]。 - **错误处理机制**:在生产环境中应当加入异常捕获逻辑来增强系统的健壮性和用户体验[^2]。 ---
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值