RAG：Langchain中使用自己的LLM大模型-优快云博客

在使用Langchain做RAG和Agent项目中，智能核心是LLM大语言模型；配置好模型是整个流程跑起来的关键。然而很多人初学者在为没有OpenAI的api-key而苦恼，在寻找代理或者替代品中花费了很多的时间。

本篇文章将为大家介绍在langchain中使用自己大模型的方法，帮助大家扫清障碍快速搭建RAG和Agent流程。

环境依赖

langchain_huggingface, langchain_core, transformer, torch

模型选择

我们选择选择Qwen最新发布的Qwen2-0.5B-Instruct模型，模型可以提前下载好，也可以加载的时候下载。下载代码如下：

在这里插入图片描述

示例代码

话不多说，直接上代码：
在这里插入图片描述

上面的例子一般可以正常运行，但是也可能会报如下错误：

huggingface_hub.errors.LocalTokenNotFoundError: Token is required (`token=True`), but no token found. You need to provide a token or be logged in to Hugging Face with `huggingface-cli login` or `huggingface_hub.login`. See https://huggingface.co/settings/tokens.

根据报错信息可以看到是没有提供token，token就是在huggingface官网上每个账号的标识，根据token可以追溯到账号。

如何提供token呢？首先我们去huggingface官网注册一个账号（如果打不开网页需要使用VPN），然后在用户头像那里，点击Settings，再点击Access Tokens，在里面设置。

不能翻墙的朋友们不用担心，可以使用下面方案一。

问题修复

方案一： 更改langchain_huggingface源码

文件地址：langchain_huggingface/chat_models/huggingface.py

注释第一个红框标红的代码，在第二个红框输入对应内容，就完美解决啦。

方案二：设置token

命令行输入：

from huggingface_hub import notebook_login
notebook_login()

然后填入huggingface的token就可以了。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述