LangChain + llamaFactory + Qwen2-7b-VL 构建本地RAG问答系统

原创 已于 2025-02-18 15:55:26 修改 · 900 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#langchain

于 2025-01-22 00:55:55 首次发布

单纯仅靠LLM会产生误导性的 “幻觉”，训练数据会过时，处理特定知识时效率不高，缺乏专业领域的深度洞察，同时在推理能力上也有所欠缺。

正是在这样的背景下，检索增强生成技术（Retrieval-Augmented Generation,RAG）应时而生，成为大模型时代的一大趋势。

RAG通过在语言模型生成答案之前，先从广泛的专业文档数据库中检索相关信息，然后利用这些专业信息来引导大模型生成的结果，极大地提升了内容的准确性和相关性。

RAG整体技术路线可分为3大块8个小点见图1，其中包含知识库构建、知识检索和知识问答。

参考连接：

langchain框架轻松实现本地RAG_langchain实现rag-优快云博客

https://www.zhihu.com/question/652674711/answer/3617998488

https://zhuanlan.zhihu.com/p/695287607

最低0.47元/天 解锁文章
开源模型应用落地-Qwen2-7B-Instruct与vllm-单机多卡-RTX 4090双卡（十一）
以微薄之力，予他人些许温暖.
08-07 3万+
4090单机双卡部署vllm，并集成qwen2-7b-instruct
开源模型应用落地-Qwen2-7B-Instruct与vllm实现推理加速的正确姿势（十）
以微薄之力，予他人些许温暖.
06-11 4713
Qwen2-7B-Instruct集成vllm，流式输出
LlamaFactory-Ollama-Langchain大模型训练-部署一条龙
整天梦游的小jerry
06-06 2480
近些日子，大模型火的一塌糊涂，那么现在就有义务要学习一套好用的、从 dataset --> train --> deploy 的一整套流程，好拿来装逼。话不多说，进入正题。
小白也能微调大模型：LLaMA-Factory使用心得
MeetLight
03-30 1万+
本文介绍了初学者如何使用LLaMA-Factory进行大模型的微调，包含训练、测试数据集的构建，训练任务相关的参数，训练完成后的测试集上推理等环节
模型微调+rag实战项目: 一. autodl + LLaMA-Factory 进行模型微调
最新发布
m0_74053237的博客
10-27 1013
本文介绍了使用AutoDL算力云平台LLama_factory 微调qwen2.5-7B-instruct的完整流程。
[大模型]Qwen2-7B-Instruct 接入 LangChain 搭建知识库助手
FL1623863129的博客
06-15 2737
在上述类定义中，我们分别重写了构造函数和 _call 函数：对于构造函数，我们在对象实例化的一开始加载本地部署的 Qwen2 模型，从而避免每一次调用都需要重新加载模型带来的时间过长；_call 函数是 LLM 类的核心函数，LangChain 会调用该函数来调用 LLM，在该函数中，我们调用已实例化模型的 generate 方法，从而实现对模型的调用并返回调用结果。完成自定义 LLM 类之后，可以以完全一致的方式调用 LangChain 的接口，而无需考虑底层模型调用的不一致。
langchain 使用本地通义千问，7B，14B，glm4
木下瞳的博客
04-10 2952
看了下是不支持这中模型，但看列表中有一个 Qwen 字样，想着应该是支持的，就去 hugging face 搜了下这个东西 “Qwen2”找到了对应的 qwen1.5-7B-Chat 模型。其实也就是一种公测版本，，所以总结来说目前直接导入本地 通义千问 langchaing 支持不是很好，可以使用 ollama，但这个下载非常慢，还会失败。qwen1.5-7B-Chat 我们用这个模型，是可以加载成功的，并输出的，但是非常非常慢。模型：qwen1.5-7B-Chat，qwen-7B-Chat。
多模态RAG利器，带你跑通Qwen2-VL-7B-Instruct大模型
m0_59164304的博客
11-28 1723
打造一个多模态RAG系统，就是把先进的AI技术应用到简化文档检索中。通过将Byaldi和Qwen模型等工具集成到易用的Streamlit应用里，我们能更高效地在海量信息中找到所需。在这个数据爆炸的时代，这样的系统变得不可或缺，它助力我们个人和组织更好地理解和利用信息。不管你是深入研究的学者，还是需要迅速获取报告的职场人，这个系统都能帮你轻松应对。按照这个指南，搭建起你自己的多模态RAG系统，让检索信息变得既快速又准确，彻底改变你与数字内容的互动方式。让我们一起迈入更智能、更高效的信息检索新时代！
开源模型应用落地-Qwen2-7B-Instruct-GPTQ-Int4与vllm-单机多卡-RTX 4090双卡（十二）
热门推荐
以微薄之力，予他人些许温暖.
08-07 3万+
4090单机双卡部署vllm，并集成qwen2-7b-instruct-gptq-int4
【Qwen2微调实战】LLaMA-Factory框架对Qwen2-7B模型的微调实践
寻道AI，探索AI无限可能！
07-29 2万+
在人工智能的浪潮中，大型语言模型（LLMs）正逐渐成为研究和应用的热点。它们在自然语言处理（NLP）的各个领域，如文本生成、翻译、问答等任务中展现出了卓越的能力。Qwen2-7B模型，作为该领域的佼佼者，不仅因其庞大的参数量和强大的表示能力受到关注，更因其在微调后能够更好地适应特定任务而备受关注。本文将详细介绍如何利用LLaMA-Factory这一高效的微调框架对Qwen2-7B进行微调，以期达到提升模型在特定任务上的表现。
基于LangChain-Chatchat + Ollama + Qwen2-7b搭建本地私有中文知识库和 chatGPT（Ubuntu24 纯CPU）
我hate吃西红柿
09-26 4930
目前好多优秀的开源大模型，如Meta的 llama 3.1、阿里的 qwen2、谷歌的 gemma2，都各有千秋，甚至媲美 chatGPT-4，最近公司准备搭建一套知识库，从数据安全考虑，准备利用网上开源的大模型和部署框架搭一套试试效果，这里记录下过程。
LangChain学习一：入门-本地化部署-接入大模型
huiguo_的博客
12-06 1万+
LangChain提供了一个标准的内存接口、一组内存实现及使用内存的链/代理示例。前提条件你是部署好了你的本地大模型，并且提供了API接口，如果你还不会搭建本地模型，你可以参考我的另一篇博客。如果你是在国外或者学会了科学上网，并且你在openai注册了key，你就可以使用opanai的模块进行调用。当然应为我们选择LangChain最为我们的中间件，我们也可以使用LangChain封装的模块使用。提供了一个标准的代理接口，一系列可供选择的代理，以及端到端代理的示例。在下载之前你需要安装环境。
使用LangChain和Mistral 7B实现强大的语言模型调用
adfyvatbia的博客
10-17 395
通过将Mistral 7B集成到LangChain中，我们能够实现高效的语言处理能力。这种能力不仅限于单个模型调用，还可以扩展到复杂的对话和任务处理。
[一文解决大模型微调+部署+RAG] LLamaFactory微调模型后使用Ollama + RAGFlow在Windows本地部署
joker_sxj的博客
05-03 3450
LLaMA Factory 是一个开源的全栈大模型微调框架，简化和加速大型语言模型的训练、微调和部署流程。它支持从预训练到指令微调、强化学习、多模态训练等全流程操作，并提供灵活的配置选项和高效的资源管理能力，适合开发者快速定制化模型以适应特定应用场景。下面通过微调Qwen2.5-3B-instruct模型的示例来展示如何使用 LLaMA Factory 进行模型微调并部署至 Ollama。
Qwen-VL图文多模态大模型LoRA微调指南
06-17 5318
Qwen-VL 是阿里云研发的大规模视觉语言模型（Large Vision Language Model, LVLM）。Qwen-VL 可以以图像、文本、检测框作为输入，并以文本和检测框作为输出。Qwen-VL 系列模型的特点包括：多语言对话模型：天然支持英文、中文等多语言对话，端到端支持图片里中英双语的长文本识别；多图交错对话：支持多图输入和比较，指定图片问答，多图文学创作等；开放域目标定位：通过中文开放域语言表达进行检测框标注；本文基于此进行微调。
使用 LangChain 与阿里巴巴的通义千问大语言模型进行对话
ppoojjj的博客
08-30 1417
本文介绍了如何使用 LangChain 与通义千问模型进行交互,包括基本对话、多轮对话、工具调用和多模态对话等功能。通过这些方法,开发者可以构建功能强大的AI应用。
Langchain-Chatchat+Qwen实现本地知识库
kaka0722ww的博客
09-04 1796
Langchain-Chatchat一种利用思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。大致过程包括加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的top k个 -> 匹配出的文本作为上下文和问题一起添加到prompt中 -> 提交给LLM生成回答。Qwen-7B(14B)是阿里云研发的通义千问大模型系列的70(140)亿参数规模的模型。
langchain调用多模态模型
The cure for boredom is curiosity. This is the log of its adventures.
12-20 1335
2. 模型定义 3. 图片数据编码 4. 调用模型 返回结果 5. 调用模型（使用图片链接） 返回结果： 千文视觉模型不支持图片链接，所以会报错 6. 读取多张图片并编码为base64 7. 使用多张图片数据调用模型 8. 使用工具 结果显示，千文视觉模型不支持工具调用 content=[ {“type”: “text”, “text”: “describe the weather in this image”}, { “type”: “image_url”, “image_url”:
qwen2-vl-7b RAG
02-06
### Qwen2-7B与RAG的技术细节 Qwen2-VL-7B是一个多模态大模型，能够处理文本和视觉输入并生成相应的输出。对于Retrieval-Augmented Generation (RAG)，该架构通过融合检索机制增强了传统的序列到序列(seq2seq)模型...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值