LangChain + llamaFactory + Qwen2-7b-VL 构建本地RAG问答系统

已于 2025-02-18 15:55:26 修改
阅读量773 收藏 4
点赞数 1
CC 4.0 BY-SA版权
分类专栏： python 技术资源 文章标签： langchain
于 2025-01-22 00:55:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/gwd777/article/details/145292783

单纯仅靠LLM会产生误导性的 “幻觉”，训练数据会过时，处理特定知识时效率不高，缺乏专业领域的深度洞察，同时在推理能力上也有所欠缺。

正是在这样的背景下，检索增强生成技术（Retrieval-Augmented Generation,RAG）应时而生，成为大模型时代的一大趋势。

RAG通过在语言模型生成答案之前，先从广泛的专业文档数据库中检索相关信息，然后利用这些专业信息来引导大模型生成的结果，极大地提升了内容的准确性和相关性。

RAG整体技术路线可分为3大块8个小点见图1，其中包含知识库构建、知识检索和知识问答。

参考连接：

langchain框架轻松实现本地RAG_langchain实现rag-优快云博客

https://www.zhihu.com/question/652674711/answer/3617998488

https://zhuanlan.zhihu.com/p/695287607

最低0.47元/天 解锁文章

200万优质内容无限畅学
开源模型应用落地-Qwen2-7B-Instruct与vllm-单机多卡-RTX 4090双卡（十一）
以微薄之力，予他人些许温暖.
08-07 3万+
4090单机双卡部署vllm，并集成qwen2-7b-instruct
开源模型应用落地-Qwen2-7B-Instruct与vllm实现推理加速的正确姿势（十）
以微薄之力，予他人些许温暖.
06-11 4556
Qwen2-7B-Instruct集成vllm，流式输出
使用LangChain实现大规模语言模型自发现推理结构
VYSAHF的博客
03-19 558
大规模语言模型（如GPT-4和PaLM 2）已经在多项基准任务中取得显著性能指标。然而，它们在复杂推理场景下仍然面临挑战。传统的方法依赖于预定义的步骤，缺乏灵活性和适应性。
大模型学习-框架类
最新发布
qq_40650634的博客
06-05 958
vLLM框架一句话总结vLLM用于“部署”：高效加载模型、提供 OpenAI 风格接口用于“训练”：快速微调出适合你的 LLMLangChain用于“开发”：快速开发 LLM 驱动的复杂应用。
基于LangChain-Chatchat + Ollama + Qwen2-7b搭建本地私有中文知识库和 chatGPT（Ubuntu24 纯CPU）
我hate吃西红柿
09-26 4761
目前好多优秀的开源大模型，如Meta的 llama 3.1、阿里的 qwen2、谷歌的 gemma2，都各有千秋，甚至媲美 chatGPT-4，最近公司准备搭建一套知识库，从数据安全考虑，准备利用网上开源的大模型和部署框架搭一套试试效果，这里记录下过程。
LlamaFactory-Ollama-Langchain大模型训练-部署一条龙
整天梦游的小jerry
06-06 2267
近些日子，大模型火的一塌糊涂，那么现在就有义务要学习一套好用的、从 dataset --> train --> deploy 的一整套流程，好拿来装逼。话不多说，进入正题。
langchain 使用本地通义千问，7B，14B，glm4
木下瞳的博客
04-10 2780
看了下是不支持这中模型，但看列表中有一个 Qwen 字样，想着应该是支持的，就去 hugging face 搜了下这个东西 “Qwen2”找到了对应的 qwen1.5-7B-Chat 模型。其实也就是一种公测版本，，所以总结来说目前直接导入本地 通义千问 langchaing 支持不是很好，可以使用 ollama，但这个下载非常慢，还会失败。qwen1.5-7B-Chat 我们用这个模型，是可以加载成功的，并输出的，但是非常非常慢。模型：qwen1.5-7B-Chat，qwen-7B-Chat。
多模态RAG利器，带你跑通Qwen2-VL-7B-Instruct大模型
m0_59164304的博客
11-28 1390
打造一个多模态RAG系统，就是把先进的AI技术应用到简化文档检索中。通过将Byaldi和Qwen模型等工具集成到易用的Streamlit应用里，我们能更高效地在海量信息中找到所需。在这个数据爆炸的时代，这样的系统变得不可或缺，它助力我们个人和组织更好地理解和利用信息。不管你是深入研究的学者，还是需要迅速获取报告的职场人，这个系统都能帮你轻松应对。按照这个指南，搭建起你自己的多模态RAG系统，让检索信息变得既快速又准确，彻底改变你与数字内容的互动方式。让我们一起迈入更智能、更高效的信息检索新时代！
LangChain学习一：入门-本地化部署-接入大模型
huiguo_的博客
12-06 1万+
LangChain提供了一个标准的内存接口、一组内存实现及使用内存的链/代理示例。前提条件你是部署好了你的本地大模型，并且提供了API接口，如果你还不会搭建本地模型，你可以参考我的另一篇博客。如果你是在国外或者学会了科学上网，并且你在openai注册了key，你就可以使用opanai的模块进行调用。当然应为我们选择LangChain最为我们的中间件，我们也可以使用LangChain封装的模块使用。提供了一个标准的代理接口，一系列可供选择的代理，以及端到端代理的示例。在下载之前你需要安装环境。
开源模型应用落地-Qwen2-7B-Instruct-GPTQ-Int4与vllm-单机多卡-RTX 4090双卡（十二）
热门推荐
以微薄之力，予他人些许温暖.
08-07 3万+
4090单机双卡部署vllm，并集成qwen2-7b-instruct-gptq-int4
【Qwen2微调实战】LLaMA-Factory框架对Qwen2-7B模型的微调实践
寻道AI，探索AI无限可能！
07-29 2万+
在人工智能的浪潮中，大型语言模型（LLMs）正逐渐成为研究和应用的热点。它们在自然语言处理（NLP）的各个领域，如文本生成、翻译、问答等任务中展现出了卓越的能力。Qwen2-7B模型，作为该领域的佼佼者，不仅因其庞大的参数量和强大的表示能力受到关注，更因其在微调后能够更好地适应特定任务而备受关注。本文将详细介绍如何利用LLaMA-Factory这一高效的微调框架对Qwen2-7B进行微调，以期达到提升模型在特定任务上的表现。
Qwen-VL图文多模态大模型LoRA微调指南
06-17 4911
Qwen-VL 是阿里云研发的大规模视觉语言模型（Large Vision Language Model, LVLM）。Qwen-VL 可以以图像、文本、检测框作为输入，并以文本和检测框作为输出。Qwen-VL 系列模型的特点包括：多语言对话模型：天然支持英文、中文等多语言对话，端到端支持图片里中英双语的长文本识别；多图交错对话：支持多图输入和比较，指定图片问答，多图文学创作等；开放域目标定位：通过中文开放域语言表达进行检测框标注；本文基于此进行微调。
使用 LangChain 与阿里巴巴的通义千问大语言模型进行对话
ppoojjj的博客
08-30 1307
本文介绍了如何使用 LangChain 与通义千问模型进行交互,包括基本对话、多轮对话、工具调用和多模态对话等功能。通过这些方法,开发者可以构建功能强大的AI应用。
Langchain-Chatchat+Qwen实现本地知识库
kaka0722ww的博客
09-04 1606
Langchain-Chatchat一种利用思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。大致过程包括加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的top k个 -> 匹配出的文本作为上下文和问题一起添加到prompt中 -> 提交给LLM生成回答。Qwen-7B(14B)是阿里云研发的通义千问大模型系列的70(140)亿参数规模的模型。
langchain调用多模态模型
No trade is free, but my contents are.
12-20 1051
2. 模型定义 3. 图片数据编码 4. 调用模型 返回结果 5. 调用模型（使用图片链接） 返回结果： 千文视觉模型不支持图片链接，所以会报错 6. 读取多张图片并编码为base64 7. 使用多张图片数据调用模型 8. 使用工具 结果显示，千文视觉模型不支持工具调用 content=[ {“type”: “text”, “text”: “describe the weather in this image”}, { “type”: “image_url”, “image_url”:
[一文解决大模型微调+部署+RAG] LLamaFactory微调模型后使用Ollama + RAGFlow在Windows本地部署
joker_sxj的博客
05-03 2900
LLaMA Factory 是一个开源的全栈大模型微调框架，简化和加速大型语言模型的训练、微调和部署流程。它支持从预训练到指令微调、强化学习、多模态训练等全流程操作，并提供灵活的配置选项和高效的资源管理能力，适合开发者快速定制化模型以适应特定应用场景。下面通过微调Qwen2.5-3B-instruct模型的示例来展示如何使用 LLaMA Factory 进行模型微调并部署至 Ollama。
[大模型]Qwen2-7B-Instruct 接入 LangChain 搭建知识库助手
FL1623863129的博客
06-15 2665
在上述类定义中，我们分别重写了构造函数和 _call 函数：对于构造函数，我们在对象实例化的一开始加载本地部署的 Qwen2 模型，从而避免每一次调用都需要重新加载模型带来的时间过长；_call 函数是 LLM 类的核心函数，LangChain 会调用该函数来调用 LLM，在该函数中，我们调用已实例化模型的 generate 方法，从而实现对模型的调用并返回调用结果。完成自定义 LLM 类之后，可以以完全一致的方式调用 LangChain 的接口，而无需考虑底层模型调用的不一致。
基于LangChain调用本地部署（Ollama）的大模型Qwen(2)
weixin_44217158的博客
09-04 2522
然而，对于一些对数据安全和响应速度有较高要求的应用场景，将模型部署在本地成为了一种常见的选择。本文将详细介绍如何使用LangChain框架来调用本地部署的Ollama大模型，具体来说是如何调用Qwen模型。未来，随着更多模型的支持和技术的进步，这种方式将会变得更加普遍和高效。通过Ollama，开发者可以轻松地加载和运行不同的模型，而无需关心底层的技术细节。接下来，我们将展示如何使用LangChain中的Ollama类来创建一个模型实例，并通过它来获取Qwen模型的响应。LangChain简介。
值得一用的长文本训练框架360-LLaMA-Factory及多模态VideoRAG实现思路
xiaoganbuaiuk的博客
01-16 1326
本文主要介绍了两个工作，一个是可训超长文本的LLaMA-Factory(360-LLaMA-Factory)，一个是多模态RAG进展之VideoRAG实现思路，前者感兴趣的可以去用一用。纸上得来终觉浅，绝知此事要躬行；多实践，才能真掌握。
qwen2-vl-7b RAG
02-06
### Qwen2-7B与RAG的技术细节 Qwen2-VL-7B是一个多模态大模型，能够处理文本和视觉输入并生成相应的输出。对于Retrieval-Augmented Generation (RAG)，该架构通过融合检索机制增强了传统的序列到序列(seq2seq)模型的能力[^1]。 在具体实现上： #### 数据集准备 为了训练和支持有效的检索增强功能，需要构建专门的数据集来支持跨不同领域的内容理解。这些数据集通常由大量文档组成，并经过预处理以便于快速索引和查询[^2]。 #### 编码器设计 编码器部分负责理解和表示来自多个模式的信息。它不仅接收原始文本作为输入，还可以接受图像或其他形式的非结构化数据。这种能力使得当面对复杂场景时，比如涉及图片说明的任务，可以更全面地捕捉上下文信息。 #### 检索模块集成 引入了一个强大的搜索引擎组件用于从外部资源库中查找最相关的片段或文件。此过程依赖于高效的向量相似度计算以及优化过的存储解决方案以确保实时响应性能。一旦找到匹配项，则会将其嵌入到解码阶段供后续利用。 #### 解码策略调整 最后，在生成最终答案之前，会对候选回复进行评分排序，优先考虑那些既忠实原文又富含额外有用资讯的选择。这一步骤有助于提高对话系统的实用性和准确性。 ```python from transformers import RagTokenizer, RagRetriever, RagSequenceForGeneration tokenizer = RagTokenizer.from_pretrained("facebook/rag-token-nq") retriever = RagRetriever.from_pretrained("facebook/rag-token-nq", index_name="exact", use_dummy_dataset=True) model = RagSequenceForGeneration.from_pretrained("facebook/rag-token-nq", retriever=retriever) input_dict = tokenizer.prepare_seq2seq_batch( ["What is the capital of France?", "Who was Nikola Tesla?"], return_tensors="pt" ) generated_ids = model.generate(input_ids=input_dict["input_ids"]) print(tokenizer.batch_decode(generated_ids, skip_special_tokens=True)) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值