本地搭建【文档助手】大模型版（LangChain+llama+Streamlit）

最新推荐文章于 2025-09-14 14:25:41 发布
原创 最新推荐文章于 2025-09-14 14:25:41 发布 · 2.2k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#langchain #llama #python #语言模型

概述

本文的文档助手就是：我们上传一个文档，然后在对话框中输入问题，大模型会把问题的答案返回。

安装步骤

  1. 先下载代码到本地

LangChain调用llama模型的示例代码：https://github.com/afaqueumer/DocQA（代码不是本人写的，尊重原创）

git clone https://github.com/afaqueumer/DocQA.git
  1. 环境安装
双击 setup_env.bat
  • 如果没反应可能是缺少环境，打开控制台手动执行一下，缺python或者pip的自己根据报错下载一下

如果llama-cpp-python安装报错
（1）需要下载Visual Studio
（2）打开Visual Studio，工具，获取工具和功能
请添加图片描述
（3）等待下载完，重新运行setup_env.bat

如果还有报错【error C2061: 语法错误:】，那么可能是Visual Studio的版本太低了，我一开始用的是2019版本，后来换成了2022
在这里插入图片描述
更新为2022之后重复上面操作

  1. 下载一个靠谱的模型
    https://huggingface.co/TheBloke/Llama-2-7B-GGUF
    本文用的是：TheBloke/Llama-2-7B-GGUF中的最精简版
    在这里插入图片描述
  2. 进入DocQA，修改app.py

原始

llm
最低0.47元/天 解锁文章
Langchain-Chatchat基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答
01-25
本项目的最新版本中通过使用 FastChat 接入 Vicuna, Alpaca, LLaMA, Koala, RWKV 等模型，依托于 langchain 框架支持通过基于 FastAPI 提供的 API 调用服务，或使用基于 Streamlit 的 WebUI 进行操作。 依托于本项目...
【Langchain入门篇】LangChain中的流式调用
zzu_dcx_zzu的专栏
04-30 1493
在LangChain中，有三种处理流式调用的方式：三种流式输出方法比较：1. stream(): 同步流式输出，逐块返回响应内容- 特点：阻塞式调用，适合简单同步场景- 应用：需要立即处理结果的同步应用程序2. astream(): 异步流式输出，返回异步生成器- 特点：非阻塞式调用，适合异步框架- 应用：FastAPI等异步Web服务中实时返回响应3. astream_events(): 事件驱动的流式输出- 特点：返回完整事件流(开始/内容块/结束)
LangChain + Streamlit + Llama：将对话式AI引入本地机器
ygtu2018的博客
08-21 1071
在过去的几个月里，大型语言模型（LLM）获得了极大的关注，引起了全球开发人员的兴趣。这些模型创造了令人兴奋的前景，特别是对于从事聊天机器人、个人助理和内容创作的开发人员而言。LLM带来的可能性引发了开发人员的热情 |人工智能 |NLP社区。
20250914-01: Langchain概念：流式传输（Streaming）
最新发布
寓教于乐。教己助人
09-14 869
从大型语言模型（LLM）生成完整响应通常会产生几秒钟的延迟，在涉及多次模型调用的复杂应用程序中，这种延迟会更加明显。这种延迟会更加明显。幸运的是，大型语言模型以迭代方式生成响应，允许在生成过程中显示中间结果。通过流式传输这些中间输出，LangChain 可以在基于大型语言模型的应用程序中实现更流畅的用户体验，并在其核心设计中提供了对流式传输的内置支持。‍在本指南中，我们将讨论大型语言模型应用程序中的流式传输，并探讨 LangChain 的流式传输 API 如何促进应用程序中各种组件的实时输出。
【LangChain】如何本地部署基于chatGPT的实时文档和表格数据的助手，在自己的数据上构建chatGPT？
BetterBench的博客
05-08 7163
（1）LangChain是一个用于自然语言处理的 Python 库，它的目标是尝试简化自然语言处理任务，提高处理效率和准确性。该库提供了一组易于使用的函数和工具，可以帮助你实现各种自然语言处理任务，例如语句分割、分词、词性标注、命名实体识别、情感分析等。与其它自然语言处理库相比，LangChain更注重处理速度和准确性，并且支持多种自然语言的处理（包括中文、英文、日文等）。（2）FAISS。
零代码本地搭建AI大模型，详细教程！普通电脑也能流畅运行，中文回答速度快，回答质量高...
算法channel
05-31 4045
你好，我是郭震这篇教程主要解决：1). 有些读者朋友，电脑配置不高，比如电脑没有配置GPU显卡，还想在本地使用AI；2).Llama3回答中文问题欠佳，想安装一个回答中文问题更强的AI大模型。3). 想成为AI开发者，开发一款AI大模型的应用和产品，如何选择API的问题。我相信，大家平时主要还是以中文问答为主，安装一个中文回答更强的AI，就显得更很有必要。这篇教程主要解决上面两个问题。1通义千...
通过 Ollama、Langchain 实现 RAG
hawk2014bj的博客
04-16 4852
RAG 在 Langchain 上的定义是，作为大语言模型最常用的场景就是问答系统，可以针对特别来源数据做问题回答，就是私有数据，这就是 RAG，英文全称是Retrieval Augmented Generation。就是对现有模型数据的增广，大语言模型都是在公众数据上训练，而且只是拿到了某一个时间点之前的数据。RAG 是数据增广，也可以说是数据过滤，按照今天大模型的发展，上下文的长度已经卷到200 万个汉字的无损上下文，那么 RAG 会不会以后就不需要了，每次对话都把文档带上，让我们拭目以待。
基于大模型LLama2+Langchain构建知识库问答系统
space01的专栏
10-11 1714
知识库需求在各行各业中普遍存在，例如制造业中历史故障知识库、游戏社区平台的内容知识库、电商的商品推荐知识库和医疗健康领域的挂号推荐知识库系统等。传统知识库搜索系统基于关键字匹配，缺少对用户问题理解和答案二次处理能力。为保证推荐系统的实效性和准确性，需要大量的数据/算法/软件工程师的人力投入和包括硬件在内的物力投入。其次，为了进一步提高搜索准确率，如何引导用户搜索描述更加准确和充分利用用户行为优化搜索引擎也是常见的用户痛点。此外，如何根据企业知识库直接给出用户提问的答案也是众多企业中会遇见的技术瓶颈。
本地电脑大模型系列之 08 使用 Llama 3 和 LangChain 使用自然语言查询 SQL 数据库（教程含源码）
iCloudEnd的博客
07-14 628
创建自定义函数以根据用户输入生成 SQL。此函数将使用 Ollama 访问自定义模型。# chain:(?
使用 LangChain、llama3、Qdrant、Redis 和 Streamlit 构建具有聊天历史记录的安全本地 RAG 应用程序
iCloudEnd的博客
07-28 187
数据在我们的日常生活中扮演着重要角色。但更重要的是我们如何处理和保护数据中包含的敏感信息。本指南专门针对那些重视隐私且不愿将数据发送给 LLM 提供商的人。耸耸肩，我无法比Apple每次在WWDC上所做的更好地介绍数据隐私😁 在本指南中，我将引导您构建可以在工作站或服务器上本地运行的安全本地RAG（检索增强生成）应用程序。
LangChain源码分析系列·流式（Stream）能力分析
u012384644的专栏
05-09 1798
本文是 LangChain 框架源码分析系列文章之一，以工程设计的能力视角切入分析当下最火的大模型应用开发框架。与大模型原理学习对比，学习 LangChain 框架需要做思维模式的转变，关注的重点从 Why 转为 What&How。阅读源码是一个相对枯燥的过程，并且穿插源码在其中一定程度上会影响文章的可读性；为此，结论先行 - LangChain 流式能力的基础是 Python 语言的生成器语法特性。本文作为一个框架源码分析系列文章的开篇，选择了个人感兴趣的架构设计模块作为切入点进行剖析。
基于 Langchain 和 Streamlit，构建多 PDF RAG 聊天机器人
机器学习社区
06-22 1481
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对大模型技术趋势、算法项目落地经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。与 PDF 互动是很酷的。你可以与你的笔记、书籍和文档等进行聊天。本文将帮助你构建一个基于 Multi RAG Streamlit 的 Web 应用程序，通过对话 AI 聊天机器人来读取、处理和互动PDF数据。以下是该应用程序的工作步骤，用简单的语言进行说明。
LangChain-03 astream_events 流输出 FAISS/DocArrayInMemorySearch 实战
永远好奇 无限进步
04-03 5767
FAISS作为由Meta AI开发的高性能相似性搜索库，支持多种索引结构（如Flat、IVF、PQ）、GPU加速及分布式扩展，适用于推荐系统、图像检索、语义搜索等大规模向量场景。其核心优势在于内存优化、批量处理效率和易用性。对于Mac用户，可使用faiss-cpu或替代方案。随后，文章展示了astream_events的应用，该功能允许实时监听模型生成过程中的事件，如新token生成、检索结束或模型完成，适合聊天机器人、代码生成及教育演示等场景。示例代码采用DocArrayInMemorySearch构建检
【流式输出】LangChain流式输出的概念
m0_56132701的博客
09-03 2291
在构建智能对话系统或处理大规模数据时，流式输出是一种极具价值的技术，它允许数据在生成的同时逐步传输，而无需等待整个过程完成。LangChain作为一个功能强大的框架，为开发者提供了流式输出的支持，使得处理长时间运行的任务变得更加高效。
Langchain 流式输出到前端（真正解决方法，附最佳实践的完整代码）
热门推荐
一如年少模样丶的博客
09-10 1万+
当我们深入使用Langchain时，我们都会考虑如何进行流式输出。尽管官方网站提供了一些流式输出的示例，但这些示例只能在控制台中输出，并不能获取我们所需的生成器。而网上的许多教程也只是伪流式输出，即先完全生成结束，再进行流式输出。实际上，这个方法非常简单，但是在文档和网上教程中确实很难找到。我花费了半天的时间研究了Langchain的源码，才发现可以通过以下方式实现。方法来之不易，如果您有所收获，请。
基于OpenVINO+LangChain+LLama2打造互联网自动查询的AI助手
英特尔开发人员专区
10-18 4686
本文旨在使用OpenVINO 2023，利用其新版本的特性加速Llama2模型。为Llama2定制化Prompt，并用LangChain实现可联网获得最新消息的辅助检索查询。在本文中，端到端教授大家基于OpenVINO+LangChain+LLama2实现具备互联网自动查询的AI助手
【深入解析如何使用LangChain实现流式运行：从基础到高级的全面指南
m0_57781768的博客
08-24 465
LangChain框架为开发者提供了一系列强大的工具和接口，使得在基于LLM的应用中实现流式处理变得相对简单。LangChain中的关键组件，包括聊天模型、输出解析器、提示模板、检索器和代理等，都实现了LangChain的可运行接口（Runnable Interface），从而支持流式处理。同步流（sync stream）和异步流（async astream）：这是一种默认的流式处理实现方式，允许链中的每一步骤逐步生成并输出最终结果。
使用langchain及llama_index实现基于文档（长文本）的相似查询与询问
HYY的博客
05-31 1万+
langchain是一个功能强大的库，它为我们提供了许多方便的工具和模型，包括OpenAI模型。它通过链式调用的方式将这些组件连接在一起，创造出一个连贯的应用程序。同时，langchain还提供了内存组件Memory，可以帮助我们管理之前的聊天消息，以及Indexes和Agents等功能。LlamaIndex（GPT Index）是一个用于LLM应用的数据框架，集成了langchain及chatgpt相关应用，更便于我们实现结构化数据和高级检索的相关功能。
langchain学习（四）
小白的数据博客
02-24 1348
方式1通过RunnableParallel。2、component的输入输出类型表。1、langchain采用了一个叫。Interface官方文档。同时提供以上接口的异步方式。方式2通过batch接口。：流式（实时）返回结果。：通过列表进行多输入。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值