书生谱语-基于 InternLM 和 LangChain 搭建知识库

原创 已于 2024-02-13 23:20:47 修改 · 712 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#langchain

于 2024-02-13 23:08:12 首次发布

大语言模型与外挂知识库（RAG）的优缺点

在这里插入图片描述

RAG方案构建与优化

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

作业

在创建web_demo时，需要根据教程将服务器端口映射到本地端口，另外需要将链接的demo从服务器中复制出来，不要直接从服务器打开demo页面，不然会显示异常。
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

书生浦语课程笔记3-使用InternLM和LangChain搭建知识库
zhiho14的博客
01-14 1405
和。
书生·浦语大模型--第三节课笔记--基于 InternLM 和 LangChain 搭建你的知识库
lalala12ll的博客
01-15 677
基于 InternLM 和 LangChain 搭建你的知识库。
书生·浦语训练营-基于 InternLM 和 LangChain 搭建你的知识库
weixin_73902638的博客
02-13 1701
完成 LangChain 的自定义 LLM 子类之后，可以以完全一致的方式调用 LangChain 的接口，而无需考虑底层模型调用的不一致。由于不同类型的文件需要对应不同的 FileLoader，我们判断目标文件类型，并针对性调用对应类型的 FileLoader，同时，调用 FileLoader 对象的 load 方法来得到加载之后的纯文本对象。目录，将该脚本和后续脚本均放在该目录下运行。微调技术的优势在于能够利用预训练模型的通用知识，同时通过针对性的训练适应具体任务，提升模型在特定应用场景下的性能。
第三课-基于 InternLM 和 LangChain 搭建你的知识库
qq_46016871的博客
02-21 1182
llm.predict("你是谁")构建检索问答链，还需要构建一个 Prompt Template，该 Template 其实基于一个带变量的字符串，在检索之后，LangChain 会将检索到的相关文档片段填入到 Template 的变量中，从而实现带知识的 Prompt 构建。# 我们所构造的 Prompt 模板template = """使用以下上下文来回答用户的问题。如果你不知道答案，就说你不知道。总是使用中文回答。问题: {question}可参考的上下文：···{context}
基于 InternLM 和 Langchain 搭建你的知识库
Y2483490891的博客
01-08 1450
llm.predict("你是谁")# 我们所构造的 Prompt 模板template = """使用以下上下文来回答用户的问题。如果你不知道答案，就说你不知道。总是使用中文回答。问题: {question}可参考的上下文：···{context}···如果给定的上下文无法让你做出回答，请回答你不知道。有用的回答:"""
基于 InternLM 和 LangChain 搭建知识库
weixin_55546799的博客
01-09 1141
完成 LangChain 的自定义 LLM 子类之后，可以以完全一致的方式调用 LangChain 的接口，而无需考虑底层模型调用的不一致。将上述仓库中所有满足条件的文件路径找出来，我们定义一个函数，该函数将递归指定文件夹路径，返回其中所有满足条件（即后缀名为 .md 或者 .txt 的文件）的文件路径。选择 Chroma 作为向量数据库，基于上文分块后的文档以及加载的开源向量化模型，将语料加载到指定路径下的向量数据库。目录下已存储有所需的模型文件参数，可以直接拷贝到个人目录的模型保存地址。
03 基于InternLM和LangChain搭建知识库
Wzxdecsdn的博客
01-13 1112
基于InternLM和LangChain搭建知识库的demo记录
基于 InternLM 和 LangChain 搭建你的知识库
python12345678_的博客
12-30 1009
本文基于InternStudio 算力平台利用 InternLM 和 LangChain 搭建知识库。[1] 是面向算法开发者与研究员的云端集成开发环境。基于「容器实例」，「镜像中心」，「分布式训练」，「公开数据集」模块为用户提供 “算力、算法、数据” 深度学习模型训练三要素，让算法开发变得更简单、更方便。笔者认为 InternStudio 是支撑书生·浦语大模型全链路开源开放体系的坚实基础，让我们在学习理论之后能够在开发机上实战。[2]是一个多语千亿参数基座模型，可以处理英文、中文和代码等多种语言;
第三课作业-基于 InternLM 和 LangChain 搭建你的知识库
weixin_42035282的博客
01-17 1103
基础作业：复现课程知识库助手搭建过程 (截图)在已完成 InternLM 的部署基础上，还需要安装以下依赖包： 同时，我们需要使用到开源词向量模型 Sentence Transformer:（我们也可以选用别的开源词向量模型来进行 Embedding，目前选用这个模型是相对轻量、支持中文且效果较好的，同学们可以自由尝试别的开源词向量模型）首先需要使用 官方提供的 命令行工具。安装依赖: 然后在和 目录下新建python文件 ，填入以下代码： 下载 NLTK 相关资源我们在使用开源词向量模型构建开源词向
大模型微调学习之旅③ — 基于 InternLM 和 LangChain 搭建你的知识库
HOOK1的博客
01-11 2037
LangChain可以快速帮我们构建一个RAG应用① 什么是LangChainLangChain是一个开源框架，旨在帮助开发人员在应用程序中使用大型语言模型（LLM）。它允许用户围绕LLM快速构建应用程序和管道，并直接与OpenAI的ChatGPT模型以及Hugging Face集成。LangChain支持多种编程语言，包括Python和JavaScript，并提供了丰富的API和工具，以方便开发人员快速构建复杂的LLM应用程序。
【大模型从入门到精通19】开源库框架LangChain LangChain文档加载器1
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
08-13 2235
在数据驱动的应用领域，特别是涉及对话界面和大型语言模型（LLM）的应用中，从各种来源高效加载、处理并与数据进行交互的能力至关重要。这些加载器擅长处理来自公共源的数据，如 YouTube、Twitter 和 Hacker News，同时也适用于来自专有源的数据，如 Figma 和 Notion。保存清洗后的文本：可选地，脚本可以将清洗和分词后的文档文本保存到文件中。这个扩展的代码提供了一个更全面的示例，展示如何从加载和清洗文本到基本分析和处理特殊情况，对 PDF 文档进行程序化的处理。
遥感监测基于SAR数据的洪水变化检测：Sentinel-1影像阈值分割与多时相合成分析
12-02
内容概要：本文介绍了一项基于SAR（合成开口雷达）数据的洪水变化检测实践任务，重点在于利用Sentinel-1 GRD数据进行灾后监测。文中详细讲解了从数据获取、过滤、合成到变化检测与可视化展示的完整流程。由于SAR数据不受云层和昼夜影响，特别适用于灾害应急响应。通过对比洪水前后两个时间段的SAR影像，采用中值合成去噪、比值法计算变化指数，并通过阈值分割生成二值化的洪涝淹没图，最终在Folium地图中实现叠加可视化。; 适合人群：具备遥感基础知识和Python编程能力，熟悉Google Earth Engine平台操作的科研人员或高年级本科生、研究生；对灾害监测、环境变化分析感兴趣的技术人员；; 使用场景及目标：①掌握SAR数据在洪水等自然灾害监测中的应用方法；②学习如何在Earth Engine中处理Sentinel-1数据并实现变化检测；③构建完整的遥感变化检测分析流程，包括数据预处理、影像合成、阈值分割与结果可视化； 阅读建议：建议读者结合代码实例逐步实践，重点关注filterDate、median合成、divide运算和lt阈值处理等关键步骤的操作逻辑，并注意地理坐标顺序、图层叠加方式等细节问题，确保分析结果准确可靠。
基于Web与物联网的分布式智慧农业环境监测系统源码实现
12-02
**项目资料：基于网络与物联网架构的分布式农业环境远程监控系统源代码** 本资料包提供了一套完整的分布式农业环境远程监控系统实现方案，该系统融合了现代网络技术与物联网架构，能够实现对农业生产环境的远程、实时、多节点监测与管理。系统源代码经过全面测试，各项功能运行稳定可靠，可供直接部署或二次开发使用。 该资料适用于计算机科学与技术、人工智能、通信工程、自动化、电子信息工程等相关专业的高校师生、科研人员以及行业技术人员参考学习与实践。对于希望深入理解物联网应用开发、分布式系统设计或智慧农业解决方案的学习者而言，本资料具有较高的参考价值。同时，其完整的项目结构也适用于毕业设计、课程设计、项目实践或作为特定功能模块的开发基础。 使用者可根据自身需求，在现有代码框架上进行功能扩展、算法优化或与其他系统进行集成。我们鼓励基于此代码进行合法的学习、研究与创新应用，并通过技术交流共同促进相关领域的技术发展。 资源来源于网络分享，仅用于学习交流使用，请勿用于商业，如有侵权请联系我删除！
在AI+时代，地方政府如何利用数字化升级路径重构市场占有率？.docx
12-02
在AI+时代，地方政府如何利用数字化升级路径重构市场占有率？
对比传统方案，新一代技术转移SaaS系统如何为科研院所带来颠覆性变革？.docx
12-02
对比传统方案，新一代技术转移SaaS系统如何为科研院所带来颠覆性变革？
如何通过智能化转型方案重塑服务效率与质量，从而重塑开拓全新增长点？.docx
12-02
如何通过智能化转型方案重塑服务效率与质量，从而重塑开拓全新增长点？
小车倒立摆的simulink仿真
12-02
小车倒立摆的simulink仿真
jenkins安装（标准 APT 包方式安装）
最新发布
12-02
无
BAAI-InternLM-0.3B部署
04-16
引用[3]涉及书生·浦语大模型实战营和LangGPT框架，可能与模型的应用场景或提示词工程有关，但不太直接涉及部署方法。不过，实战营可能提供过相关的部署教程，需要检查是否有第三期课程的详细内容。 接下来，我需要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

云朵不吃雨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值