基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[5]-高阶实战微调

最新推荐文章于 2024-09-02 16:17:00 发布
最新推荐文章于 2024-09-02 16:17:00 发布
阅读量959 收藏 1
点赞数
分类专栏： LLM工业级落地实践 搜索推荐系统相关技术业务落地方案 LLM技术汇总 文章标签： langchain 人工智能 大模型推理 大模型微调 p-tuning fastchat RAG
涉及博主原创类文章，未经博主许可不允许转载
本文链接：https://blog.youkuaiyun.com/sinat_39620217/article/details/139802153
版权

基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[5]-高阶实战微调

在这里插入图片描述

1.推荐的模型组合

  • 在默认的配置文件中，我们提供了以下模型组合
LLM: Chatglm2-6b
Embedding Models: m3e-base
TextSplitter: ChineseRecursiveTextSplitter
Kb_dataset: faiss
  • 我们推荐开发者根据自己的业务需求进行模型微调，如果不需要微调且配置充足，可选择以下性能较好的配置
model_config.py
LLM: Qwen-14B-Chat 或 Baichuan2-13B-Chat
Embedding Models: piccolo-large-zh 或 bge-large-zh-v1.5 
HISTORY_LEN = 20
TEMPERATURE = 0.1

使用该模型将需要更高的硬件要求

1张 RTX A6000 或者 A40 等 48GB 显存以上的显卡。推荐 1 x A100 以上。
(使用多张显卡拼接也能运
了解本专栏 订阅专栏 解锁全文
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[4]-高阶自定义模块
丨汀、的博客
06-17 452
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[4]-高阶自定义模块
语义检索-BAAI Embedding（bge-large-zh-v1.5）语义向量模型深度解析[0]：预训练至精通、微调至卓越、评估至精准、融合提升模型鲁棒性
丨汀、的博客
07-01 3992
语义检索-BAAI Embedding（bge-large-zh-v1.5）语义向量模型深度解析：预训练至精通、微调至卓越、评估至精准、融合提升模型鲁棒性
基于LangChain-Chatchat实现智能问答系统
2301_78234743的博客
05-06 1352
政务方向，直接推组长，流程推进快，有意可私信，官网可见此岗位要求：尽快入职，HC地点优先北京 ，每周。我真绷不住了，快手4/25面之后泡到现在，实在等不及了打电话去问hr，一问说是已经离职了，并且不知道。一面1、自我介绍2、项目介绍、项目亮点3、盒模型4、实现水平垂直居中5、CSS实现三角形6、JS的数。base 地都是上海，美团是到店下面的本地核心商业，做的应该是基建相关的技术，转正率不知道怎么样。又是面的稀烂的一集两个面试官拷打我的项目，话说这不是一面吗主要拷打在压测这一块，看得出来面试官对这块。
BGE、FlagEmbedding
AI工程化、开源分享、文档翻译、代码笔记
05-01 3767
BGE、FlagEmbedding 一、关于 BGE 关于 FlagEmbedding、FlagOpen、BAAI 相关新闻 二、FlagEmbedding 项目 BGE-M3(Paper, Code) Visualized-BGE LongLLM QLoRA Activation Beacon LM-Cocktail LLM Embedder BGE Reranker BGE Embedding C-MTEB 三、FlagEmbedding 模型列表 四、RAG retrieval pipeline
chatchat加载ptuning指南 训练语言模型（PLM） 高效微调（PEFT） langchain fastchat chatchat peft文件夹修改 代码修改
万有文的博客
04-19 1027
P-tuning虽然是一种peft方法，但并不能于huggingface的peft python包兼容，而fastchat在多处以字符串匹配的方式进行硬编码加载模型，因此导致fastchat和chatchat不能兼容p-tuning，经langchain-chatchat开发组多次尝试，给出如下指南进行p-tuning加载。P-tuning 是一种针对预训练语言模型（PLM）的参数高效微调（PEFT）方法，它允许我们仅调整少量的参数来实现高效的模型调整。
Langchain-Chatchat项目：1.2-Baichuan2项目整体介绍
人工智能讲师分享前沿技术
12-18 460
由百川智能推出的新一代开源大语言模型，采用2.6万亿Tokens的高质量语料训练，在多个权威的中文、英文和多语言的通用、领域benchmark上取得同尺寸最佳的效果，发布包含有7B、13B的Base和经过PPO训练的Chat版本，并提供了Chat版本的4bits量化。一.Baichuan2模型  Baichuan2模型在通用、法律、医疗、数学、代码和多语言翻译六个领域的中英文和多语言权威数据集上对模型进行了广泛测试。2.中间Checkpoints。二.模型推理1.Chat模型。一.Baichuan2模型。
LLM | 一文搞懂Langchain的概念，相关组件，以及大模型微调~
weixin_44649780的博客
12-03 4713
本文主要介绍了Langchain的概念，相关组件，以及大模型微调代码实现等~
语义检索-BAAI Embedding语义向量模型深度解析[1-详细版]：预训练至精通、微调至卓越、评估至精准、融合提升模型鲁棒性
丨汀、的博客
07-01 1060
语义检索-BAAI Embedding语义向量模型深度解析[1-详细版]：预训练至精通、微调至卓越、评估至精准、融合提升模型鲁棒性
LM-Cocktail[2]：一种创新的模型合并方法打破预训练语言模型微调后的性能局限，实现语言模型在一般任务与特定领域的均衡高性能
丨汀、的博客
07-02 598
LM-Cocktail：一种创新的模型合并方法打破预训练语言模型微调后的性能局限，实现语言模型在一般任务与特定领域的均衡高性能
langchain+neo4j 实现图谱GraphRAG
weixin_43816875的博客
06-24 4728
参考文档：https://blog.langchain.dev/enhancing-rag-based-applications-accuracy-by-constructing-and-leveraging-knowledge-graphs/源代码参考复现：https://github.com/tomasonjo/blogs/blob/master/llm/enhancing_rag_with_graph.ipynb?3.后续需要调整代码，限制节点的类型，以及关系的类型。② 构建结构化的检索器。
LangChain入门3 基于历史对话的RAG构建
weixin_41870426的博客
04-27 4788
加载和处理历史对话：首先，需要将历史对话加载到系统中。LangChain 可以使用 ChatMessageHistory 类来记录和处理所有先前的聊天互动。构建独立的检索问题：对于对话中的后续问题，LangChain 可以使用特定的提示模板（如 CONDENSE_QUESTION_PROMPT），将对话历史和最新问题结合起来，形成一个独立的检索问题。检索相关文档：使用检索器（Retriever）从存储中检索与当前问题和历史对话相关联的文档片段。
LLMs之ToolAgent之ChatGLM-3：基于LangChain框架采用ChatGLM3通过调用自定义的工具实现ToolAgent的功能(arxiv论文查询、天气查询、数值计算等单工具调用或者
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
03-23 1032
​ LLMs之ToolAgent：基于LangChain框架采用ChatGLM3通过调用自定义的工具实现ToolAgent的功能(arxiv论文查询、天气查询、数值计算等单工具调用或者多工具调用)输出详解实战 目录 基于LangChain框架采用ChatGLM3通过调用自定义的工具实现ToolAgent的功能(arxiv论文查询、天气查询、数值计算等单工具调用或者多工具调用)代码实战详解 基于LangChain框架采用ChatGLM3通过调用自定义的工具实现ToolAgent的功能(arx
Chatglm3+langchain智能对话，本地文本库构建问答，图片文本库构建与问答搜索
weixin_38353277的博客
02-01 5244
OCR + Chatglm3+langchain智能对话，本地文本库构建问答，图片文本库构建与问答搜索
探索LangChain-Chatchat 0.3：一体化Agent与强大RAG模型的全面入门指南
python123456_的博客
06-29 2183
LangChain-Chatchat 支持RAG和Agent0.3版本跟大模型解耦,支持XinferenceOllamaLocalAIFastChatOne API,可以非常方便的切换各个模型,本文只是介绍XinferenceXorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。
langchain-chatchat-0.3.0小白保姆部署指南
热门推荐
Panda_Panda博客
06-25 1万+
1.从 0.3.0 版本起，Langchain-Chatchat 不再根据用户输入的本地模型路径直接进行模型加载，涉及到的模型种类包括 LLM、Embedding、Reranker 及后续会提供支持的多模态模型等，均改为支持市面常见的各大模型推理框架接入，如。来展示如何在本地用 Xinference 运行大模型,我这里自定义了一个存储日志文件和大模型，embidding模型的路径，如果不自定义一个路径将会下载到默认的一个路径下，这样很容易将我们的系统盘给撑爆，以魔塔社区下载模型为例。
Langchain-Chatchat-0.3.0部署过程及常见报错记录
L0uis_xiv的博客
07-12 3772
如果不行就删除现有虚拟环境，重新创建，还不行就基于python3.9重新创建。当前0.3.0版本项目bug，正在fix中。把openai版本从1.1换成0.28.1。按照上文步骤3中开启xinference。跳过这一步骤，不初始化知识库，直接运行。卡在warnings.warn(
无坑！部署langchain-chatchat + glm4-9b-chat，轻松实现知识库智能问答！
zbc的博客
06-27 3834
通过该项目可以轻松实现智能问答，由于chatglm4的开源，该项目最新版本0.3.0与0.2.0版本部署有所不同.这里 llm 模型使用 glm4-9b-chat, embedding 模型使用 bge-large-zh-v1.5
【LLM_02】LangChain知识库+Lora微调chatglm2-6b模型+提示词Prompt的使用原则
08-04 1万+
Prompt是给AI的指令，引导模型生成符合业务场景的响应输出。
langchain-chatchat-0.3.0部署
weixin_45515807的博客
09-02 741
前言xinference之前部署教程发过了,找前面文章一丶创建虚拟环境2.对于一个全新的机子来说新建完虚拟环境无法做到直接激活，重新加载你的shell配置输入以下指令,conda init3.开始激活新建好的环境二丶安装所需要的库三丶启动1.chatchat至少需要一个语言模型和一个向量模型，本文选择Qwen2-instruct和bge-m3这两个模型。
CharacterTextSplitter 需要依赖什么
最新发布
03-20
<think>好的，用户想了解CharacterTextSplitter的依赖项。首先，我需要回忆一下LangChain中的文本分割器相关的内容。根据用户提供的引用，特别是引用[2]和[3]，里面提到了不同的文本分割器，比如ChineseRecursiveTextSplitter和ChineseTextSplitter，这可能说明CharacterTextSplitter是LangChain中的一个内置类。 用户提到的问题是关于依赖项，也就是这个类需要哪些库或模块的支持。根据已有的知识，LangChain本身是用Python编写的，所以依赖项应该是Python的库。CharacterTextSplitter可能在LangChain的核心模块中，所以首先需要安装LangChain本身。 然后，查看引用[3]中的参数，比如chunk_size、chunk_overlap、length_function，这些参数可能涉及到一些基本的字符串处理，可能需要Python的标准库，比如re（正则表达式）或者string模块。但可能主要的依赖还是LangChain自己的模块，比如可能依赖于一些基础的文本处理工具或者接口。 另外，用户提供的引用[2]中提到了已经支持的定制分词器，包括AliTextSplitter等，这说明LangChain中的文本分割器可能有不同的实现，但CharacterTextSplitter作为其中的一个基础类，可能不依赖于外部的库，而是依赖于LangChain内部的工具。 还需要考虑用户提到的引用[3]中的length_function，默认是计算字符数，这可能不需要额外的库，但如果有更复杂的功能，比如分词，可能需要其他库，比如nltk或spacy。不过根据引用[2]中的信息，CharacterTextSplitter可能属于比较基础的分割器，可能没有依赖这些高级的分词库，而只是基于字符或字符串操作。 综合来看，CharacterTextSplitter的主要依赖应该是LangChain本身，以及Python的标准库。需要确认是否有其他依赖项，比如可能用到的正则表达式模块，但这些通常是Python内置的，不需要额外安装。所以回答应该是说明需要安装LangChain，并可能依赖Python的标准库，但不需要其他外部库。</think>CharacterTextSplitter 是 LangChain 框架中常用的文本分割器，其依赖项主要包含以下部分： 1. **核心依赖库** - `langchain-core`：提供 LangChain 的基础组件和接口定义 - `langchain-text-splitters`：包含文本分割器的具体实现[^2][^4] 2. **底层支持模块** - Python 标准库 `re`（正则表达式模块）：用于处理文本分割规则 - Python 标准库 `string`：提供基础字符串操作 - 可选依赖 `tiktoken`（OpenAI 分词器）：当需要按 token 计数时使用[^3] 3. **功能关联模块** ```python # 典型使用场景示例 from langchain_text_splitters import CharacterTextSplitter text_splitter = CharacterTextSplitter( chunk_size=500, # 文本块尺寸 chunk_overlap=50, # 块间重叠量 separator="\n\n" # 分割符 ) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

汀、人工智能

十分感谢您的支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值