自然语言处理:第一百零六章 RAG常见13种分块策略大总结（一览表）

最新推荐文章于 2025-12-01 19:10:17 发布
原创 最新推荐文章于 2025-12-01 19:10:17 发布 · 706 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理 #人工智能 #nlp #langchain #深度学习 #神经网络 #chatgpt

本人项目地址大全：Victor94-king/NLP__ManVictor: 优快云 of ManVictor


写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!

写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!

写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!


分块策略在RAG中至关重要，目的是提高效率、相关性和上下文保持。分块能减少计算开销，增加检索相关信息的可能性，同时保持信息完整性。但也存在风险，如上下文丢失、冗余和不一致性。选择策略需考虑文档类型（结构化 vs 非结构化）、查询复杂性、资源可用性和期望结果（速度 vs 准确性 vs 上下文）。

以下是13种独特分块策略的详细描述，按策略名称、描述、优点、缺点和实施建议。仅供参考。

图片

策略名称 描述 优点 缺点 实施建议
固定长度分块 将文本按预定义长度（如基于令牌或字符）分割，适合简单文档或快速处理。 简单性、统一性、效率
最低0.47元/天 解锁文章
自然语言处理:第七十九章 RAG落地应用中的挑战与解决方案
victor_manches的博客
12-20 1290
系统使用大模型生成多个查询变体，如“我想找一个有免费Wi-Fi的海滩附近的酒店”、“我想找一个海滩附近有免费Wi-Fi的酒店”等，然后对这些变体进行检索，确保返回的酒店列表符合用户的查询条件。系统首先使用大模型解析出关键属性“黑色”、“皮质”、“迷你裙”和“价格 < 20美元”，然后通过这些属性在数据库中进行精确检索，确保返回的商品列表符合用户的查询条件。系统首先使用宽泛的条件“普通感冒”进行检索，然后根据用户的进一步提问（如“普通感冒的症状”）进行更具体的检索，确保返回的信息与用户的查询高度相关。
RAG专栏：分块策略
m0_37145844的博客
03-26 1147
文档数据（Documents）经过解析后，通过分块技术将信息内容划分为适当大小的文档片段（chunks），从而使 RAG 系统能够高效处理和精准检索这些片段信息。分块的本质在于依据一定逻辑或语义原则，将较长文本拆解为更小的单元。分块策略有多种，各有侧重，选择适合特定场景的分块策略是提升 RAG 系统召回率的关键。
LLMs：LLM一天，人间一年—2024年度大模型技术三+四大趋势梳理(数据/算法/算力+RAG/Agent/Text2SQQL/混合部署)与2025年大模型技术趋势(强大推理/多模态)展望和探讨
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-31 1万+
​ LLMs：LLM一天，人间一年—2024年度大模型技术三+四大趋势梳理(数据/算法/算力+RAG/Agent/Text2SQQL/混合部署)与2025年大模型技术趋势(强大推理/多模态)展望和探讨 目录 博主2本新书即将出版啦 一、LLM概述 二、2024年LLMs开源：社区生态与技术工具的双重突破 三、2024年LLMs技术：数据、算法、算力的协同进化 四、2024年LLM
51c大模型~合集120
whaosoft~aiotの开发板商城
04-23 1万+
然而，视觉 token 在时序上具有局部性：对于当前解码帧，其邻近帧需要更细粒度的时序交互，而远离的帧通常仅需作为记忆存在，无需深入的时序交互。Agent Factory 模式下，你只需要你对智能体做出描述，Cooragent 就会根据你的需求生成一个智能体，系统的会自动分析用户需求，通过记忆和扩展深入理解用户，省去纷繁复杂的 Prompt 设计。它不仅加速了知识的创造和传播，激发了前所未有的协作模式，更让智能体真正「活」了起来，从单纯的工具转变为社区中积极的参与者和贡献者。
51c大模型~合集188
whaosoft~aiotの开发板商城
09-29 1122
作为迈向下一代架构的过渡，V3.2-Exp 在 V3.1-Terminus 的基础上引入了 DeepSeek 稀疏注意力机制（DeepSeek Sparse Attention，DSA）—— 一种旨在探索和验证在长上下文场景下训练和推理效率优化的稀疏注意力机制。作为迈向新一代架构的中间步骤，V3.2-Exp 在 V3.1-Terminus 的基础上引入了 DeepSeek Sparse Attention（一种稀疏注意力机制），针对长文本的训练和推理效率进行了探索性的优化和验证。最后，有一波小节奏。
花落八股知多少
qq_39415440的博客
05-31 1710
八股八股走起来
【自然语言处理】基于大模型的智能问答系统设计：企业新员工培养场景下的RAG技术应用与优化
10-21
详细阐述了基础模型、行业模型与场景模型的层级关系，并深入讲解了自然语言处理技术、Transformer架构、大语言模型关键技术（如注意力机制、上下文学习、思维链）、高效微调方法（如LoRA、Adapter）以及RAG（检索...
自然语言处理:第四十二章 RAG与LLM原先知识冲突时，大模型会如何处理？
victor_manches的博客
07-12 1280
ClashEval》这篇论文由斯坦福大学的研究者Kevin Wu、Eric Wu和James Zou撰写，研究关注的是在使用检索增强生成（RAG）技术的大规模语言模型（LLM）中，如何处理外部检索到的信息。RAG旨在减少幻觉并为模型提供最新知识，但当检索到的内容存在错误或有害信息时，模型如何应对这一问题？研究者创建了一个包含1200多个问题的数据集，覆盖了六个不同领域，如药物剂量、奥运记录和地理位置，以及与每个问题相关的内容。并针对每个问题的答案进行了不同程度的错误注入。
Molmo&PixMo：全开源视觉语言模型的突破之路
m0_65010824的博客
12-01 516
本文是对论文《Molmo and PixMo: Open Weights and Open Data for State-of-the-Art Vision-Language Models》的深度解读。在VLM领域，专有模型垄断SOTA性能、开源模型依赖蒸馏的问题突出。本文队提出Molmo开源家族及PixMo数据集，不依赖外部VLM，通过语音标注等创新收集高质量数据，优化架构与训练流程，Molmo-72B超Claude 3.5 Sonnet等专有模型，仅落后GPT-4o，填补开源 VLM 全链路空白。
8年NLP算法工程师郭志才：Ai正在模糊内容的产权边界。
Mr_HelloWorldx的博客
12-01 321
今天开发者说采访的对象是郭志才，他曾在外企和京东工作，后投身大模型相关的行业，一干就是八年。 今年他在Github发布的 AI 生成 PPT 的项目，仅上线半年就斩获 1.4k star。在探索Ai生成内容的尝试中，他勇敢迈出了一步，在这个过程中他也遇到了许多志同道合的朋友，今天他希望能在这里和更多人相遇。本科阶段，我就读于天津工业大学光电专业，并非计算机科班出身，但因为我一直对计算机领域抱有浓厚兴趣，我主动选修了相关课程。当时我还热衷于硬件研究，那时候特别流行组装电脑，我也喜欢捣鼓这些，当时我们全系的人
AI核心知识22——大语言模型之重要参数Top-P（简洁且通俗易懂版）
2302_79444404的博客
11-29 674
Top-P和Temperature是控制AI生成随机性的两大关键参数。Top-P通过限定高概率候选词范围（如设0.9时排除概率最低的10%词汇），而Temperature则调整概率分布形状使输出更保守或大胆。专家建议二者择一使用：新手优先调节Temperature（0-1.2），进阶者可先用Top-P=0.9过滤荒谬选项，再调Temperature控制风格。典型组合如代码生成用低温（0.2）+低Top-P（0.3），创意写作则用中高温（0.8）+高Top-P（0.9）。
使用卷积神经网络(CNN)提取文字特征来辅助大语言模型生成文字
makh256257282931的博客
11-29 423
使用卷积神经网络(CNN)提取文字（无删减原文）特征来辅助大语言模型生成文字是一种有效的技术方案。encoder_hidden_states=projected_features.unsqueeze(1) # 作为额外上下文。这种CNN+LLM的混合架构在需要精确控制生成内容、保持特定风格或增强特定语义特征的场景中表现出色。self.entity_cnn = load_entity_cnn() # 识别命名实体。self.topic_cnn = load_topic_cnn() # 识别主题特征。
完全没接触过AI/NLP，如何系统学习大模型？
人邮异步社区
11-30 701
我们将强调利用基准测试来 评价模型回复的重要性，并通过实验调整不同的超参数来控制模型的输出，例如，尝试不同的 解码方法，或通过调整温度参数来调节模型的创造力。鉴于此， 我们将在本章中探讨部署过程中面临的挑战，并提供一些优化建议以降低成本，降低延迟和对 模型的占用，包括模型蒸馏、量化和剪枝等内容。尽管很多优秀的 AI 实验室和开源开发者在诸如 RLHF 等领域付出了重大努力，以使基础 模型能适应人类需求，但现成的基础模型仍然存在限制，不易于在生产中直接使用，除非面对 的是最简单的任务。
微论-自成长系统引发的NLP新生
最新发布
小召的专栏--百汇电脑学校(www.i5school.com)
12-01 637
然而，在这繁荣的表象背后，一个根本性的隐忧始终存在，正如我们所洞察的：这些模型从庞大的语料库中学习，却从未有过真实的“体验”。一个扎根于体验的系统，才有可能像人类一样，将“时间流逝”的抽象概念与“河流奔涌”的视觉体验进行深层次类比，创作出真正富有洞察力和感染力的诗歌与故事，而非简单的语料重组。1. 动作与概念的绑定：系统通过传感器“看到”一个球，发出指令控制机械臂“去拿”，在成功触碰到球的反馈中，开始将“球”、“拿”、“圆形”、“滚动”等概念与具体的动作成功和感官反馈紧密绑定。轻轻碰它，则只移动一点点。
大语言模型重塑 E-CAD 自动化设计的技术革命的挑战与突破
这里是数字化与人工智能的 “实验场” 与 “瞭望台”
12-01 606
摘要：本文探讨了大语言模型（LLM）在电子设计自动化（EDA）领域的应用挑战与突破路径。研究指出，LLM在原理图生成环节面临拓扑结构理解和几何转化难题，PCB布局需解决NP完全问题和制造约束，规则校验存在AI不确定性与工程确定性矛盾，元器件选型需处理动态知识更新。解决方案包括多模态融合、分层优化、混合推理引擎等技术创新。未来趋势将聚焦多模态交互、实时优化、可解释性及边缘计算部署。LLM4EDA技术有望推动EDA从自动化向自主设计的跨越式发展，但需克服数据稀缺、模型效率、工具集成等系统性挑战。该研究为AI赋能
AI核心知识23——大语言模型之System Prompt（简洁且通俗易懂版）
2302_79444404的博客
11-29 827
System Prompt是AI模型的“角色剧本”，作为最高优先级指令在对话前设定。它决定了AI的角色定位、回答方式和禁忌范围，类似导演给演员讲戏。技术上，System Prompt位于API调用的首位，具备三大功能：确立角色、设定安全边界、规定输出格式。与用户可见的User Prompt不同，System Prompt是开发者设定的隐藏指令，贯穿整个对话。为防止“提示词注入”攻击，现代AI会加强防御以保持角色一致性。简言之，System Prompt就是AI的"人设配置文件"
时间序列的“语言”：从语言模型视角理解时序基础模型
u010681011的专栏
11-30 529
摘要： 本文提出“时间的语言”假说，将时间序列基础模型类比为语言模型，认为时间序列patch（短片段）类似于语言中的token，但在潜在空间中表现为分布而非单点。通过构建时间序列“词汇表”并分析其统计特性，研究发现时间序列token遵循Zipf定律，且其组合呈现稀疏语法结构，验证了时间序列数据的类语言特征。这一发现为跨域时序模型的迁移能力提供了理论支持，表明模型通过学习“时间的语言”实现对动态模式的抽象表示。
AI核心知识26——大语言模型之Embedding与Vector Database （简洁且通俗易懂版）
2302_79444404的博客
12-01 598
Embedding和向量数据库是RAG技术中的核心组件。Embedding将文字转化为数字向量，在语义空间中相近含义的词汇会被映射到邻近位置；向量数据库则专门存储和检索这些向量，通过"最近邻搜索"实现语义匹配而非字面匹配。两者的协同工作使AI系统能理解用户查询的真实意图，找到最相关的信息片段，从而显著提升检索效果。这种技术突破让计算机能够识别"苹果"与"iPhone"的关联，而传统关键词搜索无法实现这种语义理解，为AI应用开发提供了重要基础设施。
OLMo 2：全开放语言模型的技术突破与实践
m0_65010824的博客
12-01 748
本文是对论文《2 OLMo 2 Furious》的深度解读。在开放语言模型领域，如何实现全链路开放与高性能、高稳定性的平衡是关键挑战。OLMo Team 发表的这项研究，推出 OLMo 2 系列全开放语言模型，涵盖 7B、13B、32B 参数规模，通过预训练稳定性优化、中期训练定向补强、后训练适配指令场景的三阶段体系，实现性能 - 算力 Pareto 最优，Base 模型媲美 Llama 3.1 等，Instruct 模型接近 GPT-3.5 Turbo，且全量开放训练 artifacts。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

曼城周杰伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值