DsRAG：新开源的高级RAG分块技巧！

关注

原创最新推荐文章于 2026-06-08 13:24:10 发布 914 阅读 AI 写同款· GEO 优化 ›

具有惊人 480B 参数的开源企业级大型语言模型 Snowflake AI Research 推出了 Arctic，这是一款专为企业 AI 应用程序设计的尖端开源大型语言模型 （LLM），为成本效益和可访问性设定了新标准。该模型利用独特的 Dense-MoE 混合转换器架构来有效地处理 SQL 生成、编码和遵循指令。凭借其在较低计算预算下运行的能力，Arctic 为希望集成高级 AI 的企业提供了高性能解决方案，而无需通常涉及大量成本。阅读详情

今天给大家分享一个新的策略，称为DS-RAG。

一个不好的分块，会带来很多的问题，比如说以下几点：

代称，他/她等表示响应的主题，刚好被切分在单独的块中，影响召回
单个块可能不包含完整的答案块，答案可能包含在连续的几个块中
块可能仅在某种特定上下文中才有意义

等等。。。

解决方案有2种：

在每个块添加上下文头，将更高级别的信息补充在文档块开头（例如将文档标题，摘要放在每个块的开头）
从块到段 chunk -> segments

前者添加上下文头的目的是给文档块添加更多的上下文信息，这些上下文头会随着块一级被向量模型编码。下图是个例子：

测试添加块头能明显的提高相关的文档块与query的相关性。

同样，针对这个query，如果我们计算与这个文档所有块的相似度。可以绘制出下面的点图，围绕在chunkid_400附近存在一些高相似度的文档块。当一个块附近的文档块都与query相近时，我们可以把这些块合并成一个段（segments）。如果把这些段合并作为整体送入LLM，可能可以获得更好的效果。那如何识别这些段的存在呢？因为已经计算了query与块的相关性，所以直接减去一个常数超参，让相关的块的score仍为正数，不相关的为负数。这个超参越大，段越小，反之，得到的段越大。

通过这种方法可以得到一个大段。

这个策略的一个优点是，当部分被排序模型认为不相关的块，但夹在高度相关的块之间，通常与query也是相关的。

因此，除了为LLM提供更完整的上下文之外，这种动态构建相关文本片段的方法还使我们的检索系统对排序模型所犯的错误不太敏感。

项目代码：https://github.com/D-Star-AI/dsRAG/tree/main

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述