“ 面临日益增长的海量数据，怎么高效和准确的检索数据一直是一个值得思考的问题 ”
对大模型应用有所了解的人应该都知道RAG技术——检索增强，本公众号前前后后也写过好几次关于RAG的文章；但在实际的企业应用中，RAG还是面临着各种各样的问题，比如效率问题，准确度问题等等。
这些问题虽然在一些应用场景中并没有什么影响，但在某些场景中却是不可接受的；因此就有很多人想方设法的优化RAG技术，比如使用更加高效和准确的检索算法，更加合理的数据结构，优化提示词，关键词等。
但总的来说有些时候还是差强人意，而随着RAG技术的发展，ReRank技术被提了出来。ReRank技术可以说是对RAG技术的增强，虽然它还无法完全解决RAG存在的问题，但优中选优ReRank是比RAG更好的一种检索方式。
ReRank——重新排序
什么是ReRank技术？
ReRank 中文翻译过来就是重新排序技术，那么什么是重新排序技术，以及为什么需要重新排序技术？
在之前的检索系统中，通常是通过字符匹配的方式进行数据检索；虽然后来有了ES这种检索中间件，采用了分词以及相似度搜索的方式实现了更加高效的数据检索；但总体来说其效果也不是太好，特别是在语言分析方面。
虽然随着大模型技术的出现，基于语义的向量检索方式大行其道；但怎么从大量数据中高效与准确的检索出所需的数据，依然是一个亟待解决的问题。
同样，外部知识检索作为对大模型能力缺陷的补充，是目前企业应用中最常见的解决方案；但面临着日益复杂的应用环境，以及用户端的快速响应，RAG技术目前仍然饱受诟病，特别是RAG技术看起来入门很容易，但想深入确实很难。
RAG技术所面临的问题是什么？
RAG技术所面临的两个主要问题就是检索的效率和准确性；为什么会出现这种问题？
不论是使用传统的检索方式，还是使用embedding向量检索的方式，面临大量数据RAG技术依然力不从心。
一旦数据达到一定规模或者用户对数据准确性要求较高，RAG技术就很难满足用户的需求。当然，这是从应用的角度得出的结论，那么从技术角度呢？
比如说，面临一个数十亿甚至上百亿数据量的知识库，基于RAG技术的检索方式是怎么实现的？
在检索方面刚开始使用的就是最传统的暴力搜索算法，什么是暴力搜索算法？
所谓的暴力搜索就是，遍历全部数据，然后通过字符匹配或相似度搜索以及向量搜索等方式查询出所需要的数据。
但有一点算法基础的人应该都知道，虽然八大排序算法在小规模数据中具有很大的优势；但在大量数据中八大排序完全没什么用。
原因是什么？
原因就是效率太低。
虽然后期通过优化，比如说通过数据治理的方式，把不同的数据根据某种规则进行分仓，或者构建索引加快检索速度；但等到索引大量增长的时候，依然会出现很多问题。
所以，现在更加高级的检索方式，ReRank就出现了。
ReRank的技术实现原理是什么？
ReRank技术就像一个筛子，通过多筛几次的方式检索到所需要的数据；第一遍通过快速检索等方式，从海量的数据中快速检索出所需要的数据；比如说全世界的知识作为一个数据库，这时你需要查询与孙悟空相关的数据。
这时ReRank技术就用最快的方式，从这个数据库中检索到所有与孙悟空有关的内容，不论是齐天大圣，还是孙猴子等等，甚至与其无关的其它三大名著的内容。
为什么要这样做？
这样做的原因就是，面对如此庞大的数据库，遍历所有数据显然是不可能的，即使技术上能实现，时间上也不允许。
所以，第一遍就通过最快速的方式从中检索到与任何与孙悟空有关的数据；比如说检索到了一百万条数据。
然后再从这一百万条数据中再次检索，也就是再过一遍筛子；比如使用语义检索，从中匹配出相关度更高的数据。
最后通过多次筛选，通过精确匹配等方式，拿到最终的数据。
这样做有一个很明显的好处就是，虽然遍历一百万数据也很难；但至少比遍历全部数据要简单的多。
这也是分治思想在数据检索中的一种应用；这就像我们选兵员一样；先把全国的青壮年选出来，然后再在里面优中选优，这样选出来的士兵素质肯定会更好，也会更快。
最后分享
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。
学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。
这里给大家精心整理了一份
全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
1. 成长路线图&学习规划
要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。
这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。
2. 大模型经典PDF书籍
书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）
3. 大模型视频教程
对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。
4. 2024行业报告
行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。
5. 大模型项目实战
学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。
6. 大模型面试题
面试不仅是技术的较量，更需要充分的准备。
在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。
全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以
微信扫描下方优快云官方认证二维码，免费领取【保证100%免费】
扫一扫
2407
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
