最近因为一些工作上的事情，需要学习大语言模型。
大语言模型里面最著名的开发模式就是RAG：Retrieve，Augment，Generate。
说人话就是，先从知识库里面找相关的信息，然后把这些信息塞进prompt里面去Augment用户的问题，最后，去call LLM的API，让对方产生答案。
因为大语言模型的训练数据集有局限，不管是时间还是领域的限制，肯定有缺失的知识。
所以通过这种在prompt进行Augment的办法，可以让大模型产生更好的答案。
与之对应的成本更高的，就是fine-tune。用新的相关知识去fine-tune一个模型，然后去问这个模型相关的问题。
RAG和fine-tune也不完全是对立的两种方式，即使用了fine-tune，如果知识有时效性的话，还是需要RAG。
我最近因为工作需要学习了一下RAG。
RAG首先得有个文档库。里面文档有embedding的向量，这样当用户问题过来了，才能在库里做nearest neighbor search，来决定怎么去augment prompt。
大概是因为我自己是二把刀的缘故，总体来说，我的特定需求，RAG的效果并不好。
首先我发现那些流行的开源RAG向量数据库，比如说lanceDB，好像也没多好用。
我最后发现，PostgreSQL+pg_vector插件好像就足够了,既好用又容易部署。
我不知道是不是因为PostgreSQL更成熟呢？还是我本人比较菜鸟呢？
其次呢，Retrieve出来的相关文档的准确度，和问题相关性很大。
那种非常确定的，并且文档也有非常明确答案的问题，RAG倒是还是能够比较正确地给出答案的。
要是问题变一变，需要额外来点推理啥的，RAG就不好使了。
至少我试用了手头几个比较便宜的LLM包括gpt-3.5-turbo，怎么弄怎么都经常会让人啼笑皆非。
但是，如果我真的去fine-tune一下模型，用我现在手里有的一些文档，然后部署我自己fine-tune以后的模型。
当然我的fine-tune也是瞎猫凑上死耗子，我压根就看不懂很多东西到底怎么设置，反正用着套了一层我司内部壳的大模型，用我手里有的文档信息处理一下。
然后直接用这个fine-tune以后的模型，大模型回答起来，明显就从智障级别迅速提升到有智力的级别了。
所以RAG好像只能解决一些基于fact的东西，问题比较明确，文档里面有非常明确的答案，那么就行。
问题明确，但是需要根据现有文档里面的相关答案，再推理推理啥的，就傻逼了。有的时候，满口胡说八道。
写代码尤其是。
我试着让对方生成合适的SQL，我发现，这事情，还真的没办法通过RAG让LLM里面一些很重要的catalog的信息。
然后就没办法很好的生成可以让我满意的SQL了。
当然，我还是觉得PostgreSQL确实是无敌的。其他开源的vectordb，貌似也就这样了。
但是即使是用了PostgreSQL，我这有限的时间里，发现RAG没有现在很多人吹的那么牛逼。
很多问题RAG本身不解决问题，一点也不好用。
当然，有经验的人可以赖我本人水平不行，但我也只能基于我自己使用的结果，来这里抱怨几句，说说我自己的体验。
一、全套AGI大模型学习路线
AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！
因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取
2024最新版优快云大礼包：《AGI大模型学习资源包》免费分享
二、640套AI大模型报告合集
这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。
因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取
2024最新版优快云大礼包：《AGI大模型学习资源包》免费分享
三、AI大模型经典PDF籍
随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取
2024最新版优快云大礼包：《AGI大模型学习资源包》免费分享
四、AI大模型商业化落地方案
因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取
2024最新版优快云大礼包：《AGI大模型学习资源包》免费分享
作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。
446
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
