qq_33782021的博客

本文系统介绍了检索增强生成（RAG）技术框架。RAG通过将大规模语言模型与外部知识检索相结合，有效解决模型幻觉和知识更新问题。文章详细阐述了RAG的运作原理、应用流程，以及与模型微调的优缺点对比。重点介绍了五种语料分块方法（固定大小、语义、递归、文档结构、基于大模型），词嵌入技术、向量数据库的应用，以及rerank模型在结果重排序中的作用。RAG技术实现了语言模型与动态知识库的协同融合，在保持模型性能的同时降低了知识更新成本，为构建高效智能问答系统提供了重要解决方案。

以往，一致认为AI的核心是算力，发展AI就是要不断的堆算力、堆GPU。但就在大家烧钱堆算力的时候，DeepSeek横空出世！！！        众所周知，DeepSeek的公司幻方是做股票量化，量化的核心：尽可能少的资源实现利益的最大化！        这一思想也随之蔓延到了大模型中，通过堆算力的方式发展AI需要极高的成本，而DeepSeek则选择了另一条路：烧脑改算法！！！

Transformer统一了大模型结构， 在谷歌2017年提出Transformer之前，也存在很多网络架构，如循环神经网络(RNN)、卷积神经网络(CNN)等，那时，会先分析数据，例如：语音数据，大家会根据语音数据波形的特点（短时、稳态特性），利用这些特性去做频谱转换，形成特征数据，然后再找到一个可以表达这些数据的网络架构模型，逻辑上是让模型向数据靠近!然而，人工智能的学习有很多任务，如感知任务、认知任务、转换任务等，这些任务非常具象化，也就是说，目的明确，然后，不断提高这些任务的处理能力。

词不是数字，非连续；比如：张三和李四之间是什么关系？张三+李四、张三*李四等于什么？在之前这都是不可计算的。那么如何让自然语言可计算？    假设词表共有五万个，那么就创建一个五万维的矢量（0,0,0,0.....0），张三对应的就是（1,0,0...0），李四对应的就是（0,1,0...0）        One-hot虽然简单明了，但存在严重的维度灾难和无法表示词之间语义关系的缺点。        例如，对于一个有10000个唯一词的语料库，One-hot编码会产生一个10