qq_33782021的博客

本文以“厨房分工”类比解释内存（RAM）与显存（VRAM）的本质区别：内存是CPU的通用工作台，显存是GPU的高速专属灶台，二者需通过数据拷贝协作。当显存不足时，扩容内存无法解决根本问题。针对大模型推理，单卡显存难以容纳70B级模型（需140GB以上），故需多张GPU协同。通过张量并行（拆分层内计算）、流水线并行（拆分层间处理）和数据并行（复制模型服务多请求）实现分布式部署。实际系统常混合使用，性能不仅取决于GPU数量，更受通信效率、负载均衡与成本影响。

智能体（Agent）是由大模型结合感知、决策、行动和记忆模块构成的系统，模拟人类在数字世界的行为模式。其核心技术包括多模态信息解析（OCR、语音识别等）、大语言模型决策、工作流执行和向量数据库记忆存储。智能体可分为对话型、助理型和推荐型三类应用，通常集成知识库（RAG）、插件工具和工作流等组件以增强能力。RAG技术通过检索外部知识解决大模型的幻觉、知识过时等问题。智能体工作流分为静态和动态规划两种模式，具有自主性、交互性、反应性和适应性四大特征，能根据环境变化自主调整行为。该技术正推动大模型在各行业的深度应

本文系统介绍了检索增强生成（RAG）技术框架。RAG通过将大规模语言模型与外部知识检索相结合，有效解决模型幻觉和知识更新问题。文章详细阐述了RAG的运作原理、应用流程，以及与模型微调的优缺点对比。重点介绍了五种语料分块方法（固定大小、语义、递归、文档结构、基于大模型），词嵌入技术、向量数据库的应用，以及rerank模型在结果重排序中的作用。RAG技术实现了语言模型与动态知识库的协同融合，在保持模型性能的同时降低了知识更新成本，为构建高效智能问答系统提供了重要解决方案。

以往，一致认为AI的核心是算力，发展AI就是要不断的堆算力、堆GPU。但就在大家烧钱堆算力的时候，DeepSeek横空出世！！！        众所周知，DeepSeek的公司幻方是做股票量化，量化的核心：尽可能少的资源实现利益的最大化！        这一思想也随之蔓延到了大模型中，通过堆算力的方式发展AI需要极高的成本，而DeepSeek则选择了另一条路：烧脑改算法！！！

Transformer统一了大模型结构， 在谷歌2017年提出Transformer之前，也存在很多网络架构，如循环神经网络(RNN)、卷积神经网络(CNN)等，那时，会先分析数据，例如：语音数据，大家会根据语音数据波形的特点（短时、稳态特性），利用这些特性去做频谱转换，形成特征数据，然后再找到一个可以表达这些数据的网络架构模型，逻辑上是让模型向数据靠近!然而，人工智能的学习有很多任务，如感知任务、认知任务、转换任务等，这些任务非常具象化，也就是说，目的明确，然后，不断提高这些任务的处理能力。

词不是数字，非连续；比如：张三和李四之间是什么关系？张三+李四、张三*李四等于什么？在之前这都是不可计算的。那么如何让自然语言可计算？    假设词表共有五万个，那么就创建一个五万维的矢量（0,0,0,0.....0），张三对应的就是（1,0,0...0），李四对应的就是（0,1,0...0）        One-hot虽然简单明了，但存在严重的维度灾难和无法表示词之间语义关系的缺点。        例如，对于一个有10000个唯一词的语料库，One-hot编码会产生一个10