- 博客(1141)
- 收藏
- 关注
RSS订阅原创 面试官问：为什么 RAG 越用越慢？如何反向调优？
摘要：本文探讨了真实业务场景中RAG系统长期运行后性能持续下降的核心原因及解决方案。随着系统运行，主要面临四大性能瓶颈：1）embedding计算量激增导致阻塞；2）向量库规模膨胀拖慢检索；3）重排序模型调用累积延迟；4）LLM生成效率下降。针对这些问题，文章提出系统级优化方案：实施embedding批处理与缓存、向量库分区与定期清理、答案分级缓存、Prompt稀疏化设计等工程手段。特别强调RAG优化本质是链路工程而非模型调优，真实的业务考验的是全链路调优能力，包括缓存体系、异步并发、索引参数等系统性设计。
2025-11-24 19:38:09
293
原创 告别LLM黑盒：PyTorch实战，从零构建并训练一个Transformer
本文系统介绍了如何从零开始用PyTorch实现简化版GPT架构。首先阐述了语言模型的本质是预测下一个token的条件概率模型，然后详细解析了Transformer的核心组件：分词、位置编码、自注意力机制、多头注意力和前馈网络。文章提供了完整的代码实现，包括嵌入层、注意力计算、层归一化等关键模块，并讲解了训练过程的数据准备、损失计算和学习率调度。通过逐步构建完整的语言生成系统，帮助开发者深入理解Transformer的工作原理，而不仅仅将其视为黑盒工具。
2025-11-24 19:34:21
525
原创 一文彻底搞懂大语言模型、智能体与工作流
本文探讨了人工智能发展中的三大核心支柱：大语言模型(LLM)、智能体(Agent)和工作流(Workflow)。LLM作为认知引擎，具备强大的语言理解和知识处理能力；智能体通过整合LLM实现自主决策和任务执行；工作流则负责组织和协调多个智能体完成复杂业务流程。三者构成递进协同的技术栈：LLM提供基础认知能力，智能体实现自主行动，工作流实现规模化应用。未来趋势包括智能体专业化协作、工作流动态优化以及三者的深度融合，最终推动"超级自动化"的实现。
2025-11-24 19:28:34
553
原创 主流LLM 大模型排行榜介绍
《大模型评测榜单全解析：如何读懂不同排名的玄机？》摘要：当前主流大模型评测榜单各有侧重，LMArena通过用户盲测反映真实偏好，LiveBench每月更新题目避免数据污染，OpenRouter基于API调用量体现市场选择，ArtificialAnalysis综合质量、速度、价格等工程指标，而HuggingFace专注开源模型评估。2025年建议多维度交叉参考：LMArena看用户体验，LiveBench测真实智力，OpenRouter查市场份额，ArtificialAnalysis比性价比，SWE-Benc
2025-11-24 19:26:27
230
原创 深度揭密 AI 私人知识库之一：RAG回答前准备流程
RAG技术突破大模型知识局限，通过检索增强生成实现精准问答。其核心流程包括：1）知识拆解，将文档分割为语义片段；2）向量化编码，使用Embedding模型转换文本；3）向量数据库存储，支持高效语义检索。该技术可应用于企业知识管理、智能客服等场景，解决传统知识检索响应慢、覆盖不全等问题。文中提供了Python实现代码，涵盖文本处理、向量化和检索全流程。RAG技术具有行业普适性，能有效解决企业"知识孤岛"问题，构建智能化的知识管理体系。
2025-11-22 15:55:04
1001
原创 AI产品经理必备技术认知：AI Agent 深度解析
《AIAgent：从工具到智能体的产业变革》 2023年被称为"智能体元年"，AIAgent（AI智能体）的兴起标志着人工智能产业的重大变革。AIAgent已超越传统聊天工具，成为具备自主思考、决策和执行能力的智能系统。其核心特征包括：高度自主性、环境适应力、持续学习能力和协作能力。 AIAgent通过感知、决策和执行三大机制工作：首先感知环境信息，然后综合分析做出决策，最后转化为具体行动并实时调整。按工作模式可分为单Agent、多Agent和混合Agent；按决策方式则分为反应型、目标
2025-11-22 15:52:10
581
原创 大语言模型（LLM）训练的三个阶段
本文详细解析了大语言模型（LLM）从基础到成熟的三个阶段训练过程：预训练阶段通过海量文本学习语言规律和世界知识；监督微调阶段通过高质量对话数据学习助手行为模式；强化学习阶段通过自主探索优化问题解决策略。这三个阶段层层递进，共同塑造了现代AI助手的能力。文章还指出LLM存在的局限性，并提供了系统学习大模型的资源路径，包括学习路线、实战项目和面试题等。
2025-11-22 15:48:45
686
原创 一文了解：AI框架及其与大模型、数据、算法的关系
人工智能框架是构建AI系统的核心基础设施，主要包括三大类：深度学习框架（如TensorFlow、PyTorch）用于神经网络开发，大数据处理框架（如Spark、Flink）处理海量数据，以及传统机器学习库（如scikit-learn）。这些框架与算法、数据和大模型形成紧密协同关系：框架为算法提供高效实现平台，为数据构建处理管道，并支撑大模型的训练与部署。其中，PyTorch因研究友好成为大模型研发首选，TensorFlow以工业部署见长。现代AI系统运作流程表现为：数据通过处理框架输入，算法在深度学习框架中
2025-11-22 15:47:43
704
原创 全面解析模型微调技术
模型微调是连接通用大模型与垂直领域应用的关键技术，通过针对性参数优化使预训练模型适配专业场景需求。其核心应用场景包括医疗诊断、金融分析等高度专业化领域，以及小样本学习、输出规范定制等特殊需求。技术路径分为全参数微调和参数高效微调（PEFT）两类，其中LoRA、QLoRA等PEFT技术因低资源消耗成为主流选择。标准微调流程包含模型选择、数据准备、训练优化等步骤，需根据任务特点选择合适方法。当前技术仍面临灾难性遗忘、数据依赖等挑战，未来将向高效微调、多任务适配等方向发展，持续推动AI在行业场景的深度落地。
2025-11-20 19:44:47
1044
原创 人人都能懂大语言模型-大语言模型怎么训练
本文介绍了大语言模型训练的两个关键概念：Token和训练流程。Token是将文本转换为模型内部编码的基本单位，通过优化Token词表（如GPT-4使用100256个Token）提高编码效率。大语言模型训练分为三个阶段：预训练（Pretrain）使用海量数据学习语言模式，有监督微调（SFT）通过标注数据训练任务能力，强化学习（RL）利用奖励模型优化输出质量。文章还提供了大模型学习资源，包括路线图、教程和实战案例，帮助开发者掌握从基础到应用的完整技能。
2025-11-20 19:42:15
840
原创 一文了解大模型应用基本概念
本文介绍了大型语言模型（LLM）及其相关技术。LLM是基于海量数据训练的人工智能模型，能够理解和生成人类语言。文章详细解析了LLM的命名规则（如DeepSeek-V3、通义千问2.5等）、核心概念（Token、参数、蒸馏技术、温度参数），并重点介绍了RAG（检索增强生成）技术，该技术通过检索外部知识库提升模型回答的准确性。此外还涵盖了LangChain开发框架、Function Calling功能调用、MCP协议、向量数据库等技术，展示了如何构建智能Agent平台，结合LLM、RAG和向量数据库解决实际问题
2025-11-20 19:40:46
658
原创 LLM工程技能：提示工程入门
摘要：提示工程是通过优化指令引导基础模型执行特定任务的技术，避免了传统微调的需求。文章探讨了提示的定义、不同类型role提示的实现方式，以及如何通过最佳实践编写有效提示，包括明确指令、角色设定和任务分解等。同时分析了提示攻击的三种类型（提取、越狱、信息泄露）及相应防御措施，如模型强化、抗攻击提示设计和系统隔离机制。研究结合具体API实现和案例分析，为提升大语言模型应用安全性和有效性提供了实用指导。
2025-11-19 19:59:20
870
原创 Spring AI实现rag流程(简易版)
本文介绍了使用SpringAI技术实现数据向量化存储与检索的方案，基于JDK17和Spring Boot 3.4.5环境。首先通过SpringAI和阿里巴巴AI的依赖管理配置项目，然后配置智谱AI的API密钥和模型参数。核心功能包括：1)数据导入模块，将文本转化为向量存入Redis向量库；2)检索模块，支持相似度查询并返回最相关结果。实现方案采用Redis作为向量数据库，通过RAG(Retrieval-Augmented Generation)技术完成语义搜索，适合构建智能问答等AI应用场景。
2025-11-19 19:49:55
316
原创 AI编程：理解大模型的工作原理
《大型语言模型开发指南》系统介绍了LLM的核心原理与应用方法。主要内容包括：1）LLM工作原理与模型选择策略，强调不同模型适用于不同任务；2）基准测试解读，指出需结合实际需求评估模型能力；3）Cline平台模型选择方法，平衡速度、成本、上下文窗口等关键因素；4）模型提供商路由策略，涵盖直接连接、聚合器和本地部署三种方式。文章还提供了LLM学习资源包，包含经典书籍、行业报告、视频教程等资料，帮助开发者系统掌握LLM技术。通过理解模型差异、合理选择工具，开发者能有效提升AI开发效率。
2025-11-19 19:44:57
932
原创 大语言模型（LLM）是什么？
LLM（大语言模型）的本质可以简化为两个核心文件：参数文件和运行代码文件。参数文件存储训练得到的神经网络权重（如Llama2-70B的140GB参数文件），而运行文件（约500行C代码）负责执行这些参数完成推理任务。模型训练是复杂的数据压缩过程，需消耗数百万美元计算资源将互联网文本压缩为模型参数；推理则是参数文件与运行代码交互生成文本的轻量级过程。尽管Transformer架构透明，但参数如何协同工作仍不完全清晰，使LLM成为基于经验验证的"黑箱"系统。模型开发分为预训练（高成本/低频）
2025-11-18 19:26:45
864
原创 Transformer，一个神奇的算法模型！！
摘要：Transformer是一种基于注意力机制的神经网络模型，擅长处理序列数据。它通过编码器-解码器结构，利用注意力得分计算查询、键和值的关系，突破了传统RNN逐步处理的限制。文章以机器翻译为例，展示了PyTorch实现Transformer的基本代码结构，并强调其通过全局上下文理解的优势。
2025-11-18 17:07:41
604
原创 AI 工作流 vs AI 智能体——有何区别?
AI智能体引发科技界热议：从自动化工作流到智能决策 摘要：AI智能体正成为科技领域的新焦点，与传统AI工作流相比具有显著差异。传统工作流依赖预设步骤（如请假审批流程），而AI工作流在特定步骤引入AI逻辑辅助决策。真正的AI智能体则能处理开放式场景（如客户支持），通过分析上下文、动态决策和使用工具来解决问题，无需预设流程。这种智能体具备思考、推理和行动能力，可提供更个性化的服务体验。目前已有多个智能体框架（如CrewAI、LangFlow）支持开发，预计未来将在复杂问题解决中发挥更大作用，推动AI向类人思维迈
2025-11-18 17:06:16
847
原创 智能体入门：一文速通 LLM
本文系统介绍了大型语言模型(LLM)的核心原理与实用技巧。主要内容包括：1) 语言模型本质是预测下一个词的"句子补全器"，从N-gram到Transformer的进化过程；2) Transformer的核心机制是自注意力，通过QKV三件套实现上下文理解；3) Decoder-Only架构更适合生成任务；4) 提示工程技巧如温度调节、few-shot学习等；5) 分词(token)处理的注意事项；6) 闭源与开源模型的选择建议；7) 模型短板如"幻觉"问题的解决方案(R
2025-11-18 16:57:41
601
原创 大模型就是一个数据库么？
大模型不是数据库而是通过学习语言规律生成内容的神经网络。它通过海量文本训练，掌握语义关联而非死记硬背。与数据库不同，大模型通过神经网络参数隐含知识，能根据上下文预测输出。学习大模型需要系统资源，包括专业书籍、行业报告、视频教程等。在AI时代，掌握大模型技术成为职业发展关键，相关学习资料可帮助开发者快速入门。（149字）
2025-11-17 21:31:38
657
原创 LangChain、Dify、Coze…盘点当下最热门的23个开源智能体框架
本文综述了当前主流的开源AI智能体框架技术发展现状，涵盖22个代表性项目。从早期的LangChain、AutoGPT，到企业级方案如Dify、Coze、JoyAgent，再到多智能体系统如MetaGPT、CAMEL，展示了智能体技术从问答工具向任务执行系统的演进路径。文章详细分析了各框架的架构特点、核心技术及适用场景，包括模块化设计、RAG集成、多模态支持、可视化开发等创新点。同时指出未来趋势将向跨框架协作、标准化协议（如MCP、A2A）和全生命周期管理方向发展，为开发者选型提供全面参考。智能体技术正从实验
2025-11-15 16:43:27
934
原创 从Transformer到LLM
大语言模型（LLM）发展与应用综述：从Transformer到现代LLM 摘要： 本文系统介绍了大语言模型（LLM）的概念、发展历程和技术原理。LLM作为基于Transformer架构的超大规模神经网络，具有海量参数（千亿级别）和强大的语言理解与生成能力。关键技术突破包括2017年Google提出的Transformer架构，以及后续的GPT、BERT等模型。文章详细解析了LLM的核心技术组件，包括自注意力机制、位置编码和训练范式，并探讨了工程实现中的并行训练和推理优化技术。当前LLM已广泛应用于聊天机器人
2025-11-15 16:33:22
871
原创 人工智能之大模型语言LLMs详解
人工智能是模拟人类智能的信息处理系统，其核心在于让机器具备理解、学习和执行语言任务的能力。文章系统梳理了AI发展的三个阶段：从50年代基于规则的语法处理，到统计语言模型，再到当前主流的神经网络模型。重点解析了Transformer架构及其自注意力机制的工作原理，介绍了GPT、BERT等主流大语言模型的技术特点。同时详细阐述了LLM大模型的训练流程，包括数据预处理、预训练、指令微调和对齐优化等关键环节。文章还探讨了Prompt工程技巧及其在教育、医疗等领域的应用实践，并提供了包含书籍、报告和教程的系统学习资源
2025-11-15 16:23:44
578
原创 Context Engineering：机器如何学会“理解“人类意图的熵减史
本文系统梳理了上下文工程（Context Engineering）从Era1.0到Era4.0的演进历程，揭示了其本质是熵减过程——机器越智能，人机交互成本越低。研究指出： 理论基础可追溯至1990年代普适计算时代，本质是将高熵的人类意图转化为低熵的机器表示； 提出两大设计原则（最小充分性和语义连续性）和分层存储架构（短期/中期/长期），应对上下文生命周期管理； 分析Era2.0关键技术（Prompt工程、RAG、工具调用等）及多模态融合策略； 展望Era3.0（人类级智能）和Era4.0（超人类智能）将重
2025-11-13 19:23:50
755
原创 一文看懂 4 个 AI 核心概念：LLM、Agent、RAG、扩散模型
本文系统介绍了四种主流AI技术：1. 大语言模型(LLM)：基于海量文本训练，擅长语言生成但存在知识固化、幻觉问题，应用场景包括写作、翻译等。2. 智能体(Agent)：在LLM基础上具备记忆、工具调用和自主决策能力，可完成复杂任务如旅行规划。3. 检索增强生成(RAG)：结合实时检索与LLM生成，解决知识更新问题，适用于企业知识库等场景。4. 扩散模型：通过"反向去噪"生成高质量图像/视频，代表作包括Stable Diffusion。文章还提供了LLM系统学习资源包，包含书籍、行业报告
2025-11-13 19:19:58
582
原创 一文通关LLM、RAG、MCP、Agent：让AI从“聊天”走向“实干”
这篇文章用通俗易懂的方式解释了当前AI领域的几个关键概念：LLM(大语言模型)是核心"大脑"，具备强大的理解和生成能力但存在知识局限；RAG(检索增强生成)通过外接知识库解决LLM的"幻觉"问题；MCP(模型上下文协议)则是统一工具连接的标准接口；最终Agent(智能体)则整合前三者，成为能自主规划执行任务的"全能打工人"。文章通过生动的比喻和案例，清晰展现了这些技术的关系与价值，帮助读者快速理解AI生态的基本架构。
2025-11-13 19:17:41
941
原创 大白话讲清楚：什么是AI Agent（智能体）
AI智能体正在从"会说话"升级为"会动手"，成为2025年最火技术趋势。这种能自主规划任务、调用工具执行的AI系统，已应用于订票排程、企业报销等场景，通过"感知-规划-记忆-执行"四层架构实现智能决策。未来三年，智能体将重塑80%数字化业务，并向主动预测、物理操控方向发展，同时面临可信治理等挑战，最终可能演变为数字社会的基础设施。
2025-11-12 19:23:33
876
原创 Transformer原理详解（图解版）
摘要：Transformer是2017年提出的具有里程碑意义的深度学习模型，已成为自然语言处理领域的核心技术。其核心创新包括自注意力机制、多头注意力、位置编码和层归一化等。模型由编码器和解码器两部分组成：编码器负责将输入序列转换为连续表示，包含输入嵌入、位置编码、多头注意力等模块；解码器采用自回归方式生成序列，通过掩码机制防止信息泄露，并利用编码器输出辅助预测。该模型通过并行处理和注意力机制有效解决了序列数据的长距离依赖问题，为BERT、ChatGPT等先进模型奠定了基础。 (150字)
2025-11-12 19:22:17
658
原创 小白学大模型：从Prompt Caching到Logprobs
本文摘要： 文章详细介绍了多种LLM参数及其功能，包括PromptCaching（缓存重复提示以降低延迟和成本）、Seed（确保输出一致性）、LLM Streaming（实时流式传输响应）等核心参数。重点解析了Temperature（控制输出随机性）、TopK/TopP（管理词汇选择范围）、JSON Mode（强制JSON格式输出）等关键参数的工作原理与应用场景。此外还涵盖Function Calling（函数调用集成）、Logprobs（概率分析）等高级功能，为开发者提供了优化LLM性能的全面参数配置指南
2025-11-12 19:18:49
987
原创 AI大模型系列教程--模型微调
《大模型微调实战指南：从原理到高效落地》 本文系统介绍了大模型微调的核心技术与实践方法。首先分析了微调的价值：突破RAG局限，实现领域适配、精度提升和效率优化。重点讲解了两类微调方案：全参微调（资源消耗大）和高效微调（PEFT），详细剖析了主流LoRA技术的低秩适应原理和参数配置技巧。通过小学数学解题模型案例，演示了基于ms-swift框架的完整微调流程，包括数据集构建、训练参数配置、模型状态判断等关键环节。最后提出数据集优化的"四性"原则（准确性、相关性、多样性、平衡性）和三大扩充策略
2025-11-12 19:16:36
964
原创 深度学习入门首选——神经网络分类实战
本文介绍了神经网络在声呐数据分类中的应用，对比了符号主义和连接主义两种AI范式。通过R语言的neuralnet包，构建单隐藏层和双隐藏层神经网络模型对Sonar数据集进行分类。实验结果表明，7-5神经元配置的双隐藏层网络表现最优（准确率85.7%），显著优于逻辑回归模型（准确率75%）。ROC曲线分析显示神经网络AUC值为0.84，验证了其在复杂模式识别任务中的优势。文章详细展示了从数据预处理、模型训练到性能评估的完整流程，并可视化神经网络结构，为读者提供了实用的机器学习实践指南。
2025-11-11 16:15:18
875
原创 AI大模型RAG检索技术原理
向量数据库是RAG（检索增强生成）系统的核心组件，专门用于存储和检索高维向量数据。它将文本内容映射为语义向量，形成"语义知识库"，支持基于语义相似度的快速搜索。通过余弦相似度计算，系统能从海量数据中找出与用户问题最相关的文本片段。实际应用中，RAG系统采用"语义检索+重排序"的混合策略：语义检索负责初步筛选相关结果，重排序模型则进一步优化排序，确保最匹配、最实用的答案优先呈现。这种组合实现了从简单关键词匹配到智能语义理解的跨越，使系统能够"理解"用
2025-11-11 16:08:43
820
原创 AI Agent智能体的概念与特征
本文系统阐述了AI智能体的概念框架与发展脉络。首先探讨了AI从被动工具向自主智能体的范式转变，指出大语言模型(LLM)为此提供了关键支撑。文章详细定义了AI智能体的核心特征(自主性、目标导向性、持续交互)，并通过人脑仿生学视角(记忆、推理、奖励机制等)揭示了智能体设计原理。重点介绍了智能体的通用框架和"感知-思考-行动-记忆"(P-T-A-M)循环机制，强调LLM作为智能体"大脑"的核心作用。文章还剖析了智能体的四大特性(自主性、反应性、能动性、社会性)及其分类维度，
2025-11-11 16:06:12
997
原创 RAG检索增强生成技术的演进及其应用
本文系统介绍了RAG（检索增强生成）技术的发展与应用。传统RAG通过外挂知识库解决大模型幻觉问题，但存在仅能处理文本数据、知识库静态更新等局限。多模态RAG扩展了处理范围，支持文本、图像、音频等跨模态检索与生成。Agentic RAG引入智能体实现自主决策和多轮检索优化，而Graph RAG则利用知识图谱提升推理能力。文章还展示了RAG技术在不同场景的融合应用案例，如智能客服、医疗诊断等。最后提供了系统学习大模型的相关资源，包括书籍、报告和开源教程等。
2025-11-11 16:03:49
751
原创 深入LLM技术图谱：从Transformer到智能体，一场深刻的技术变革
本文系统梳理了大型语言模型(LLM)的技术体系：从Transformer架构基础到三大变种(编码器-解码器、仅编码器、仅解码器)，分析了仅解码器成为主流的原因；详解LLM训练的三大阶段(预训练、监督微调、对齐优化)，重点介绍了RLHF和DPO等核心技术；探讨推理部署中的量化、KV缓存等优化方法；展望了RAG、AI智能体等前沿应用方向，呈现了LLM从理论到实践的完整技术图谱，为从业者提供全面的技术参考。
2025-11-10 21:49:47
582
原创 牛！大模型的9大核心技术解析！
本文系统介绍了AI智能体架构设计的九大核心技术：1）AI智能体基础架构；2）多智能体协作系统；3）工作流任务分解；4）检索增强生成技术；5）模型微调方法；6）函数调用机制；7）模型上下文协议；8）智能体间通信协议；9）人机交互标准化。这些技术涵盖了从基础推理、任务处理到多智能体协作、知识增强等关键维度，构成了现代AI开发的核心框架。文章还提供了大模型学习资源，包括书籍、行业报告、视频教程等，帮助开发者系统掌握AI技术。
2025-11-10 21:45:52
740
原创 当RAG遇上噪声难题：中科院团队提出“段落注入”，让LLMs在推理中辨伪存真
中科院团队2025年在SIGIR-AP会议上提出的"段落注入(PassageInjection)"方法创新性地将检索段落融入LLMs的推理阶段，而非传统输入拼接方式。该方法显著提升RAG系统性能，使模型能够通过自我反思主动识别段落中的噪声(随机噪声和反事实噪声)，在通用场景和噪声场景下均表现优异。实验表明该方法不仅能增强模型鲁棒性，还能缩短输出长度、提高推理效率。不过其适用性仍受限于需要推理增强型LLMs和可能增加的计算时延，为未来RAG系统优化提供了新思路。
2025-11-08 14:03:17
865
原创 一文就够：LLM预训练、微调、PEFT全面解析
本文全面解析了LLM微调技术的关键概念、发展历程及未来趋势。主要内容包括： 核心概念层：系统阐释预训练、微调和RLHF的技术定位及相互关系，呈现从基础能力到任务适配再到价值对齐的技术链条。 技术演进史：梳理从全参数微调到参数高效微调（PEFT）的技术突破，重点分析LoRA、QLoRA等代表性方法的原理及优势，比较不同PEFT技术的适用场景。 实践指南：提供LoRA微调全流程的工程实践指导，涵盖环境配置、参数调优、评估方法及常见问题解决方案。 未来展望：探讨多模态微调、持续学习等前沿方向的技术挑战与突破路径，
2025-11-08 13:59:40
1033
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人