- 博客(90)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 RAG检索增强生成
RAG通过离线索引、在线推理与迭代优化三链路，实现知识库的高效检索与生成。其核心在于稠密向量与BM25稀疏检索互补，提升召回率；结合Prompt约束、低温采样与忠实度校验，有效抑制幻觉。文档切块采用层级语义+重叠窗口策略，保障语义完整性；索引使用HNSW与RRF融合，兼顾精度与效率。全链路部署开源模型，支持增量更新与人工质检，通过多维度评估与BadCase闭环持续优化，适用于医疗、法律等高风险场景，实现可溯源、可治理的可信问答。
2026-11-06 14:24:10
182
原创 大模型开发（九）：大模型训练和部署推理
本文系统整理了大模型全流程技术栈，覆盖训练、部署、推理和全链路工具四大模块。训练环节推荐PyTorch Distributed和DeepSpeed作为基础框架，配合HuggingFace Datasets进行数据处理。部署环节首选vLLM和TensorRT-LLM作为推理引擎，结合RayServe实现服务化。推理优化建议采用FlashAttention和PagedAttention技术，监控推荐Prometheus+Grafana组合。全链路工具中Ray和HuggingFace Hub提供完整解决方案，中文
2026-03-02 10:14:11
1487
原创 大模型开发（八）：分布式计算框架
本文系统介绍了大数据处理框架Hadoop、Spark和Flink的核心技术与应用。首先详细讲解了Hadoop的分布式架构、核心组件(HDFS/YARN/MapReduce)及其生态体系，包括集群搭建、元数据管理机制和安全模式等关键特性。随后重点阐述了Spark的RDD编程模型和批流一体处理能力，深入分析了其分布式计算原理。最后全面介绍了Flink的批流统一API、多种数据源连接器(如Kafka/JDBC/Redis)、数据转换操作和物理分区策略，并详细讲解了其状态管理、容错机制和分布式缓存等高级特性。通过具
2026-03-02 10:11:34
200
原创 大模型算法（八）：多模态大模型
本文系统梳理了MLLM的发展历程，从单模态大模型（如LLM、LVM）到跨模态模型（如TTS、ASR），再到图文多模态大模型（如GPT-4V、Gemini）。重点分析了关键技术里程碑，包括视觉表征Token化（ViT）、图文联合建模（VisualBERT）、大规模对齐（CLIP）以及生成式突破（Stable Diffusion）。文章还详细介绍了多模态模型在数字人生成、语音合成、视觉问答等场景的应用，并提供了主流模型的论文和代码资源，为研究者提供了全面的技术参考。
2026-03-02 10:02:08
733
原创 大模型算法（九）：视觉生成模型
本文系统梳理生成式模型的发展与应用，对比判别式与生成式模型的核心差异，解析 VAE、GAN、扩散模型三类主流生成式架构。视觉生成领域，阐述自编码器、VAE、GAN 的原理演进，分析 StyleGAN3 的抗混叠设计；文生图详解 Stable Diffusion 及衍生模型，涵盖级联架构、ControlNet、LoRA 微调；3D 生成介绍 NeRF、DreamFusion、DreamCraft3D 等技术，视频生成解析 AnimateDiff、Sora 架构创新。
2026-03-02 10:00:57
498
原创 大模型算法（五）：大模型原理和有监督微调
本文系统介绍了大语言模型（LLM）的原理架构和技术要点。主要内容包括：1）LLM基于Transformer Decoder结构，采用自注意力机制、位置编码和前馈网络等核心组件；2）详细解析了输入层（分词、词表映射）、Decoder堆叠层（自注意力计算、位置编码等）和输出层（概率分布生成与解码）的处理流程；3）阐述了自回归生成机制和Teacher Forcing训练方法；4）简要介绍了多模态大模型（MLLM/VLM）的扩展应用。文章通过图解方式清晰展现了LLM的整体架构和关键技术点，为理解大模型工作原理提供了
2026-03-02 09:59:39
838
原创 大模型算法（七）：计算机视觉
本文系统梳理了计算机视觉领域的核心算法与技术发展，分为基础理论、视觉任务和前沿方向三大部分。在基础理论方面，重点介绍了图像处理基础（采样、滤波、增强）、特征提取方法（SIFT及其变种）和3D视觉技术（点云处理、NeRF等）。视觉任务部分详细分析了图像识别（VGG、ResNet等经典网络）、目标检测（从R-CNN到YOLO系列）、图像分割（语义/实例/全景分割）和目标跟踪（单目标与多目标）等核心问题的算法演进。
2026-03-01 02:34:55
703
原创 大模型算法（六）：强化学习
本文综述了强化学习与大语言模型优化的前沿技术，涵盖DPO、RLHF/RLAIF等策略优化方法，以及LoRA、Adapter等参数高效微调技术。重点探讨了免训练优化、逻辑推理增强、多智能体协同等落地实践方案，并分析了CoT、ToT等提示工程策略对模型性能的影响。研究涉及DeepSeek、Qwen等开源模型实践，结合TRL、Ray RLlib等工具链，提出通过数据合成、知识蒸馏等技术解决数据瓶颈问题。文献系统梳理了从经典强化学习算法（DQN、PPO）到前沿对齐方法（DPO、GRPO）的演进路径，为LLM的可靠性
2026-03-01 02:30:10
480
原创 大模型算法（四）：自然语言处理
本文系统梳理了自然语言处理（NLP）领域的核心技术与研究进展。首先介绍了NLP基础模块，包括中文分词、词向量训练和语言模型（RNN/LSTM/GRU/Transformer），重点解析了Transformer Block的结构原理及其在大语言模型中的核心作用。其次详细阐述了文本分类、文本匹配、序列标注和文本生成四大NLP任务的经典算法与最新研究成果，涵盖从传统统计模型到预训练语言模型的演进历程。最后深入探讨了对话系统的技术体系，包括任务型对话、问答型对话和闲聊型对话，并分析了LLM在多轮对话中的应用与发展趋
2026-03-01 02:21:44
569
原创 大模型算法（三）：推荐系统架构和评估
本文探讨推荐系统中两个系统性挑战：内容审核和冷启动问题。内容审核通过机器与人工协同机制确保平台内容合法合规，涵盖安全审核、质量评估、版权保护和虚假信息治理等方面。冷启动则聚焦新用户和新物料的推荐难题，提出问卷调研、首刷优化、元学习等技术方案，并强调用户特征表示增强的重要性。 在架构方面，本章介绍了分布式训练的参数服务器设计、推理优化技术（如量化和特征共享），以及评估体系中的A/B实验方法，包括流量正交设计和指标灵敏度提升策略。这些技术共同构成了推荐系统高效运行的基础设施保障。
2026-03-01 00:11:28
1371
1
原创 大模型算法（二）：推荐系统进阶
本文深入探讨推荐系统进阶优化策略，聚焦七大核心方向：多样性优化、List-wise建模、多用户行为建模、消偏技术、图模型应用、探索与利用平衡，以及动态权重/门控模型。多样性优化强调在保障相关性前提下提升内容丰富度，需全链路协同；List-wise建模突破Point-wise局限，通过序列生成和评估器优化列表效果；多行为建模采用MTL框架（如ESMM、MMoE）融合稀疏行为信号；消偏技术针对选择偏差、位置偏差等问题提出IPS等解决方案；图模型（如GraphSAGE、GAT）解决冷启动和稀疏性问题
2026-02-28 00:14:47
1068
原创 大模型算法（一）：推荐系统原理和经典链路
本文围绕推荐系统展开研究，梳理其崛起、发展及未来趋势，剖析核心原理与技术架构。第1章介绍推荐系统崛起背景、现代化产品及未来方向；第2章阐述推荐链路、方法及离在线评估体系；第3章拆解“召回-粗排-精排-重排”经典链路及技术要点。本文整合领域研究成果，为相关研究与工程应用提供理论支撑与实践指引。
2026-02-26 19:11:02
337
原创 大模型开发（二）：Naive RAG、Advanced RAG和Modular RAG
RAG介绍，Naive RAG，Advanced RAG，Modular RAG
2026-02-16 21:13:14
492
原创 智能体开发基础（一）：Python 算法与数据结构
本文系统梳理了Python算法与数据结构的核心知识体系，涵盖五大维度： 核心数据结构：详细解析线性结构（动态数组、链表、栈/队列）、哈希结构（字典/集合）、树形结构（二叉树/堆/Trie）和图结构的Python实现方式、关键考点及优化技巧，提供官方文档和经典实现参考地址。 基础算法：完整分析排序（7种算法对比）、查找（顺序/二分/哈希）、字符串处理（KMP/回文/编辑距离）等基础算法，以及递归、分治、贪心和动态规划四大核心思想。 进阶算法：重点介绍图算法（DFS/BFS/Dijkstra）和高频解题技巧
2025-04-29 18:47:12
272
原创 智能体开发基础（二）：记忆模块、工具调用、意图识别和RAG检索
本文系统阐述大模型核心模块设计：构建四层记忆体系（短期、工作、长期、程序性记忆），实现会话隔离与跨会话持久化；通过混合检索（向量+关键词）与RAG grounding抑制幻觉，结合冲突检测与冷归档机制保障记忆一致性；工具调用支持幂等、重试、结构化返回与循环防护；意图识别采用分层策略，结合多轮会话状态与按需检索，提升响应效率。整体架构兼顾可扩展性与生产可用性。
2025-04-29 18:28:59
379
原创 智学AI助手-项目文档
本文介绍大模型微调中的PPO强化学习三阶段训练流程，重点阐述SFT阶段的优化策略：采用AdamW优化器实现权重衰减解耦，提升训练稳定性；通过梯度累积模拟大批次训练，缓解显存压力；结合学习率预热与余弦衰减调度，平衡收敛速度与精度；引入梯度裁剪防止爆炸，定期验证并保存最优模型。同时简述DQN网络训练及MCP、A2A层架构，构建完整智能体训练体系。
2025-04-29 18:21:05
153
空空如也
在同一网络，两个路由利用帧中继配置OSPF协议
2021-06-25
TA创建的收藏夹 TA关注的收藏夹
TA关注的人