<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[2201_75633021的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/2201_75633021</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; 2201_75633021]]></copyright><item><title><![CDATA[【LLM开发实验】Git 与团队协作学习笔记]]></title><link>https://blog.youkuaiyun.com/2201_75633021/article/details/165121036</link><guid>https://blog.youkuaiyun.com/2201_75633021/article/details/165121036</guid><author>2201_75633021</author><pubDate>Sat, 12 Sep 2026 17:11:11 +0800</pubDate><description><![CDATA[Git是分布式版本控制系统，由Linus Torvalds为管理Linux内核开发而创建，核心优势在于快、分布式、支持大规模协作。它通过存快照、内容寻址（SHA-1）和三大区域（工作区、暂存区、仓库）实现高效版本管理。日常使用仅需掌握git clone、status、add、commit、push、pull、switch等八条命令。冲突源于多人修改同一文件相同区域，需手动解决，关键在理解ours与theirs的反转逻辑。团队协作推荐使用合并请求（MR），强制代码审查与CI验证，结合Squash合并保持主干整]]></description><category></category></item><item><title><![CDATA[【LLM开发实验】FastAPI 学习笔记]]></title><link>https://blog.youkuaiyun.com/2201_75633021/article/details/164402139</link><guid>https://blog.youkuaiyun.com/2201_75633021/article/details/164402139</guid><author>2201_75633021</author><pubDate>Sat, 05 Sep 2026 17:44:41 +0800</pubDate><description><![CDATA[1. [FastAPI 是什么](#1-fastapi-是什么)
+2. [路由分发机制（核心）](#2-路由分发机制核心)
+3. [路径参数 & 查询参数](#3-路径参数--查询参数)
+4. [增删改查 CRUD](#4-增删改查-crud)
+5. [连接 MySQL（SQLAlchemy 集成）](#5-连接-mysqlsqlalchemy-集成)
+6. [SQLAlchemy 核心机制](#6-sqlalchemy-核心机制)
+7. [实战项目解析：04_sqlalchemy（部门/员工）]]></description><category></category></item><item><title><![CDATA[【LLM开发实验】Docker介绍]]></title><link>https://blog.youkuaiyun.com/2201_75633021/article/details/164231049</link><guid>https://blog.youkuaiyun.com/2201_75633021/article/details/164231049</guid><author>2201_75633021</author><pubDate>Mon, 31 Aug 2026 23:35:52 +0800</pubDate><description><![CDATA[Docker 镜像基本知识容器化提供了一种有效方法来打包和隔离机器学习 (machine learning)应用程序，解决了依赖冲突等常见问题，并确保了不同环境之间的一致性。实现这一点的核心组成部分是 Docker 镜像。什么是 Docker 镜像？Docker 镜像是一个轻量、独立、可执行的软件包，包含运行软件所需的一切：代码、运行时（如 Python）、系统工具、系统库和配置。它是一个只读模板。当您想运行镜像定义的软件时，会创建一个 容器，它本质上是该镜像的一个运行实例。
]]></description><category></category></item><item><title><![CDATA[【LLM开发实验】Anaconda 入门指南：介绍、Ubuntu 安装、Jupyter远程连接与 PyCharm 使用]]></title><link>https://blog.youkuaiyun.com/2201_75633021/article/details/164205882</link><guid>https://blog.youkuaiyun.com/2201_75633021/article/details/164205882</guid><author>2201_75633021</author><pubDate>Mon, 31 Aug 2026 10:42:37 +0800</pubDate><description><![CDATA[1.1 什么是 Anaconda
Anaconda 是一个面向数据科学 / 机器学习的 Python 发行版，核心卖点是"开箱即用"：

自带一个 Python 解释器（安装时可选 3.11 / 3.12 等版本）
预装 250+ 常用科学计算包：numpy、pandas、scikit-learn、matplotlib、jupyter 等
内置 conda 包管理器：既能装 Python 包，也能管理 Python 版本和环境
附带 Anaconda Navigator 图形界面：点鼠标就能管理环境、启动 ]]></description><category></category></item><item><title><![CDATA[【LLM开发实验】监督微调实验详解]]></title><link>https://blog.youkuaiyun.com/2201_75633021/article/details/164153113</link><guid>https://blog.youkuaiyun.com/2201_75633021/article/details/164153113</guid><author>2201_75633021</author><pubDate>Fri, 28 Aug 2026 22:02:37 +0800</pubDate><description><![CDATA[原始语料 ──预训练──▶ Base模型(知识渊博但不会聊天)
                        │
                        ▼ SFT（本代码所在阶段）
                  Chat模型(会聊天，但可能不够"讨喜")
                        │
                        ▼ DPO/RLHF（day05 的 2-DPO.py 所在阶段）
                  对齐模型(安全、有用、符合人类偏好]]></description><category></category></item><item><title><![CDATA[【LLM开发实验】LLM推理基本介绍]]></title><link>https://blog.youkuaiyun.com/2201_75633021/article/details/164065518</link><guid>https://blog.youkuaiyun.com/2201_75633021/article/details/164065518</guid><author>2201_75633021</author><pubDate>Thu, 27 Aug 2026 20:22:04 +0800</pubDate><description><![CDATA[显存需求估算：参数量经验法则
估算运行大型语言模型（LLM）所需的硬件可能看起来很复杂。一个直接的估算方法可以简化这一过程。决定内存需求的最主要因素，特别是图形处理单元（GPU）的显存（VRAM），是模型本身的规模，由其参数 (parameter)数量衡量。

可以把模型中的每个参数看作一个数字，需要存储在某个可用于计算的位置。由于GPU是运行LLM的主要计算设备（如第二章所述），这些参数主要加载到GPU的专用内存——显存中。

每个参数占用多少空间？这取决于存储时使用的精度或数据类型。常见的精度类型包含：]]></description><category></category></item><item><title><![CDATA[【LLM开发实验】强化学习实现原理及实战]]></title><link>https://blog.youkuaiyun.com/2201_75633021/article/details/164065527</link><guid>https://blog.youkuaiyun.com/2201_75633021/article/details/164065527</guid><author>2201_75633021</author><pubDate>Tue, 25 Aug 2026 23:34:32 +0800</pubDate><description><![CDATA[强化学习 (reinforcement learning)人类反馈（RLHF）是一种旨在解决对齐 (alignment)难题并克服纯监督方法局限性的标准流程。这种多阶段方法旨在引导大型语言模型（LLMs）生成更符合人类偏好和指示的输出。它通常包含三个不同阶段：]]></description><category></category></item><item><title><![CDATA[【LLM开发实验】 QLoRA实现原理及实战]]></title><link>https://blog.youkuaiyun.com/2201_75633021/article/details/164003323</link><guid>https://blog.youkuaiyun.com/2201_75633021/article/details/164003323</guid><author>2201_75633021</author><pubDate>Sun, 23 Aug 2026 22:17:00 +0800</pubDate><description><![CDATA[虽然标准LoRA大幅减少了可训练参数 (parameter)的数量，但微调 (fine-tuning)大型语言模型仍构成主要的内存难题。主要瓶颈通常不是适配器权重 (weight)本身，而是加载庞大基础模型并进行计算所需的内存。即使模型被冻结，基础模型的权重（通常为FP16或BF16等16比特格式）也会占用大量GPU内存。
此外，在前向和反向传播 (backpropagation)过程中计算的激活值会显著增加内存占用，这使得在没有高端多GPU配置的情况下，微调亿级参数模型通常不可行。]]></description><category></category></item><item><title><![CDATA[【HCIE-AI】2.大模型预训练理论（学习笔记）]]></title><link>https://blog.youkuaiyun.com/2201_75633021/article/details/163833981</link><guid>https://blog.youkuaiyun.com/2201_75633021/article/details/163833981</guid><author>2201_75633021</author><pubDate>Mon, 17 Aug 2026 23:06:29 +0800</pubDate><description><![CDATA[本文系统性地解析了预训练模型的核心原理与技术框架。主要内容包括：1. 预训练模型的三层理解框架：范式层面（预训练-微调两阶段）、架构层面（Transformer核心结构）、工程层面（PyTorch/Transformers等工具链）2. GPT的预训练机理：通过海量&quot;猜词&quot;任务迫使模型压缩存储语言规律，将文本中的语法、事实、逻辑等知识编码到参数中，规模效应引发智能涌现3. 学习过程的微观理论：前向传播-反向传播-参数更新的三步循环，知识以梯度累积方式写入权重矩阵4. 上下文窗口的四大制约]]></description><category></category></item><item><title><![CDATA[【HCIE-AI】3.分词到词嵌入 学习笔记]]></title><link>https://blog.youkuaiyun.com/2201_75633021/article/details/163734410</link><guid>https://blog.youkuaiyun.com/2201_75633021/article/details/163734410</guid><author>2201_75633021</author><pubDate>Thu, 13 Aug 2026 22:06:04 +0800</pubDate><description><![CDATA[文章摘要 分词是NLP预处理的核心步骤，将文本转化为数字序列供模型处理。其演进分为三代：1）词典匹配依赖人工词典，OOV处理差；2）统计机器学习（如HMM/CRF）通过序列标注解决新词问题，但语义表达不足；3）子词分词（BPE/WordPiece/Unigram）成为主流，平衡词表大小与OOV，通过合并高频子词实现灵活切分（如“lowest”→low+est）。子词分词支持小词表（几万）覆盖海量词汇，新词可拆解为已知子词。后续通过Embedding矩阵将Token映射为向量，再经Transformer编码生]]></description><category></category></item><item><title><![CDATA[【HCIE-AI】4.NLP 核心任务与技术演进学习笔记]]></title><link>https://blog.youkuaiyun.com/2201_75633021/article/details/163734087</link><guid>https://blog.youkuaiyun.com/2201_75633021/article/details/163734087</guid><author>2201_75633021</author><pubDate>Thu, 13 Aug 2026 21:51:35 +0800</pubDate><description><![CDATA[本文系统梳理了自然语言处理（NLP）的技术演进历程，核心内容可分为三部分： NLP四大核心任务框架 文本分类：整体语义映射到类别标签（如情感分析） 序列标注：对每个token打标签（如分词、命名实体识别） 信息抽取：从文本提取结构化信息（如知识图谱构建） 文本生成：自回归式逐词预测（如机器翻译） 三代技术演进历程 统计时代（1950-1990s）：基于n-gram的频次统计，面临数据稀疏问题 机器学习时代（1990-2010s）：特征工程+浅层模型（SVM/CRF），依赖人工设计 深度学习时代（2013至今]]></description><category></category></item><item><title><![CDATA[【HCIE-AI】12.deepspeed分布式并行训练进阶版]]></title><link>https://blog.youkuaiyun.com/2201_75633021/article/details/163195864</link><guid>https://blog.youkuaiyun.com/2201_75633021/article/details/163195864</guid><author>2201_75633021</author><pubDate>Sat, 25 Jul 2026 17:14:18 +0800</pubDate><description><![CDATA[大模型训练核心技术与选型指南 摘要：大模型训练面临显存、计算、通信和工程四大瓶颈。针对显存问题，ZeRO优化器通过分级分片（优化器状态/梯度/参数）显著降低显存占用；计算瓶颈采用数据并行提升吞吐，张量并行（层内拆分）和流水线并行（层间拆分）解决单层或整体模型过大问题；通信优化通过ZeRO++量化、分层分片等技术降低跨节点通信开销。综合方案推荐3D并行（DP+TP+PP），配合虚拟流水线、梯度累积、FlashAttention等技术。模型规模与硬件配置决定技术选型：7B以下单卡+DDP，7B-70B采用ZeR]]></description><category></category></item><item><title><![CDATA[【HCIE-AI】11.模型 昇腾迁移适配-精度调试-性能调优]]></title><link>https://blog.youkuaiyun.com/2201_75633021/article/details/163189564</link><guid>https://blog.youkuaiyun.com/2201_75633021/article/details/163189564</guid><author>2201_75633021</author><pubDate>Sat, 25 Jul 2026 16:35:04 +0800</pubDate><description><![CDATA[昇腾AI迁移与适配综合指南 本文系统介绍了PyTorch模型从NVIDIA GPU迁移到华为昇腾NPU的全流程技术方案，涵盖三大核心板块： 迁移适配 提供torch.cuda到torch.npu的API对照表，推荐零侵入替换策略 解析常见陷阱：DataParallel不兼容、pin_memory禁用、自定义CUDA算子需重写为TBE/DSL 分布式训练需切换后端为hccl，调整HCCL环境变量优化通信 精度调试 分析三大精度差异来源：算子实现、数据类型、随机性 提供逐层比对工具与方法，包括Hook捕获、官方]]></description><category></category></item><item><title><![CDATA[【HCIE-AI】10.昇腾 模型迁移分析]]></title><link>https://blog.youkuaiyun.com/2201_75633021/article/details/163172713</link><guid>https://blog.youkuaiyun.com/2201_75633021/article/details/163172713</guid><author>2201_75633021</author><pubDate>Fri, 24 Jul 2026 20:51:58 +0800</pubDate><description><![CDATA[昇腾NPU迁移分析工作指南 摘要：本文档详细介绍了从GPU平台迁移到昇腾NPU平台的全流程分析方法。主要内容包括： 前置工作：建立GPU基线（精度/性能指标），搭建昇腾环境并验证基础功能 核心分析： 使用msFmkTrans工具扫描API兼容性（支持/部分支持/不兼容） 检查三方库（如transformers/deepspeed）适配情况 动态Shape识别与优化建议 亲和API替换建议（性能提升20%+的优化机会） 工具链：涵盖静态分析（msFmkTrans）、运行时验证（Shape Dump）、性能分析]]></description><category></category></item><item><title><![CDATA[【HCIE-AI】9.分布式并行计算算法优化]]></title><link>https://blog.youkuaiyun.com/2201_75633021/article/details/162998963</link><guid>https://blog.youkuaiyun.com/2201_75633021/article/details/162998963</guid><author>2201_75633021</author><pubDate>Sun, 19 Jul 2026 17:06:32 +0800</pubDate><description><![CDATA[模型小 → 数据并行模型大但单层放得下 → ZeRO 分片模型单层放不下 → 张量并行模型层数太多 → 流水线并行序列太长 → 序列并行现实世界 → 全都要（混合并行）]]></description><category></category></item><item><title><![CDATA[【HCIE-AI】8.Transformer 架构详解]]></title><link>https://blog.youkuaiyun.com/2201_75633021/article/details/162793557</link><guid>https://blog.youkuaiyun.com/2201_75633021/article/details/162793557</guid><author>2201_75633021</author><pubDate>Mon, 13 Jul 2026 00:30:00 +0800</pubDate><description><![CDATA[本文详细解析了Transformer架构的核心原理与关键组件，重点包括： 架构本质：采用Attention机制+并行计算，突破RNN的序列处理限制； 核心组件：自注意力机制（计算词间关联）、多头注意力（多维度分析）、位置编码（注入顺序信息）、前馈网络（知识内化）等7大模块； 工作流程：以&quot;我爱学习&quot;为例展示Encoder的数据处理过程； 架构变体：对比Encoder-only、Decoder-only和Encoder-Decoder三种模式； KV缓存：详解推理加速技术，分析其&quot]]></description><category></category></item><item><title><![CDATA[【HCIE-AI】7.Tokenizer 详解]]></title><link>https://blog.youkuaiyun.com/2201_75633021/article/details/162785508</link><guid>https://blog.youkuaiyun.com/2201_75633021/article/details/162785508</guid><author>2201_75633021</author><pubDate>Sun, 12 Jul 2026 11:00:00 +0800</pubDate><description><![CDATA[Tokenizer详解：文本与数字的桥梁 Tokenizer的核心任务是将文本转换为模型可处理的数字（Token IDs），主要解决三个问题：切分粒度（词/字符/子词）、词表大小和未登录词（OOV）处理。主流方法包括： Word-level：按单词切分，词表庞大且易遇OOV问题； Char-level：按字符切分，词表极小但序列过长，语义稀疏； Subword（主流）：平衡两者，如BPE算法（GPT/LLaMA采用），通过合并高频相邻字符对构建词表，兼具语义完整性和OOV处理能力。 BPE优势：词表可控、无]]></description><category></category></item><item><title><![CDATA[【HCIE-AI】6.微调数据构造方法]]></title><link>https://blog.youkuaiyun.com/2201_75633021/article/details/162783236</link><guid>https://blog.youkuaiyun.com/2201_75633021/article/details/162783236</guid><author>2201_75633021</author><pubDate>Sun, 12 Jul 2026 01:00:00 +0800</pubDate><description><![CDATA[范式一：从种子指令生成└─ 少量种子 + 教师模型 → 大规模扩增范式二：自我改进循环└─ 模型自己生成 → 自己评价 → 自己改进范式三：从教师模型蒸馏└─ 强模型生成数据 → 弱模型学习范式四：从真实数据提取└─ 用户真实交互 / 人工标注。]]></description><category></category></item><item><title><![CDATA[【HCIE-AI】5.数据类型详解]]></title><link>https://blog.youkuaiyun.com/2201_75633021/article/details/162780795</link><guid>https://blog.youkuaiyun.com/2201_75633021/article/details/162780795</guid><author>2201_75633021</author><pubDate>Sat, 11 Jul 2026 09:11:23 +0800</pubDate><description><![CDATA[训练精度演进路线：│┌─── BF16 (A100+, 首选)││└─── FP8 (H100+ 推理)精度 ← 效率。]]></description><category></category></item><item><title><![CDATA[[智能对话系统架构设计文档]]]></title><link>https://blog.youkuaiyun.com/2201_75633021/article/details/161750397</link><guid>https://blog.youkuaiyun.com/2201_75633021/article/details/161750397</guid><author>2201_75633021</author><pubDate>Sat, 11 Jul 2026 07:57:37 +0800</pubDate><description><![CDATA[本文档详细介绍了基于LangGraph和LangChain的智能对话系统Agent框架架构设计，重点阐述了从传统Chatbot到智能Agent的范式转变。框架采用分层设计，包含以下核心模块： 感知层：通过LLM将用户输入转化为结构化指令（Command对象），而非直接生成文本回复 规划层：通过PolicyEnsemble实现确定性策略与AI弹性的混合决策，使用YAML定义业务流程 工具层：采用注册表机制实现插件化Action管理，支持动态加载和独立测试 记忆层：构建层次化记忆系统（Tracker/Dialo]]></description><category></category></item></channel></rss>