<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[wyg_031113的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/wyg_031113</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; wyg_031113]]></copyright><item><title><![CDATA[Triton Flash Attention v2 逐行解析]]></title><link>https://blog.youkuaiyun.com/wyg_031113/article/details/166486189</link><guid>https://blog.youkuaiyun.com/wyg_031113/article/details/166486189</guid><author>wyg_031113</author><pubDate>Wed, 23 Sep 2026 15:58:37 +0800</pubDate><description><![CDATA[如需对某一段（例如 TMA 描述符的内存布局、或反向链式法则的完整推导）再展开，告诉我具体位置即可。：在 Hopper/Blackwell 上把“TMA 数据搬运 warp”与“MMA 计算 warp”分离并行（软件流水）。按这四个键缓存最优配置——序列长度/头维/精度/是否 warpspec 任一变化都会重新调优。获取当前后端（CUDA 或 AMD HIP）对应的 torch device，供测试用。）而非 32 行，是减少掩码浪费、改善流水线粒度的调优选择（整除性由。由于 K/V 按块载入 SRAM，]]></description><category></category></item><item><title><![CDATA[triton 实现 layer normal]]></title><link>https://blog.youkuaiyun.com/wyg_031113/article/details/164625179</link><guid>https://blog.youkuaiyun.com/wyg_031113/article/details/164625179</guid><author>wyg_031113</author><pubDate>Tue, 08 Sep 2026 16:41:07 +0800</pubDate><description><![CDATA[从**数学公式推导、内存布局图解、并行规约机制图解、以及代码逐行深度解析**四个维度，详尽的分析triton实现LayerNormal]]></description><category></category></item><item><title><![CDATA[GPU kernel瓶颈定位]]></title><link>https://blog.youkuaiyun.com/wyg_031113/article/details/163688932</link><guid>https://blog.youkuaiyun.com/wyg_031113/article/details/163688932</guid><author>wyg_031113</author><pubDate>Wed, 12 Aug 2026 10:15:15 +0800</pubDate><description><![CDATA[这篇文章摘要主要介绍了如何系统性地分析和优化Triton生成的CUDA Kernel性能，强调使用NVIDIA Nsight Compute（ncu）作为核心工具进行瓶颈定位。关键要点包括： 建立标准化分析流程： Benchmark → ncu分析 → Roofline模型 → 定位内存/计算/Warp/Occupancy瓶颈 → 针对性优化 → 重新测试 工具定位： nsys用于识别耗时最多的Kernel ncu专注于分析单个Kernel的性能瓶颈原因 核心分析方法： 通过Roofline模型判断Memo]]></description><category></category></item><item><title><![CDATA[CPU缓存速度与一致性]]></title><link>https://blog.youkuaiyun.com/wyg_031113/article/details/163594686</link><guid>https://blog.youkuaiyun.com/wyg_031113/article/details/163594686</guid><author>wyg_031113</author><pubDate>Sat, 08 Aug 2026 21:23:43 +0800</pubDate><description><![CDATA[文章摘要：本文深入探讨了计算机体系结构中三种核心缓存映射方式——直接映射、全相联映射和组相联映射——的工作原理、优缺点及应用场景。通过硬件参数设定和实战演练，详细解析了4路组相联缓存的实际映射过程，并对比了现代CPU/GPU缓存体系的差异。文章还通过代码测试展示了缓存命中率与延迟的关系，分析了多线程环境下的缓存一致性问题，包括编译器优化、CPU乱序执行和StoreBuffer的影响。最后，通过生产者-消费者模型的实例，揭示了内存屏障在并发编程中的关键作用，并提供了正确的同步解决方案。全文从硬件底层到软件实现]]></description><category></category></item><item><title><![CDATA[triton matmul]]></title><link>https://blog.youkuaiyun.com/wyg_031113/article/details/163589723</link><guid>https://blog.youkuaiyun.com/wyg_031113/article/details/163589723</guid><author>wyg_031113</author><pubDate>Sat, 08 Aug 2026 13:33:03 +0800</pubDate><description><![CDATA[本文展示了使用Triton库在CUDA设备上实现高性能矩阵乘法的代码示例。主要内容包括：1）两个不同版本的Triton矩阵乘法kernel实现，分别使用1D和2D分块策略；2）验证函数确保kernel计算结果与PyTorch的matmul一致；3）性能基准测试框架，比较Triton实现与cuBLAS/rocBLAS在不同矩阵尺寸下的表现，结果显示Triton在高维情况下能达到27.5 TFLOPS的性能。测试涵盖FP16和FP8数据类型，展示了Triton在编写高性能GPU算子方面的能力。代码还包含设备检测]]></description><category></category></item><item><title><![CDATA[Intel Arc 140T + Triton（Windows）环境搭建全过程记录]]></title><link>https://blog.youkuaiyun.com/wyg_031113/article/details/163544785</link><guid>https://blog.youkuaiyun.com/wyg_031113/article/details/163544785</guid><author>wyg_031113</author><pubDate>Thu, 06 Aug 2026 23:53:09 +0800</pubDate><description><![CDATA[本文记录了在Windows 11系统（Intel Core Ultra 9 285H处理器，Arc 140T核显+AI Boost NPU）上成功搭建Triton 3.7.2运行环境的过程。关键步骤包括：使用PyTorch原生XPU支持替代已退役的IPEX扩展，通过官方wheel索引自动安装triton-xpu及其依赖，解决中文Windows的GBK编码问题，安装MSVC编译工具链以解决C++ ABI兼容性问题。最终实现了Triton kernel在Arc 140T GPU上的正常运行，同时确认NPU只能通]]></description><category></category></item><item><title><![CDATA[从0搭建极简transformer大模型]]></title><link>https://blog.youkuaiyun.com/wyg_031113/article/details/163451307</link><guid>https://blog.youkuaiyun.com/wyg_031113/article/details/163451307</guid><author>wyg_031113</author><pubDate>Mon, 03 Aug 2026 22:03:51 +0800</pubDate><description><![CDATA[这篇文章介绍了一个基于PyTorch从零实现的Transformer模型，包含以下核心内容： 完整实现：797行代码完整实现了Transformer架构，包括： 多头注意力机制（Multi-Head Attention） 位置编码（Positional Encoding） 编码器/解码器堆叠结构 前馈网络和层归一化等组件 关键特性： 严格遵循原始论文设计（Post-LN结构/Xavier初始化） 详细中文注释说明各模块原理和维度变换 支持自定义超参数配置 包含完整的训练测试流程 验证结果： 全部组件测试通过]]></description><category></category></item><item><title><![CDATA[cuda程序初级代码]]></title><link>https://blog.youkuaiyun.com/wyg_031113/article/details/163276459</link><guid>https://blog.youkuaiyun.com/wyg_031113/article/details/163276459</guid><author>wyg_031113</author><pubDate>Tue, 28 Jul 2026 16:11:39 +0800</pubDate><description><![CDATA[摘要： 本文展示了CUDA编程的多个核心示例：1) 基础GPU信息查询程序，演示了如何获取设备属性；2) 数组加法性能对比，比较了CPU串行实现与GPU并行实现的性能差异；3) 矩阵转置操作，包含CPU和多种GPU实现方式；4) 数组归约求和，展示了经典的树形归约算法。这些示例涵盖了CUDA的核心概念，包括线程组织、内存管理、性能优化和结果验证。文中还提供了计时工具类(CpuTimer/GpuTimer)和错误检查宏，为CUDA开发提供了实用工具。通过实际测试，GPU版本在计算密集型任务上展现出显著加速效果]]></description><category></category></item><item><title><![CDATA[cuda编程-架构篇]]></title><link>https://blog.youkuaiyun.com/wyg_031113/article/details/163198956</link><guid>https://blog.youkuaiyun.com/wyg_031113/article/details/163198956</guid><author>wyg_031113</author><pubDate>Sat, 25 Jul 2026 22:44:09 +0800</pubDate><description><![CDATA[cuda编程]]></description><category></category></item><item><title><![CDATA[nano-vllm环境安装]]></title><link>https://blog.youkuaiyun.com/wyg_031113/article/details/163198441</link><guid>https://blog.youkuaiyun.com/wyg_031113/article/details/163198441</guid><author>wyg_031113</author><pubDate>Sat, 25 Jul 2026 21:59:25 +0800</pubDate><description><![CDATA[本文介绍了在优云智算GPU云平台上部署nano-vllm模型的完整流程。首先需选择适配cuda12、torch2.4和python3.10的镜像环境，重点通过清华镜像源安装系统依赖（git、ninja-build等）和Python包（transformers、nvitop等）。特别提示flash_attn应直接下载预编译的whl文件而非源码编译以节省时间。接着使用huggingface-cli下载Qwen2.5-0.5B模型，最后克隆nano-vllm仓库并运行示例程序。全文提供了详细的apt源配置和软件包]]></description><category></category></item><item><title><![CDATA[codex features]]></title><link>https://blog.youkuaiyun.com/wyg_031113/article/details/161148123</link><guid>https://blog.youkuaiyun.com/wyg_031113/article/details/161148123</guid><author>wyg_031113</author><pubDate>Sat, 16 May 2026 23:13:38 +0800</pubDate><description><![CDATA[OpenAI Codex 功能开关状态概览 该文档详细分类了 OpenAI Codex 的各项功能状态，分为四个主要类别： 稳定版功能（🟢）：包含15个成熟可用的核心功能，如跨应用操作(apps)、浏览器控制(browser_use)、高性能模式(fast_mode)等，适合生产环境使用。 开发中功能（🟡）：列出18个正在开发的功能，如灵活补丁应用(apply_patch_freeform)、实时对话(realtime_conversation)等，可能存在不稳定因素。 实验性功能（🧪）：包含5个早期]]></description><category></category></item><item><title><![CDATA[大模型系统（SysML）与应用工程优化]]></title><link>https://blog.youkuaiyun.com/wyg_031113/article/details/160462779</link><guid>https://blog.youkuaiyun.com/wyg_031113/article/details/160462779</guid><author>wyg_031113</author><pubDate>Fri, 24 Apr 2026 10:00:38 +0800</pubDate><description><![CDATA[摘要：针对具备后端开发背景的计算机硕士，本文提出一套从零发表AI论文的四阶段路线：1）1-2个月夯实Transformer理论基础与工具链；2）2-3个月聚焦工程优势方向（高效微调/推理加速/RAG）；3）3-5个月实施&quot;小而美&quot;创新（借鉴跨领域技术/垂直场景优化）；4）优先投稿顶会Workshop。建议利用现有硬件（如5060显卡）开展7B-14B模型实验，结合工程直觉（如分布式系统经验）解决AI系统效率问题，避免参与烧钱的模型规模竞争。（149字）]]></description><category></category></item><item><title><![CDATA[opencode为什么能自动编程-源码分析工作流程]]></title><link>https://blog.youkuaiyun.com/wyg_031113/article/details/158929957</link><guid>https://blog.youkuaiyun.com/wyg_031113/article/details/158929957</guid><author>wyg_031113</author><pubDate>Wed, 11 Mar 2026 16:55:46 +0800</pubDate><description><![CDATA[OpenCode全流程分析摘要（147字）： OpenCode系统处理&quot;下载velox源码并编译安装&quot;任务时，首先通过LLM将任务分解为4个Todo项。系统采用多阶段工具调用机制：1）创建任务列表（TodoWrite工具）；2）执行git clone等bash命令（Bash工具），包含严格的权限检查（解析命令模式、用户确认）和实时输出流；3）完成编译安装后记录成本与变更。核心流程展现了三层控制：会话初始化构建上下文、工具调用循环（权限验证→执行→状态更新）、完成检测与总结。关键差异点在于]]></description><category></category></item><item><title><![CDATA[DataFusion 直达源码内核的系统性学习路线]]></title><link>https://blog.youkuaiyun.com/wyg_031113/article/details/157552067</link><guid>https://blog.youkuaiyun.com/wyg_031113/article/details/157552067</guid><author>wyg_031113</author><pubDate>Fri, 30 Jan 2026 17:24:31 +0800</pubDate><description><![CDATA[本文系统性地介绍了学习Rust生态中DataFusion查询引擎的路径。首先强调理解核心概念（Arrow内存模型、Volcano执行模型）和宏观架构的重要性。学习路线分为五个阶段：从SQL到逻辑计划的转换（2-3周）、物理计划与调度（3-4周）、表达式计算（2周），最后到高级特性定制。重点推荐通过Debug调试和阅读测试代码来深入理解执行流程，建议从简单算子逐步过渡到复杂算子（如HashJoin）的实现。文章提供了详细的源码位置指引和学习方法，帮助开发者掌握DataFusion内核并实现定制开发。]]></description><category></category></item><item><title><![CDATA[机器问道：大模型RAG 解读凡人修仙传]]></title><link>https://blog.youkuaiyun.com/wyg_031113/article/details/156427644</link><guid>https://blog.youkuaiyun.com/wyg_031113/article/details/156427644</guid><author>wyg_031113</author><pubDate>Tue, 30 Dec 2025 17:36:36 +0800</pubDate><description><![CDATA[本文介绍了一个基于Qwen3-0.6B嵌入模型的中文文本处理流程，主要功能包括：1）使用SemanticChunker对多本小说进行语义分块处理；2）利用HuggingFaceEmbeddings生成文本向量；3）将处理结果存入Chroma向量数据库。代码实现了自动加载文本文件、中文优化的语义分割、元数据添加及持久化存储功能，并提供查询接口检索相似文本片段。该系统特别针对中文文本特点进行了优化，包括适配中文标点的分割规则和轻量级嵌入模型选择，适用于小说等长文本的语义检索场景。]]></description><category></category></item><item><title><![CDATA[告别K8s配置“屎山”：我用Kurator治好了团队的环境分裂症]]></title><link>https://blog.youkuaiyun.com/wyg_031113/article/details/156062223</link><guid>https://blog.youkuaiyun.com/wyg_031113/article/details/156062223</guid><author>wyg_031113</author><pubDate>Thu, 18 Dec 2025 20:22:32 +0800</pubDate><description><![CDATA[本文分享了团队使用Kurator工具解决Kubernetes多环境配置管理难题的实践经验。面对开发、测试、生产等多套环境配置混乱、部署风险高的问题，团队发现传统的Kustomize和Helm工具在复杂场景下存在环境继承关系隐晦、配置差异对比困难等痛点。Kurator通过将&quot;环境&quot;作为核心概念，实现了集群配置与部署逻辑的解耦，提供了一键多集群部署、可视化配置差异对比、渐进式发布等实用功能。经过三阶段的迁移改造，团队配置错误减少80%，部署效率提升60%，新人上手速度明显加快。文章建议多集群]]></description><category></category></item><item><title><![CDATA[用deepseek学大模型08-用deepseek解读deepseek]]></title><link>https://blog.youkuaiyun.com/wyg_031113/article/details/145762068</link><guid>https://blog.youkuaiyun.com/wyg_031113/article/details/145762068</guid><author>wyg_031113</author><pubDate>Thu, 20 Feb 2025 20:12:24 +0800</pubDate><description><![CDATA[DeepSeek V3和R1分别代表了通用大模型与专用推理模型的技术巅峰。V3通过MoE架构和FP8训练实现高效多任务处理，而R1以强化学习突破复杂推理瓶颈。两者结合，既满足大规模商业应用需求，又为高难度学术问题提供解决方案，标志着AI模型从“规模竞赛”向“效率与能力并重”的转型。未来，其开源策略和低成本优势或进一步加速AI技术的普及与创新。]]></description><category></category></item><item><title><![CDATA[用deepseek学大模型08-看代码理解transformer架构]]></title><link>https://blog.youkuaiyun.com/wyg_031113/article/details/145747698</link><guid>https://blog.youkuaiyun.com/wyg_031113/article/details/145747698</guid><author>wyg_031113</author><pubDate>Thu, 20 Feb 2025 12:04:33 +0800</pubDate><description><![CDATA[该架构通过并行计算实现比RNN快5-10倍的训练速度，在768维模型下单层参数量约7M。最新改进如FlashAttention-2已实现40%的训练加速。模型，并阅读原始论文《Attention Is All You Need》深入理解设计细节。维空间中，通过向量投影计算语义相似度，实现特征空间的信息聚合。：允许模型在不同子空间学习相关信息，类似CNN的多通道设计。]]></description><category></category></item><item><title><![CDATA[用deepseek学大模型08-看代码理解注意力机制]]></title><link>https://blog.youkuaiyun.com/wyg_031113/article/details/145731690</link><guid>https://blog.youkuaiyun.com/wyg_031113/article/details/145731690</guid><author>wyg_031113</author><pubDate>Wed, 19 Feb 2025 16:21:38 +0800</pubDate><description><![CDATA[嗯，用户问的是“入门注意力机制”，我需要结合我搜索到的资料来回答这个问题。首先，我得理清楚注意力机制的基本概念和原理，然后看看有哪些不同类型的注意力机制，以及它们的应用场景。根据，注意力机制的本质是对输入信息进行有选择性的处理，通过Query、Key和Value来计算权重，然后加权求和得到注意力输出。这应该作为基础原理部分。提到注意力机制通过查询向量q和评分函数s来选择相关信息，公式里用了softmax归一化，这个也可以用来解释计算过程。]]></description><category></category></item><item><title><![CDATA[用deepseek学大模型08-长短时记忆网络 (LSTM)]]></title><link>https://blog.youkuaiyun.com/wyg_031113/article/details/145698876</link><guid>https://blog.youkuaiyun.com/wyg_031113/article/details/145698876</guid><author>wyg_031113</author><pubDate>Tue, 18 Feb 2025 10:09:51 +0800</pubDate><description><![CDATA[deepseek.com 从入门到精通长短时记忆网络(LSTM),着重介绍的目标函数，损失函数，梯度下降 标量和矩阵形式的数学推导，pytorch真实能跑的代码案例以及模型,数据， 模型应用场景和优缺点，及如何改进解决及改进方法数据推导。]]></description><category></category></item></channel></rss>