- 博客(149)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Triton Flash Attention v2 逐行解析
如需对某一段（例如 TMA 描述符的内存布局、或反向链式法则的完整推导）再展开，告诉我具体位置即可。：在 Hopper/Blackwell 上把“TMA 数据搬运 warp”与“MMA 计算 warp”分离并行（软件流水）。按这四个键缓存最优配置——序列长度/头维/精度/是否 warpspec 任一变化都会重新调优。获取当前后端（CUDA 或 AMD HIP）对应的 torch device，供测试用。）而非 32 行，是减少掩码浪费、改善流水线粒度的调优选择（整除性由。由于 K/V 按块载入 SRAM，
2026-09-23 15:58:37
120
原创 triton 实现 layer normal
从**数学公式推导、内存布局图解、并行规约机制图解、以及代码逐行深度解析**四个维度，详尽的分析triton实现LayerNormal
2026-09-08 16:41:07
369
原创 GPU kernel瓶颈定位
这篇文章摘要主要介绍了如何系统性地分析和优化Triton生成的CUDA Kernel性能，强调使用NVIDIA Nsight Compute（ncu）作为核心工具进行瓶颈定位。关键要点包括： 建立标准化分析流程： Benchmark → ncu分析 → Roofline模型 → 定位内存/计算/Warp/Occupancy瓶颈 → 针对性优化 → 重新测试 工具定位： nsys用于识别耗时最多的Kernel ncu专注于分析单个Kernel的性能瓶颈原因 核心分析方法： 通过Roofline模型判断Memo
2026-08-12 10:15:15
194
原创 CPU缓存速度与一致性
文章摘要：本文深入探讨了计算机体系结构中三种核心缓存映射方式——直接映射、全相联映射和组相联映射——的工作原理、优缺点及应用场景。通过硬件参数设定和实战演练，详细解析了4路组相联缓存的实际映射过程，并对比了现代CPU/GPU缓存体系的差异。文章还通过代码测试展示了缓存命中率与延迟的关系，分析了多线程环境下的缓存一致性问题，包括编译器优化、CPU乱序执行和StoreBuffer的影响。最后，通过生产者-消费者模型的实例，揭示了内存屏障在并发编程中的关键作用，并提供了正确的同步解决方案。全文从硬件底层到软件实现
2026-08-08 21:23:43
102
原创 triton matmul
本文展示了使用Triton库在CUDA设备上实现高性能矩阵乘法的代码示例。主要内容包括：1）两个不同版本的Triton矩阵乘法kernel实现，分别使用1D和2D分块策略；2）验证函数确保kernel计算结果与PyTorch的matmul一致；3）性能基准测试框架，比较Triton实现与cuBLAS/rocBLAS在不同矩阵尺寸下的表现，结果显示Triton在高维情况下能达到27.5 TFLOPS的性能。测试涵盖FP16和FP8数据类型，展示了Triton在编写高性能GPU算子方面的能力。代码还包含设备检测
2026-08-08 13:33:03
367
原创 Intel Arc 140T + Triton（Windows）环境搭建全过程记录
本文记录了在Windows 11系统（Intel Core Ultra 9 285H处理器，Arc 140T核显+AI Boost NPU）上成功搭建Triton 3.7.2运行环境的过程。关键步骤包括：使用PyTorch原生XPU支持替代已退役的IPEX扩展，通过官方wheel索引自动安装triton-xpu及其依赖，解决中文Windows的GBK编码问题，安装MSVC编译工具链以解决C++ ABI兼容性问题。最终实现了Triton kernel在Arc 140T GPU上的正常运行，同时确认NPU只能通
2026-08-06 23:53:09
314
原创 从0搭建极简transformer大模型
这篇文章介绍了一个基于PyTorch从零实现的Transformer模型，包含以下核心内容： 完整实现：797行代码完整实现了Transformer架构，包括： 多头注意力机制（Multi-Head Attention） 位置编码（Positional Encoding） 编码器/解码器堆叠结构 前馈网络和层归一化等组件 关键特性： 严格遵循原始论文设计（Post-LN结构/Xavier初始化） 详细中文注释说明各模块原理和维度变换 支持自定义超参数配置 包含完整的训练测试流程 验证结果： 全部组件测试通过
2026-08-03 22:03:51
246
原创 cuda程序初级代码
摘要： 本文展示了CUDA编程的多个核心示例：1) 基础GPU信息查询程序，演示了如何获取设备属性；2) 数组加法性能对比，比较了CPU串行实现与GPU并行实现的性能差异；3) 矩阵转置操作，包含CPU和多种GPU实现方式；4) 数组归约求和，展示了经典的树形归约算法。这些示例涵盖了CUDA的核心概念，包括线程组织、内存管理、性能优化和结果验证。文中还提供了计时工具类(CpuTimer/GpuTimer)和错误检查宏，为CUDA开发提供了实用工具。通过实际测试，GPU版本在计算密集型任务上展现出显著加速效果
2026-07-28 16:11:39
52
原创 nano-vllm环境安装
本文介绍了在优云智算GPU云平台上部署nano-vllm模型的完整流程。首先需选择适配cuda12、torch2.4和python3.10的镜像环境，重点通过清华镜像源安装系统依赖（git、ninja-build等）和Python包（transformers、nvitop等）。特别提示flash_attn应直接下载预编译的whl文件而非源码编译以节省时间。接着使用huggingface-cli下载Qwen2.5-0.5B模型，最后克隆nano-vllm仓库并运行示例程序。全文提供了详细的apt源配置和软件包
2026-07-25 21:59:25
251
原创 codex features
OpenAI Codex 功能开关状态概览 该文档详细分类了 OpenAI Codex 的各项功能状态，分为四个主要类别： 稳定版功能（🟢）：包含15个成熟可用的核心功能，如跨应用操作(apps)、浏览器控制(browser_use)、高性能模式(fast_mode)等，适合生产环境使用。 开发中功能（🟡）：列出18个正在开发的功能，如灵活补丁应用(apply_patch_freeform)、实时对话(realtime_conversation)等，可能存在不稳定因素。 实验性功能（🧪）：包含5个早期
2026-05-16 23:13:38
637
原创 大模型系统（SysML）与应用工程优化
摘要：针对具备后端开发背景的计算机硕士，本文提出一套从零发表AI论文的四阶段路线：1）1-2个月夯实Transformer理论基础与工具链；2）2-3个月聚焦工程优势方向（高效微调/推理加速/RAG）；3）3-5个月实施"小而美"创新（借鉴跨领域技术/垂直场景优化）；4）优先投稿顶会Workshop。建议利用现有硬件（如5060显卡）开展7B-14B模型实验，结合工程直觉（如分布式系统经验）解决AI系统效率问题，避免参与烧钱的模型规模竞争。（149字）
2026-04-24 10:00:38
626
原创 opencode为什么能自动编程-源码分析工作流程
OpenCode全流程分析摘要（147字）： OpenCode系统处理"下载velox源码并编译安装"任务时，首先通过LLM将任务分解为4个Todo项。系统采用多阶段工具调用机制：1）创建任务列表（TodoWrite工具）；2）执行git clone等bash命令（Bash工具），包含严格的权限检查（解析命令模式、用户确认）和实时输出流；3）完成编译安装后记录成本与变更。核心流程展现了三层控制：会话初始化构建上下文、工具调用循环（权限验证→执行→状态更新）、完成检测与总结。关键差异点在于
2026-03-11 16:55:46
306
原创 DataFusion 直达源码内核的系统性学习路线
本文系统性地介绍了学习Rust生态中DataFusion查询引擎的路径。首先强调理解核心概念（Arrow内存模型、Volcano执行模型）和宏观架构的重要性。学习路线分为五个阶段：从SQL到逻辑计划的转换（2-3周）、物理计划与调度（3-4周）、表达式计算（2周），最后到高级特性定制。重点推荐通过Debug调试和阅读测试代码来深入理解执行流程，建议从简单算子逐步过渡到复杂算子（如HashJoin）的实现。文章提供了详细的源码位置指引和学习方法，帮助开发者掌握DataFusion内核并实现定制开发。
2026-01-30 17:24:31
609
原创 机器问道：大模型RAG 解读凡人修仙传
本文介绍了一个基于Qwen3-0.6B嵌入模型的中文文本处理流程，主要功能包括：1）使用SemanticChunker对多本小说进行语义分块处理；2）利用HuggingFaceEmbeddings生成文本向量；3）将处理结果存入Chroma向量数据库。代码实现了自动加载文本文件、中文优化的语义分割、元数据添加及持久化存储功能，并提供查询接口检索相似文本片段。该系统特别针对中文文本特点进行了优化，包括适配中文标点的分割规则和轻量级嵌入模型选择，适用于小说等长文本的语义检索场景。
2025-12-30 17:36:36
1255
原创 告别K8s配置“屎山”：我用Kurator治好了团队的环境分裂症
本文分享了团队使用Kurator工具解决Kubernetes多环境配置管理难题的实践经验。面对开发、测试、生产等多套环境配置混乱、部署风险高的问题，团队发现传统的Kustomize和Helm工具在复杂场景下存在环境继承关系隐晦、配置差异对比困难等痛点。Kurator通过将"环境"作为核心概念，实现了集群配置与部署逻辑的解耦，提供了一键多集群部署、可视化配置差异对比、渐进式发布等实用功能。经过三阶段的迁移改造，团队配置错误减少80%，部署效率提升60%，新人上手速度明显加快。文章建议多集群
2025-12-18 20:22:32
593
原创 用deepseek学大模型08-用deepseek解读deepseek
DeepSeek V3和R1分别代表了通用大模型与专用推理模型的技术巅峰。V3通过MoE架构和FP8训练实现高效多任务处理，而R1以强化学习突破复杂推理瓶颈。两者结合，既满足大规模商业应用需求，又为高难度学术问题提供解决方案，标志着AI模型从“规模竞赛”向“效率与能力并重”的转型。未来，其开源策略和低成本优势或进一步加速AI技术的普及与创新。
2025-02-20 20:12:24
1538
原创 用deepseek学大模型08-看代码理解transformer架构
该架构通过并行计算实现比RNN快5-10倍的训练速度，在768维模型下单层参数量约7M。最新改进如FlashAttention-2已实现40%的训练加速。模型，并阅读原始论文《Attention Is All You Need》深入理解设计细节。维空间中，通过向量投影计算语义相似度，实现特征空间的信息聚合。：允许模型在不同子空间学习相关信息，类似CNN的多通道设计。
2025-02-20 12:04:33
1515
原创 用deepseek学大模型08-看代码理解注意力机制
嗯，用户问的是“入门注意力机制”，我需要结合我搜索到的资料来回答这个问题。首先，我得理清楚注意力机制的基本概念和原理，然后看看有哪些不同类型的注意力机制，以及它们的应用场景。根据，注意力机制的本质是对输入信息进行有选择性的处理，通过Query、Key和Value来计算权重，然后加权求和得到注意力输出。这应该作为基础原理部分。提到注意力机制通过查询向量q和评分函数s来选择相关信息，公式里用了softmax归一化，这个也可以用来解释计算过程。
2025-02-19 16:21:38
1258
原创 用deepseek学大模型08-长短时记忆网络 (LSTM)
deepseek.com 从入门到精通长短时记忆网络(LSTM),着重介绍的目标函数，损失函数，梯度下降 标量和矩阵形式的数学推导，pytorch真实能跑的代码案例以及模型,数据， 模型应用场景和优缺点，及如何改进解决及改进方法数据推导。
2025-02-18 10:09:51
1904
原创 用deepseek学大模型08-循环神经网络
通过上述步骤，您可系统掌握 RNN 的核心理论、实现及优化方法。控制历史信息保留，避免传统 RNN 的连乘梯度，缓解消失问题。，导致梯度消失/爆炸。LSTM 通过细胞状态。
2025-02-18 08:46:05
1263
原创 用deepseek学大模型08-cnn残差网络
特性普通CNNResNet最大有效深度~20层>1000层梯度传播稳定性易消失/爆炸通过跳跃连接稳定训练误差随深度变化先降后升（退化）持续下降参数量（同精度）较高更低（瓶颈结构）这些设计使得ResNet成为计算机视觉任务的基础架构，广泛应用于图像分类、目标检测等领域。return outnn.ReLU()return x# 数据预处理])# 加载数据集# 创建数据加载器# 初始化模型和优化器# 训练循环。
2025-02-18 08:24:22
1752
原创 用deepseek学大模型08-卷积神经网络(CNN)
从入门到精通卷积神经网络(CNN),着重介绍的目标函数，损失函数，梯度下降 标量和矩阵形式的数学推导，pytorch真实能跑的代码案例以及模型,数据，预测结果的可视化展示， 模型应用场景和优缺点，及如何改进解决及改进方法数据推导。
2025-02-17 20:22:41
1869
1
原创 用deepseek学大模型07-激活函数和损失函数
激活函数输出范围梯度特性计算成本适用场景Sigmoid(0,1)最大0.25高二分类输出层Tanh(-1,1)最大1.0高RNN隐藏层ReLU[0, +∞)0或1低通用隐藏层Leaky ReLU(-∞, +∞)0.01或1低避免神经元死亡Softmax[0,1] (概率)依赖输入分布高多分类输出层。
2025-02-17 14:09:09
1285
1
原创 用deepseek学大模型06-前馈神经网络（FFNN）
deepseek.com:前馈神经网络的目标函数，损失函数，梯度下降 标量和矩阵形式的数学推导，pytorch真实能跑的代码案例以及模型图在tensorboard中的展示， 分析应用场景和优缺点，及如何改进解决及改进方法数据推导。
2025-02-17 11:32:15
1110
原创 用deepseek学大模型05逻辑回归
逻辑回归通过概率建模解决二分类问题，代码简洁高效，但需注意其线性假设的限制。通过正则化、特征工程等手段可显著提升模型性能。
2025-02-16 17:14:44
1539
原创 用deepseek学大模型04-机器学习模型出世-导论7问
嗯，用户的问题是关于如何编写一个包含各种模型详细介绍和应用场景的机器学习与深度学习导论。我需要结合我搜索到的资料来回答这个问题，确保引用正确的文献ID。首先，我应该先理清机器学习与深度学习的基本概念，然后分门别类地介绍不同的模型，每个模型的结构、特点以及应用场景。根据，深度学习是机器学习的一个子领域，属于表示学习方法，通过多层非线性模块自动学习数据的层次化特征。这可以作为导论的起始部分，解释两者的关系。
2025-02-16 11:28:25
1176
原创 用deepseek学大模型05-线性回归
线性回归通过最小化预测值与真实值的平方误差，求解参数。梯度下降适用于大规模数据，正规方程适合小规模且特征数少的情况。理解模型假设和评估方法对实际应用至关重要。
2025-02-15 21:13:29
1339
原创 用deepseek学大模型04-机器学习建模过程
设置网络层数、激活函数（如ReLU、Sigmoid）、Dropout率（防止过拟合）、优化器（如Adam、SGD）等。
2025-02-15 17:37:16
1460
原创 用deepseek学大模型04-模型与网络
目前已经学完深度学习的数学基础，开始学习各种 模型和网络阶段，给出一个从简单到入门的，层层递进的学习路线。并给出学习每种模型需要的前置知识。增加注意力机制，bert, 大模型，gpt, transformer， MOE等流行的模型。另外，前置知识详细一点，加上需要前置学习的模型。并分析每种模型的使用场景，优缺点。
2025-02-14 19:24:14
1206
原创 用deepseek学大模型02-数学基础 微积分
导数：衡量单变量函数变化率。偏导数与梯度：多变量函数的局部变化率与全局方向。链式法则：反向传播的数学基础，逐层计算梯度。梯度下降法：利用负梯度方向更新参数，最小化损失函数。通过理解这些概念并实践代码示例，可掌握深度学习优化算法的数学本质。
2025-02-14 17:02:30
1166
原创 用deepseek学大模型03-数学基础 概率论 最大似然估计（MLE）最大后验估计（MAP）
另外，提到的Adam优化算法虽然主要讲优化方法，但可以结合MLE和MAP的目标函数进行参数更新，例如在训练中结合正则化项（如权重衰减）时，实际是在进行MAP估计。好的，我现在需要回答关于最大似然估计（MLE）和最大后验估计（MAP）的问题，同时说明它们在深度学习中的应用并举例。总结结构：定义MLE和MAP，区别与联系（频率vs贝叶斯，先验的作用），在深度学习中的应用（损失函数对应MLE，正则化对应MAP），具体例子（交叉熵/MSE，L2正则化）。：MAP是贝叶斯学派的方法，将参数视为随机变量，结合。
2025-02-13 20:48:03
1817
原创 用deepseek学大模型03-数学基础 概率论 条件概率 全概率公式 贝叶斯定理
通过以上实例可以看出，条件概率和贝叶斯定理在实际问题中具有广泛的应用价值。医学诊断：根据患者的症状和检测结果，计算患病的可能性。自然语言处理：根据文本特征和语料库，预测文本的主题或情感。机器学习：朴素贝叶斯分类器利用贝叶斯定理进行分类预测。学习这些概念时，建议结合具体问题进行练习，并逐步深入理解其背后的数学原理和应用场景。希望这个入门级教程能帮助你更好地掌握条件概率与贝叶斯定理！
2025-02-13 10:48:27
1389
原创 用deepseek学大模型03-数学基础 概率论 随机变量 概率分布
概率0：事件不可能发生。1：事件必然发生。0.5：事件有一半的可能性发生。概率用于量化不确定性，是机器学习和深度学习的核心概念之一。随机变量离散随机变量：取有限或可数无限个值（如掷骰子的结果）。连续随机变量：取无限不可数的值（如某地区的温度）。随机变量通常用大写字母表示（如XXX），其具体取值用小写字母表示（如xxx概率：描述事件发生的可能性。随机变量：将随机事件映射为数值的函数。常用分布：深度学习中使用多种分布（如正态分布、伯努利分布、多项分布等）来描述数据和模型的随机性。
2025-02-12 17:31:46
1304
原创 用deepseek学大模型03-数学基础 概率论
提到花书学习笔记，涵盖了概率论、信息论和数理统计的基础，包括概率分布、条件概率、贝叶斯规则、最大似然估计等。还要注意证据中的课程推荐，比如提到的UCSD课程，包含TensorFlow/PyTorch实践，这可能作为学习资源推荐给用户。用户希望得到一个完整的教程和实例，所以我要从我搜索到的资料中整理出相关的知识点和学习路径，并结合实例说明。https://metaso.cn/s/Jp0OU9w 提示词:我正在学习深度学习相关的数学知识，学到了概率论与统计学部分，给我一个入门级的完整教程和实例。
2025-02-12 15:15:58
860
原创 用deepseek学大模型02-数学基础 奇异值分解（Singular Value Decomposition，简称SVD）
奇异值分解（SVD）是一种强大的线性代数工具，不仅在理论上有重要意义，还在实际应用中展现了广泛的应用价值。通过学习SVD，可以更好地理解矩阵的性质及其在深度学习中的作用。希望以上内容能帮助你掌握SVD的基础知识，并理解其在深度学习中的重要性。SVD（奇异值分解）是一种重要的降维技术，广泛应用于多个领域，包括推荐系统、图像处理、文本挖掘等。SVD作为一种经典的降维技术，因其简单性和高效性，在多个领域得到了广泛应用。它不仅可以减少数据的维度，还能保留大部分重要信息，从而提高算法的运行效率和结果的可解释性。
2025-02-12 11:03:15
1533
原创 用deepseek学大模型02-数学基础 特征值特征向量
通过这两个例题，我们学习了如何计算3x3矩阵的行列式和逆矩阵。这些计算对于理解线性代数中的重要概念至关重要。如果有任何问题或需要进一步的讨论，请告知我！特征值和特征向量是描述线性变换核心性质的数学工具。对于n阶方阵A，若存在非零向量x⃗\vec{x}x和标量λ\lambdaλAx⃗λx⃗Axλx则称λ\lambdaλ为矩阵A的特征值x⃗\vec{x}x为对应的特征向量。该定义也可推广到线性变换fV→VfV→V上。
2025-02-11 17:15:40
933
原创 用大模型学大模型01-制定学习计划
1.1 数学基础1.2 编程基础2.1 监督学习2.2 无监督学习2.3 经典资源3.1 神经网络基础3.2 框架实践4.1 词嵌入与序列模型4.2 实践项目5.1 Transformer架构5.2 预训练模型6.1 训练全流程6.2 模型压缩7.1 垂直领域应用7.2 行业案例8.1 前沿方向8.2 社区与资源。
2025-02-10 16:57:30
1904
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人