
001_机器学习
文章平均质量分 97
机器学习相关知识讲解和经验分享。
罗西的思考
微信公众号:罗西的思考
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
探秘Transformer系列之(36)--- 大模型量化方案
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-06-08 20:14:54 · 1123 阅读 · 0 评论 -
探秘Transformer系列之(35)--- 大模型量化基础
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-06-02 20:24:23 · 678 阅读 · 0 评论 -
探秘Transformer系列之(34)--- 量化基础
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-05-24 14:49:49 · 806 阅读 · 0 评论 -
探秘Transformer系列之(33)--- DeepSeek MTP
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-05-17 10:00:11 · 1011 阅读 · 0 评论 -
探秘Transformer系列之(32)--- Lookahead Decoding
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-05-10 10:04:49 · 1037 阅读 · 0 评论 -
探秘Transformer系列之(31)--- Medusa
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-04-28 20:45:39 · 1091 阅读 · 0 评论 -
探秘Transformer系列之(30)--- 投机解码
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-04-23 19:58:58 · 671 阅读 · 0 评论 -
探秘Transformer系列之(29)--- DeepSeek MoE
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-04-20 10:10:56 · 1035 阅读 · 0 评论 -
探秘Transformer系列之(28)--- DeepSeek MLA(下)
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-04-17 20:36:58 · 902 阅读 · 0 评论 -
探秘Transformer系列之(28)--- DeepSeek MLA(上)
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-04-17 20:07:12 · 1173 阅读 · 0 评论 -
探秘Transformer系列之(27)--- MQA & GQA
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-04-14 20:08:16 · 869 阅读 · 0 评论 -
探秘Transformer系列之(26)--- KV Cache优化 之 PD分离or合并
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-04-12 20:40:51 · 950 阅读 · 0 评论 -
探秘Transformer系列之(25)--- KV Cache优化之处理长文本序列
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-04-10 20:19:32 · 991 阅读 · 0 评论 -
探秘Transformer系列之(24)--- KV Cache优化
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-04-08 20:32:34 · 744 阅读 · 0 评论 -
探秘Transformer系列之(23)--- 长度外推
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-04-05 10:07:03 · 768 阅读 · 0 评论 -
探秘Transformer系列之(22)--- LoRA
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-04-03 19:50:32 · 715 阅读 · 0 评论 -
探秘Transformer系列之(21)--- MoE
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-03-31 21:00:52 · 978 阅读 · 0 评论 -
探秘Transformer系列之(20)--- KV Cache
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-03-30 10:01:34 · 805 阅读 · 0 评论 -
探秘Transformer系列之(19)----FlashAttention V2 及升级版本
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-03-28 20:08:40 · 1150 阅读 · 0 评论 -
探秘Transformer系列之(18)--- FlashAttention
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-03-25 19:56:13 · 749 阅读 · 0 评论 -
探秘Transformer系列之(17)--- RoPE(下)
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-03-23 13:39:58 · 1042 阅读 · 0 评论 -
探秘Transformer系列之(17)--- RoPE(上)
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-03-23 13:35:29 · 741 阅读 · 0 评论 -
探秘Transformer系列之文章列表 --- 更新至第 29 篇
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-03-23 00:16:06 · 423 阅读 · 0 评论 -
探秘Transformer系列之(16)--- 资源占用
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-03-21 19:58:43 · 858 阅读 · 0 评论 -
探秘Transformer系列之(15)--- 采样和输出
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-03-18 19:40:57 · 815 阅读 · 0 评论 -
探秘Transformer系列之(14)--- 残差网络和归一化
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-03-16 14:27:23 · 1088 阅读 · 0 评论 -
探秘Transformer系列之(13)--- Feed-Forward Networks
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-03-14 19:45:17 · 988 阅读 · 1 评论 -
探秘Transformer系列之(2)---总体架构
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-02-15 09:40:50 · 1013 阅读 · 0 评论 -
探秘Transformer系列之(12)--- 多头自注意力
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-03-11 19:20:45 · 850 阅读 · 0 评论 -
探秘Transformer系列之(11)--- 掩码
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-03-08 10:20:00 · 943 阅读 · 0 评论 -
探秘Transformer系列之(10)--- 自注意力
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-03-05 20:39:48 · 726 阅读 · 0 评论 -
探秘Transformer系列之(9)--- 位置编码分类
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-03-03 20:54:03 · 1121 阅读 · 4 评论 -
探秘Transformer系列之(8)--- 位置编码
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-03-01 14:34:28 · 765 阅读 · 0 评论 -
探秘Transformer系列之(7)--- embedding
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-02-27 20:33:55 · 1172 阅读 · 0 评论 -
探秘Transformer系列之(6)--- token
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-02-24 20:04:46 · 961 阅读 · 0 评论 -
探秘Transformer系列之(5)--- 训练&推理
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-02-22 09:56:04 · 661 阅读 · 0 评论 -
探秘Transformer系列之(4)--- 编码器 & 解码器
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-02-20 20:45:34 · 1008 阅读 · 0 评论 -
探秘Transformer系列之(3)---数据处理
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-02-18 21:07:08 · 726 阅读 · 0 评论 -
探秘Transformer系列之(1):注意力机制
从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。原创 2025-02-09 11:28:20 · 1087 阅读 · 0 评论 -
新书出版:《分布式机器学习——系统、工程与实战》
当然,很多时候我们只有源码,那么就只能从源码中根据细节来探寻,重建论文作者的思路,提炼其精华,争取和作者达到一个跨越空间和时间的震荡和共鸣。其实我也没有很好的学习方法,可能因为我比较喜欢钻研技术,如果某一个技术点没有想明白,我就会围绕这个点进行深入挖掘,而往往为了弄明白一个知识点,就会研究其他相关知识点,这样从一个点很容易延申到一条线,进而扩展到一个面,最后形成一张网,就构建了自己的一个小小的知识体系。原创 2023-07-21 23:56:05 · 594 阅读 · 0 评论