- 博客(36)
- 收藏
- 关注
RSS订阅原创 浅谈ai - Activation Checkpointing - 时间换空间
曾在游戏世界挥洒创意，也曾在前端和后端的浪潮间穿梭，如今，而立的我仰望AI的璀璨星空，心潮澎湃，步履不停！愿你我皆乘风破浪，逐梦星辰！（激活检查点），在 DeepSpeed 里是一个非常实用的显存优化技术。“节省显存，代价是多做点计算。下面我给你讲明白它是啥、怎么干的、为什么有效、啥时候该用。Activation Checkpointing 是一种“用时间换空间”的策略，省显存的同时代价是略微增加计算。对于大模型（如 GPT、BERT）训练来说是非常常见的标配技术。
2025-04-05 20:10:48
336
原创 浅谈AI - DeepSpeed - 单卡慎用！
Deepspeed 的 ZeRO（Zero Redundancy Optimizer）有三个阶段（Stage 1, Stage 2, Stage 3），每个阶段旨在通过不同方式优化显存使用和提高计算效率。如果你是单卡训练，尤其是消费级显卡（如 3090、4090），启用 ZeRO Stage 2 和 3 反而得不偿失。
2025-04-05 19:32:25
414
原创 浅谈AI落地 - 文章推荐 - 混合推荐模型
这个推荐系统项目旨在通过多种技术和方法提供个性化的文章推荐，主要适用于文章类平台或信息服务平台。推荐系统结合了深度协同过滤（NCF）和增量学习（SGDRegressor），同时融合了内容推荐（基于文章的关键词、情感分析、互动数据等特征）和传统协同过滤，以实现更加精准和个性化的推荐。
2025-04-04 19:48:30
786
原创 浅谈AI工程落地 - 分布式训练 - Nvidia Megatron LM - 三种训练策略
数据并行处理不同数据，适合小模型；张量并行拆分层内参数，适合超大模型；流水线并行分层部署模型，适合深网络。实际工程中我会根据模型规模、显存限制、网络带宽、框架支持、团队经验来灵活组合这三种策略。
2025-04-04 19:15:20
504
原创 浅谈模型evaluation易混淆的概念：精确率 vs 召回率
精确度（Precision）关注的是模型预测为正类的样本中，多少是正确的，主要关注假正例（FP）。召回率（Recall）关注的是所有真实的正类样本中，模型找到了多少，主要关注假负例（FN）。精确度和召回率通常是相互平衡的，高精确度可能会导致低召回率，反之亦然。这也是为什么在实际应用中，F1 分数（精确度和召回率的调和平均）常常被用作综合衡量的指标。
2025-03-24 15:29:01
445
原创 浅谈ai工程落地 - 蒸馏 vs 剪枝 vs 量化
✅小模型架构设计是否合理，能否承载知识✅如何剪、剪多少、剪完还能不能跑得又快又准✅工程落地最成熟、最实用，推理性能提升显著、精度影响可控蒸馏是知识压缩（提升小模型效果）剪枝是结构优化（去掉多余部分）量化是数值压缩（最易部署，收益最大）
2025-03-22 14:58:35
836
原创 浅谈RLHF - PPO最通俗易懂的数学解释
情况概率比 rLoss 结果解读动作比原来好一点1.23.03.6允许优化动作太偏离原来1.63.03.6（被 clip）限制更新，防止过拟合坏动作0.6-2.0-1.6惩罚，但不能惩罚太狠。
2025-03-22 12:04:44
151
原创 浅谈LoRA，理清跟增量微调的区别
曾在游戏世界挥洒创意，也曾在前端和后端的浪潮间穿梭，如今，而立的我仰望AI的璀璨星空，心潮澎湃，步履不停！愿你我皆乘风破浪，逐梦星辰！
2025-03-20 20:10:52
931
原创 浅谈图数据库 vs 传统Rag, 以及图数据库 + 传统Rag
图数据库 vs. 传统 RAG（Retrieval-Augmented Generation）：检索速度 & 准确率在RAG（检索增强生成）任务中，图数据库（Graph Database）和传统的向量数据库（Vector Database，如 FAISS, Chroma, Weaviate）在检索速度、准确率上有明显区别。1. 图数据库 vs. 传统 RAG 检索区别。
2025-03-20 16:15:23
840
原创 浅谈AI落地之-关于数据增广的思考
曾在游戏世界挥洒创意，也曾在前端和后端的浪潮间穿梭，如今，而立的我仰望AI的璀璨星空，心潮澎湃，步履不停！愿你我皆乘风破浪，逐梦星辰！数据增广中的mixup（Mixup Augmentation）简单的来说，Mixup 是一种数据增强（Data Augmentation）技术，通过线性插值混合两张图片及其标签，使模型学习到更平滑的决策边界，提高泛化能力。1. 具体流程随机选取两张图片 x1,x2 及其标签 y1,y2。使用 Mixup 公式计算新的图像和标签。
2025-03-17 17:39:01
525
原创 浅谈AI落地之-加速训练
曾在游戏世界挥洒创意，也曾在前端和后端的浪潮间穿梭，如今，而立的我仰望AI的璀璨星空，心潮澎湃，步履不停！愿你我皆乘风破浪，逐梦星辰！
2025-03-15 17:01:04
302
原创 浅谈AI落地之分类问题
曾在游戏世界挥洒创意，也曾在前端和后端的浪潮间穿梭，如今，而立的我仰望AI的璀璨星空，心潮澎湃，步履不停！愿你我皆乘风破浪，逐梦星辰！
2025-03-15 16:12:05
221
原创 代码随想录算法训练营第二十二天 | Javascript | 力扣Leetcode | 贪心 | 1005. K次取反后最大化的数组和、134. 加油站
踏平坎坷成大道，斗罢艰险又出发！自律的尽头是自控，自控的尽头是硬控。愿道友们披荆斩棘，终能得偿所愿。本人是小几年经验的前端开发，算法基础只有力扣几十道题，非常薄弱。今天是个人的代码随想录算法硬控自己第22天，继续贪心。贪心妙啊！
2024-09-26 14:26:00
311
原创 代码随想录算法训练营第二十一天 | Javascript | 力扣Leetcode | 贪心 | 122. 买卖股票的最佳时机 II、55. 跳跃游戏、45. 跳跃游戏 II
踏平坎坷成大道，斗罢艰险又出发！自律的尽头是自控，自控的尽头是硬控。愿道友们披荆斩棘，终能得偿所愿。本人是小几年经验的前端开发，算法基础只有力扣几十道题，非常薄弱。今天是个人的代码随想录算法硬控自己第21天，继续贪心。贪心妙啊！
2024-09-25 17:28:14
468
1
原创 代码随想录算法训练营第二十天 | Javascript | 力扣Leetcode | 贪心 | 455. 分发饼干、376. 摆动序列、53. 最大子数组和
踏平坎坷成大道，斗罢艰险又出发！自律的尽头是自控，自控的尽头是硬控。愿道友们披荆斩棘，终能得偿所愿。本人是小几年经验的前端开发，算法基础只有力扣几十道题，非常薄弱。今天是个人的代码随想录算法硬控自己第20天，开启贪心。
2024-09-24 18:32:43
398
原创 代码随想录算法训练营第十九天 | Javascript | 力扣Leetcode | 回溯 | 51. N皇后
踏平坎坷成大道，斗罢艰险又出发！自律的尽头是自控，自控的尽头是硬控。愿道友们披荆斩棘，终能得偿所愿。本人是小几年经验的前端开发，算法基础只有力扣几十道题，非常薄弱。今天是个人的代码随想录算法硬控自己第19天，继续回溯。
2024-09-22 14:26:24
468
原创 代码随想录算法训练营第十八天 | Javascript | 力扣Leetcode | 回溯 | 78. 子集、90. 子集 II、491. 非递减子序列、46. 全排列、47. 全排列 II
踏平坎坷成大道，斗罢艰险又出发！自律的尽头是自控，自控的尽头是硬控。愿道友们披荆斩棘，终能得偿所愿。本人是小几年经验的前端开发，算法基础只有力扣几十道题，非常薄弱。今天是个人的代码随想录算法硬控自己第18天，继续回溯。
2024-09-21 14:51:29
818
1
原创 代码随想录算法训练营第十七天 | Javascript | 力扣Leetcode | 回溯 | 39. 组合总和、40. 组合总和 II、131. 分割回文串、93. 复原IP地址
踏平坎坷成大道，斗罢艰险又出发！自律的尽头是自控，自控的尽头是硬控。愿道友们披荆斩棘，终能得偿所愿。本人是小几年经验的前端开发，算法基础只有力扣几十道题，非常薄弱。今天是个人的代码随想录算法硬控自己第17天，继续回溯。
2024-09-20 16:48:39
232
1
原创 代码随想录算法训练营第十六天 | Javascript | 力扣Leetcode | 回溯 | 77. 组合、216. 组合综合 III、17. 电话号码的字母组合
踏平坎坷成大道，斗罢艰险又出发！自律的尽头是自控，自控的尽头是硬控。愿道友们披荆斩棘，终能得偿所愿。本人是小几年经验的前端开发，算法基础只有力扣几十道题，非常薄弱。今天是个人的代码随想录算法硬控自己第16天，开启回溯。
2024-09-19 22:41:56
450
原创 代码随想录算法训练营第十五天 | Javascript | 继续二叉树的一天 | 力扣Leetcode | 补 [501、236、235]
踏平坎坷成大道，斗罢艰险又出发！自律的尽头是自控，自控的尽头是硬控。愿道友们披荆斩棘，终能得偿所愿。本人是小几年经验的前端开发，算法基础只有力扣几十道题，非常薄弱。今天是个人的代码随想录算法硬控自己第15天，继续补二叉树，冲！
2024-09-18 00:18:23
527
1
原创 代码随想录算法训练营第十四天 | Javascript | 继续二叉树的一天 | 力扣Leetcode | 补 [617、700、98、530]
踏平坎坷成大道，斗罢艰险又出发！自律的尽头是自控，自控的尽头是硬控。愿道友们披荆斩棘，终能得偿所愿。本人是小几年经验的前端开发，算法基础只有力扣几十道题，非常薄弱。今天是个人的代码随想录算法硬控自己第14天，继续补二叉树，冲！
2024-09-16 15:11:52
562
原创 代码随想录算法训练营第十三天 | Javascript | 继续二叉树的一天 | 力扣Leetcode | 补106. 从中序与后序构造二叉树、补105 从前序与中序构造二叉树、补654. 最大二叉树
踏平坎坷成大道，斗罢艰险又出发！自律的尽头是自控，自控的尽头是硬控。愿道友们披荆斩棘，终能得偿所愿。本人是小几年经验的前端开发，算法基础只有力扣几十道题，非常薄弱。今天是个人的代码随想录算法硬控自己第13天，继续补二叉树，冲！
2024-09-16 00:24:20
771
1
原创 代码随想录算法训练营第十二天 | Javascript | 继续二叉树的一天 | 力扣Leetcode | 补513. 找树左下角的值、补112. 路径总和
踏平坎坷成大道，斗罢艰险又出发！自律的尽头是自控，自控的尽头是硬控。愿道友们披荆斩棘，终能得偿所愿。本人是小几年经验的前端开发，算法基础只有力扣几十道题，非常薄弱。今天是个人的代码随想录算法硬控自己第11天，还剩一天要补就追上进度了，冲！
2024-09-13 20:59:25
324
1
原创 代码随想录算法训练营第十一天 | Javascript | 二叉树的一天 | 力扣Leetcode | 补 - [226、101、104、111、110、257、404、222]
踏平坎坷成大道，斗罢艰险又出发！自律的尽头是自控，自控的尽头是硬控。愿道友们披荆斩棘，终能得偿所愿。本人是小几年经验的前端开发，算法基础只有力扣几十道题，非常薄弱。今天是个人的代码随想录算法硬控自己第11天，补前两天落下的。
2024-09-12 17:41:17
437
原创 代码随想录算法训练营第十天 | Javascript | 力扣Leetcode | 144、145、94. 二叉树前序，后续，中序
踏平坎坷成大道，斗罢艰险又出发！自律的尽头是自控，自控的尽头是硬控。愿道友们披荆斩棘，终能得偿所愿。本人是小几年经验的前端开发，算法基础只有力扣几十道题，非常薄弱。今天是个人的代码随想录算法硬控自己第10天，搞搞二叉树，冲！
2024-09-09 14:05:44
414
1
原创 代码随想录算法训练营第九天 | Javascript | 力扣Leetcode | 手撕KMP的一天 | 28. 找出字符串中第一个匹配项的下标、459. 重复的子字符串
踏平坎坷成大道，斗罢艰险又出发！自律的尽头是自控，自控的尽头是硬控。愿道友们披荆斩棘，终能得偿所愿。本人是小几年经验的前端开发，算法基础只有力扣几十道题，非常薄弱。今天是个人的代码随想录算法硬控自己第九天，冲！今天目标不多，一刷KMP。
2024-09-08 15:25:07
849
原创 代码随想录算法训练营第八天 | Javascript | 150. 逆波兰表达式求值、239. 滑动窗口最大值、347. 前k个高频元素
踏平坎坷成大道，斗罢艰险又出发！自律的尽头是自控，自控的尽头是硬控。愿道友们披荆斩棘，终能得偿所愿。本人是小几年经验的前端开发，算法基础只有力扣几十道题，非常薄弱。今天是个人的代码随想录算法硬控自己第八天，冲！150. 逆波兰表达式有一点非常值得注意！
2024-09-07 14:59:50
483
原创 代码随想录算法训练营第七天 | Javascript | 232. 用栈实现队列、20. 有效的括号、1047. 删除字符串中的所有相邻重复项
本人是小几年经验的前端开发，算法基础只有力扣几十道题，非常薄弱。今天是个人的代码随想录算法硬控自己第七天。踏平坎坷成大道，斗罢艰险又出发！自律的尽头是自控，自控的尽头是硬控。
2024-09-06 13:13:52
209
原创 代码随想录算法训练营第六天 | Javascript | 补344. 反转字符串、补541. 反转字符串 II、151. 反转字符串中的单词、补206. 反转链表
本人是小几年经验的前端开发，算法基础只有力扣几十道题，非常薄弱。今天是个人的代码随想录算法打卡第六天，昨天很忙没精力写，今天赶上。继续硬控自己。踏平坎坷成大道，斗罢艰险又出发！自律的尽头是自控，自控的尽头是硬控。
2024-09-05 16:12:35
379
原创 代码随想录算法训练营第五天 | Javascript | 454. 四数相加 II、383. 赎金信、15. 三数之和
本人是小几年经验的前端开发，算法基础只有力扣几十道题，非常薄弱。今天是个人的代码随想录算法打卡第五天，时间有限，速战速决。踏平坎坷成大道，斗罢艰险又出发！自律的尽头是自控，自控的尽头是硬控。
2024-09-03 18:58:44
348
原创 代码随想录算法训练营第四天 | Javascript | 242. 有效的字母异位词、349. 两个数组的交集、202. 快乐数、1. 两数之和
本人是小几年经验的前端开发，算法基础只有力扣几十道题，非常薄弱。今天是个人的代码随想录算法打卡第四天，继续硬控自己。踏平坎坷成大道，斗罢艰险又出发！自律的尽头是自控，自控的尽头是硬控。一遇到快速查询，往array[]上靠。遇到去重的，往set上靠。Object.values, Object.keys, filter, map, some, indexOf等等, 这些库函数，是基操，要熟悉，做多了就好了，共勉！
2024-09-02 17:58:41
440
原创 代码随想录算法训练营第三天 | Javascript | 补-27. 移除元素、补-209. 长度最小的子数组、补-59. 螺旋矩阵 ||、补-58. 区间和
本人是小几年经验的前端开发，算法基础只有力扣几十道题，非常薄弱。今天是个人的代码随想录算法打卡第三天，周日，落下的不多了，一口气追上。踏平坎坷成大道，斗罢艰险又出发！自律的尽头是自控，自控的尽头是硬控。哈哈哈~
2024-09-01 12:00:12
598
原创 代码随想录算法训练营第二天 | Javascript | 24. 两两交换节点、19. 删除末尾第n个节点、面试题02.07. 链表相交、142. 环形链表 II、补 704. 二分查找、
本人是小几年经验的前端开发，算法基础只有力扣几十道题，非常薄弱。今天是个人的代码随想录算法打卡第二天，周六，追赶下进度，mark一下激励自己也激励同样在刷算法的道友们。踏平坎坷成大道，斗罢艰险又出发！
2024-08-31 21:06:49
505
2
原创 代码随想录算法训练营第一天 | Javascript | 203. 移除链表元素、707. 设计链表
本人是小几年经验的前端开发，算法基础只有力扣几十道题，非常薄弱。今天是个人的代码随想录算法打卡第一天，因为是第三天进的训练营，前两天内容还需补上，mark一下激励自己也激励同样在刷算法的道友们。黑神话悟空最近刚出，送大家一句话：踏平坎坷成大道，斗罢艰险又出发！
2024-08-31 10:33:17
371
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人