<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[RayLobeCode的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/RayLobeCode</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; RayLobeCode]]></copyright><item><title><![CDATA[如何改进复杂推理 - 从提示词设计入手]]></title><link>https://blog.youkuaiyun.com/RayLobeCode/article/details/148875901</link><guid>https://blog.youkuaiyun.com/RayLobeCode/article/details/148875901</guid><author>RayLobeCode</author><pubDate>Tue, 24 Jun 2025 17:25:43 +0800</pubDate><description><![CDATA[本质上是一种 prompt reranking 的打分排序策略。明确每一类任务的推理结构构建提示词模板系统 + 语义检索机制设计融合打分逻辑以处理不一致 最小化调试成本、最大化推理效果的关键：提示词调度自动化。]]></description><category></category></item><item><title><![CDATA[浅谈 - GPTQ为啥按列量化]]></title><link>https://blog.youkuaiyun.com/RayLobeCode/article/details/147739630</link><guid>https://blog.youkuaiyun.com/RayLobeCode/article/details/147739630</guid><author>RayLobeCode</author><pubDate>Tue, 06 May 2025 15:02:43 +0800</pubDate><description><![CDATA[曾在游戏世界挥洒创意，也曾在前端和后端的浪潮间穿梭，如今，而立的我仰望AI的璀璨星空，心潮澎湃，步履不停！愿你我皆乘风破浪，逐梦星辰！GPTQ 按列量化权重矩阵 W，是一种对 Transformer 结构极度贴合的压缩策略，既能保留推理精度，又能用低位计算加速推理。每列权重 w_i 只乘以 x[i]，误差局部控制；每列可以用自己的 scale 适配分布；配合 GPTQ 的逐列误差估计与补偿策略（Hessian）；高效、稳定、误差最小。]]></description><category></category></item><item><title><![CDATA[浅谈ai落地 - 微调跟Rag的结合有什么可以优化的地方]]></title><link>https://blog.youkuaiyun.com/RayLobeCode/article/details/147194497</link><guid>https://blog.youkuaiyun.com/RayLobeCode/article/details/147194497</guid><author>RayLobeCode</author><pubDate>Sun, 13 Apr 2025 17:42:15 +0800</pubDate><description><![CDATA[曾在游戏世界挥洒创意，也曾在前端和后端的浪潮间穿梭，如今，而立的我仰望AI的璀璨星空，心潮澎湃，步履不停！愿你我皆乘风破浪，逐梦星辰！首先我们要明白RAG 和微调不是互斥的，而是可以分工明确、互相配合。下面是一个结构化的解释，包括工作流程图、介入点说明，以及工程落地建议。目标用RAG用微调扩充知识✅（文档召回）❌（大模型本身没更新）提升输出质量部分可行✅（专属风格/语气/格式）修复生成幻觉✅（引入真实依据）✅（优化生成逻辑）解决无法理解的问题❌✅（定制任务认知能力）]]></description><category></category></item><item><title><![CDATA[浅谈ai - Activation Checkpointing - 时间换空间]]></title><link>https://blog.youkuaiyun.com/RayLobeCode/article/details/147015115</link><guid>https://blog.youkuaiyun.com/RayLobeCode/article/details/147015115</guid><author>RayLobeCode</author><pubDate>Sat, 05 Apr 2025 20:10:48 +0800</pubDate><description><![CDATA[曾在游戏世界挥洒创意，也曾在前端和后端的浪潮间穿梭，如今，而立的我仰望AI的璀璨星空，心潮澎湃，步履不停！愿你我皆乘风破浪，逐梦星辰！（激活检查点），在 DeepSpeed 里是一个非常实用的显存优化技术。“节省显存，代价是多做点计算。下面我给你讲明白它是啥、怎么干的、为什么有效、啥时候该用。Activation Checkpointing 是一种“用时间换空间”的策略，省显存的同时代价是略微增加计算。对于大模型（如 GPT、BERT）训练来说是非常常见的标配技术。]]></description><category></category></item><item><title><![CDATA[浅谈AI - DeepSpeed - 单卡慎用！]]></title><link>https://blog.youkuaiyun.com/RayLobeCode/article/details/147014679</link><guid>https://blog.youkuaiyun.com/RayLobeCode/article/details/147014679</guid><author>RayLobeCode</author><pubDate>Sat, 05 Apr 2025 19:32:25 +0800</pubDate><description><![CDATA[Deepspeed 的 ZeRO（Zero Redundancy Optimizer）有三个阶段（Stage 1, Stage 2, Stage 3），每个阶段旨在通过不同方式优化显存使用和提高计算效率。如果你是单卡训练，尤其是消费级显卡（如 3090、4090），启用 ZeRO Stage 2 和 3 反而得不偿失。]]></description><category></category></item><item><title><![CDATA[浅谈AI落地 - 文章推荐 - 混合推荐模型]]></title><link>https://blog.youkuaiyun.com/RayLobeCode/article/details/147001592</link><guid>https://blog.youkuaiyun.com/RayLobeCode/article/details/147001592</guid><author>RayLobeCode</author><pubDate>Fri, 04 Apr 2025 19:48:30 +0800</pubDate><description><![CDATA[这个推荐系统项目旨在通过多种技术和方法提供个性化的文章推荐，主要适用于文章类平台或信息服务平台。推荐系统结合了深度协同过滤（NCF）和增量学习（SGDRegressor），同时融合了内容推荐（基于文章的关键词、情感分析、互动数据等特征）和传统协同过滤，以实现更加精准和个性化的推荐。]]></description><category></category></item><item><title><![CDATA[浅谈AI工程落地 - 分布式训练 - Nvidia Megatron LM - 三种训练策略]]></title><link>https://blog.youkuaiyun.com/RayLobeCode/article/details/147001411</link><guid>https://blog.youkuaiyun.com/RayLobeCode/article/details/147001411</guid><author>RayLobeCode</author><pubDate>Fri, 04 Apr 2025 19:15:20 +0800</pubDate><description><![CDATA[数据并行处理不同数据，适合小模型；张量并行拆分层内参数，适合超大模型；流水线并行分层部署模型，适合深网络。实际工程中我会根据模型规模、显存限制、网络带宽、框架支持、团队经验来灵活组合这三种策略。]]></description><category></category></item><item><title><![CDATA[浅谈模型evaluation易混淆的概念：精确率 vs 召回率]]></title><link>https://blog.youkuaiyun.com/RayLobeCode/article/details/146477554</link><guid>https://blog.youkuaiyun.com/RayLobeCode/article/details/146477554</guid><author>RayLobeCode</author><pubDate>Mon, 24 Mar 2025 15:29:01 +0800</pubDate><description><![CDATA[精确度（Precision）关注的是模型预测为正类的样本中，多少是正确的，主要关注假正例（FP）。召回率（Recall）关注的是所有真实的正类样本中，模型找到了多少，主要关注假负例（FN）。精确度和召回率通常是相互平衡的，高精确度可能会导致低召回率，反之亦然。这也是为什么在实际应用中，F1 分数（精确度和召回率的调和平均）常常被用作综合衡量的指标。]]></description><category></category></item><item><title><![CDATA[浅谈ai工程落地 - 蒸馏 vs 剪枝 vs 量化]]></title><link>https://blog.youkuaiyun.com/RayLobeCode/article/details/146440283</link><guid>https://blog.youkuaiyun.com/RayLobeCode/article/details/146440283</guid><author>RayLobeCode</author><pubDate>Sat, 22 Mar 2025 14:58:35 +0800</pubDate><description><![CDATA[✅小模型架构设计是否合理，能否承载知识✅如何剪、剪多少、剪完还能不能跑得又快又准✅工程落地最成熟、最实用，推理性能提升显著、精度影响可控蒸馏是知识压缩（提升小模型效果）剪枝是结构优化（去掉多余部分）量化是数值压缩（最易部署，收益最大）]]></description><category></category></item><item><title><![CDATA[浅谈RLHF - PPO最通俗易懂的数学解释]]></title><link>https://blog.youkuaiyun.com/RayLobeCode/article/details/146437563</link><guid>https://blog.youkuaiyun.com/RayLobeCode/article/details/146437563</guid><author>RayLobeCode</author><pubDate>Sat, 22 Mar 2025 12:04:44 +0800</pubDate><description><![CDATA[情况概率比 rLoss 结果解读动作比原来好一点1.23.03.6允许优化动作太偏离原来1.63.03.6（被 clip）限制更新，防止过拟合坏动作0.6-2.0-1.6惩罚，但不能惩罚太狠。]]></description><category></category></item><item><title><![CDATA[浅谈LoRA，理清跟增量微调的区别]]></title><link>https://blog.youkuaiyun.com/RayLobeCode/article/details/146405121</link><guid>https://blog.youkuaiyun.com/RayLobeCode/article/details/146405121</guid><author>RayLobeCode</author><pubDate>Thu, 20 Mar 2025 20:10:52 +0800</pubDate><description><![CDATA[曾在游戏世界挥洒创意，也曾在前端和后端的浪潮间穿梭，如今，而立的我仰望AI的璀璨星空，心潮澎湃，步履不停！愿你我皆乘风破浪，逐梦星辰！]]></description><category></category></item><item><title><![CDATA[浅谈图数据库 vs 传统Rag, 以及图数据库 + 传统Rag]]></title><link>https://blog.youkuaiyun.com/RayLobeCode/article/details/146400031</link><guid>https://blog.youkuaiyun.com/RayLobeCode/article/details/146400031</guid><author>RayLobeCode</author><pubDate>Thu, 20 Mar 2025 16:15:23 +0800</pubDate><description><![CDATA[图数据库 vs. 传统 RAG（Retrieval-Augmented Generation）：检索速度 & 准确率在RAG（检索增强生成）任务中，图数据库（Graph Database）和传统的向量数据库（Vector Database，如 FAISS, Chroma, Weaviate）在检索速度、准确率上有明显区别。1. 图数据库 vs. 传统 RAG 检索区别。]]></description><category></category></item><item><title><![CDATA[浅谈AI落地之-关于数据增广的思考]]></title><link>https://blog.youkuaiyun.com/RayLobeCode/article/details/146321325</link><guid>https://blog.youkuaiyun.com/RayLobeCode/article/details/146321325</guid><author>RayLobeCode</author><pubDate>Mon, 17 Mar 2025 17:39:01 +0800</pubDate><description><![CDATA[曾在游戏世界挥洒创意，也曾在前端和后端的浪潮间穿梭，如今，而立的我仰望AI的璀璨星空，心潮澎湃，步履不停！愿你我皆乘风破浪，逐梦星辰！数据增广中的mixup（Mixup Augmentation）简单的来说，Mixup 是一种数据增强（Data Augmentation）技术，通过线性插值混合两张图片及其标签，使模型学习到更平滑的决策边界，提高泛化能力。1. 具体流程随机选取两张图片 x1,x2​ 及其标签 y1,y2​。使用 Mixup 公式计算新的图像和标签。]]></description><category></category></item><item><title><![CDATA[浅谈AI落地之-关于分布式训练中batch size对性能影响的思考]]></title><link>https://blog.youkuaiyun.com/RayLobeCode/article/details/146317521</link><guid>https://blog.youkuaiyun.com/RayLobeCode/article/details/146317521</guid><author>RayLobeCode</author><pubDate>Mon, 17 Mar 2025 16:13:06 +0800</pubDate><description><![CDATA[关于分布式训练之权衡计算精度跟效率的思考]]></description><category></category></item><item><title><![CDATA[浅谈AI落地之-加速训练]]></title><link>https://blog.youkuaiyun.com/RayLobeCode/article/details/146281002</link><guid>https://blog.youkuaiyun.com/RayLobeCode/article/details/146281002</guid><author>RayLobeCode</author><pubDate>Sat, 15 Mar 2025 17:01:04 +0800</pubDate><description><![CDATA[曾在游戏世界挥洒创意，也曾在前端和后端的浪潮间穿梭，如今，而立的我仰望AI的璀璨星空，心潮澎湃，步履不停！愿你我皆乘风破浪，逐梦星辰！]]></description><category></category></item><item><title><![CDATA[浅谈AI落地之分类问题]]></title><link>https://blog.youkuaiyun.com/RayLobeCode/article/details/146165869</link><guid>https://blog.youkuaiyun.com/RayLobeCode/article/details/146165869</guid><author>RayLobeCode</author><pubDate>Sat, 15 Mar 2025 16:12:05 +0800</pubDate><description><![CDATA[曾在游戏世界挥洒创意，也曾在前端和后端的浪潮间穿梭，如今，而立的我仰望AI的璀璨星空，心潮澎湃，步履不停！愿你我皆乘风破浪，逐梦星辰！]]></description><category></category></item><item><title><![CDATA[代码随想录算法训练营第二十二天 | Javascript | 力扣Leetcode | 贪心 | 1005. K次取反后最大化的数组和、134. 加油站]]></title><link>https://blog.youkuaiyun.com/RayLobeCode/article/details/142551208</link><guid>https://blog.youkuaiyun.com/RayLobeCode/article/details/142551208</guid><author>RayLobeCode</author><pubDate>Thu, 26 Sep 2024 14:26:00 +0800</pubDate><description><![CDATA[踏平坎坷成大道，斗罢艰险又出发！自律的尽头是自控，自控的尽头是硬控。愿道友们披荆斩棘，终能得偿所愿。本人是小几年经验的前端开发，算法基础只有力扣几十道题，非常薄弱。今天是个人的代码随想录算法硬控自己第22天，继续贪心。贪心妙啊！]]></description><category></category></item><item><title><![CDATA[代码随想录算法训练营第二十一天 | Javascript | 力扣Leetcode | 贪心 | 122. 买卖股票的最佳时机 II、55. 跳跃游戏、45. 跳跃游戏 II]]></title><link>https://blog.youkuaiyun.com/RayLobeCode/article/details/142525462</link><guid>https://blog.youkuaiyun.com/RayLobeCode/article/details/142525462</guid><author>RayLobeCode</author><pubDate>Wed, 25 Sep 2024 17:28:14 +0800</pubDate><description><![CDATA[踏平坎坷成大道，斗罢艰险又出发！自律的尽头是自控，自控的尽头是硬控。愿道友们披荆斩棘，终能得偿所愿。本人是小几年经验的前端开发，算法基础只有力扣几十道题，非常薄弱。今天是个人的代码随想录算法硬控自己第21天，继续贪心。贪心妙啊！]]></description><category></category></item><item><title><![CDATA[代码随想录算法训练营第二十天 | Javascript | 力扣Leetcode | 贪心 | 455. 分发饼干、376. 摆动序列、53. 最大子数组和]]></title><link>https://blog.youkuaiyun.com/RayLobeCode/article/details/142494000</link><guid>https://blog.youkuaiyun.com/RayLobeCode/article/details/142494000</guid><author>RayLobeCode</author><pubDate>Tue, 24 Sep 2024 18:32:43 +0800</pubDate><description><![CDATA[踏平坎坷成大道，斗罢艰险又出发！自律的尽头是自控，自控的尽头是硬控。愿道友们披荆斩棘，终能得偿所愿。本人是小几年经验的前端开发，算法基础只有力扣几十道题，非常薄弱。今天是个人的代码随想录算法硬控自己第20天，开启贪心。]]></description><category></category></item><item><title><![CDATA[代码随想录算法训练营第十九天 | Javascript | 力扣Leetcode | 回溯 | 51. N皇后]]></title><link>https://blog.youkuaiyun.com/RayLobeCode/article/details/142436598</link><guid>https://blog.youkuaiyun.com/RayLobeCode/article/details/142436598</guid><author>RayLobeCode</author><pubDate>Sun, 22 Sep 2024 14:26:24 +0800</pubDate><description><![CDATA[踏平坎坷成大道，斗罢艰险又出发！自律的尽头是自控，自控的尽头是硬控。愿道友们披荆斩棘，终能得偿所愿。本人是小几年经验的前端开发，算法基础只有力扣几十道题，非常薄弱。今天是个人的代码随想录算法硬控自己第19天，继续回溯。]]></description><category></category></item></channel></rss>