RayLobeCode的博客

曾在游戏世界挥洒创意，也曾在前端和后端的浪潮间穿梭，如今，而立的我仰望AI的璀璨星空，心潮澎湃，步履不停！愿你我皆乘风破浪，逐梦星辰！首先我们要明白RAG 和微调不是互斥的，而是可以分工明确、互相配合。下面是一个结构化的解释，包括工作流程图、介入点说明，以及工程落地建议。目标用RAG用微调扩充知识✅（文档召回）❌（大模型本身没更新）提升输出质量部分可行✅（专属风格/语气/格式）修复生成幻觉✅（引入真实依据）✅（优化生成逻辑）解决无法理解的问题❌✅（定制任务认知能力）

曾在游戏世界挥洒创意，也曾在前端和后端的浪潮间穿梭，如今，而立的我仰望AI的璀璨星空，心潮澎湃，步履不停！愿你我皆乘风破浪，逐梦星辰！（激活检查点），在 DeepSpeed 里是一个非常实用的显存优化技术。“节省显存，代价是多做点计算。下面我给你讲明白它是啥、怎么干的、为什么有效、啥时候该用。Activation Checkpointing 是一种“用时间换空间”的策略，省显存的同时代价是略微增加计算。对于大模型（如 GPT、BERT）训练来说是非常常见的标配技术。

关于分布式训练之权衡计算精度跟效率的思考

曾在游戏世界挥洒创意，也曾在前端和后端的浪潮间穿梭，如今，而立的我仰望AI的璀璨星空，心潮澎湃，步履不停！愿你我皆乘风破浪，逐梦星辰！数据增广中的mixup（Mixup Augmentation）简单的来说，Mixup 是一种数据增强（Data Augmentation）技术，通过线性插值混合两张图片及其标签，使模型学习到更平滑的决策边界，提高泛化能力。1. 具体流程随机选取两张图片 x1,x2​ 及其标签 y1,y2​。使用 Mixup 公式计算新的图像和标签。

图数据库 vs. 传统 RAG（Retrieval-Augmented Generation）：检索速度 & 准确率在RAG（检索增强生成）任务中，图数据库（Graph Database）和传统的向量数据库（Vector Database，如 FAISS, Chroma, Weaviate）在检索速度、准确率上有明显区别。1. 图数据库 vs. 传统 RAG 检索区别。

曾在游戏世界挥洒创意，也曾在前端和后端的浪潮间穿梭，如今，而立的我仰望AI的璀璨星空，心潮澎湃，步履不停！愿你我皆乘风破浪，逐梦星辰！

情况概率比 rLoss 结果解读动作比原来好一点1.23.03.6允许优化动作太偏离原来1.63.03.6（被 clip）限制更新，防止过拟合坏动作0.6-2.0-1.6惩罚，但不能惩罚太狠。

✅小模型架构设计是否合理，能否承载知识✅如何剪、剪多少、剪完还能不能跑得又快又准✅工程落地最成熟、最实用，推理性能提升显著、精度影响可控蒸馏是知识压缩（提升小模型效果）剪枝是结构优化（去掉多余部分）量化是数值压缩（最易部署，收益最大）

精确度（Precision）关注的是模型预测为正类的样本中，多少是正确的，主要关注假正例（FP）。召回率（Recall）关注的是所有真实的正类样本中，模型找到了多少，主要关注假负例（FN）。精确度和召回率通常是相互平衡的，高精确度可能会导致低召回率，反之亦然。这也是为什么在实际应用中，F1 分数（精确度和召回率的调和平均）常常被用作综合衡量的指标。

这个推荐系统项目旨在通过多种技术和方法提供个性化的文章推荐，主要适用于文章类平台或信息服务平台。推荐系统结合了深度协同过滤（NCF）和增量学习（SGDRegressor），同时融合了内容推荐（基于文章的关键词、情感分析、互动数据等特征）和传统协同过滤，以实现更加精准和个性化的推荐。

Deepspeed 的 ZeRO（Zero Redundancy Optimizer）有三个阶段（Stage 1, Stage 2, Stage 3），每个阶段旨在通过不同方式优化显存使用和提高计算效率。如果你是单卡训练，尤其是消费级显卡（如 3090、4090），启用 ZeRO Stage 2 和 3 反而得不偿失。