AGI

在强化学习算法中，DAPO (Decoupled Clip and Dynamic Sampling Policy Optimization)，通过解耦裁剪和动态采样策略提升模型的推理能力。Dr. GRPO (GRPO Done Right) 解决 GRPO 优化中的偏差问题，提出的改进方案，通过删除长度归一化项和标准差标准化项，解决 GRPO 可能导致错误响应逐渐变长的问题。

在大模型中，参数量、计算量、激活值以及 KV Cache 是影响模型性能和资源消耗的关键因素。参数量通常与模型的复杂度成正比。计算量则与模型的前向和反向传播过程密切相关，Transformer 模型的计算量在使用 KV Cache 后会显著减少，因为 KV Cache 可以避免重复计算已经处理过的序列。激活值的显存占用在推理阶段尤为重要，其大小取决于序列长度、批次大小、隐藏层维度等因素，通常会随着批次大小的增加而显著增长。

DeepSeek-R1 通过强化学习，显著提升大语言模型推理能力，使用特殊的训练策略，其中 DeepSeek-R1-Zero 完全摒弃有监督微调(SFT)，依靠强化学习训练，开创大模型训练中，跳过监督微调的先例。DeepSeek-R1 使用冷启动数据微调，通过多阶段强化学习，进一步优化推理能力。强化学习驱动的训练，不仅降低数据依赖，让模型在训练过程中，自发形成 "回头检查步骤" 的自我反思能力。

通过高质量 思维链(Chain-of-Thought, CoT) 的推理数据，有监督微调(Supervised Fine-Tuning) 增强多模态大语言模型(MLLM) 的推理能力，导致模型只是模仿成功的推理路径，而不理解错误的推理路径。将 MLLM 的推理能力，超越 被动(Passively) 模仿正确推理路径，使用 逐步分组相对策略优化(StepGRPO)，通过 简单(simple)、有效(effective)、密集(dense) 的逐步奖励，自主提升推理能力。

在大模型服务中，处理 Badcase 是复杂且重要的任务。通过增加前置模块，过滤或处理显而易见的错误，例如敏感词检测、高频问题快速响应等。对于复杂的 Badcase，后处理模块对于模型输出，进行二次过滤或修正，比如模型可能产生的“幻觉”内容，进行过滤。调整 Prompt 也是有效的方法，通过优化输入的提示语，引导模型生成更符合需求的结果。如果 Badcase 的问题较为普遍且影响较大，也考虑对模型进行微调，通过有监督微调(SFT)，让模型学习错误案例，提升整体性能。

OpenR1 是一个开源的强化学习框架，复现 DeepSeek-R1 的训练流程，为研究人员和开发者提供了一个完整的推理优化训练工具链。该项目由 Hugging Face 发起，通过开源的方式，详细展示了从知识蒸馏到强化学习，再到多阶段训练的完整过程。OpenR1 包含了用于训练和评估模型以及生成合成数据的脚本，支持 GRPO 训练、监督微调（SFT）等多种训练方法。它还封装了多个开源框架，如 TRL 和 distilabel，方便用户快速上手。

RAG(Retrieval-Augmented Generation, 检索增强生成) 是结合信息检索与生成模型的技术，通过引入外部知识库来增强 大语言模型(LLM) 的生成能力。构建 RAG 流程主要包括：需要准备知识文档，转换为文本数据，进行预处理和索引，后续检索。使用嵌入模型，将文本数据转换为向量，存储在向量数据库中。当用户提出查询时，将查询内容，通过嵌入模型转换为向量，然后在向量数据库中，检索与查询最相关的知识片段。

KL 散度 (Kullback-Leibler Divergence) 是衡量两个概率分布之间差异的一种非对称性度量工具。基于信息论原理，用于量化一个概率分布相对于另一个概率分布的信息损失程度。KL 散度值越小，表示两个分布越相似；反之，值越大，说明分布差异越大。

使用蒸馏的推理(Reasoning)数据集，进行模型微调(SFT)，即使不使用强化学习(RL)，也可以提升大模型的效果。因此，构建合适的推理数据集，就可以训练不同的高性能推理模型。

Unsloth 是开源 大语言模型(LLM) 微调框架，通过优化 计算步骤 和 GPU 内核，提升训练速度，减少内存使用，支持主流的 LLM 模型，在单 GPU 上可实现最高 10 倍、多 GPU 上最高 32 倍的加速效果，内存使用降低 70% 以上，支持动态 4 位量化技术，在不显著增加显存的情况下，提高模型精度，兼容 Hugging Face 生态系统，支持长上下文训练，提供多种模型导出格式。

GPRO，即 Group Relative Policy Optimization，分组相对策略优化，是 PPO(Proximal Policy Optimization, 近端策略优化) 的优化版本，省略优化 评论家模型(Critic Model)，用于估计价值(Value Function Model)，降低模型训练的资源消耗。

Qwen2-VL 是多模态语言模型，在自然语言处理和视觉理解领域展现出卓越的性能，通过深度融合语言和视觉信息，高效地处理图文混合输入，精准理解图像内容，以及生成与之相关的高质量文本描述。

DeepSeek 的 MoE(Mixture-of-Experts) 和 MLA(Multi-Head Latent Attention) 是架构中的核心技术。MoE 通过混合专家机制，模型在处理任务时动态激活最相关的子网络(即“专家”)，从而实现高效的资源利用。MLA 则专注于优化注意力机制，通过低秩联合压缩注意力键K和值V，显著降低推理过程中的 KV 缓存开销。MLA 结合旋转位置编码(RoPE)，优化位置信息的处理。

使用 ScalingLaws 指导 100B 大模型的预训练方案，包括服务器资源、3D并行策略、Transformer架构、DeepNorm、混合精度策略、EGS策略、AdamW、WarmUp、GradientClipping、样本、位置编码等，使用大模型稳定和高效训练。

使用 ScalingLaws 指导模型设计，验证模型效果，超过根据经验设计的模型，以及介绍模型的训练环境与超参数。

在 PLM 的迁移学习中，预训练 CLM 迁移至 MLM，通过 迁移缩放法则(Transfer Scaling Laws)，合理的分配训练资源，以达到性能最优。同时验证，混合训练(Mixing Training) CLM 与 MLM，不如从零开始训练。

在蛋白质大语言模型(PLM)方向，使用数据集约 200B Tokens (AA氨基酸)，基于 C=6ND，以及 Loss 与 模型规模(N) 的 IsoFLOPs 曲线，确定 FLOPs 与 模型规模(N)、FLOPs 与 数据量(D) 之间的关系，构建 ScalingLaws 公式，验证不同目标 CLM(Causal Language Model) 与 MLM(Masked Language Model) 的系数差异。

Scaling Laws (缩放定律) 是大模型领域中，用于描述 模型性能(Loss) 与 模型规模(N)、数据量(D)、计算资源(C) 之间关系的经验规律，揭示在大模型中，随着模型参数数量、数据集大小和计算资源的增加，模型性能的变化模式，指导更高效地分配资源，优化模型训练过程，实现更好的性能。这些规律不仅有助于预测不同规模模型的表现，还能为模型设计和训练提供理论依据，是推动大模型发展和应用的重要理论基础。

FlashAttention 是高效的 注意力机制(Attention) 算法，加速 Transformer 模型中的自注意力计算，显著减少内存占用。通过将输入分块，在每个块上执行注意力操作，从而减少对高带宽内存(HBM)的读写次数。FlashAttention 使用底层硬件的内存层次结构，如 GPU 的内存层次，提高计算速度和减少内存访问开销，保持注意力机制的精度，通过减少内存访问次数，实现更快的计算速度。

Llama 3 是 Meta 公司发布的开源大型语言模型，包括具有 80 亿和 700 亿参数的预训练和指令微调的语言模型，支持广泛的应用场景。在多个行业标准基准测试中展示了最先进的性能，特别是在推理、代码生成和指令遵循方面表现出色，超过了同等规模的商业模型。

BLEU(Bilingual Evaluation Understudy)，即双语评估替补，通过比较，机器翻译的句子和参考翻译句子之间的 n-gram (n元语法) 重叠情况来衡量翻译质量，也可用于评估大语言模型的输出质量。

大模型的 HTTP 服务，通过网络接口，提供 AI 模型功能的服务，允许通过发送 HTTP 请求，交互大模型，通常基于云计算架构，无需在本地部署复杂的模型和硬件，就能够访问和使用。通过简单的 API 调用，执行各种任务，从而在各种应用中实现智能化，不仅提高模型的可访问性，还降低技术门槛。

VQA-RAD 数据集标注精细，维度丰富，图像来源于 Medpix (即美国的开源放射医学教案数据库)。在每个案例中，选择有代表性的一张图片，确保数据集中每张图片对应独特的病人。确保图片的质量，选择的每张图片都是人工审核，确保没有医学标记、结构足够清晰、以及文本信息可以描述图片。专业的临床医师，按照先自由提问再规范化，对于至少40张图片进行标注，最后，确认问题的类型。这些设计，使得问题保留自然语言的流畅性，同时，也符合数据利用的规

生成式推荐器(Generative Recommenders, GRs) 是 大模型推荐系统范式，将推荐问题重新定义为序列直推任务，设计新的架构 层次序列直推单元 HSTU(Hierarchical Sequential Transduction Units)，以应对高基数、非静态的推荐数据流。HSTU 在合成数据集和公共数据集上的 NDCG 性能比基线高出 65.8%，在处理 8192 长度序列时比基于 FlashAttention2 的 Transformer 快 5.3~15.2 倍。

LLaVA-CoT，是 思维链(Chain-of-Thought, CoT) 的视觉语言模型，通过自主的多阶段推理，提升系统化和结构化推理能力，实现深度思考，包含总结摘要(SUMMARY)、视觉解释(CAPTION)、逻辑推理(REASONING)、结论生成(CONCLUSION) 等 4 个阶段，提出 推理时阶段级束搜索(Inference-Time Stage-Level Beam Search) 方法，以实现有效的推理时扩展，结果表明在多模态推理基准测试中，超越基础模型和其他更大、甚至是闭源的模型。

VLMEvalKit 是大型视觉语言模型设计的开源评估工具包，由 Open Compass 团队开发，它支持一键式评估体验，无需繁琐的数据准备工作，能够对多种视觉语言模型进行评估，并覆盖了多样化的任务场景。

LoRA(Low-Rank Adaptation, 低秩适配)，微调预训练大模型的技术，即参数有效微调(Parameter-Efficient Fine-tuning, PEFT)，在不改变原始权重的基础上，引入可训练的 低秩分解矩阵 调整模型参数，适应特定任务或领域。冻结预训练模型的参数，在 Transfomer 的每一层中，加入可训练的旁路矩阵(低秩可分离矩阵)，将旁路输出与初始路径输出相加，输入到网络当中，只训练这些新增的旁路矩阵参数。

DPO(Direct Preference Optimization, 直接偏好优化) 是在 RLHF 阶段中使用的优化算法，通过直接利用人类的偏好数据来优化策略模型，无需定义明确的奖励函数或进行复杂的强化学习过程。DPO的优化目标是，增加偏好样本的对数概率与减小非偏好样本响应的对数概率，结合动态加权机制，以避免仅使用概率比目标时遇到的模型退化问题。

在大模型的指令微调之后，模型输出可能不符合人类偏好，需要使用强化学习优化模型(RLHF)，而奖励模型(RM)是强化学习的重要组件，需要预先训练奖励模型。

影响 (多模态)大语言模型 参数量的主要网络模块，即 Linear、Embedding、Norm(LayerNorm or RMSNorm) 等 3 个部分，其中，多模态大模型还包括 Conv3D，手动计算参数量，与 PyTorch 直接计算保持一致。

在训练模型时，观测很多指标，在这些指标中， Loss 是最重要的指标，训练模型的核心，就是观察 Loss 值计算的是否正确。尤其是在模型越来越大时，训练时经常要做一些 Tensor Parallelism 或者 Pipeline Parallelism。判断是否正常训练，需要判断 Loss 是否符合预期，以防止白白浪费算力。

LLaMA-Factory 是开源的大模型微调框架，用于高效地微调和部署大语言模型，支持多种预训练模型和微调算法，提供完整的工具和接口，对于预训练的模型进行定制化的训练和调整，以适应特定的应用场景。

LLaMA-Factory 是开源的大模型微调框架，用于高效地微调和部署大语言模型，支持多种预训练模型和微调算法，提供完整的工具和接口，对于预训练的模型进行定制化的训练和调整，以适应特定的应用场景。

Grounded SAM2 集成多个先进模型的视觉 AI 框架，融合 GroundingDINO、Florence-2 和 SAM2 等模型，实现开放域目标检测、分割和跟踪等多项视觉任务的突破性进展，通过自然语言描述来定位图像中的目标，生成精细的目标分割掩码，在视频序列中持续跟踪目标，保持 ID 的一致性。

Grounded SAM2 集成多个先进模型的视觉 AI 框架，融合 GroundingDINO、Florence-2 和 SAM2 等模型，实现开放域目标检测、分割和跟踪等多项视觉任务的突破性进展，通过自然语言描述来定位图像中的目标，生成精细的目标分割掩码，在视频序列中持续跟踪目标，保持 ID 的一致性。

SAM2(Segment Anything Model 2)，在视频分割领域中，引入流式内存架构，实现实时视频处理，提高分割精度，减少用户交互的需求，使其在图像和视频中的对象识别和分割任务中表现出色，为各种下游应用打下了坚实的基础。

SAM2 视觉分割算法是 计算机视觉(CV) 的关键技术，精确的将图像中的不同对象区分开来，使用深度学习模型来分析图像中的像素分布，生成 Mask，标识出每个对象的边界。通过在多层裁剪和不同尺度下计算 Mask 的稳定性评分，确保结果的高精度和稳定性。

YOLO 在实时目标检测领域实现显著的性能提升，主要特点和改进包括无 NMS(非最大抑制) 训练，整体效率精度驱动网络设计，架构增强，性能和效率的显著提升，适用于需要实时检测的各种应用，以及未来发展方向包括速度和精度的进一步改进，与物联网的集成，以及开发可扩展的解决方案以实现大规模部署。

Neo4j 是一个高性能的图形数据库，允许用户以图形的形式存储和检索数据，这种形式非常适合处理复杂的关系和网络结构，因其在数据关系处理方面的强大能力而广受欢迎，尤其是在社交网络、推荐系统、网络分析等领域。

SWIFT 即 Scalable lightWeight Infrastructure for FineTuning (可扩展轻量级微调基础设施)，是高效、轻量级的模型微调和推理框架，支持大语言模型(LLM) 和 多模态大型模型(MLLM) 的训练、推理、评估和部署。可以将 SWIFT 框架直接应用到研究和生产环境中，实现从模型训练和评估到应用的完整工作流程。