Java_rich的博客

知识图谱（Knowledge Graph）是一种用表示现实世界中实体及其关系的知识模型，核心是将离散的信息转化为关联的语义网络，让机器具备 “理解” 世界的能力。资料包：一、 人工智能学习路线及大纲二、计算机视觉OpenCV【视频+书籍】三、AI基础+ 深度学习 + 机器学习 +NLP+ 机器视觉 教程四、李飞飞+吴恩达+李宏毅合集五、自动驾驶+知识图谱等资料六、人工智能电子书合集【西瓜书、花书等】七、各阶段AI论文攻略合集【论文带读/代码指导/本硕博/SCI/EI/中文核心】

RPT 将传统的对 next-token 的预测任务重构为对 next-token 的推理过程：对于预训练语料中的任意上下文，模型需在预测前对后续 Token 进行推理，并通过与语料真实的 next-token 比对获得可验证的内在奖励。另一方面，可验证奖励的强化学习 (RLVR) 利用客观的、基于规则的奖励，这些奖励通常来自问答对。最后，预训练期间的内部推理过程允许模型为每个预测步骤分配更多的思考（计算资源），这类似于将推理时间扩展能力提前应用到训练过程中，从而直接提升下一 Token 预测的准确性。

药物选择性分析表明，DeepDTAGen 的亲和力预测与药物和靶标之间的生物学相关行为相一致，其中根据亲和力概况从每个数据集中选择两种药物：一种药物与不同靶标的亲和力变化很大，另一种药物与其靶标的亲和力水平一致。在最新的研究中，中南大学、赫尔辛基大学（University of Helsinki）的研究人员开发了一个新的多任务学习框架 DeepDTAGen，该框架可以预测药物-靶标结合亲和力，并同时生成新的靶标感知药物变体，并利用这两项任务的共同特征生成新型药物。」研究人员在论文里表示。

近年来，大型语言模型（LLMs）在多模态任务中取得了显著进展，在人工通用智能（AGI）的两大核心支柱（即理解与生成）方面展现出强大潜力。与传统的自回归方法不同，FUDOKI 通过并行去噪机制实现了高效的双向信息整合，显著提升了模型的复杂推理和生成能力。与离散扩散架构相比，FUDOKI 采用更加通用的概率路径建模框架，从均匀分布出发，允许模型在推理过程中不断更新和修正生成结果，为多模态模型打开了一条崭新的技术路径。没时间读、不敢读、不愿读、读得少、读不懂、读不下去、读不透彻一篇完整的论文。

在这篇文章中只做了一个出人意料的简单调整，作者建议忽略来自优化器、与最近反向传播中当前梯度符号相反的任何更新。换句话说，建议只应用与当前梯度一致的更新，使更新更稳定，并与最新数据保持一致。他们发现这个小小的调整可以显著加快训练速度，大致梳理了下内容，一起看看。

1、能力来源（source）语言模型的推理能力 = f(模型架构, token量, 训练数据多样性, 泛化能力)2、RL的作用（作用机制）RL ≈ 一个奖励驱动的路径偏移器• 将已存在于模型分布中的推理路径偏移为更高 reward 的选项• 提高成功率，但不生成新“知识”或“能力”3、提升路径（有效方向）想要获得新的 reasoning 能力 ≠ 强化训练需要更强的知识/经验（知识注入+架构优化+认知行为引导）RL不是创造能力，而是优化选择。

文章详细介绍了Transformer和混合专家（MoE）两种深度学习架构的差异，包括模型结构、工作原理、性能、计算资源与训练难度以及应用场景。Transformer以其自注意力机制在自然语言处理任务中表现出色，而MoE通过组合多个专家模型处理复杂任务，具有较好的泛化能力。此外，文章还探讨了五种大模型微调技术，如LORA及其变体，以及传统RAG与Agentic RAG的对比，智能体设计模式和文本分块策略。这些内容为Java开发者提供了全面的学习指南，帮助他们在AI大模型领域实现职业转型。

人人都要学的AI大模型全栈课》，包含26+真实项目-案例实战演示、24+动手实践、4+原创项目部署大模型，从理论到实践，我们都将给予最大程度的支持，课程学习的目标是，可达到应聘大模型岗位的要求和标准，同时，也能完整掌握AI方面的技术技能，为自己的职业方向赋能。【终于有人讲透大模型工程师自学路线了】别再学乱七八糟的教程了，构建专属大模型！提示工程、 LangChain/NLP/神经网络/数据预处理/LLM生成模型。

通过身份设定框定AI的思考边界，让输出更专业。用于规避通用型废话，提升行业针对性，适用场景：法律文书生成、医疗报告撰写、营销文案创作。【角色】你现在是拥有10年经验的母婴电商运营【任务】分析2024年Q3纸尿裤销售数据【要求】用小红书爆款笔记风格总结增长亮点。

随着国产模型DeepSeekMoE、Qwen-2.5 Max、国际标杆GPT-4的实践验证，MoE已成为下一代大模型的核心架构。路由器（Router）输出概率，用于混合专家（MoE）模型选择最佳匹配专家（Expert），选择的专家（Expert）也是一个前馈神经网络（FFNN）。混合专家（MoE）模型的路由器（Router）是什么？MoE模型：可以堆叠1000个专家，但每次只激活10个（“脑容量”飙升，耗电量不变）。稠密模型：参数越多，计算越慢（“脑容量”和“耗电量”同步增长）。（2）专家越多，能力越强。

通用模型可能生成“看似合理但错误”的答案（如法律条款引用错误）。微调通过损失函数设计（如增加法律条款一致性约束），让模型输出更符合领域逻辑（如引用《民法典》第X条）。（如法律需判例库），而非通用文本。数据需“小而精”，而非“大而杂”。例如，1000条标注的法律案例数据，可能比100万条通用文本更有效。微调：注入领域专属知识（如医疗术语、金融逻辑），使模型具备特定场景下的专业能力。预训练模型：已在大规模无标注数据上学习通用特征（如语言规则、物体识别）。

当你深入深度学习，调参却成 “拦路虎”。学习率、权重系数等参数稍调不对，模型就 “罢工”，最优参数组合更是难寻。花大量时间调参，模型准确率却 “原地踏步”，过拟合、欠拟合还常来捣乱，不禁让人感叹：调参咋这么难？神经网络架构复杂，参数设置变化无穷，尝试新组合不仅耗费资源，效果还不理想，调参痛点亟待破解。今天就和大家好好聊聊调参这件事。本章节内容颇为丰富，我们会以多篇文章的形式，逐一展开讲述。接下来，为大家呈现关于深度学习调参指南的内容导图。在正式开始之前，我把我们整理的。

别让大模型成你的遮羞布！90%开发者被AI坑在『不会问问题』一位高级工程师描述，他有次带人用AI优化SpringBoot接口，实习生兴奋地说：“大模型生成CRUD这样的基础内容太强了！根本就不用人来干预。”但我注意到生成的代码缺少事务管理，问他为什么不用@Transactional注解，实习生居然反问："那个注解是干什么的？

在深度学习的广阔宇宙中，Transformer 架构无疑是一颗耀眼的明星。它凭借其强大的并行计算能力和出色的序列建模能力，在自然语言处理、计算机视觉等众多领域取得了卓越的成就。今天，我们将一起探索如何使用 PyTorch 来实现 Transformer 架构，为你的深度学习之旅增添新的动力！2025年Transformer必学：从零详解VIT、DETR、Loftr、BEVFormer、DeformableDetr一口气学爽。

马里兰大学和清华大学的研究团队提出的LoRI技术，犹如一把精巧的瑞士军刀，以惊人的95%参数削减，不仅解决了资源消耗问题，更在多任务协同和持续学习方面展现出非凡潜力。以 Llama-3-8B 和 Mistral-7B 作为基础模型，他们的结果表明，LoRI 达到或超过了全量微调（FFT）、LoRA 和其他 PEFT 方法的性能，同时使用的可训练参数比 LoRA 少 95%。通过使用固定的、随机初始化的投影 A，LoRI 将任务特定的适配器映射到近似正交的子空间，从而减少合并多个 LoRI 时的干扰。

另一个值得注意的现象是，随着模型大小的增加（从 1.5B 到 7B），其在 AIME 2024 和 AMC 上的性能提升也在增加，这凸显了 TTRL 的自然扩展行为：更大的模型可以在自我改进过程中产生更准确的多数投票奖励，从而更有效地学习新数据。值得注意的是，虽然 TTRL 仅依靠 Maj@N 指标进行监督，但其表现不仅能持续超越初始模型的性能上限，更能接近于那些直接在有标注测试数据上进行监督训练的模型性能。在 RL 中，奖励通常是模糊的，主要是作为探索的方向信号，这导致了 RL 对奖励噪声的鲁棒性。