<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[qq_30731313的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/qq_30731313</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; qq_30731313]]></copyright><item><title><![CDATA[【论文解读】vscode巨好用插件CodeGeeX的前世今生]]></title><link>https://blog.youkuaiyun.com/qq_30731313/article/details/146216865</link><guid>https://blog.youkuaiyun.com/qq_30731313/article/details/146216865</guid><author>qq_30731313</author><pubDate>Wed, 12 Mar 2025 22:57:01 +0800</pubDate><description><![CDATA[多语言预训练与评测体系通过在 23 种编程语言上进行大规模预训练，并构建了 HumanEval-X 基准，论文填补了现有代码生成评测仅限于 Python 的空白，为多语言代码生成研究提供了标准平台。模型架构与训练策略采用 decoder-only 的 Transformer 架构以及计算高效的训练策略（利用 Ascend 910 和 Mindspore 进行大规模并行训练），同时通过量化和 FasterTransformer 加速推理，实现了高性能与高效推理。多任务预训练目标。]]></description><category></category></item><item><title><![CDATA[【论文解读】《CodeT5+: Open Code Large Language Models for Code Understanding and Generation》]]></title><link>https://blog.youkuaiyun.com/qq_30731313/article/details/146216224</link><guid>https://blog.youkuaiyun.com/qq_30731313/article/details/146216224</guid><author>qq_30731313</author><pubDate>Wed, 12 Mar 2025 22:20:51 +0800</pubDate><description><![CDATA[本文提出了CodeT5+，一个高效、灵活的代码 LLM，能够同时处理代码理解和代码生成任务。通过引入多样化的预训练目标（如对比学习、文本-代码匹配），CodeT5+ 在20+ 代码任务上实现了SOTA性能。在HumanEval代码生成任务上，取得，超过所有开源代码 LLM。采用冻结 LLM进行计算高效训练，显著减少了训练成本。CodeT5+ 的成功表明，灵活的架构 + 多任务预训练 + 高效训练策略是构建强大代码 LLM 的关键方向。]]></description><category></category></item><item><title><![CDATA[【论文解读】单步奖励训练代码生成模型《Multi-Turn Code Generation Through Single-Step Rewards》]]></title><link>https://blog.youkuaiyun.com/qq_30731313/article/details/146177510</link><guid>https://blog.youkuaiyun.com/qq_30731313/article/details/146177510</guid><author>qq_30731313</author><pubDate>Tue, 11 Mar 2025 14:43:07 +0800</pubDate><description><![CDATA[状态定义对于给定问题提示xxx，在多轮交互中，第tttstxy1o1y2o2yt−1ot−1st​xy1​o1​y2​o2​yt−1​ot−1​其中yiy_iyi​为第iii轮生成的代码，oio_ioi​为该代码在公共测试上的执行反馈。动作定义动作即为生成的代码片段atyta_t = y_tat​yt​。奖励函数定义oracle奖励RstatR。]]></description><category></category></item><item><title><![CDATA[【论文解读】《Cognitive Behaviors that Enable Self-Improving Reasoners》]]></title><link>https://blog.youkuaiyun.com/qq_30731313/article/details/146170590</link><guid>https://blog.youkuaiyun.com/qq_30731313/article/details/146170590</guid><author>qq_30731313</author><pubDate>Tue, 11 Mar 2025 13:48:28 +0800</pubDate><description><![CDATA[验证（Verification）模型在输出中包含诸如“Let me check my answer …”的语句，用以核对中间结果是否正确。回溯（Backtracking）当发现当前推理路线不通时，模型会明确指出“this approach won’t work because …”，并尝试其他方案。子目标设定（Subgoal Setting）模型在推理过程中主动将复杂问题分解为多个子问题，如“Let’s try to get to a multiple of 10”等。]]></description><category></category></item><item><title><![CDATA[【论文解读】《START: Self-taught Reasoner with Tools》]]></title><link>https://blog.youkuaiyun.com/qq_30731313/article/details/146165816</link><guid>https://blog.youkuaiyun.com/qq_30731313/article/details/146165816</guid><author>qq_30731313</author><pubDate>Mon, 10 Mar 2025 23:11:09 +0800</pubDate><description><![CDATA[论文《START: Self-taught Reasoner with Tools》通过将外部工具（Python 解释器）与长链条思考相结合，成功地解决了传统大规模推理模型在复杂计算任务中出现的幻觉和错误问题。其核心技术——Hint-infer 和 Hint-RFT——使得模型能够在推理过程中自我生成、调用并验证代码，显著提升了数学、编程及科学问答等领域的表现。虽然仍存在工具种类、提示设计和数据泛化等方面的局限性，但这项工作为未来大语言模型在更高层次认知任务中的应用提供了新的思路和方向。]]></description><category></category></item><item><title><![CDATA[【论文解读】《LIMO: Less is More for Reasoning》]]></title><link>https://blog.youkuaiyun.com/qq_30731313/article/details/146140767</link><guid>https://blog.youkuaiyun.com/qq_30731313/article/details/146140767</guid><author>qq_30731313</author><pubDate>Sun, 09 Mar 2025 23:08:17 +0800</pubDate><description><![CDATA[复杂推理能力可通过极少量（817个）高质量示例激发，而非传统认为的需要海量数据（>100,000样本）。在AIME和MATH基准测试中，LIMO分别以57.1%和94.8%的准确率显著超越传统SFT模型，且仅需1%的训练数据。LIMO假设：预训练模型若已编码足够领域知识，仅需少量高质量认知模板即可激活复杂推理。跨领域泛化：在10个多样化基准测试中，LIMO比使用100倍数据训练的模型平均提升40.5%。开源工具：提供完整训练代码、评估流程和数据集。复杂推理能力f预训练知识完整性认知模板质量。]]></description><category></category></item><item><title><![CDATA[【论文解读】生成推理过程划重点《HoT: Highlighted Chain of Thought for Referencing Supporting Facts from Inputs》]]></title><link>https://blog.youkuaiyun.com/qq_30731313/article/details/146140264</link><guid>https://blog.youkuaiyun.com/qq_30731313/article/details/146140264</guid><author>qq_30731313</author><pubDate>Sun, 09 Mar 2025 22:53:34 +0800</pubDate><description><![CDATA[大型语言模型在生成答案时容易“幻觉”，即输出中混杂非事实的内容，给用户验证答案正确性带来困难。现有方法多采用后置引用外部文献或文档，但无法直接将生成过程中的关键事实与输入对应起来。设计一种新的提示技术 —— HoT，使得模型在生成答案前首先对输入问题进行重格式化，通过 XML 标签将关键信息（例如数字、关键实体等）高亮。在生成回答时，模型会引用这些高亮标签，从而使答案中涉及的每个事实都能追溯到输入问题中的支持信息。提出了 HoT 提示结构，对传统的 CoT 方法进行增强。]]></description><category></category></item><item><title><![CDATA[【论文解读】微软《Phi-4-Mini Technical Report: Compact yet Powerful Multimodal Language Models》]]></title><link>https://blog.youkuaiyun.com/qq_30731313/article/details/146124469</link><guid>https://blog.youkuaiyun.com/qq_30731313/article/details/146124469</guid><author>qq_30731313</author><pubDate>Sat, 08 Mar 2025 22:59:57 +0800</pubDate><description><![CDATA[该模型在语音问答（SQQA）和语音摘要任务上也展示出较强的能力，虽然在SQQA上与部分大型模型存在差距，但已明显优于开源的Qwen2-audio。]]></description><category></category></item><item><title><![CDATA[【论文解读】 MTSF跨模态对齐《TimeCMA: Towards LLM-Empowered Multivariate Time Series Forecasting》]]></title><link>https://blog.youkuaiyun.com/qq_30731313/article/details/146123798</link><guid>https://blog.youkuaiyun.com/qq_30731313/article/details/146123798</guid><author>qq_30731313</author><pubDate>Sat, 08 Mar 2025 22:33:14 +0800</pubDate><description><![CDATA[论文提出了一种创新性的框架，通过双模态编码、跨模态对齐和高效的预测策略，实现了从大量文本提示中提取高质量时间序列特征。该方法不仅有效提升了多变量时间序列预测的准确率（通过显著降低 MSE 和 MAE），还通过最后 token 存储策略大幅降低了计算成本与推理延迟。大量实验结果表明，TimeCMA 在多个数据集上均超越现有最先进方法，展示了 LLM 在时间序列领域的巨大潜力。]]></description><category></category></item><item><title><![CDATA[【论文解读】多模态检索《MegaPairs: Massive Data Synthesis For Universal Multimodal Retrieval》]]></title><link>https://blog.youkuaiyun.com/qq_30731313/article/details/146097944</link><guid>https://blog.youkuaiyun.com/qq_30731313/article/details/146097944</guid><author>qq_30731313</author><pubDate>Fri, 07 Mar 2025 22:16:26 +0800</pubDate><description><![CDATA[论文通过提出一种基于开源图像语料与多模态模型联合构建大规模合成数据集的方法，解决了当前多模态检索任务中数据稀缺、质量不足和多样性有限的问题。实验表明，利用 MegaPairs 训练的 MMRet 模型在零样本和监督微调条件下均能实现最先进的检索性能，展示了数据合成方法在通用多模态检索中的巨大潜力。该工作为未来进一步发展更高效、低成本的多模态检索系统奠定了基础。]]></description><category></category></item><item><title><![CDATA[【论文解读】从思维碎片到高效结论《Chain of Draft: Thinking Faster by Writing Less》]]></title><link>https://blog.youkuaiyun.com/qq_30731313/article/details/146093280</link><guid>https://blog.youkuaiyun.com/qq_30731313/article/details/146093280</guid><author>qq_30731313</author><pubDate>Fri, 07 Mar 2025 13:46:31 +0800</pubDate><description><![CDATA[论文提出了一种创新的提示策略 CoD，该方法借鉴人类在复杂问题求解时只记录关键信息的特点，显著减少了中间推理过程中的 token 数量，从而降低了延迟和计算成本。实验结果表明，尽管 CoD 生成的中间草稿极为简洁，但在多数任务上其准确率与传统 CoT 相当甚至略有超越，为大规模语言模型在实际应用中的高效推理提供了有力支持。]]></description><category></category></item><item><title><![CDATA[【论文解读】deepseek R1迁移到多模态《Visual-RFT: Visual Reinforcement Fine-Tuning》]]></title><link>https://blog.youkuaiyun.com/qq_30731313/article/details/146072044</link><guid>https://blog.youkuaiyun.com/qq_30731313/article/details/146072044</guid><author>qq_30731313</author><pubDate>Thu, 06 Mar 2025 15:54:27 +0800</pubDate><description><![CDATA[论文提出了一种全新的视觉强化微调方法，通过利用 LVLM 生成包含推理过程的多组候选答案，再结合规则化的可验证奖励（例如 IoU 奖励和分类准确率奖励），并采用 GRPO 算法进行策略优化，有效提升了模型在少样本条件下的视觉感知与推理能力。实验结果表明，该方法在细粒度分类、少样本目标检测、推理接地及开放词汇目标检测任务上均超越传统的监督微调方法，展示了其在多模态任务上的广阔应用前景。]]></description><category></category></item><item><title><![CDATA[【手撕ROPE】极简方法实现旋转位置编码ROPE，面试遇到手撕ROPE再也不怕了！]]></title><link>https://blog.youkuaiyun.com/qq_30731313/article/details/146071289</link><guid>https://blog.youkuaiyun.com/qq_30731313/article/details/146071289</guid><author>qq_30731313</author><pubDate>Thu, 06 Mar 2025 15:14:15 +0800</pubDate><description><![CDATA[ROPE极简实现，秒杀面试手撕]]></description><category></category></item><item><title><![CDATA[【论文解读】中科院SolutionRAG《DeepSolution: Boosting Complex Engineering Solution Design》]]></title><link>https://blog.youkuaiyun.com/qq_30731313/article/details/146045005</link><guid>https://blog.youkuaiyun.com/qq_30731313/article/details/146045005</guid><author>qq_30731313</author><pubDate>Wed, 05 Mar 2025 16:22:29 +0800</pubDate><description><![CDATA[论文提出了一种创新的方法解决复杂工程方案设计问题，重点在于利用树状探索与“二点评估”机制，逐步改进生成方案以满足多重现实约束。通过构建高质量的基准数据集和详细的消融实验，作者证明了该方法在工程实际场景中的应用潜力，为自动化工程设计提供了一条新的研究思路。]]></description><category></category></item><item><title><![CDATA[【论文解读】以小博大《SmolLM2: When Smol Goes Big -- Data-Centric Training of a Small Language Model》]]></title><link>https://blog.youkuaiyun.com/qq_30731313/article/details/146043499</link><guid>https://blog.youkuaiyun.com/qq_30731313/article/details/146043499</guid><author>qq_30731313</author><pubDate>Wed, 05 Mar 2025 15:34:14 +0800</pubDate><description><![CDATA[创新点提出了基于数据中心化的多阶段训练方法，通过不断调整数据混合比例和引入高质量专用数据集（FineMath、Stack-Edu、SmolTalk）提升小模型性能。在预训练和后训练两个阶段均进行了详尽的消融实验，确保各项设计决策都有数据支持。技术细节学习率调度（例如 Warmup 和 线性衰减）以及数据比例的精细调整是论文的重要技术贡献。模型在训练时采用的优化参数和分词器设置均经过精心设计，确保在有限计算资源下充分发挥小模型的潜力。实验结果。]]></description><category></category></item><item><title><![CDATA[【论文解读】细粒度图像识别《Improving Fine-Grained Image Classification With Multimodal Information》]]></title><link>https://blog.youkuaiyun.com/qq_30731313/article/details/146028042</link><guid>https://blog.youkuaiyun.com/qq_30731313/article/details/146028042</guid><author>qq_30731313</author><pubDate>Tue, 04 Mar 2025 22:28:29 +0800</pubDate><description><![CDATA[背景与动机类间差异小：不同类别之间的视觉特征非常相似；类内差异大：同一类别的图像在姿态、光照、背景等方面可能存在较大变化。传统方法大多只关注图像的视觉特征，而忽略了图像中通常伴随的其他信息，如拍摄位置（经纬度）和拍摄时间。这篇论文提出利用这些多模态时空信息，结合视觉特征，从而进一步提升细粒度图像分类的准确率。主要贡献多模态数据预处理多时序特征融合（包括早期和晚期融合）基于自注意力的MLP（SAMLP）模块用于多模态特征提取决策校正策略。]]></description><category></category></item><item><title><![CDATA[【论文解读】人大发表《Search-o1 — Agentic Search-Enhanced Large Reasoning Models》]]></title><link>https://blog.youkuaiyun.com/qq_30731313/article/details/145988389</link><guid>https://blog.youkuaiyun.com/qq_30731313/article/details/145988389</guid><author>qq_30731313</author><pubDate>Mon, 03 Mar 2025 15:29:28 +0800</pubDate><description><![CDATA[近年来，大规模推理模型（Large Reasoning Models, LRMs）如 OpenAI-o1 展现出长链式思考（chain-of-thought）能力，能够通过分步推理解决复杂问题。然而，这些模型在长链推理过程中常常因知识不足而产生不确定性和错误，尤其是在遇到专业领域知识空缺时。这种设计旨在弥补模型内部知识的不足，保持推理链的连贯性，同时提高回答的准确性和可信度。]]></description><category></category></item><item><title><![CDATA[【论文解读】《Seven Failure Points When Engineering a Retrieval Augmented Generation System》]]></title><link>https://blog.youkuaiyun.com/qq_30731313/article/details/145987907</link><guid>https://blog.youkuaiyun.com/qq_30731313/article/details/145987907</guid><author>qq_30731313</author><pubDate>Mon, 03 Mar 2025 14:43:07 +0800</pubDate><description><![CDATA[面向科研文献分析的系统，帮助研究者对上传的相关论文进行排序和问答。AI Tutor教育领域的 RAG 系统，集成到学习管理系统中，支持学生对学习内容提问，并提供可追溯答案来源。使用 BioASQ 数据集构建的生物医学问答系统，针对领域特定的问题进行回答，考验系统在大规模文献中提取信息的能力。论文为软件工程师在构建 RAG 系统时提供了一个宝贵的经验总结，通过三个不同领域的案例研究，揭示了从文档分块、嵌入生成、检索、整合到回答生成过程中可能遇到的七大失败点。]]></description><category></category></item><item><title><![CDATA[【论文解读】CALF: Aligning LLMs for Time Series Forecasting via Cross-modal Fine-Tuning]]></title><link>https://blog.youkuaiyun.com/qq_30731313/article/details/145965337</link><guid>https://blog.youkuaiyun.com/qq_30731313/article/details/145965337</guid><author>qq_30731313</author><pubDate>Sun, 02 Mar 2025 16:54:46 +0800</pubDate><description><![CDATA[假设在第lll层 Transformer 模块中，文本支路和时间支路分别输出的隐藏特征为FtextlF_{text}^lFtextl​和FtimelF_{time}^lFtimel​。通过两个可训练的投影层ϕtextl⋅ϕtextl​⋅和ϕtimel⋅ϕtimel​⋅Lfeature∑i1LγL−isimϕtextiFtextiϕ。]]></description><category></category></item><item><title><![CDATA[【论文解读】《Long-VITA: Scaling Large Multi-modal Models to 1 Million Tokens with Leading Short-Context》]]></title><link>https://blog.youkuaiyun.com/qq_30731313/article/details/145955551</link><guid>https://blog.youkuaiyun.com/qq_30731313/article/details/145955551</guid><author>qq_30731313</author><pubDate>Sat, 01 Mar 2025 23:22:19 +0800</pubDate><description><![CDATA[背景与动机近年来，多模态大模型（LMMs）正迅速发展，将大语言模型（LLMs）的能力扩展到视觉、视频及文本等多模态信息处理上。现有开源模型大多聚焦于静态图像和短视频，而专有模型（如 Gemini 1.5 pro）已实现长达1M1M1Mtokens 的处理能力，以及同时处理长视频（高达数千帧）的能力。因此，如何在开源领域实现长上下文（long-context）多模态理解成为亟待解决的问题，Long-VITA 正是在这一背景下提出的。论文目标。]]></description><category></category></item></channel></rss>