大模型最新论文速读-优快云博客

此工作第一次探讨了隐性噪声对RAG系统的影响，并发现当前SOTA模型也存在类似缺陷，开启了新的研究方向，这启示我们在做RAG系统时，不仅要规避参考文档中的误导信息，也不能忽视语言风格、格式等非内容特性至于上述鲁棒性缺陷的原因，本文倒是没有做深入探讨目前对此工作的了解仅限于发表的论文，git上还是个空仓库，相关细节未知，huggingface的人正在催更。

2025-03-11 00:05:26 1218

原创大模型推理加速：投机算法与EAGLE-3介绍

近期EAGLE-3发布，大模型推理加速能力更上一层楼。此工作是EAGLE系列的延展，所以本文主要对EAGLE等大模型推理加速方案做简单梳理，然后再介绍EAGLE-3的改进思路与效果

2025-03-09 19:25:04 1002

原创 UPFT：使用前缀微调节省95%的训练开销？AI Lab新作

此工作提出了一种新的大模型自迭代方法，使训练开销急剧下降，同时也保持了与有监督微调方法持平的准确性如果我们有一批新的问题集，可考虑使用此方法快速进行迭代优化，并且无需标注数据；从实验结果来看，即使有条件打标注，此方法的准确性也更好；但此工作的有些实验结论还很反直觉，方法论推导部分也只是使用数学语言梳理了动机和优化方向，并不能solid地推导出前缀学习的优越性，实验分数差距也没有很大。此外测试数据都是思考路径较短的数学题，方法可迁移性存疑；总之还需要进一步探索和验证。

2025-03-08 02:47:50 329

原创 PowerAttention: 更准确高效的静态稀疏注意力

此工作提出了一种新的大模型静态稀疏注意力模式，实现简单，实验结果证明了其有效性。此方法本质上是让交互token的选择更平均，牺牲了部分近距离直接交互，换取了更多远距离间接交互，从实验结果和视野范围可视化来看，这样的置换是划算的。

2025-03-08 02:23:40 1420

原创 RankCoT:提高RAG系统准确性的新手段——让大模型学会对召回文档排序

通过让大模型学会对召回文档排序，提高RAG系统的准确性

2025-03-06 16:36:41 287

原创选择性语言模型（SLM）-选择更合适的token做预训练

Not All Tokens Are What You Need for Pretrain. 选择性语言模型（SLM）-选择更合适的token做预训练

2025-03-06 16:18:58 266

几个jar包：org.com、fastjson、httpclient、httpcore、jetty-util

commons-codec-1.6.jar commons-lang-2.6.jar commons-logging-1.1.1.jar fastjson-1.2.15.jar httpclient-4.2.1.jar httpcore-4.2.1.jar jetty-util-9.3.7.v20160115.jar

2019-07-25

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

qq_36671160的博客

原创利用MOE中的冗余参数把LLM扩展成多模态

原创 Midjourney最新推出的大模型输出多样性提升方法

原创搞半天VLMs里的位置编码根本就没生效？

原创 Uncert-CoT: 计算不确定性判断是否启用CoT

原创 SafeMerge: 鱼与熊掌兼得的lora合并技巧

原创大模型推理加速: 使用多个异构的小模型加快投机解码

原创 VideoMind：利用Chain-of-LoRA改进长视频推理

原创 HRM：分层多步奖励模型

原创正交lora：克服多任务学习过程中的知识冲突与灾难遗忘

原创压缩率90%效果依然坚挺？通过蒸馏kv-cache降低部署成本

原创 search-r1：让大模型学会自己使用搜索引擎

原创大模型推理加速：动态调整每个token的计算深度

原创 KSOD: 更精细地向LLM中添加特定知识

原创 RAG系统中的隐性噪声：文档格式、语言风格对知识性问答效果的影响