- 博客(53)
- 收藏
- 关注
RSS订阅原创 【文献阅读 ICLR 2026】LLMs get lost in multi-turn conversation
本文通过大规模模拟实验揭示，大语言模型在多轮不充分对话中性能平均下降39%，远低于单轮表现。研究发现，性能衰退源于能力小幅下降与不可靠性显著上升，核心原因是模型易在对话初期过早生成答案并过度依赖错误假设，陷入“对话迷失”困境。作者提出分片模拟框架，验证了即使仅两轮对话也导致性能下滑，并建议开发者优先保障多轮交互稳定性。
2026-09-27 16:51:04
342
原创 RL算法学习：ArgMaxRL
ArgMaxRL将MaxRL扩展至连续奖励场景，提出以best@k（k次采样中最大奖励的期望）为核心目标。通过尾和公式，将连续奖励问题分解为一系列阈值τ下的二元pass@k问题，利用MaxRL梯度估计器在各阈值上求解，并积分整合，实现对连续奖励的高效优化。该方法统一了二元与连续奖励学习，支持推理时扩展，显著提升复杂任务中的生成质量与多样性。
2026-09-15 22:39:40
225
原创 【文献阅读 ICML 2026 Oral】RL算法：MAXRL
MaxRL提出最大似然强化学习框架：在正确性判定任务中，标准RL仅是隐式最大似然的一阶近似。通过pass@k展开构造算力索引目标族，在期望奖励与精确ML间插值，增加采样可逼近更高阶ML目标。实验显示MaxRL相对RLOO、GRPO有帕累托优势，数学推理测试时扩展效率最多提升20倍。
2026-09-04 08:30:00
390
原创 【文献阅读】边缘MoE推理系统：FreeToken
FreeToken 用"全层双缓冲 prefill + 语义锚点状态检查点 + LRU 专家缓存 + q⋆ = m·B_P/B_H 的带宽自适应 CPU/GPU 缺失划分 + 运行时弹性显存重配置 + FTW 快速启动"这一整套协同设计，让消费者级硬件能以交互速度服务此前只有数据中心才能跑的前沿 MoE 模型。
2026-08-30 12:56:37
501
1
原创 【文献阅读 ICLR 2026】RL算法：DECS
摘要： DECS提出了一种新框架，通过解耦奖励和课程数据调度解决大模型推理中的"过度思考"问题。传统方法对推理长度进行惩罚时，由于轨迹级奖励与token级优化的不匹配，常导致必要探索性token被错误抑制或冗余token被无意强化。DECS的创新在于：(1) token级奖励解耦机制，精准区分并惩罚冗余token；(2) 课程批量调度策略，平衡训练效率与效果。实验表明，该方法在7个基准测试中能将推理token减少50%以上，同时保持或提升模型性能，验证了其在提升推理效率方面的有效性，且不损害模型推理能力。
2026-08-22 00:28:37
359
原创 【文献阅读 ICLR 2026】RL算法：Co-Rewarding
本文提出的 Co-rewarding 是一种稳定自监督强化学习框架，旨在解决大语言模型自奖励训练中的崩溃问题。它通过两种并行方案打破单一视角监督：数据侧（Co-rewarding-I）对同一问题生成语义等价改写，让原问题与改写问题互相监督，迫使模型掌握问题本质；模型侧（Co-rewarding-II）引入缓慢更新的教师模型，提供与当前策略解耦的稳定监督信号。两者结合的 Co-rewarding-III 进一步增强了抗投机能力。
2026-08-11 20:47:18
419
2
原创 【文献阅读 ICLR 2026】RL+上下文激励：MeRF
本文提出了一种名为MeRF（Motivation-enhanced Reinforcement Finetuning）的新方法，通过在强化微调过程中向Prompt中注入自然语言描述的奖励函数作为上下文激励，显著提升了大型推理模型的训练效率和性能。该方法利用LLM的上下文学习能力，使模型在生成时就能明确优化目标，避免了传统RLVR方法中因奖励空间稀疏导致的探索不足问题。实验在逻辑推理（K&K Puzzles）、数学推理（MATH Benchmarks）和数值推理（CountDown）任务上验证了MeRF的有效
2026-08-11 20:38:38
350
原创 【学习笔记】web3库的基础使用
摘要 本文介绍了使用Python库web3.py与以太坊区块链交互的方法。主要内容包括： 配置：详细说明了三种Provider连接方式（测试/本地/远程节点）和中间件机制，包括连接设置和中间件管理。 API接口：涵盖基础工具函数和web3.eth核心功能，如数据查询、交易发送等操作。 智能合约：讲解合约部署和交互流程，包括编译、实例化和方法调用。 文章提供了代码示例，适合开发者快速上手web3.py开发去中心化应用。
2026-08-06 00:08:50
230
原创 【文献阅读 ICML 2026】形式化问题求解框架：FPS
本文提出了形式化问题求解（FPS）框架，通过将问题求解转化为构造性证明过程，实现了可验证的自动求解。研究首次建立了问题的严格形式化定义（四元组结构），并将求解过程建模为确定性马尔可夫决策过程。基于Lean 4定理证明器实现的FPS框架包含三个关键阶段：初始化证明目标、交互式策略应用和最终解提取。针对全解查找问题，进一步提出演绎式FPS（D-FPS），通过分离前向推导与后向验证提升可读性。论文还构建了新评估基准和RPE指标，为可验证自动求解提供了理论与实践范式，弥合了传统定理证明与开放问题求解之间的鸿沟。
2026-08-04 19:46:29
290
原创 【文献阅读 ICML 2026】LLM层程序（program-of-layers）学习方法：POLAR
文章摘要 本文提出POLAR方法，通过动态调整大语言模型的层执行顺序（跳过/循环）来优化推理效率。研究发现：(1)联合使用跳跃和循环操作能获得最优性能；(2)多数有效程序比标准前向传播更短；(3)增加执行复杂度可提升困难任务的表现；(4)有效程序偏好连续层结构和简单循环。基于这些发现，作者提出通过轻量级预测模型直接生成执行程序，避免了昂贵的蒙特卡洛树搜索。实验表明，POLAR在数学推理任务上既提高了准确性，又减少了计算量，且能泛化到分布外数据。该方法为冻结模型提供了灵活的测试时计算扩展能力。
2026-07-28 22:41:58
330
原创 【文献阅读 ICML 2026】多Agent系统：OMAC
此文提出OMAC框架，一种面向LLM多智能体协作系统的整体优化方法。通过定义智能体功能（优化现有/新建智能体）与协作结构（候选筛选/动态参与/通信流程）五个核心维度，构建了系统性的优化体系。框架包含两个关键组件：语义初始器生成多样化候选方案，对比比较器通过分析正负样本差异指导优化。算法支持单维度优化与多维度联合优化，后者采用迭代式维度轮换策略以避免变量混淆。实验表明OMAC在多种任务上优于现有方法，验证了其通过语义探索和对比推理实现系统级优化的有效性。该框架为多智能体系统的自动化设计与性能提升提供了通用解决
2026-07-18 21:54:49
384
原创 【文献阅读 ICML 2026】RL算法：R2VPO
PPO和GRPO的Clip（裁剪）机制在当策略比率超出预设阈值时，梯度会被突兀截断。虽然保住了训练稳定性，但也丢失了许多“高散度但高价值”的探索样本，且历史数据一旦轻微过时便彻底失效。R2VPO的出发点是一个优美的数学发现（命题4.1）：当策略更新足够小（即策略比率 ρ→1）时，复杂的f-散度存在二阶泰勒近似——策略散度直接等价于策略比率的方差！因此只要管住比率的方差，就能在局部完美管住策略散度。
2026-07-14 22:20:59
269
原创 【文献阅读 ICML 2026】RL算法：Critique-GRPO
ICML 2026《Advancing LLM Reasoning with Natural Language and Numerical Feedback》提出了Critique-GRPO框架。其核心创新在于将自然语言反馈（NLF）无缝融入在线强化学习，实现了从“打分”到“点评”的进化，让模型同时从“语言指导”和“数值奖励”中学习。
2026-07-07 20:38:31
447
原创 【文献阅读】BunnyFinder：探寻以太坊共识机制中的激励机制漏洞
BunnyFinder由4个部分组成：策略生成器SG、策略执行器SE、状态分析器SA、策略优化器SO,分2个阶段运行。攻击识别（Attack identification）:策略生成器SG生成攻击实例集合，策略执行器SE将这些攻击引入本地部署的以太坊测试网，让一部分验证节点执行这些攻击；状态分析器SA收集日志并分析攻击实例是否揭示了激励缺陷。这三个组件是自动执行的。攻击优化（Attack optimization）：发现激励漏洞后，人工核查日志，区分已知类型或全新类型。
2026-07-05 16:10:03
360
原创 文献阅读：Google发布的LLM求解形式化数学证明的智能体框架LEAP
文章提出LEAP，一套依托LLM完成形式化数学推理的智能框架，借鉴人类解题思路，先生成有向无环图DAG的证明规划，再基于规划生成Lean形式证明，并借助编译器反馈迭代修正证明中的错误。
2026-06-29 22:21:20
335
原创 文献阅读：隐式ICL方法ICR
LLM通过ICL（在查询前插入少量标注示例作为上下文演示ICDs），使模型无需更新参数，即能够适应新任务，但传统ICL存在两大痛点：(1) 插入示例增加序列长度，导致推理成本剧增；(2) 性能脆弱，高度依赖示例的顺序和格式。另一种隐式ICL，将示例转化为向量注入模型内部缺乏理论支撑，且泛化能力差，无法迁移到未见过的领域（OOD）任务。基于此，论文提出ICR,提取跨任务ICL模式，利用路由器将其作为一个低秩权重组合进行合并，以任务自适应的方式引导注意力计算，实现“训练一次，到处复用”。
2026-06-29 01:40:32
458
原创 文献阅读：RL算法Tree-GRPO
Tree-GRPO 利用树状分叉，将叶子节点的结果奖励回传，在分叉点自然形成偏好学习信号。在多轮 Agentic RL 中，LLM 需要通过“思考-动作-观测”的循环与环境交互来完成复杂任务。表明树内GRPO可以被解释为隐式地执行步级偏好优化，从而继承step-level DPO的关键属性。），系统通过扣除已有前缀的消耗来动态裁剪新分支，公式用于证明树搜索在期望意义下的高效性。，采用“initialize-then-expand”方法。个叶子节点的intra-tree GRPO 的。
2026-06-20 18:42:33
460
原创 文献阅读：The Stepwise Informativeness Assumption:Why are Entropy Dynamics and Reasoning Correlated in LL
分步信息假设SIA：熵的动态情况和LLM的推理为什么相关？给定 token 序列：X1:K=(X1,…,XK)X_{1:K} = (X_1, \dots, X_K)X1:K=(X1,…,XK),对于参数为θ\thetaθ的语言模型,一个完整序列的概率可按自回归方式分解为：pθ(X1:K)=∏k=1Kpθ(Xk∣X<k)p_\theta(X_{1:K}) = \prod_{k=1}^K p_\theta(X_k \mid X_{<k})pθ(X1:K)=k=1∏Kpθ(Xk∣X<k)其中
2026-06-19 00:34:44
199
原创 文献阅读：RL算法GPG
策略梯度基础：RL 的目标是最大化期望回报JθmaxθEπθ∑t0TrtJθmaxθEπθ∑t0Trt。根据策略梯度定理，这可以通过估计梯度∇θJθEπθ∇θlogπθat∣stAπθstat∇θJθEπθ∇θlogπθat∣stAπθstat)]来实现。优势函数。
2026-06-19 00:12:41
355
翻译 python-docx
基础使用1.创建一个document文档对象from docx import Documentdocument = Document()2.向文档中添加段落添加一段话：paragraph = document.add_paragraph('Lorem ipsum dolor sit amet.')（调用后会返回一个Paragraphs段落对象的引用）可将上面返回的对象作为一个游...
2019-06-21 18:18:31
1285
翻译 TF-Slim学习
import tensorflow.contrib.slim as slimTF-Slim是一个让定义、训练、评估神经网络更简单的库：让使用者定义模型时更紧凑不用写一些冗余又不得不写的代码(boilerplate code)。这些都可以通过参数范围(argument scoping)和许多的高级层次(layers)和变量(variables)来实现，这些工具增加了可读性可维护性，减少了在复...
2019-04-29 20:16:45
680
翻译 问题记录——Intel MKL FATAL ERROR: Cannot load mkl_intel_thread.dll.
今天遇到的一个问题：然后在https://conda.io/projects/conda/en/latest/user-guide/troubleshooting.html#numpy-mkl-library-load-failed找到了解决方法。它上面说到有两种情况导致这个问题发生：1.没有activate你的环境2.Another software vendor has insta...
2019-04-23 18:48:48
1902
原创 PG-Strom学习总结
PG-Strom学习总结PG-Strom是一个PostgreSQL的扩展模块，是连接PostgreSQL和GPU的桥梁，利用GPU来加速SQL上的操作。其GPU代码生成器会根据SQL语句生成对应的在英伟达的CUDA（统一计算架构）的GPU程序。目前主要支持SCAN、JOIN和GROUP BY操作。PG-Strom的“SSD-to-GPU Direct SQL”机制允许直接将数据从NVME的固态硬...
2019-03-26 10:46:09
3399
3
原创 Chapter11-异常日志断言和调试
Evernote Export 异常处理的任务就是将控制权从错误产生的地方转移给能够处理这种情况的错误处理器。异常对象都派生于Throwable类的一个实例,在下一层立即分解为两个分支：Error和Exception。Error类层次结构描述了Java运行时系统的内部错误和资源耗尽错误。Exception类又分为程序没问题，由IO制类错误导致的异常IOExc...
2019-03-09 23:09:18
346
原创 Chapter06-接口和内部类
Evernote Export 一、接口中的所有方法自动的属于public，不必提供public关键字。接口绝不能含有实例域，也不能在接口中实现方法，提供实例域与方法实现的任务应该由实现接口的哪个类来完成。二、尽管不能构造接口的对象，却能声明接口的变量，接口变量必须引用实现了接口的类对象，如同使用instanceof检查一个对象是否属于某个特定类一样，也可以...
2019-03-01 21:24:00
254
原创 Chapter05-继承
Evernote Export 一、关键字extends表明正在构造的新类诞生于一个已存在的类。二、子类不能直接访问父类的私有域，应该通过super关键字和父类的访问器get方法访问。三、java中父类对象变量可以引用父类对象也可以引用子类对象，称为多态。四、如果是private、static、final方法，编译器可以准确的知道调用哪个方法，称为静态绑定。...
2019-03-01 10:13:02
266
原创 Chapter04-对象与类
Evernote Export 一、类之间的关系依赖：如果一个类的方法操作另一个类，就说一个类依赖另一个类聚合：意味着类A的对象包含类B的对象继承：用于表示一种特殊与一般关系的。二、GregorianCalendar类是用来表示大家熟悉的日历表示法，GregorianCalendar类扩展了一个更加通用的Calendar类。Date类只提供了少量的方法来比较...
2019-02-23 20:14:58
215
原创 Java学习-基本的程序设计结构
Evernote Export 一、Java中所有的浮点数值计算都遵循IEEE754规范，有三个特殊的表示溢出和出错的特殊浮点值：正无穷大Double.POSITIVE_INFINITY;负无穷大Double.NEGATIVE_INFINITY;NaN(不是一个数字)Double.NaN。实际应用中很少遇到，检查一个特定值是否是NaN不能这样：if(x==D...
2019-02-20 15:00:57
376
原创 学习python asyncio
异步IO即发起一个IO操作不用等它结束，可以继续做其他事情，当他结束时，会收到通知。我们这里之所以要使用异步IO是因为我们的软件执行过程中很多时候都是在不断通过网络读取数据，因为从网络获取数据的过程延迟相当大，这些等待数据时间我们不能让CPU闲着，浪费资源，导致利用率下降，而且我们的程序无论是Remote Listen还是Local Slave都不只是从一边读取数据，比如Local Slave，既...
2018-07-08 20:52:43
1029
原创 java嵌套类和内部类
嵌套类为一个声明在另一个类或接口内部的类，有两种类型，静态内部类和非静态嵌套类，非静态嵌套类也称为内部类。静态嵌套类可以有静态成员，用以下格式OuterClassName.InnerClassName引出嵌套类，内部类不可以像实例方法，内部类可以访问外层类的静态和非静态成员，包括他的private成员，静态嵌套类之恩那个访问外层类的静态成员无需先创建外层类的实例就可以创建静态嵌套类的实例...
2018-04-18 11:06:20
322
原创 Java 的输入输出
在java中，文件或则目录习惯上是用java.io.File对象来表示，但是File类存在一定的缺陷，所以Java7中在NIO2包中带来了更好的替代：java.nio.file.Path接口。java.nio.file包中还有另一个成员FileSystem类，FileSystem类表示文件系统，是个抽象类，可以调用FileSystem类的getDefault()静态方法来获取当前的文件系统...
2018-04-16 21:39:33
383
原创 JAVA基础知识中的一些注意点
缺省访问级别的类只能被同一个包中的其他类使用。可以使用this从任何方法或者构造器引用当前的对象。如果有一个类级域和一个局部变量同名，可以用this.field引用前者。要使用属于其他包没有导入的类，唯一的办法是在代码中使用这些类的全限定名可以将方法设为final，这样可以防止它在子类中被覆盖Java支持静态成员的概念，静态成员是指无需先实例化类就可以调用的类成员，静态方法内部不能调用实...
2018-04-14 11:16:17
323
原创 编码集
ASCII字符集每个字符用7位来表示，因此这个字符集中有128个字符，包括大小写拉丁字母、数字和标点符号。扩展ASCII，原来的ASCII字符集经过扩展包括了另外128个字符，每个字符用8位来表示。ISO标准化的ISO-8859-1，每个字符用8位来表示。这个字符集包含用西欧各种语言编写文本所需的所有字符。Unicode由一个叫做UnicodeConsortium的非营利组织开发的字符集，...
2018-04-12 16:24:04
485
原创 软件开发生命周期总结
瀑布模型： 演化模型 第一次为试验性开发，得到试验性的原型产品，探索可行性。第二次在此基础上获得较为满意的软件产品。 增量模型 先在第一次增量后做出核心功能，然后在接下来的每次增量中做出慢慢增加其他功能。构件组装模型 利用模块化思想将整个系统模块化，并在一定构件模型的支持下复用构件库中软件构件，通过组装高效率、高质量地构造软件系统。构件组装模型本质上是演化的，开发过程是迭代的。极...
2018-04-02 11:00:46
837
原创 PythonWeb编程Django模型层遇见的问题
今天学习Django模型层时候遇见了许多问题。 1.我的python是3.6。遇见的第一个问题便是老师课件上的MySQLdb不能 用了。这个问题挺好解决，网上大家都有很多方法。 先是安装PyMySQL来代替MySQLdb数据库访问模块。pip install pymysql。 然后将站点的init.py文件中添加import pymysqlpymysql.install_as_MySQLdb
2017-12-19 22:58:24
391
原创 Python自带web服务器尝试使用
尝试使用Python自带的Web服务器+PythonCGI的方式 1.在d盘建立一个Cgi-bin目录 2.在命令行中进入D:C:\Users\XXX>D:D:\>python -m httpserver --cgi默认打开8000端口3.将代码hellocgi.py放入Cgi-bin中 我们老师给的代码如下：import cgireshtml='''Content-Type:text/h
2017-12-19 15:42:44
3596
原创 微机实验8255方式1
题目要求： 每按一次单脉冲按钮产生一个正脉冲使8255产生一次中断请求，让CPU进行一次中断服务：依次输出01H、02H、……80H使得L0~L7依次发光，中断8次结束。 输出电路： 代码：data segmentcount db 0data endscode segmentassume cs:code,ds:datastart:mov ax,datamov ds,axcli
2017-12-18 20:24:58
4952
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人