- 博客(355)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 论文理解【LLM-OR】——【OptiCycle/OptiState】Harnessing Language Models as Optimization Modeling Agents
本文使用 agentic 的 “执行—反馈—修正循环” 解决 LLM-OR 问题，以轻量的单智能体交互替代传统方法繁重的多阶段提示与多角色编排，无需额外训练即可提升建模与求解表现
2026-11-03 14:28:34
148
原创 现代 AI Agent 编排技术全景（1）—— 分类体系与四大技术维度
本文介绍基于 LLM 的现代 Agent 分类体系与四大技术维度，形成能够刻画不同 Agent 产品架构特征的分类法
2026-10-20 02:42:58
228
原创 论文理解【LLM-OR】——【AlphaOPT】Formulating Optimization Programs with Self-Improving LLM Experien
针对 LLM-OR 问题建模任务，AlphaOPT 让 LLM从建模失败中总结经验，先在原问题上验证经验能否帮助纠错，再根据它在其他问题上的使用效果修正适用条件，并将这些经验存入可检索的经验库，帮助模型在不重新训练的情况下更准确地把自然语言问题转化为优化程序
2026-09-15 02:46:50
373
原创 论文理解【Optical computing】—— Optical metasurfaces for general vision processing on the edge
本文则是把相似性建模、注意力感知和局部-全局融合这些视觉原则直接嵌入一块 4100 万参数超表面，再用 8.7 万参数数字后端完成检测、分割、深度估计和视频理解，实现了多 CV 任务计算光学赋能
2026-08-28 11:19:13
357
原创 论文理解【LLM-Agent】——【SkillOpt】Executive Strategy for Self-Evolving Agent Skills
SkillOpt 将 agent skill 从人工或一次性 prompt artifact 转化为可验证、可控、可迁移的文本空间“可训练状态”，通过有界编辑、验证门控、拒绝编辑反馈和 slow/meta update，在不更新模型权重的情况下显著提升多类 agent 任务表现
2026-06-08 21:57:58
574
原创 论文理解【LLM-OR】——【OptMATH】A Scalable Bidirectional Data Synthesis Framework for Optimization Modeling
本文提出 LLM-OR 领域的双向数据合成框架 OptMATH，从已有 MF/PD 出发反向生成 NL，再使用 AutoFormulator 进行正向建模，通过最优值匹配 rejection sampling 确保语义一致性。实现了难度可控的语义一致数据合成
2026-05-28 16:50:15
494
原创 LLM-based Agent 技术演进 —— 从 Prompt Engineering 到 Harness
本文梳理了LLM应用工程形态的演进路径，划分为三个阶段：能力增强（Prompt Engineering、RAG、Function Calling、MCP）、流程沉淀（Skill）和系统编排（Harness），并对 Skill 进行深入介绍
2026-04-08 20:43:19
934
原创 论文理解【LLM-OR】——【LLMOPT】Learning to Define and Solve General Optimization Problems from Scratch
针对 LLM-OR 任务，传统端到端直接生成方法的准确性与问题类型泛化受限；LLMOPT 引入五要素通用表述 + 多指令微调 + KTO 对齐 + 自动测试自纠错的学习式流程，从自然语言描述出发更稳健地定义并求解多类优化问题，在六个真实数据集上取得平均 11.08% 的准确率提升
2026-02-25 22:48:13
797
原创 论文理解【LLM-OR】——【OptiMUS】Scalable Optimization Modeling with (MI)LP Solvers and Large Language Models
OptiMUS 把“自然语言→优化建模与求解”从单次生成改造成“结构化问题 + 多智能体协作 + 连接图检索”的模块化流程，并在更长更难的数据集上验证了这种结构化方法相对端到端 prompting 的优
2026-02-22 12:40:44
819
原创 论文理解【LLM-OR】——【SIRL】Solver-Informed RL: Grounding Large Language Models for Authentic Optimization M
本文提出第一种针对基于 LLM 的 OR 问题建模和求解任务的 RLVR 方法，其基于求解器得到可验证奖励，设计了 Partial KL 强化目标函数和两阶段奖励课程训练方法，达成了 SOTA 性能
2026-02-10 05:51:58
877
原创 论文理解【LLM-Clarification】—— 【QDrawer】Asking the Right Question at the Right Time: Human and Model Unce
本文基于 CoDraw 任务对 LLM 澄清提问的触发方式进行探索，发现模型内部不确定性与人类澄清决策相关性弱，使用不确定性阈值触发澄清提问相比模仿人类提问时机，性能和计算效率都更好
2026-02-05 20:46:21
764
原创 论文理解【LLM-OR】——【Step-Opt】Training LLMs for Optimization Modeling via Iterative Data Synthesis and
本文提出 Step-Opt-Instruct 方法，针对用 LLM 做 OR 问题求解任务，用迭代问题生成 + 分步验证机制实习更可靠的训练数据合成，从而微调开源 LLM 得到 Step-Opt。在多个 OR 建模基准提升性能，尤其在复杂问题上提升更明显
2026-01-31 20:16:53
797
原创 论文理解【LLM-OR】—— 【PaMOP】Guiding Large Language Models in Modeling Optimization Problem
针对 LLM 求解运筹优化任务，PaMOP 通过约束划分树分离子问题，实现复杂优化问题的分块建模，并结合求解器反馈与反向翻译一致性检查迭代纠错，降低子任务复杂度，提升可执行率与建模准确性。
2026-01-25 20:05:54
1005
原创 论文理解【LLM-OR】——【OptiTree】Hierarchical thoughts generation with tree search for LLM optimization model
使用 LLM 对运筹优化问题（OR Problem）建模时，传统固定步骤分解在复杂数学结构下准确率低，本文提出 OptiTree：基于“子问题层级建模树”的树搜索检索，自适应地将原问题分解为一串更简单的子问题，并递归整合各子问题的高层建模思路形成全局指导，从而显著提升建模准确率
2025-12-29 19:40:21
998
原创 LLM-RL 的探索困境
策略梯度RL算法作为一种可微代理优化方法，其天然倾向于 “在无法探索时缩小探索范围”，这导致将 RL 用于 LLM post training 时难以从本质上提升性能
2025-12-20 19:32:31
928
原创 论文理解 【LLM-RL】—— Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the
本文系统评估了 RLVR 在提升 LLM 推理能力方面的实际效果。发现当前RLVR方法主要提高了基座模型已有推理路径的采样效率，但并未创造新的推理模式。相比之下，蒸馏方法能真正扩展模型推理能力。研究呼吁开发新的RL范式，如改进探索机制、数据设计和反馈信号，以真正释放强化学习在扩展模型推理边界方面的潜力。
2025-12-14 20:34:36
1506
5
原创 Wasserstein 距离简介
Wasserstein距离是一种基于最优传输思想的概率分布度量方法，本文介绍了其定义、一维情况下基于CDF的计算方法和与CRPS损失的关系
2025-10-26 23:45:21
1393
原创 论文理解 【LLM-回归】—— Decoding-based Regression
本文探讨了语言模型（LLM）在数值回归任务中的能力，证明了其可逼近任意一维概率密度的理论界，在数值范围大、噪声复杂或数据较少的情形相比传统点回归头和 Riemann 回归头有优势
2025-10-15 23:24:29
1136
4
原创 Hugging face Transformers（5）—— Datasets
datasets 是一个简单易用的数据集加载库，可方便地从本地或 HF hub 加载数据集，并完成数据划分、清洗、数据集和加载器构造等工作
2025-10-08 18:56:08
1123
原创 论文理解【CV-对比学习】——【BYOL】Bootstrap Your Own Latent - A New Approach to Self-Supervised Learning
BYOL 是第一种无需负样本的自监督学习框架，其通过训练在线网络预测动量目标网络实现自蒸馏，借助预测器模块与目标网络的EMA更新机制稳定训练避免坍塌。该方法在ImageNet等基准取得SOTA并在下游任务表现优异，证明自监督不依赖对比即可学到强大表征
2025-09-19 05:14:19
1678
原创 小目标检测的尺寸极限
本文从统计检测理论出发，建立了小目标检测问题的数学模型。通过将检测问题形式化为二元假设检验，推导出基于KL散度的可检测性度量，为小目标检测限提供了量化依据。
2025-09-17 21:05:02
832
原创 论文理解【CV-对比学习】——【SimCLR】A Simple Framework for Contrastive Learning of Visual Representations
SimCLR 是一种简洁的自监督对比学习方法，通过强数据增强、非线性投影头与大批量训练，在无标签条件下学习判别性表示，在线性评估与下游任务中表现优异，大幅减少对人工标注的依赖。
2025-09-15 12:01:23
1564
原创 论文理解 【LLM-RL】——【EndoRM】Generalist Reward Models: Found Inside Large Language Models
本文指出，任何通过标准 “next token prediction” 训练得到的 LLM 内部已经隐含了一个通用奖励模型，其本质上等价于离线逆强化学习所得的奖励函数
2025-09-08 04:45:32
942
原创 论文理解【LLM-回归】—— 【RAFT】Better autoregressive regression with LLMs via regression-aware fine-tuning
本文提出了回归感知微调（RAFT）方法，通过对候选数值的概率加权期望直接优化均方误差，将回归损失直接融入解码式LLM的训练中，从而同时保留自回归预训练的优势并利用数值目标的特性，在多项自然语言回归任务中显著优于传统交叉熵微调和预测头方法
2025-08-17 19:26:51
1390
原创 论文理解【LLM-回归】—— 【NTL】Regress, Don‘t Guess--A Regression-like Loss on Number Tokens for Language Model
尽管 LLM 在文本生成方面表现出色，但它们缺乏对数字的自然归纳偏置，导致在涉及数值的任务中表现不佳。本文提出了一种新的损失函数——Number Token Loss (NTL)，以增强语言模型在数值任务中的表现
2025-07-20 23:44:17
1566
2
原创 论文理解【Vision Transformer】—— 【Swin Transformer】Hierarchical Vision Transformer using Shifted Windows
Swin Transformer是VIT之后第二个极具影响力的Transformer-based视觉骨干网络，该模型通过引入图像数据的归纳偏置，将自注意力的计算复杂度降低为线性增长，且实现了多尺度特征提取，在识别、检测、分割等各类任务上取得了良好效果
2025-06-09 09:38:04
1349
原创 VS2015 + OpenCV + OnnxRuntime-Cpp + YOLOv8 部署
本文详细介绍了使用 VS2015+OpenCV+OnnxRuntime+YOLOv8进行模型 C++ 部署的方法
2025-01-10 09:03:38
2440
6
原创 论文理解【LLM-NLP】——【SEQ*】Learn or Recall? Revisiting Incremental Learning with Pre-trained Language Mode
本文介绍 LLM 增量学习论文 SEQ*，它通过分析预训练语言模型(PLMs)在增量学习过程中发生遗忘的原因，仅对标准增强学习方法SEQ进行简单修改便达成了SOTA性能
2024-12-08 15:09:11
1619
原创 多维高斯分布的信息熵和KL散度计算
很多现实问题的原始特征分布都可以看作多维高斯分布，本文以数据特征服从多维高斯分布的多分类任务这一理想场景为例，从理论层面分析数据特征和分类问题难度的关系
2024-11-24 18:35:39
1738
5
原创 论文理解【Vision Transformer】—— 【MAE】Masked Autoencoders Are Scalable Vision Learners
本文介绍何凯明的经典之作MAE，它将BERT类模型的MLM自监督训练方法用到了ViT类CV模型上，通过设置大比例mask ratio和引入图像重建decoder的方法达成了良好的性能
2024-10-04 23:54:45
1583
原创 论文理解【LLM-agent】—— 【Reflexion】Language Agents with Verbal Reinforcement Learning
本文介绍 LLM agent 领域的经典方法 Reflexion，它通过引入 episodic memory 为 agent 提供长期记忆，在不微调模型的参数的同时实现了基于上下文的试错学习，性能提升显著
2024-09-02 12:44:21
4608
原创 论文速览【LLM-agent】—— 【ReAct】Synergizing Reasoning and Acting in Language Models
本文介绍LLM-agent领域的经典方法ReAct，它将LLM的自然语言推理能力和动作生成能力结合，使其同时适用于各类NLP和控制任务，并起到1+1>2的效果
2024-08-30 21:37:01
2946
原创 论文理解【Vision Transformer】—— 【VIT】An Image is Worth 16x16 Words: Transformers for Image Recognition
本文介绍经典的 ViT 论文，它是第一个将 Transformer 模型有效应用到较大规模 CV 任务上的工作，并且保持了 Transformer 模型本身的 Scaling 能力，启发了很多后续工作
2024-08-30 21:07:59
4206
原创 论文速览【LLM-OR】 —— 【ORLM】Training Large Language Models for Optimization Modeling
LLM 有能力将自然语言描述的工业场景问题建模为数学运筹优化问题，然后通过写代码调用经典求解器的方式加以解决。本文提出的 ORLM 方法主要关注如何合成数据来训练或微调这种领域模型
2024-08-27 20:00:54
4240
2
原创 论文理解【CV-目标检测】——【YOLO-V1】You Only Look Once: Unified, Real-Time Object Detection
首先简介了CV领域的主流任务，然后对最重要的目标检测算法之一YOLO-V1进行了详细介绍
2024-08-07 20:55:33
1831
原创 论文理解【LLM】—— TinyStories: How Small Can Language Models Be and Still Speak Coherent English?
本文在儿童故事这个非常垂直的领域数据上训练小规模语言模型（SLM），发现其具有和 LLM 相似的性能，相关分析对于理解 LMs 的能力很有参考意义
2024-07-25 21:36:41
2499
1
通信协议.cpp
2019-08-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人