薛定e的猫咪-优快云博客

原创 2026 年 4 月实测：OpenAI Codex 保姆级教程，从安装到 MCP、Skills 与多智能体协作

Codex是一款由OpenAI开发的AI编程工具，能够深入项目上下文进行代码补全、修改和执行命令，而不仅仅是简单的聊天问答。它适合开发者用于理解陌生项目、中小规模开发、代码审查和工程化协作。安装Codex需要Node.js环境和Git基础，通过CLI、IDE插件或Codex App进行操作。核心功能包括项目初始化（/init）、代码审查（/review）和上下文管理（/compact）。Codex强调权限控制和审批机制，确保操作安全，并通过AGENTS.md文件规范项目约束。它支持多入口协作，包括命令行、I

2026-04-12 22:21:20 4733

原创万字长文详细解读扩散模型（diffusion model）从原理剖析、公式推导、Unet架构到代码实现

扩散模型通过逐步去噪实现高质量图像生成，其核心是噪声预测器学习训练数据的真实分布。在文本到图像任务中（如Stable Diffusion），模型结合文本编码器提供的语义条件指导生成过程。评估生成质量主要采用FID指标衡量图像分布相似度，以及CLIP模型验证图文匹配度。扩散模型通过正向加噪构造训练数据，反向去噪生成图像，其性能依赖于文本编码器的语义理解能力和噪声预测器的分布拟合效果。这种分步生成框架显著提升了生成图像的逼真度和语义一致性。

2025-11-24 11:30:54 24460 11

原创（AAMAS 2024）PRMORL：策略正则化离线 MORL，单网络适配任意偏好

这篇论文发表于AAMAS 2024（国际自主智能体与多智能体系统会议），由中山大学团队完成，是离线多目标强化学习（Offline MORL）领域的重要工作。它首次将单目标离线 RL 中成熟的「策略正则化」思路拓展到多目标场景，针对性解决了多目标离线数据特有的「偏好不一致演示」问题，并实现了单网络适配任意偏好、正则化权重动态自适应两大核心能力。

2026-10-25 15:47:44 87

原创刚续年费就被 Claude 封号？DHH 在用的 Tailscale，原理到底是什么

大家平时做内网穿透、搭虚拟局域网，核心诉求大多是在**外网安全访问家里的设备和自建服务**，不想在端口暴露、防火墙配置上折腾太多。今天聊的 **Tailscale**，经常被拿来和 **ZeroTier** 放在一起对比，这篇就从底层逻辑把它讲清楚，顺带澄清不少网上流传的误解，给踩坑的朋友提供排查思路。

2026-10-25 15:33:12 366

原创（ICLR 2026）DF-META：面向 FJSP 的无导数元学习实例自适应调度

这是一篇发表于ICLR 2026的组合优化 + 强化学习方向的论文，由山东大学、小米公司、埃因霍温理工大学等机构联合完成。论文针对柔性作业车间调度问题（FJSP）这类经典 NP-hard 问题，突破了现有深度强化学习调度方法 “重平均性能、轻单实例质量” 的局限，提出了无导数元学习框架（DF-META），同时解决了梯度类自适应方法易陷入局部最优、纯测试时自适应知识无法复用两大核心痛点，并通过 GPU 全并行化实现了效率与效果的双重提升。

2026-10-21 19:19:37 488

原创（ICLR 2020）MAML 靠的不是快速学习，而是特征复用

这是一篇发表于ICLR 2020的元学习领域经典论文，由 MIT、康奈尔大学、Google Brain、DeepMind 联合完成。它直击领域核心争议 ——MAML 算法的成功究竟源于快速学习能力还是特征复用，通过严谨的消融实验与表征分析推翻了主流认知，并衍生出更简洁高效的算法，对后续元学习研究产生了深远影响。

2026-10-21 19:19:21 334

原创 OpenAI 2017｜Evolution Strategies：进化策略作为强化学习的可扩展替代方案

这篇由 OpenAI 于 2017 年发表的论文是神经进化（Neuroevolution）领域的里程碑工作，它打破了当时 “深度强化学习只能基于梯度下降” 的主流认知，证明了进化策略（Evolution Strategies, ES）这类黑箱优化算法，不仅能在经典控制和 Atari 游戏上达到与主流 RL 算法相当的性能，更具备极强的并行扩展能力，可通过上千 CPU 核心实现数量级的训练加速。

2026-10-20 17:35:37 252

原创（KDD 2024）MTNCO：VRP 多任务神经组合优化，实现跨问题零样本泛化

神经组合优化（NCO）领域首个针对车辆路径问题（VRP）的跨问题零样本泛化研究，提出基于属性组合的多任务学习框架，用单个统一模型求解多种 VRP 变体。

2026-10-12 20:49:59 161

原创（AISTATS 2023）BaCaDI：未知干预下的贝叶斯因果发现

这是发表于AISTATS 2023的因果发现领域研究成果，由苏黎世联邦理工学院、马普所等机构联合提出。论文针对干预目标未知 + 样本量稀缺的真实场景，提出了首个全贝叶斯、端到端可微的因果发现框架 BaCaDI，通过连续松弛 + 粒子变分推断实现了因果结构、干预目标与机制参数的联合后验推断，在小样本场景下显著超越了现有方法。

2026-10-05 21:12:43 447

原创（AISTATS 2023）BaCaDI 逐章阅读

从实验数据中推断因果结构是众多领域的核心任务。然而，干预的作用靶点往往存在不确定性甚至完全未知，同时观测样本数量有限。这就导致传统的因果挖掘方法不再可靠。为解决该问题，本文提出一套贝叶斯框架 BaCaDI，用于挖掘并解读多类未知实验 / 干预条件下生成数据背后的因果结构。BaCaDI 具备完全可微的特性，能够借助高效的基于梯度的变分推断，同时对干预靶点与因果结构求解复杂的联合后验分布。

2026-10-05 20:58:49 359

原创拉格朗日对偶、KKT、Slater 条件，到底在说什么？

本文系统阐述了拉格朗日乘数法在约束优化中的核心作用。针对带约束的优化问题，通过引入拉格朗日函数将原问题转化为无约束形式，利用梯度为零条件求解。关键在于：最优解处目标函数梯度可由起作用约束的梯度线性表示，且满足互补松弛条件（$\lambda_i > 0 \Rightarrow g_i = 0$）。由此自然导出KKT条件与对偶理论，揭示了原问题与对偶问题之间的深刻联系，为机器学习中各类模型优化提供了统一的数学框架。

2026-09-29 14:52:21 326

原创 Pi Agent 手册：极简设计，极致高效的 AI 编程工具（插件、技能、WebUI 一站式配置）

Pi Agent 是一款轻量级命令行工具，专注于高效编程任务，仅内置4个基础文件与命令操作能力，上下文占用低至约1100 token，远优于同类产品。其极简设计让大模型发挥更优，支持通过插件扩展联网、子代理、计划模式等高级功能。基于Composio与DataBricks测试，性能领先，代码质量高。支持一键安装、Web UI可视化操作及容器化部署，灵活适配个人工作流，是定制化AI开发的理想选择。

2026-09-16 12:02:25 449

原创（ICML2025）RSM：重加权得分匹配打通扩散策略在线强化学习

这是发表于ICML 2025的强化学习 + 扩散模型方向的核心工作，由哈佛大学与佐治亚理工学院合作完成。论文针对扩散策略（Diffusion Policy）在在线强化学习（Online RL）中训练困难、计算成本高的核心痛点，提出了重加权得分匹配（Reweighted Score Matching, RSM）通用框架，衍生出两种高效实用的在线 RL 算法，在 MuJoCo 基准上实现了性能与效率的双重突破。

2026-09-14 15:51:58 231

原创（ICML2024）QSM：基于 Q 函数梯度对齐分数场的扩散模型离策略强化学习

论文提出Q-Score Matching（QSM）框架，将扩散模型与强化学习结合，通过让策略分数对齐Q函数梯度，实现高效、稳定的离策略优化。针对传统扩散策略梯度计算复杂、样本效率低的问题，QSM仅需单次前向传播，避免反向传播整个去噪链，显著提升训练稳定性与效率。理论基于连续时间SDE建模，建立动作演化与扩散过程的严格等价关系，支持多模态策略学习。实验验证其在机器人控制任务中优于现有方法，兼具理论深度与实际应用价值。

2026-09-14 08:00:00 521

原创（NeurIPS 2024）DACER ：解决扩散策略无法解析求熵，实现扩散 Actor‑Critic 在线 RL

本文提出DACER（Diffusion Actor-Critic with Entropy Regulator），首次将扩散模型直接作为在线强化学习的策略函数，突破传统行为克隆框架。通过可微逆扩散过程实现端到端策略优化，结合Q值梯度反向传播提升策略性能。针对扩散策略无法解析计算熵的问题，提出基于GMM的熵估计与自适应调节机制，有效平衡探索与利用。在连续控制任务中显著优于SAC、PPO等基准方法，实现NeurIPS 2024 SOTA性能。

2026-09-11 16:01:10 113

原创（IEEE Trans. Mob. Comput. 2026）扩散引导多目标强化学习：DDP‑MORL 混合离散动作

针对边缘协同AIGC中质量与能耗的多目标优化难题，本文提出DDP-MORL框架，融合去噪扩散模型（DDPM）与软演员-评论家（SAC），解决高维混合动作空间下的联合优化问题。通过连续松弛的扩散生成机制建模离散卸载与推理步数决策，并结合在线帕累托权重自适应实现多目标权衡。实验表明，该方法在保证生成质量的同时显著降低系统能耗，有效应对异构边缘环境中的复杂调度挑战。

2026-09-11 11:28:43 312

原创（Int. J. Prod. Res. 2025）DFJSP‑T：分层多智能体 DRL + 模仿学习调度方案

这篇论文发表于生产工程领域顶级期刊 International Journal of Production Research，聚焦带运输环节的动态柔性作业车间调度问题（DFJSP-T），提出了一套分层多智能体深度强化学习 + 模仿学习的求解框架，是智能制造调度领域结合 DRL 方法的代表性研究。

2026-09-05 12:35:43 385

原创（ICLR2026）DCAN：面向多目标柔性车间调度神经组合优化论文

论文聚焦多目标柔性作业车间调度问题（MOFJSP）这一工业界广泛存在的 NP-hard 难题，提出了基于分解的神经优化框架和双条件注意力网络（DCAN），将多目标问题通过加权和分解转化为带偏好权重的子问题，仅使用单个神经网络就可以适配任意目标偏好，避免为不同偏好重复训练模型。在大规模问题上实现了远超传统元启发式的性能与推理效率。

2026-09-03 12:38:41 356

原创（IEEE Transactions 2025）自适应元强化学习动态柔性作业车间调度框架

聚焦动态柔性作业车间调度问题（DFJSP），针对传统调度方法在动态生产场景下适应性差、泛化能力弱、重调度响应慢的核心痛点，提出了一套 “模块化通用框架 + 自适应 MDP 建模 + 元强化学习算法” 的完整解决方案。核心目标是实现对车间动态扰动的秒级响应，同时平衡完工时间与能耗两大生产目标，为现代离散制造的智能调度提供了新的技术路径。

2026-09-01 21:41:04 340

原创（ICLR 2026）RESCHED：基于极简状态与 Transformer 的柔性作业车间调度新框架

这篇发表于 ICLR 2026 的论文，针对深度强化学习（DRL）求解柔性作业车间调度问题（FJSP）时 “特征工程复杂、架构偏见强、泛化性不足” 的痛点，提出了极简状态表示 + 双分支 Transformer的 RESCHED 框架，在大幅简化建模的同时实现了性能与泛化能力的双重突破。

2026-09-01 19:53:38 425

原创 Agent 与 Harness 核心区别解析｜DeepSeek Harness 保姆级教程

DeepSeek Harness 凭借 Web 化架构、插件化生态、动态工作流、Agent 团队协作、全链路执行透明五大核心特性，在 AI 编程助手赛道走出了差异化路线。相比 Cursor 等成熟工具，它在自定义程度、跨设备访问、多工具协同上具备独特优势，尤其适合需要高度定制工作流、处理大型复杂代码库、进行团队式代码评审的开发者。同时，DeepSeek Harness 的迭代速度极快，伴随着 DeepSeek V4 Flash Vision 模型的发布，其多模态能力已得到大幅增强

2026-08-31 21:24:00 2232

原创替代Atlas！ChatGPT浏览器插件：高效搞定学习与办公工作

此前 OpenAI 正式下架了 AI 原生浏览器 Atlas，这款产品上线不到一年便宣告终止。而 OpenAI 带来了替代方案 —— 跨浏览器的 ChatGPT 浏览器插件，兼容 Chrome、Edge、Brave 等主流浏览器，原生接入 Codex 能力，相比 Atlas 实用性更强。本文结合实操演示，完整介绍这款插件的安装步骤、核心功能与真实使用场景。

2026-08-31 17:45:17 242

原创（AAAI 2026）CATAL ：因果解耦的离线元强化学习任务表征学习

<think>我们根据用户要求，根据内容生成≤150字的摘要。内容是关于论文CATAL的框架。需要提取关键点：提出CATAL框架，通过独立性、一致性约束和软干预指示器实现因果解耦任务表征，提升离线元强化学习跨任务泛化。注意篇幅限制，语言简洁。</think>针对离线元强化学习中的任务表征纠缠问题，提出CATAL框架，通过HSIC独立性约束、无监督软干预指示器与一致性约束，实现隐空间维度与因果因子一一对应，并结合重构目标保证信息完整性，显著提升多因素变化场景下的跨任务泛化能力。

2026-08-31 16:07:52 382

原创（AAAI 2024）MetaCARD：解耦上下文感知奖励动力学与任务不确定性反馈

元强化学习希望智能体借助少量轨迹快速适配新任务。但基于上下文的 Meta‑RL 普遍面临MDP 歧义难题：训练初期策略能力不足，采集到的轨迹是有偏的；上下文编码器从有偏轨迹中学习任务表征，容易混淆动力学变化和奖励函数变化。更关键的是，传统方法中任务推断模块和策略学习模块相互脱节，编码器只看轨迹预测准不准，不知道策略实际表现好坏。

2026-08-31 12:22:54 374

原创（NeurIPS 2022）GraphGPS：MPNN 与全局注意力的融合之道

针对现有图 Transformer 架构碎片化、缺少统一设计范式、二次方复杂度难以扩展到大图、位置 / 结构编码缺乏清晰分类体系的问题，提出一套通用模块化的图 Transformer 构建 “配方”；

2026-08-29 21:25:56 184

原创（NeurIPS 2021）MatNet：面向矩阵型关系数据的神经组合优化编码器

首次提出专门针对矩阵型关系数据的神经网络编码器 MatNet，填补了神经组合优化领域的空白，并在非对称旅行商问题（ATSP）、柔性流水车间调度问题（FFSP）上实现了深度学习方法的突破性进展，尤其在 FFSP 上性能全面超越传统运筹学方法。

2026-08-29 18:36:35 403

原创【源码解读版】ContraBAR：用 CPC 对比学习替代变分推断做贝叶斯元 RL

ContraBAR (Contrastive Bayes-Adaptive Reinforcement learning，对比贝叶斯自适应强化学习) 是一种元强化学习框架，它通过对比预测编码发现任务表示，并利用这些表示来条件化策略，从而在各种不同任务间实现快速适应。与重建过往经验（如 VariBAD 等变分方法）不同，ContraBAR 通过将当前信念状态与来自不同任务的负样本进行对比，学习区分智能体正面临哪个任务——从而为贝叶斯自适应深度强化学习提供了一种更具样本效率和可扩展性的方法。

2026-08-27 20:51:23 334

原创（源码解读版）变分推断、元学习与贝叶斯自适应强化学习 VariBAD源码解读

VariBAD（变分贝叶斯自适应深度强化学习）是一个元学习框架，它通过学习从经验中推断任务身份，训练智能体快速适应未知任务。该方法发表于 ICLR 2020，它将贝叶斯自适应马尔可夫决策过程（BAMDP）构建为一个变分推断问题：VAE 编码器将观测到的轨迹片段压缩为潜在的任务信念，解码器重建奖励和状态转移信号，而策略网络则以当前状态和学习到的潜在表示为条件，在不确定性下做出最优动作。整个系统——编码器、解码器和策略——在单个元训练循环中联合训练。

2026-08-27 12:55:00 362

原创（源码解读版）PEARL：概率上下文变量如何解决元 RL 样本效率难题

PEARL（通过概率上下文变量实现高效离策略元学习）是一种开创性的元强化学习算法，解决了现有元RL方法中的关键限制。本仓库包含PEARL的官方参考实现，在元RL基准测试中，相比先前方法实现了20-100倍的样本效率提升，同时提供了更优的渐近性能。

2026-08-27 11:38:02 158 1

原创【大模型量化】使用 llama.cpp 完成量化、本地推理与服务化部署

大模型时代，我们总在追求更大的参数规模、更强的算力硬件，但落到真实的工业场景里，成本与投入产出比永远是绕不开的命题。国内某团队过去外购的 LSR 引擎每年成本高达数千万，现在用纯 C/C++ 实现了一套 CPU 部署方案，在满足业务时效要求的前提下大幅降低了成本。 llama.cpp 这个项目的价值在于大模型不一定要堆 GPU，用更轻量、更高效的方式，同样能落地产生价值。这篇文章就带你完整上手 llama.cpp：从环境编译、本地交互推理，到服务化部署、模型量化，手把手走完轻量化大模型落地的全

2026-08-26 16:37:54 585

原创【大模型微调】LLaMA‑Factory 实现 Llama3‑8B 数据准备与微调

本文以 Llama3-8B-Chinese-Chat 为基座模型，基于 Llama Factory 框架完整复现指令微调（SFT）的全流程，覆盖环境准备、模型下载、数据构建、LoRA 微调、效果验证、权重合并、模型量化七大环节，并补充 llama.cpp 量化与部署方案，所有步骤均可按教程复现。

2026-08-26 14:57:40 773

原创（ICML 2019）PEARL：概率上下文变量如何解决元 RL 样本效率难题

本文解读的是 UC Berkeley 团队 2019 年发表的经典元强化学习论文 Efficient Off-Policy Meta-Reinforcement Learning via Probabilistic Context Variables，该工作提出的PEARL（Probabilistic Embeddings for Actor-Critic RL）是首个真正实现高样本效率的离策略元强化学习算法，将元训练的样本效率提升了 20~100 倍，同时显著优化了稀疏奖励场景下的快速适应能力。

2026-08-26 12:37:04 189

原创（ICML2023）ContraBAR：用 CPC 对比学习替代变分推断做贝叶斯元 RL

发表于ICML 2023，由以色列理工学院的 Era Choshen 与 Aviv Tamar 提出，核心贡献是将对比学习（Contrastive Learning）引入贝叶斯自适应元强化学习（Bayes-Adaptive Meta RL），用对比预测编码（CPC）替代传统的变分推断（VAE）来学习任务信念的充分统计量，既在理论上证明了方案的最优性依据，又在实践中解决了变分方法难以扩展到图像观测的核心痛点。

2026-08-26 11:16:22 609

原创（arXiv 2026）GLiBRL ：可学习基函数的深度贝叶斯元强化学习 ----待补充

本文由澳大利亚国立大学团队发表于 arXiv（2025 年 12 月首发，2026 年 5 月更新），是**深度贝叶斯强化学习（Deep BRL）** 领域的突破性工作，在元强化学习（Meta-RL）基准上取得了 SOTA 性能，同时提供了严谨的理论保证。

2026-08-24 19:07:11 417

原创（NeurIPS2025）Meta‑World+：针对Meta‑World V1/V2 奖励混乱，重建多任务 RL 公平基准

这篇论文发表于 **NeurIPS 2025 Datasets and Benchmarks 赛道**，由 Farama Foundation 联合谷歌 DeepMind、多伦多都会大学等机构共同完成。它针对机器人强化学习领域最主流的多任务 / 元学习基准 **Meta-World** 长期存在的版本混乱、结果不可比问题，完成了标准化重构与系统性实证分析，是强化学习基准领域的重要补全性工作。

2026-08-24 16:40:19 368

原创（ICLR 2020）从 BAMDP 到 VariBAD：单 Episode 内完成任务推断与探索的元 RL

本文是发表于 ICLR 2020 的经典工作，由牛津大学与微软研究院联合提出。论文首次将变分推断、元学习与贝叶斯自适应强化学习（Bayes-Adaptive RL）深度结合，提出了 variBAD（variational Bayes-Adaptive Deep RL）方法，在深度强化学习框架下实现了可扩展的近似贝叶斯最优探索，解决了未知环境中探索 - 利用平衡的核心难题。

2026-08-24 15:30:53 507

原创（ICLR 2026）PCD ：基于端到端条件扩散的离线多目标优化

本文提出帕累托条件扩散(PCD)框架，将离线多目标优化重构为端到端的条件扩散采样问题。PCD通过多目标重加权策略（基于支配数的分箱加权）强化模型对高质量样本的学习，并采用参考方向条件点生成机制在采样时实现帕累托前沿的多样外推。该方法摆脱了传统代理模型的依赖，在多个基准测试中展现出优越且稳定的性能。核心创新包括：1) 条件扩散架构直接建模目标向量与解的关系；2) 支配数加权的训练策略；3) 参考方向引导的条件采样机制。实验证明PCD在HV指标上显著优于现有方法，为离线多目标优化提供了新范式。

2026-08-22 19:09:55 361

原创（AAMAS 2023）GPI‑LS/GPI‑PD：基于广义策略改进优先级的样本高效多目标强化学习

传统 MORL 学习凸覆盖集 CCS 时采样效率极低，无理论指导的偏好 / 经验采样浪费大量环境交互；现有模型类 MORL 仅支持离散状态，无法处理连续高维任务。基于 GPI 提出两套有严格理论保证的优先级机制，融合得到首个适配连续状态 / 动作的模型基 MORL 算法 GPI-PD，同时完整证明收敛、单调改进、效用损失上界三大理论性质。

2026-08-20 18:29:26 322

原创（AAAI 2026）TORA ：离线多目标强化学习的推理时偏好对齐框架

论文摘要（149字）：本文提出TORA框架，革新了离线多目标强化学习（MORL）的训练范式。传统方法需在训练阶段预设偏好权重，导致泛化性差、维护成本高。TORA创新性地采用"训练一次，实时调整"模式：通过独立训练各目标的扩散规划模型，在推理时线性组合去噪分数生成符合任意偏好的轨迹。理论证明最优轨迹分数具有可分解性，支持模块化组合。实验表明，TORA在D4MORL和Bullet-Safety-Gym基准上匹配SOTA性能，同时具备无需重训即可适配新目标、动态调整偏好的工程优势，为真实场景中的多目标决策提供了

2026-08-19 19:08:50 317

原创（ICLR 2025）DIFFMORL ：基于偏好条件扩散模型的离线多目标强化学习

摘要：论文提出DIFFMORL框架，针对离线多目标强化学习（MORL）中分布外（OOD）偏好泛化差和模型表达能力不足的问题，结合扩散模型与Mixup数据增强技术。通过偏好条件扩散建模生成最优轨迹，并引入Mixup增强策略合成伪轨迹以提升泛化能力。实验在D4MORL基准上验证了其优越性，尤其在OOD场景下显著优于现有方法。核心创新包括独立偏好编码、加权回报引导及滚动规划机制，但扩散模型的迭代去噪过程导致较高延迟，未来可优化采样效率。

2026-08-19 17:18:26 852

docker-compose

docker-28.5.1 安装包

空空如也