ZONGDAOFU的专栏

历经三十年的努力，数学家已经成功证明了一个名为「朗兰兹纲领（Langlands program）」的宏大数学愿景的主要部分。

找到RAG最佳实践》：来自复旦团队的工作，对现有的RAG方法进行了广泛的实验和分析，试图找出最有效的实践方式。他们尝试了不同的查询分类、文档检索、重排、重组、摘要等策略，并对每种策略的效果进行了评估。2、检索模式：采用混合检索方法，结合了基于BM25的稀疏检索和基于LLM-Embedder的密集检索，以及HyDE技术，以提高检索的相关性。3、重排：使用模型（如monoT5、monoBERT、RankLLaMA）对检索到的文档进行重排，以确保与查询更相关的文档排在前面。

二是纯解码器架构的内在位置偏差。为此，他们提出了一种新颖的随机获取策略——贝叶斯主动学习器偏好建模（BAL-PM），它不仅能根据偏好模型锁定认识不确定性高的点，还能在所采用的 LLM 所跨的特征空间中寻求获取的提示分布熵的最大化。一个突出的结果是，使用一对 1.5 亿参数的辅助模型选择 CoLoR-Filter 数据，可以训练一个 1.2b 参数的目标模型，使其与在 25b 随机选择的 token 上训练的 1.2b 参数模型相匹配，而 Books 的数据要少 25 倍，下游任务的数据要少 11 倍。

本文的核心目标是开发一个**通用世界模型**（General World Model），这是一个理论上的框架，能够整合广泛的知识和技能，以理解和预测世界的状态变化。论文《Pandora: 朝着结合自然语言动作与视频状态的通用世界模型发展》探索了构建一个高度集成的AI系统，旨在理解自然语言指令并在视频所代表的视觉环境中执行相应操作，从而推进对复杂动态场景的建模与预测能力。- **强化学习与交互**：可能采用强化学习方法，让AI通过与环境的交互学习最佳行为策略，逐步优化其对指令的理解和执行能力。

通过基于树搜索的强化学习，ReST-MCTS* 规避了通常用于训练过程奖励的每一步人工标注：在给定特定任务正确答案的情况下，ReST-MCTS* 能够通过估计该步骤帮助得出正确答案的概率，推断出正确的过程奖励。然而，这些进步还不能满足现实世界应用的需求，比如用于长期决策的智能体、深入的电影评论和讨论以及现场体育评论，所有这些应用都需要理解长达数小时的长视频。由于相机的移动也可以看作是一种由视角变化引起的像素重新排列，因此，如果视频中的噪声潜像发生相应的变化，就可以根据特定的相机移动对视频进行重组。

3. 通用化的自回归框架：论文进一步将标准自回归模型和掩码生成模型统一到一个广义自回归框架下，展示了一种名为掩码自回归（Masked Autoregressive, MAR）的模型，它能够在随机顺序的同时预测多个输出token，保持了“基于已知预测下一个token”的自回归本质，且能无缝集成扩散损失。综上所述，这篇论文在图像生成领域提出了一个重要的创新，即通过在连续值域内直接建模自回归模型的token概率分布，有效绕过了向量量化的限制，为生成高质量图像提供了一个新的视角和方法论。