haimianxiaobao11的博客

本文探讨了机器学习算法中的信用归属问题，提出了新的定义——差分隐私的放松，旨在削弱对指定子集𝑘数据点的稳定性保证。这些数据点可以在获得所有者许可的情况下非稳定使用，可能以补偿的方式进行。同时，剩余的数据点对算法输出没有显著影响。该框架扩展了包括差分隐私、使用公共数据的差分隐私学习和稳定样本压缩等已研究的稳定性概念。文章还在PAC学习框架内考察了这些稳定性概念的表达能力，全面刻画了遵循这些原则的算法的可学习性，并提出了未来研究的方向和问题。

本文提出了一种新颖的框架C-JEPA（对比-JEPA），旨在将联合嵌入预测架构（JEPA）与方差-不变性-协方差正则化（VICReg）策略相结合，以解决JEPA在无监督视觉表征学习中的两个主要局限性：I-JEPA中的指数移动平均（EMA）在防止模型崩溃方面的无效性，以及I-JEPA预测机制在准确学习补丁表示均值方面的不足。通过理论和实证评估，C-JEPA显著提高了视觉表征学习的稳定性和质量。

本文探讨了如何使用最佳-n（BoN）采样将大型语言模型（LLMs）的输出与人类偏好对齐的问题。BoN采样通过抽取n个样本并对其进行排名，返回最佳样本。研究主要集中在两个问题上：一是BoN与其他对齐方法（如RLHF或DPO）之间的关系，二是如何有效地训练LLM以模拟BoN采样分布。研究表明，BoN分布在最大化胜率的同时，最小化与基础模型的KL散度，是一种有效的对齐策略。

本文探讨了人类的视觉搜索能力如何影响目标跟踪的效率和准确性，提出了一种新型跟踪器CPDTrack，旨在模仿人类的视觉搜索能力。研究基于中心-边缘二分法（CPD）理论，强调人类在复杂环境中处理视觉信息的能力。CPDTrack通过利用视频的时空连续性来增强局部化精度，并通过周边视觉提高全局感知能力，从而在面对时空不连续性（STDChallenge）时表现出色。此外，本文还创建了STDChallenge基准，以评估跟踪器在视觉搜索能力方面的表现，并与人类基线进行比较。

本文探讨了掩码语言模型（如DeBERTa）在上下文学习中的生成能力，挑战了传统上将上下文学习与因果语言模型（如GPT）相关联的观点。通过一种简单的推理技术，DeBERTa能够在无需额外训练或架构更改的情况下执行生成任务。研究表明，掩码语言模型和因果语言模型在不同任务类别上表现出明显的互补优势，提示我们在上下文学习的研究中不应仅关注因果模型。本文的发现为结合两种模型的优势提供了新的思路，指向了未来可能的混合方法。

本文探讨了学习率预热（Learning Rate Warmup）在神经网络训练中的作用，尤其是在大批量训练时的必要性。学习率预热是一种常用的启发式方法，通过在训练初期使用较低的学习率来减小更新大小，从而稳定训练过程。研究表明，预热有助于抵消初期的较大更新，并且可以通过修改优化器来显著减少或消除对预热的需求。作者分析了不同的更新大小度量标准，包括ℓ-范数和方向变化，提出了新的视角来理解预热的必要性。最终，研究表明，通过优化器的简单修改，可以有效控制更新大小，从而减少对学习率预热的依赖。

本文提出了一种端到端的图注意力网络哈希方法（EGATH），旨在解决跨模态检索中的特征表示和语义关联不足的问题。EGATH能够直接捕获图像与文本之间的语义关联，并匹配不同模态之间的语义内容。通过结合对比语言图像预训练（CLIP）和Transformer，EGATH提高了不同数据模态间的语义一致性理解和泛化能力。该方法采用图注意力网络（GAT）作为分类器，以增强跨模态特征表示，并通过优化策略和损失函数构建哈希码，以保留语义信息和紧凑性。

本文提出了AlchemistCoder，一个系列的代码大型语言模型（Code LLM），旨在通过多源数据的后见调优来增强代码生成和泛化能力。以往的代码LLM通常在单一来源的数据上进行微调，导致其性能和多样性受到限制。为了解决这一问题，AlchemistCoder揭示了多源代码语料库中不同风格和质量之间的内在冲突，并引入了数据特定的提示（AlchemistPrompts）来协调不同数据源和指令-响应对。此外，研究还将数据构建过程纳入微调数据，设计了包括指令演化、数据过滤和代码审查在内的代码理解任务。

本文提出了一种新的求解器AdjointDEIS，旨在高效计算扩散模型的梯度。扩散模型通过逐步去噪的方式生成样本，但传统的反向传播方法在内存和计算上都存在挑战。AdjointDEIS通过引入定制的常微分方程（ODE）求解器，简化了扩散模型的连续伴随方程，并提供了收敛性保证。研究表明，扩散SDE的连续伴随方程可以简化为简单的ODE，从而提高了计算效率。最后，AdjointDEIS在引导生成任务中表现出色，尤其是在面对对抗性攻击时的应用，如人脸变形问题。

以下插件排序按照星标量进行排序，常用的插件大概是前20的样子，可以根据自己的需求进行插件的安装。顺带提一句，插件不是越多越好，装多了可能会出现软件卡顿的情况。插件版本：1.2.9一款手机、平板、电脑全平台同步阅读、翻译文献的工具，界面简洁直观，提供逐段对照的全文翻译，在遇到引用文献时还能直接查看摘要，一键添加到自己的阅读列表。可以直接从知网、谷歌学术等抓取参考文献信息，并下载pdf保存在zotero的文献库中；zotero可以自动生成reference.bib文件，并且可以保持与文献库内容的同步更新。