多模态人工智能系统很可能成为我们日常生活中的普遍存在。使这些系统更具交互性的一个有希望的方法是将它们体现为物理和虚拟环境中的代理。目前，系统利用现有的基础模型作为创建具身代理的基本构建块。将代理嵌入到此类环境中，有利于模型处理和解释视觉和上下文数据的能力，这对创建更复杂且上下文感知的人工智能系统至关重要。例如，能够感知用户动作、人类行为、环境物体、音频表达和场景集体情感的系统，可以用于告知和指导代理在给定环境中的响应。

本文介绍了FaultExplainer，一个基于大型语言模型（LLM）的自然语言系统，用于故障检测、诊断和解释。该系统集成了主成分分析（PCA）和T2统计量，并结合过程描述，提供基于地面的故障解释。系统还提供了一个用于实时监控和用户友好交互的Web界面，并展示了在诊断未见过的故障时的合理性能。

本文提出了一种利用大型语言模型（LLM）的上下文知识检索（ICKR）能力来改进音素转换（G2P）系统的方法。该方法通过提供更丰富的语义信息来解决G2P映射中的歧义问题，并在Librig2p数据集上取得了显著的性能提升。

随着大型语言模型（LLMs）的快速发展，它们越来越多地被集成到移动设备中，以提供个性化辅助。这使得LLMs能够调用外部API函数来增强其性能。然而，数据稀缺、无效的问题格式化和灾难性遗忘等挑战阻碍了设备内LLM代理的发展。为了解决这些问题，我们提出了Alopex，一个框架，它使用Fox LLM启用精确的设备内函数调用。Alopex引入了一种基于逻辑的方法来生成高质量的训练数据，并采用了一种新颖的“描述-问题-输出”格式进行微调，减少了函数信息泄露的风险。

本文提出了一种新的评估动态主题模型（DTMs）的方法，该方法通过分析每个主题随时间变化的质量来填补现有量化措施的空白。此外，作者还提出了一个将主题质量与模型的时间一致性相结合的扩展。通过将所提出的措施应用于合成数据和现有DTMs的数据，并进行人类评估，结果表明所提出的措施与人类判断有很好的相关性。这些发现可能有助于识别变化中的主题，评估不同的DTMs，并指导未来在该领域的研究。

本文研究了中文拼写校正（CSC）任务，特别是针对拼音输入法（IME）产生的错误。作者首先介绍了一个包含40,000个标注句子的中文拼写校正数据集（CSCD-IME），这些句子来自新浪微博上的官方媒体帖子。接着，提出了一种通过模拟拼音输入法输入过程自动构建大规模、高质量的伪数据的新方法。通过一系列分析和实验，展示了拼音IME产生的拼写错误在拼音层面和语义层面具有特定的分布，并且足够具有挑战性。同时，提出的伪数据构建方法能够更好地适应这种错误分布，并提高CSC系统的性能。

本文提出了一种新的视角，将大型语言模型（LLMs）在检索增强生成（RAG）中的作用视为“信息精炼器”。这意味着无论检索到的文本的正确性、完整性或有用性如何，LLMs都能持续地整合检索文本和模型参数中的知识，生成比检索文本更简洁、准确和完整的文本。为此，我们提出了一种名为INFO-RAG的信息精细化训练方法，以无监督的方式优化LLMs在RAG中的表现。INFO-RAG成本低且适用于多种任务。

本文介绍了一种名为LaTent Reasoning Optimization（LaTRO）的框架，旨在通过变分方法优化大型语言模型（LLMs）的推理能力。LaTRO通过将推理过程视为从潜在分布中采样，并自我奖励的方式来优化，使得LLMs能够在不需要外部反馈或奖励模型的情况下，同时提高推理过程和评估推理质量的能力。通过在GSM8K和ARC-Challenge数据集上的实验，LaTRO在多个模型架构上显示出显著的性能提升，证明了预训练LLMs具有可以通过LaTRO优化方法解锁和增强的潜在推理能力。

本文介绍了TradeExpert，这是一个创新的框架，它采用混合专家（MoE）方法，通过四个专门化的LLMs来分析不同的金融数据源，包括新闻文章、市场数据、阿尔法因子和基本面数据。这些专家LLMs的洞察力进一步由一个通用专家LLM综合，以做出最终的预测或决策。TradeExpert能够在预测模式和排名模式之间切换，分别用于股票运动预测和量化股票交易。此外，我们还发布了一个大规模的金融数据集，以全面评估TradeExpert的有效性。实验结果表明，TradeExpert在所有交易场景中都展现出卓越的性能。

本文讨论了如何将大型语言模型（LLMs）整合到医疗应用中，并提出了一个全面的框架来开发这些应用。文章回顾了现有文献，概述了在专业医疗环境中应用LLMs的独特挑战，并提出了一个三步框架来组织医疗LLM研究活动：建模、优化和系统工程。

本文探讨了大语言模型（LLMs）在制造业中的集成应用，重点讨论了它们在自动化和增强制造各个方面的潜力，包括产品设计、开发、质量控制、供应链优化和人才管理。通过在多个制造任务中的广泛评估，展示了像GPT-4V这样的最先进LLMs在理解和执行复杂指令、从大量数据中提取宝贵见解以及促进知识共享方面的能力。文章还深入探讨了LLMs在重塑制造教育、自动化编码过程、增强机器人控制系统以及通过工业元宇宙创建沉浸式、数据丰富的虚拟环境方面的变革潜力。

本文介绍了BitDistiller，这是一个通过结合量化感知训练（QAT）和知识蒸馏（KD）来提升超低精度（亚4比特）大型语言模型（LLMs）性能的框架。BitDistiller首先采用定制的非对称量化和裁剪技术来尽可能保持量化权重的保真度，然后提出了一种新颖的基于置信度的Kullback-Leibler散度（CAKLD）目标，用于自蒸馏，以实现更快的收敛和更优的模型性能。实验评估表明，BitDistiller在3比特和2比特配置下，无论是在通用语言理解还是复杂推理基准测试中，都显著超越了现有方法。

本文探讨了大型语言模型（LLMs）在数学推理方面的挑战，并提出了一种新颖的方法——逐步引导推理（Step Guidance Reasoning, SGR），以提高LLMs的数学推理能力。SGR方法通过在推理阶段引入反思过程，使LLMs能够从一步推理有效地引导到下一步。该方法在AMC23数据集上的准确率从30%提高到57.5%，在MATH数据集的5级问题上相对准确率提高了55.8%，从43%提高到67%。SGR方法不依赖于进一步的模型微调，而是在推理过程中定义了“步骤”的概念。

本文探讨了在广告和互联网迷因（meme）中常见的隐喻检测问题。由于互联网迷因的自由形式，导致缺乏高质量的文本数据。隐喻检测需要对文本和视觉元素进行深入解读，并需要大量的常识知识，这对语言模型构成了挑战。为了应对这些挑战，作者提出了一个紧凑的框架C4MMD，该框架利用思维链（Chain-of-Thought, CoT）方法进行多模态隐喻检测。具体来说，该方法设计了一个三步过程，灵感来自CoT，从多模态大型语言模型（MLLMs）中提取并整合知识到较小的模型中。

本文提出了一种新的翻译任务范式“GenTranslate”，它基于大型语言模型（LLMs）来从N-best列表中生成更好的翻译结果。该范式利用LLMs丰富的语言知识和强大的推理能力，整合N-best候选信息以产生更高质量的翻译结果。此外，为了支持LLMs的微调，作者构建并发布了一个包含超过592K个N-best假设-翻译对的HypoTranslate数据集，涵盖11种语言。

本文介绍了PrivLM-Bench，一个用于量化语言模型（LMs）隐私泄露的多角度隐私评估基准。与仅报告差分隐私（DP）参数不同，PrivLM-Bench关注实际使用中的推理数据隐私。该基准首先明确定义了多方面的隐私目标，构建了一个统一的私有微调流程，并通过预定义的隐私目标对现有的隐私攻击进行了实证评估。实验结果用于公平直观地评估各种隐私保护语言模型（PPLMs）的隐私泄露。通过在GLUE数据集上的主流LMs上进行广泛实验，发现当前的隐私攻击比防御机制预期的攻击者能力要弱得多。

随着大型语言模型（LLMs）在文本生成方面的能力愈发接近人类水平，区分机器生成文本和人类撰写文本变得尤为重要。这项研究构建了一个大规模的现实测试平台，通过收集不同领域人类撰写的文本和由多种LLMs生成的深度伪造文本，探讨了深度伪造文本检测的挑战。研究发现，人类标注者在识别机器生成文本方面仅略优于随机猜测，而自动化检测方法在现实测试平台上面临挑战。此外，研究还发现，预训练语言模型（PLM）在所有测试平台上均获得了最高的性能，但在面对未见领域或新模型集生成的文本时性能下降。

这篇论文探讨了大型语言模型（LLMs）在进行“机器卸载”（machine unlearning）操作后，是否真的能够忘记不需要的知识。作者发现，通过对经过卸载处理的模型应用量化（quantization）技术，可以恢复那些被“忘记”的信息。研究通过多种量化技术和不同精度级别的实验，评估了这一现象。结果显示，在全精度下，卸载模型平均保留了21%的被意图遗忘的知识，而在4位量化后，这一比例显著增加到83%。基于实验结果，论文提供了理论解释，并提出了一种量化鲁棒的卸载策略，旨在缓解这一复杂问题。

本文提出了一种新颖的无监督多模态聚类方法（UMC），旨在通过整合文本、视频和音频等多种模态信息来发现多模态话语中的复杂语义。UMC通过构建多模态数据的增强视图进行预训练，以建立良好的初始化表示，用于后续的聚类。该方法还提出了一种创新策略，动态选择高质量样本作为表示学习的指导，并自动确定每个聚类中top-K参数的最优值以优化样本选择。实验结果表明，UMC在多模态意图和对话行为数据集上相较于现有方法有2-6%的聚类指标显著提升。

实时评论，也称为Danmu，是与视频内容同步的用户生成消息。这些评论直接叠加在流媒体视频上，实时捕捉观众情绪和反应。尽管先前的工作已经利用实时评论进行情感分析，但由于不同视频平台上实时评论的相对稀缺性，其使用受到限制。为了解决这个问题，本期论文介绍一篇工作，通过构建一个包含英语和中文视频的实时评论用于情感分析（LCAffect）数据集，这些视频涵盖了多样的类型，激发了广泛的情绪。

本文研究了图上的节点分类问题，特别是面对类别不平衡的挑战。尽管已有多种数据中心的解决方案被提出，但它们并没有专注于文本属性图(TAGs)，因而忽视了利用文本特征中的丰富语义来提升少数类别节点分类的潜力。鉴于此，作者探索了利用大型语言模型(LLMs)在文本空间增强图数据的可能性，提出了一种新颖的方法LA-TAG（基于LLM的文本属性图数据增强），该方法通过提示LLM生成基于图现有节点文本的合成文本。此外，为了将这些合成的文本属性节点整合到图中，引入了一个基于文本的链接预测器来连接合成节点与现有节点。

本文探讨了大型语言模型（LLMs）在编程任务中的应用，特别是代码语言模型（CodeLLMs）。CodeLLMs不仅能辅助完成各种编程任务，还能体现LLMs的决策和逻辑推理能力。然而，当前的CodeLLMs主要关注预训练和监督式微调场景，而对训练后模型的对齐阶段关注不足。本研究首先指出，常用的PPO算法可能不是对CodeLLMs进行对齐的最优选择，因为涉及的奖励规则通常是粗粒度且可能存在缺陷。我们提倡使用DPO算法来解决这一问题。

在本期计算机前沿技术进展研究介绍中，我们将带来一篇用大语言模型进行诺贝尔文学作品分析的论文。虽然有一定趁最近诺贝尔奖热潮的意味，但是这也探索了人文学科中人类与人工智能合作的潜力，为文学研究及其它领域开辟了新的机会。其他几篇文章则是对大语言模型能力优化的探索，值得一读。

本文提出了一种新的方法，名为直接排名偏好优化（Direct Ranking Preference Optimization, DRPO），用于改善大型语言模型（LLMs）与人类偏好的对齐。通过将人类偏好对齐问题视为学习排名（Learning-to-Rank, LTR）任务，并利用排序网络和不同的排序策略，DRPO能够在考虑偏好数据的基础上优化响应的排名。

本文综述了视觉语言模型（VLMs）在遥感领域的应用，包括基础理论、为VLMs构建的数据集、处理的任务，以及根据VLMs的核心组件分类的改进方法。文章首先回顾了VLM的相关理论，总结了遥感中VLM数据集的构建和任务，最后对改进方法进行了分类介绍和比较。本文探讨了大型语言模型（LLMs）在作为旅行规划助手时可能存在的性别和种族偏见。通过分析三个开源LLMs生成的旅行建议，研究发现这些模型在不同人群的互动中存在显著差异，表明LLMs在与不同子群体互动时存在差异。

这篇论文探讨了大型语言模型（LLMs）在实际应用中的局限性，如知识更新不及时和产生幻觉（hallucination）等问题。为了缓解这些问题，研究者们提出了一种名为检索增强生成（RAG）的技术。然而，现有的研究主要集中在提高RAG的准确性或效率上，对其安全性的探索较少。本文提出了一种名为PoisonedRAG的知识腐败攻击，通过在RAG系统的知识数据库中注入恶意文本，诱导LLM生成攻击者选择的目标答案。研究者们将这个问题形式化为一个优化问题，并根据攻击者对RAG系统的背景知识，提出了两种解决方案。

本文研究了大型语言模型（LLMs）在训练过程中的token级动态，特别是权重衰减对不同频率token性能的影响。研究发现，随着权重衰减的增加，模型对低频token的性能影响更大，这在大多数语言中构成了词汇的绝大多数。这一发现对于确保所有可用token的公平性至关重要，需要开发新的正则化技术。本文提出了一种新的结构性剪枝方法，用于压缩大型语言模型（LLMs），而不需要额外的后处理步骤。

本文介绍了一种新的解释方法FLARE（Faithful Logic-Aided Reasoning and Exploration），它通过任务分解来遍历问题空间。FLARE利用大型语言模型（LLM）规划解决方案，将查询软形式化成事实和谓词，并使用逻辑编程代码，通过定义空间内的多跳搜索来模拟代码执行。该方法允许计算推理过程相对于生成代码的忠实度，并在不依赖外部求解器的情况下分析多跳搜索的步骤。FLARE在9个不同的推理基准测试中的7个上实现了最先进的结果，并展示了模型忠实度与整体性能的正相关性。

本文探讨了大型语言模型（LLMs）在生成类人文本和表现出与人类相似的个性特征方面的显著能力。然而，LLMs如何编码和表达诸如宜人性和冲动性等特征的机制仍不清楚。基于社会决定论理论，研究了长期背景因素（如家庭环境和文化规范）与短期压力（如外部指令）如何相互作用，塑造和影响LLMs的个性特征。通过在模型内部使用可解释的特征来引导LLMs的输出，探索了这些背景和压力因素如何在不需要进一步微调的情况下导致模型特征的变化。此外，从个性的角度提出了这些因素对模型安全性的潜在影响。

本文研究了基于大型语言模型（LLM）的聊天机器人在处理错误信息提示和包含人口统计学信息的问题时的行为和表现。研究聚焦于气候变化和心理健康领域，通过定量和定性方法评估聊天机器人辨别陈述真实性、坚持事实以及其回应中存在的偏见或错误信息的能力。定量分析显示，聊天机器人在回答封闭式问题时能够给出正确答案，但定性分析揭示了隐私、伦理问题以及聊天机器人在将用户引导至专业服务方面仍存在担忧。

这篇论文介绍了Wason Inductive Logic Test (WILT)，这是一个多轮次、抗记忆的大型语言模型（LLMs）归纳逻辑测试基准。WILT旨在评估LLMs在多轮次推理任务中的表现，这些任务需要模型在多个回合中收集证据并得出逻辑结论。研究者发现，尽管LLMs在单轮次任务中表现出色，但在需要多轮次推理的场景中，它们的表现往往不尽如人意。WILT通过要求模型提出测试案例来缩小可能的假设空间，并最终推断出隐藏的函数，从而测试LLMs的多轮次推理能力。计算机前沿进展，深度学习，大模型，LLM。

本研究提出了一个自动化框架，利用大型语言模型（LLM）和自然语言处理技术从广泛的文献中挖掘健康社会决定因素（SDoH）知识，并将其与通用知识图谱PrimeKG中提取的与阿尔茨海默病（AD）相关的生物实体整合。通过图神经网络进行链接预测任务，评估了增强型SDoH知识图谱的结果。该框架显示出在增强AD知识发现方面的潜力，并且可以推广到其他与SDoH相关的研究领域。

本文介绍了一种新的人工智能代理架构，该架构模仿人类的快速和慢速思考系统。通过将代理分为两个部分——快速直观的“说话者”代理和慢速、逻辑性强的“推理者”代理——来提高代理的对话和推理能力。这种架构具有模块化和降低延迟的优势，特别适合于需要多步推理和规划的场景。

本文研究了大型语言模型（LLMs）是否能够在没有参考翻译的情况下，作为用户生成内容（UGC）机器翻译的情感表达状态最先进的质量估计器。研究者使用了一个与情感相关的数据集，该数据集包含了人类注释的错误，并基于多维质量指标（MQM）计算了质量评估分数。通过比较几种LLMs与微调基线模型的准确性，研究发现参数高效微调（PEFT）的LLMs在分数预测方面表现更好，并且具有人类可解释的解释。然而，对LLMs输出的手动分析显示，它们在评估UGC的机器翻译时仍然存在拒绝回复提示和输出不稳定等问题。

本研究对领先的大型语言模型和视觉语言模型在韦氏成人智力量表（WAIS-IV）上的表现进行了基准测试，该量表是评估人类认知和智力能力的全面、基于人群标准化的评估工具。研究重点关注了言语理解（VCI）、工作记忆（WMI）和知觉推理（PRI）三个领域。大多数模型在存储、检索和操纵符号（如任意字母和数字序列）方面表现出色，工作记忆指数（WMI）的表现达到或超过人类99.5百分位。然而，多模态模型在知觉推理指数（PRI）上的表现普遍较差，显示出对视觉信息的解释和推理能力存在显著缺陷。

本文展示了基于变换器的语言模型的自回归解码能够实现通用计算，无需外部干预或修改模型权重。研究者通过考虑语言模型如何处理任意长输入的有界上下文来证明这一结果。他们提出了一种自回归解码的泛化，其中在处理每个连续的上下文后，发出的标记被附加到序列末尾。通过这种方式，研究者证明了一个通用图灵机可以通过一个具有2027个产生规则的Lag系统来模拟，并且现有的大型语言模型可以在确定性（贪婪）解码下模拟这种行为。

本文提出了一种名为SELF-PARAM（Self-Updatable Large Language Models with Parameter Integration）的新方法，旨在解决大型语言模型（LLMs）在快速且频繁地整合小规模经验时面临的挑战。该方法不需要额外的参数，同时确保了近乎最佳的效率和长期记忆能力。通过最小化原始模型（有上下文信息）和目标模型（无上下文信息）预测之间的Kullback-Leibler (KL) 散度，本文的方法能够在不需要外部存储的情况下，将知识直接嵌入到模型参数中。

本文针对多模态生成模型在实际系统上的推理性能进行了深入分析，识别了系统设计和优化的关键机会。多模态生成模型在理解并响应多种模态方面具有革命性的能力，但这些高级功能通常需要显著的系统资源。为了在全球范围内将生成性AI能力扩展到数十亿用户，推理过程必须快速且高效。文章通过特征化一系列新兴的多模态生成模型，指出了关键的系统设计和优化机会，并展示了从应用到系统软件和硬件的最新优化方法，可将推理性能提高3.88倍。本文探讨了生成式人工智能技术，特别是大型语言模型（LLMs），在建筑行业的变革潜力。

本文研究了人类认知中的固有偏见（例如损失厌恶、框架效应和合取谬误）是否体现在GPT-4o在概率场景中的判断和决策中。通过在九种认知偏见上进行1350次实验，并分析统计与启发式推理的回答，我们展示了GPT-4o在回应具有相似底层概率表示的提示时的矛盾方法。研究结果还揭示了AI的表现参差不齐，它既展示了类似人类的启发式错误，也做出了统计上合理的决策，尽管它经历了相同提示的相同迭代。

本文探索了通过集成求解器生成的反馈来增强大型语言模型（LLMs）在解决经典机器人规划任务中的表现的方法。研究了四种不同的反馈策略，包括视觉反馈，并利用微调技术，评估了三种不同的LLMs在10个标准和100个随机生成的规划问题上的表现。结果表明，求解器生成的反馈提高了LLMs解决中等难度问题的能力，但更难的问题仍然难以解决。研究详细分析了不同提示策略的效果以及评估的LLMs的不同规划倾向。近期研究探索了使用大型语言模型（LLMs）来处理复杂的图形推理任务。