c_cpp_csharp的专栏

核心背景与定义虚拟细胞：指在计算机中模拟细胞结构、功能与动态变化的计算系统，可加速药物研发、实现个性化医疗，但传统建模受限于知识不全与数据稀疏。LLMs的价值：凭借大规模数据处理能力，可直接学习核苷酸、转录组等生物数据特征，解决传统虚拟细胞建模的瓶颈，成为当前研究核心驱动力。LLMs应用的两大核心范式LLMs作为“预言机（Oracle）”：直接建模细胞内部状态与动态，无需依赖外部工具。包括6类应用方向，具体如下表：| 应用方向 | 核心任务 | 代表模型 |

大型语言模型（LLMs）的开发通常遵循“大规模预训练+任务特定微调”的流程。近期研究进展凸显了“中期训练”这一中间阶段的重要性——在此阶段，模型会经历多轮“退火式”训练，优化数据质量、调整优化调度策略并扩展上下文长度。该阶段可缓解噪声 tokens 导致的收益递减问题、稳定收敛过程，并在训练后期拓展模型能力。其有效性可通过梯度噪声规模、信息瓶颈与课程学习三大理论解释，这些理论共同促进模型的泛化能力与抽象能力提升。尽管中期训练已被广泛应用于最先进的LLM系统，但目前尚无研究将其作为统一范式进行综述。

该文章是一篇关于大型语言模型（LLMs）幻觉问题的综述，系统梳理了幻觉的定义、类型、成因、检测与缓解方法，同时分析了现有基准数据集、评估指标及未来挑战，为提升LLMs的真实性和可信度提供了全面参考。大型语言模型（LLMs）彻底改变了自然语言处理领域，在各类任务中展现出卓越性能。然而，其出色的流畅性往往伴随着生成虚假或编造信息的代价，这种现象被称为“幻觉”。幻觉指LLM生成的内容虽流畅且语法正确，但事实不准确或缺乏外部证据支持。幻觉会损害LLMs的可靠性和可信度，在需要事实准确性的领域（如医疗、法律）中问题尤

本文综述了强化学习（RL）在大型语言模型（LLMs）推理能力提升中的最新进展。RL在拓展LLM能力边界方面取得了显著成功，尤其在解决数学、编码等复杂逻辑任务中表现突出，已成为将LLMs转化为大型推理模型（LRMs）的基础方法。随着该领域的快速发展，RL在LRMs中的规模化应用目前不仅面临计算资源的基础挑战，还受制于算法设计、训练数据与基础设施等多重限制。鉴于此，当前亟需回顾该领域的发展历程、重新评估其演进轨迹，并探索提升RL可扩展性以迈向通用人工智能（ASI）的策略。

智能体强化学习（Agentic RL）的出现，标志着从应用于大型语言模型（LLMs）的传统强化学习（LLM RL）向新范式的转变。它将LLMs从被动的序列生成器，重新定义为嵌入复杂、动态环境中的自主决策智能体。本综述通过对比LLM RL的退化单步马尔可夫决策过程（MDPs）与定义Agentic RL的时间扩展型部分可观测马尔可夫决策过程（POMDPs），正式确立了这一概念转变。在此基础上，我们提出了一套全面的双重分类法：一种分类法围绕核心智能体能力构建，包括规划、工具使用、记忆、推理、自我提升和感知；

核心分类框架：从两个正交维度对LLM推理现有方法分类机制维度（Regimes）：依据推理实现的阶段划分，涵盖推理时（inference time）实现推理的方法，以及通过专门训练（dedicated training）实现推理的方法。架构维度（Architectures）：根据推理过程涉及的组件区分，一类是独立的大型语言模型（standalone LLMs），另一类是智能体复合系统（agentic compound systems），这类系统融入了外部工具和多智能体协作机制。关键分析视角。

基于Transformer的模型的快速发展重塑了无人车（UAV）系统的格局，通过提升感知、决策与自主能力，为该领域带来变革。本文系统分类并评估了应用于无人车的Transformer架构最新进展，包括注意力机制、CNN-Transformer混合模型、强化学习Transformer以及大型语言模型（LLM）。与以往综述不同，本文提出了统一的基于Transformer的无人车模型分类体系，重点强调了精准农业、自主导航等新兴应用场景，并通过结构化表格与性能基准进行对比分析。

背景与问题：LLMs存在两大局限——知识幻觉（因知识静态存储）和复杂推理能力弱。为此，研究形成两大方向：RAG（提供外部知识）和推理增强方法，但早期两者多为单向增强，存在检索适配性不足、推理深度有限、系统适应性差等问题。三大框架分类推理增强RAG（Reasoning-Enhanced RAG）：利用推理优化RAG的检索、整合、生成全流程（如推理感知的查询重构、证据融合、生成时的事实验证）。RAG增强推理（RAG-Enhanced Reasoning）

上下文工程的定义与意义：指出LLMs的性能本质上由推理时提供的上下文信息决定，上下文工程超越了简单的提示设计，是对LLMs信息 payload（信息负载）进行系统优化的正式学科，旨在解决LLMs的固有局限（如上下文长度约束、幻觉问题等），提升性能、优化资源利用。核心分类框架基础组件（Foundational Components）

大语言模型助手（LLM-assistants）为软件工程领域带来了变革性机遇。开发者正越来越多地在编码、测试、调试、文档编写和设计等任务中采用这些工具。然而，尽管关注度日益提升，目前尚无关于LLM助手如何影响软件开发者生产力的综合分析。本文对2014年1月至2024年12月期间发表的37篇同行评审研究进行了系统文献综述，以探讨这一影响。我们的分析表明，LLM助手既带来显著收益，也存在关键风险。常见的收益包括减少代码搜索、加速开发流程以及自动化琐碎重复任务。

同行评审是科学研究的基础，但日益增长的出版物数量加剧了这一依赖专业知识的过程的挑战。尽管大型语言模型（LLMs）在多种科学任务中展现出潜力，但其在辅助同行评审（尤其是识别论文局限性）方面的潜力仍未得到充分研究。本文首先提出了一个科学研究（重点是AI领域）局限性类型的综合分类法。在该分类法的指导下，为研究局限性识别问题，我们提出了LIMITGEN——首个用于评估LLMs支持早期反馈和辅助人类同行评审能力的综合基准。

本文针对对话摘要任务，首次系统评估了推理型大语言模型（LLMs，如OpenAI-o1、DeepSeek-R1、QwQ-32B）与非推理型LLMs在三种主流范式（通用型、角色导向型、查询导向型对话摘要）中的表现。研究覆盖多语言、多领域和不同摘要长度，基于SAMSum、DialogSum、CSDS、QMSum等基准数据集，结合LLM自动评估指标和类人评估标准进行分析。核心发现显示：与其他推理密集型任务不同，显式的逐步推理（如思维链）并未持续提升对话摘要质量；

该论文围绕大型语言模型（LLMs）的推理效率展开，聚焦测试时计算（Test-Time Compute, TTC）策略，旨在解决LLMs推理时计算资源分配不合理（对简单问题过度思考、对复杂问题思考不足）的问题。核心背景：LLMs虽在多任务中表现优异，但推理时通常采用固定计算量，导致效率低下。TTC方法通过在推理时动态分配计算资源提升效率，但现有方法存在资源浪费问题。分类框架：提出两层分类法L1（可控方法）

外部知识分类非结构化数据：包括文本、图像、音视频等，需通过NLP、计算机视觉等技术提取信息，虽丰富但存在预处理成本高、易引入噪声等问题。结构化数据表格：以行列形式组织数据，适用于事实验证、数值推理等任务，整合方法包括符号推理（如Text-to-SQL）、神经推理（如Chain-of-Table）和混合推理（如H-STAR）。知识图谱（KGs）：以三元组形式表示实体关系，支持多跳推理，整合策略分为松耦合（如CoK、RRA）和紧耦合（如ToG、PoG）。整合方法与性能对比表格整合。

推理是智能的核心，决定了决策、结论推导和跨领域泛化的能力。在人工智能领域，随着系统逐渐在开放、不确定和多模态环境中运行，推理成为实现稳健自适应行为的关键。大型多模态推理模型（LMRMs）通过整合文本、图像、音频、视频等模态，展现出支持复杂推理（如逻辑演绎、因果推断、类比映射和长程思考）的潜力，其核心目标是实现全面感知、精准理解和深度推理。随着研究进展，多模态推理已从模块化、感知驱动的流水线，迅速演进为以语言为中心的统一框架，实现更连贯的跨模态理解。

本文系统探讨了大型语言模型（LLMs）在推理任务中的推理经济性问题，即在提升推理能力的同时优化计算成本。基础分析训练后方法：通过监督微调（SFT）和强化学习（RL）塑造模型行为，如过程奖励模型（PRM）和结果奖励模型（ORM）的设计。测试时策略：并行方法（如自洽性）和顺序方法（如思维链、树搜索）的对比与优化。挑战分析模型行为低效：长度偏差（冗余推理）、欺骗性思维（表面推理但无效）。测试时资源浪费：算法选择不当（如固定采样策略）、计算预算分配不合理。解决方案训练后优化数据：构建高质量推理数据集。

大语言模型（LLMs）已在心理健康领域得到积极应用。近期研究显示，LLMs在应用心理治疗，尤其是动机性访谈（MI）方面具有潜力。然而，目前缺乏关于语言模型如何理解MI伦理的研究。鉴于恶意行为者可能利用语言模型将MI用于不道德目的的风险，评估它们区分道德和不道德MI实践的能力至关重要。因此，本研究通过多项实验探究LLMs在MI中的伦理意识。我们的研究结果表明，LLMs在MI方面具有中等到较强的知识水平。然而，它们的伦理标准与MI精神并不一致，因为它们会生成不道德的回应，并且在检测不道德回应方面表现不佳。

本文系统探讨了基于大型语言模型（LLM）的基础智能体的最新进展与挑战，提出了一个受大脑启发的模块化框架，整合认知科学、神经科学和计算研究的原理。智能体核心组件（Part I）认知模块：分析学习、推理（结构化/非结构化）和规划能力，强调LLM在逻辑推理和任务分解中的作用。记忆系统：借鉴人类记忆分类（感官、短期、长期记忆），讨论记忆的获取、编码、存储和检索机制。世界模型：对比隐式、显式、模拟器驱动等范式，强调预测环境动态的重要性。奖励与情感建模。

本文系统探讨了大型语言模型（LLMs）在实际应用中的个性化对齐问题。当前LLMs通过监督微调（SFT）和人类反馈强化学习（RLHF）实现了与通用人类价值观（如帮助性、诚实性、无害性）的对齐，但在适应个体用户偏好方面存在显著不足。偏好记忆管理管理用户显式（如直接反馈）和隐式（如行为数据、用户生成内容）的偏好信息。通过偏好推理将隐式信号转化为结构化的偏好空间。个性化生成与奖励通过提示注入、编码嵌入、参数微调或代理工作流等方式，将用户偏好融入生成过程。结合通用价值观约束与个性化奖励模型，优化生成质量。

基于LLM的智能体代表了AI范式的转变，使自主系统能够在动态环境中进行规划、推理、使用工具并保持记忆。基础能力（规划、工具使用、自我反思、记忆）；领域特定基准（网页、软件工程、科学、对话代理）；通用智能体评估；评估框架。研究揭示了动态评估趋势（如更真实的挑战场景和实时基准），并指出未来需解决的关键问题：成本效率、安全性、鲁棒性及细粒度评估方法的开发。本综述为智能体评估的快速演进提供了全景图，指明了研究方向。

大型语言模型（LLMs）在复杂任务中展现出卓越能力。近期，OpenAI o1和DeepSeek-R1等大型推理模型（LRMs）通过监督微调（SFT）和强化学习（RL）技术优化思维链（CoT）推理，进一步提升了数学、编程等System-2推理领域的性能。然而，较长的CoT推理序列虽能提高准确性，但冗余的输出会导致显著的计算开销，即“过度思考现象”。高效推理旨在优化推理长度同时保留能力，可降低计算成本并提升实时应用响应速度。尽管潜力巨大，高效推理仍处于研究初期。

近年来，大语言模型（LLMs）的迅速发展改变了科学研究的格局，在研究周期的各个阶段都提供了前所未有的支持。本文首次系统地探讨了LLMs如何彻底改变科学研究过程。我们分析了LLMs在研究的四个关键阶段（假设发现、实验规划与实施、科学写作和同行评审）中所发挥的独特作用。我们的综述全面展示了特定任务的方法和评估基准。通过识别当前的挑战并提出未来的研究方向，本综述不仅突出了LLMs的变革潜力，还旨在启发和指导研究人员及从业者利用LLMs推动科学探索。

大语言模型（LLMs）的最新进展激发了人们将其应用扩展到基于文本的任务之外的兴趣。大量研究探索了将其他模态与LLMs相结合，尤其是与文本天然相关的语音模态。本文对语音与LLMs的集成进行了综述，将方法分为三大主要类型：基于文本的集成、基于潜在表示的集成和基于音频令牌的集成。我们还展示了这些方法如何应用于各种与语音相关的应用中，并强调了该领域的挑战，为未来的研究提供启发。

大语言模型（LLMs）在自然语言处理（NLP）领域有着广泛应用，如GPT-4和Llama。然而，随着模型参数规模呈指数级增长，大语言模型带来了巨大的资源开销。低比特量化作为一项关键技术，通过减小模型参数、激活值和梯度的比特宽度，降低了内存使用和计算需求。以往针对大语言模型的量化方法主要采用训练后量化（PTQ）和量化感知训练（QAT）。训练后量化无需对原始模型进行重新训练，而量化感知训练则在训练过程中优化精度以获得最佳量化参数。

表示工程（RepE）是一种控制LLM行为的新范式。与修改输入或微调模型的传统方法不同，RepE直接操纵模型的内部表示。因此，它可以对模型的行为提供更有效、可解释、数据高效和灵活的控制。我们首次对LLM的RepE进行了全面调查，回顾了快速增长的文献，以解决关键问题：存在哪些RepE方法，它们有何不同？RepE被应用于哪些概念和问题？与其他方法相比，RepE的优缺点是什么？为了回答这些问题，我们提出了一个统一的框架，将RepE描述为一个包括表示识别、操作和控制的管道。

人工智能的快速发展，特别是基于transformer架构的大型语言模型（LLM）的发展，重新定义了自然语言处理的能力。这些模型现在在各种与语言相关的任务中表现出卓越的性能，如文本生成、问答、翻译和摘要，通常可以与人类的理解能力相媲美。更有趣的是，LLM已经证明了超越其核心功能的涌现能力，表现出对常识推理、代码生成和算术等任务的熟练程度。本文探讨了驱动这些功能的基础组件、扩展机制和架构策略。我们强调GPT和LLaMA等模型，分析指数数据和计算增长对LLM性能的影响，同时解决与扩展相关的权衡问题。

近几十年来，通信网络的快速发展加剧了对高级网络和服务管理（NSM）策略的需求，以满足对这些网络的效率、可扩展性、增强性能和可靠性日益增长的需求。大型语言模型（LLM）因其在各种自然语言处理（NLP）任务中无与伦比的能力和生成上下文感知见解而受到极大关注，为自动化各种通信NSM任务提供了变革性的潜力。对比考虑单个网络域的现有调查，本调查调查了不同通信网络域之间LLM的集成，包括移动网络和相关技术、车载网络、基于云的网络和基于雾/边缘的网络。

在深度学习时代，文本嵌入已成为自然语言处理（NLP）的基础技术，推动了一系列下游任务的进步。虽然现在可以使用生成范式对许多自然语言理解挑战进行建模，并利用大型语言模型（LLM）的强大生成和理解能力，但许多实际应用，如语义匹配、聚类和信息检索，仍然依赖于文本嵌入来提高效率和有效性。在这项调查中，我们将LLM和文本嵌入之间的相互作用分为三个总体主题：（1）LLM增强文本嵌入，用LLM增强传统嵌入方法；（2） LLM作为文本嵌入器，利用其固有的嵌入生成能力；

生成式人工智能的进步，特别是大型语言模型（LLMs）的进步，对政治和民主产生了重大影响，在包括政策制定、政治沟通、分析和治理在内的各个领域提供了潜力。本文调查了LLM在政治中的最新和潜在应用，考察了它们的前景和相关的挑战。本文探讨了LLM在立法过程、政治沟通和政治分析中的应用方式。此外，我们还研究了LLM在外交和国家安全背景下、经济和社会建模以及法律应用中的潜力。虽然LLM提供了提高政治进程效率、包容性和决策的机会，但它们也带来了与偏见、透明度和问责制相关的挑战。

随着跨域文本属性图（TAG）数据（如引用网络、推荐系统、社交网络和人工智能科学）的日益普及，将图神经网络（GNN）和大型语言模型（LLM）整合到一个统一的模型架构中（如LLM作为增强器，LLM作为协作者，LLM为预测器）已成为一种有前景的技术范式。这种新的图形学习范式的核心在于GNN捕捉复杂结构关系的能力和LLM从丰富的图形文本描述中理解信息上下文的能力的协同结合。因此，我们可以利用具有丰富语义上下文的图形描述文本从根本上提高数据质量，从而根据以数据为中心的机器学习原则提高以模型为中心的方法的表示能力。

大型语言模型（LLMs）已经成为一种变革性的人工智能范式，通过其出色的语言理解和上下文生成能力深刻地影响着日常生活。尽管LLM表现出色，但它们面临着一个关键的挑战：由于其基于学习的性质的固有局限性，倾向于产生不可靠的输出。另一方面，形式化方法（FM）是一种成熟的计算范式，为系统的建模、指定和验证提供了数学上严格的技术。FM已广泛应用于关键任务软件工程、嵌入式系统和网络安全。然而，阻碍FM在现实环境中部署的主要挑战在于其陡峭的学习曲线、缺乏用户友好的界面以及效率和适应性问题。

本文调查了通过强化学习（RL）增强大型语言模型（LLM）这一快速增长领域的研究，强化学习是一种技术，它使LLM能够通过根据其输出质量以奖励形式接收反馈来提高其性能，从而使其能够生成更准确、连贯和符合上下文的响应。在这项工作中，我们对RLenhanced LLM的最新知识状态进行了系统回顾，试图巩固和分析该领域快速增长的研究，帮助研究人员了解当前的挑战和进展。具体来说，我们（1）详细介绍了强化学习的基础知识；（2） 引入流行的强化学习LLM；

大型语言模型（LLM）的快速开发和部署为人工智能带来了新的前沿，其标志是在自然语言理解和生成方面具有前所未有的能力。然而，这些模型越来越多地集成到关键应用程序中，引发了大量的安全问题，需要彻底检查其潜在风险和相关的缓解策略。这项调查全面概述了LLM安全的现状，涵盖了四大类：价值错位、对抗性攻击的鲁棒性、滥用和自主AI风险。

在自然语言处理中语言建模的基础上，Next Token Prediction（NTP）已经发展成为跨各种模式的机器学习任务的通用训练目标，取得了相当大的成功。随着大型语言模型（LLM）的发展，在文本模态中统一了理解和生成任务，最近的研究表明，来自不同模态的任务也可以有效地封装在NTP框架中，将多模态信息转换为令牌，并在给定上下文的情况下预测下一个。这项调查引入了一个全面的分类法，通过NTP的视角统一了多模态学习中的理解和生成。

大型语言模型（LLM）因其理解上下文和执行逻辑推理的能力，彻底改变了自然语言处理、计算机视觉和多模态任务等广泛领域。然而，LLM的计算和内存需求，特别是在推理过程中，在将其扩展到现实世界、长上下文和实时应用程序时带来了重大挑战。键值（KV）缓存管理已成为一种关键的优化技术，通过减少冗余计算和提高内存利用率来加速LLM推理。本调查全面概述了LLM加速的KV缓存管理策略，将其分为token级、模型级和系统级优化。

大型语言模型（LLM）在包括推荐系统（RS）在内的各个领域都具有变革潜力。有一些研究侧重于通过LLM赋予RS权力。然而，之前的研究主要集中在LLM作为RS上，这可能会面临LLM不能容忍推理成本的挑战。最近，将LLM集成到RS中，称为LLM增强推荐系统（LLMERS），由于其有可能解决现实应用中的延迟和内存限制，引起了人们的极大兴趣。本文对旨在利用LLM增强RS能力的最新研究工作进行了全面调查。我们发现该领域的一个关键转变是将LLM纳入在线系统，特别是通过避免在推理过程中使用LLM。

数据收集技术的最新进展，伴随着流数据量和速度的不断增长，突显了对时间序列分析的迫切需求。在这方面，时间序列异常检测一直是一项重要活动，在网络安全、金融市场、执法和医疗保健等领域都有各种应用。虽然传统的异常检测文献主要集中在统计指标上，但近年来越来越多的机器学习算法要求对时间序列异常检测的研究方法进行结构化、通用的表征。本调查在时间序列背景下，对以流程为中心的分类下的异常检测现有解决方案进行了分组和总结。除了对异常检测方法进行原始分类外，我们还对文献进行了元分析，并概述了时间序列异常检测研究的一般趋势。

尽管大型语言模型（LLM）在其参数中存储了大量的知识，但它们在记忆和利用某些知识方面仍然存在局限性，导致了不良的行为，如产生不真实和不准确的反应。这突显了理解LLM知识边界的迫切需要，这一概念在现有研究中仍未得到充分定义。在这项调查中，我们提出了LLM知识边界的全面定义，并引入了一种形式化的分类法，将知识分为四种不同的类型。基于这一基础，我们从三个关键角度系统地回顾了该领域：研究LLM知识边界的动机、识别这些边界的方法以及缓解它们带来的挑战的策略。最后，我们讨论了该领域的开放挑战和潜在的研究方向。

数学推理是人类认知的一个核心方面，在从教育问题解决到科学进步的许多领域都至关重要。随着通用人工智能（AGI）的发展，将大型语言模型（LLM）与数学推理任务相结合变得越来越重要。这项调查首次对多模态大语言模型（MLLM）时代的数学推理进行了全面分析。我们回顾了自2021年以来发表的200多项研究，并研究了数学LLM的最新发展，重点关注多模态设置。我们将该领域分为三个维度：基准、方法和挑战。特别是，我们探索了多模态数学推理管道，以及（M）LLM和相关方法的作用。