（2025，BioLM，综述）用于生物信息学的 LLM_llm for bioinformatics-优快云博客

大型语言模型（LLMs）的快速发展，如 BERT [1]、GPT [2] 及其专用版本，已彻底改变了自然语言处理（NLP）领域。这些模型在建模上下文、解析复杂数据模式以及生成类人响应方面的能力，自然而然地扩展到了生物信息学领域，其中生物序列的结构和复杂性常与人类语言相似 [3]。LLMs 已成功应用于基因组学（genomics）、蛋白质组学（proteomics）和药物发现等多个生物信息学领域，提供了传统计算方法难以企及的洞察 [4]。

尽管取得了显著进展，但在这些模型在生物信息学问题上的应用进行系统分类和全面评估方面，仍然面临挑战。鉴于生物信息学数据的多样性和生命活动的复杂性，研究这一领域常常充满困难，因为现有研究往往专注于有限范围的应用。这导致对 LLMs 在不同生物信息学子领域中广泛用途的理解存在空白 [5]。

本综述旨在通过全面概述 LLM 在生物信息学中的应用来应对这些挑战。通过聚焦生命活动的不同层面，本文从生命科学和生物医学应用两个主要视角收集并展示了相关研究成果。我们与领域专家合作，汇编了涵盖这些视角中关键领域的深入分析，例如核体分析（nucleoid analysis）、蛋白质结构和功能预测、基因组学、药物发现和疾病建模，包括在脑疾病和癌症中的应用，以及疫苗开发。

此外，我们提出了新术语 “生命活动因子”（Life Active Factors, LAFs），用于描述作为生命科学研究目标候选的分子和细胞组成。LAFs 的范畴极为广泛，不仅包括具体实体（如 DNA、RNA、蛋白质、基因、药物），还包括抽象成分（如生物通路、调控因子、基因网络、蛋白质相互作用）和生物测量（如表型（phenotypes）、疾病生物标志物（disease biomarkers））。LAFs 是一个综合术语，有助于协调跨越不同生物信息学子领域的概念差异，促进对 LAFs 多模态数据及其在复杂生物系统中相互作用的理解。LAFs 的引入契合基础模型的精神，强调 LAFs 的序列、结构和功能之间的统一性，同时尊重每个 LAF 作为生物网络中节点的相互关系。

通过弥合现有知识的空白，本工作旨在使生物信息学家、生物学家、临床医生和计算研究人员能够理解如何有效利用 LLMs 解决生物信息学中的迫切问题。本综述不仅强调了近期的进展，还识别了尚未解决的挑战和机遇，为未来的跨学科合作与创新奠定基础（图 1）。

2. 生物信息学中语言模型与基础模型的背景

生物信息学已成为生命科学中一个基础性且变革性的领域，连接了计算技术与生物研究。该领域强调开发和应用计算工具与方法，以管理和解释大量的生物医学数据，将其转化为可操作的洞察，从而推动多个下游应用的进步。尤其是以深度学习技术为基础的现代计算工具，显著加速了生物学研究的演化。

LLMs 技术的快速进步为生物信息学计算带来了新的方法。鉴于生物系统的复杂性及生物信息学数据的高度结构化特性，基于 LLM 的计算方法已被证明能有效应对基因组学、蛋白质组学和分子生物学等领域的挑战。受 Transformer 等 LLM 架构的启发，生物信息学中的基础模型擅长捕捉生物数据中的复杂模式和关系。这些模型已经从单一模态工具演变为复杂的多模态系统，整合了基因组序列、蛋白质结构等多样化的数据集。

他们成功的关键在于大规模高质量训练数据的可用性，以及自监督预训练和微调技术的采用。这些方法使模型能够从无标签数据中提取有意义的特征，并适应特定的生物信息学任务。结合架构设计的进步，这些创新拓宽了基础模型的能力和影响力，解锁了对生物系统的新见解，并加速了生命科学领域的进展。以下部分将讨论这些先进的计算方法，以及生物系统的内在特性和结构化生物信息数据。

2.1 语言模型与生物信息学基础概述

2.1.1 LLM 与基础模型

传统语言模型旨在以类似人类的方式处理和生成文本，充分利用其训练期间使用的大量数据集。这些模型在解释上下文、生成连贯且符合上下文的响应、执行翻译、文本摘要以及回答问题等任务中表现卓越。大型语言模型（LLMs）是一种基础模型，它们通过庞大的数据集训练，提供灵活且强大的能力，用以应对广泛的应用场景和用例需求。这种统一的模型架构消除了为每个特定任务单独构建和训练领域特定模型的需求，从而克服了成本和资源限制。LLMs 不仅促进了任务间的协同作用，通常还能实现更优的性能，使其成为更具可扩展性和高效的解决方案。在适应生物信息学任务方面，语言模型的成功取决于几个关键因素（图 1(a)）。

表征学习与分词（Representation learning and tokenization）。LLMs 的分词受到其分词算法设计的影响，主要使用基于子词级词汇的技术来有效地表示文本序列数据。常用的分词算法包括字节对编码（Byte-Pair Encoding, BPE）、WordPiece 和 Unigram 等。这些分词方法尽管无法完美捕捉输入表达的每种可能变体，但它们能够有效编码词汇的特征及其上下文关系。

在表征学习的角度上，语言模型的分词与词嵌入算法通常能够成功表征数据背后隐含的变化因素。这种表征基于语言模型的无监督学习模式。编码器模块或嵌入层中学习到的子词上下文特征遵循概率建模，并在大规模语料数据集中持续更新表征。

注意力机制（Attention mechanism）。LLMs 广泛采用 Transformer 模型作为其基础架构。Transformer 模型的核心创新是多头自注意力机制（multi-head self-attention），它能够在所有相关的标记（tokens）之间建立关系，从而更有效地编码输入序列中每个词的意义。

自注意力层处理一