基于Tranformer的NLP实战(7):BERT实战-实现命名实体识别

原创 已于 2025-07-18 23:38:15 修改 · 496 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理 #bert #人工智能

于 2025-07-17 07:00:00 首次发布

本篇文章我们将构建一个NER(命名实体识别)应用程序，用于在医学疾病摘要中识别疾病名称。这个模型不是从一个列表中查找名称，而是通过上下文识别某些词是疾病名称。

对于NER任务，你将与文本分类任务类似的方式完成项目构建、训练与测试。BioMegatron是一种类似BERT的Megatron-LM模型，它在大型生物医学文本语料(如PubMed摘要与全文)上进行了预训练。由于我们处理的疾病数据也来自生物医学领域，因此我们可以预期它的表现优于通用语言模型。

文章目录

1 使用命令行进行Token级分类

我们要回答的问题是：给定医学文摘中的句子，提到了哪些疾病？

我们将使用英伟达的token classification模型来进行NER任务，因为我们要在token级别进行分类，也就是识别与疾病相关的词。

1.1 数据输入

在之前的文章文本分类与命名实体识别的数据结构中，我们知道NER项目的数据集由带有IOB标签的句子组成，每个单词都被标记为命名实体的开头、中间或外部。

训练文本和标签文件分别是text_train.txt和labels_train.txt。验证和测试文件也采用类似的命名规则。下面验证数据文件的位置：

# 设置NER数据目录变量并列出文件
NER3_DATA_DIR = '/dli/task/data/NCBI_ner-3'
print("*****\ntext_test.txt sample\n*****")
!head -n 3 $NER3_DATA_DIR/text_test.txt
print("\n*****\nlabels_test.txt sample\n*****")
!head -n 3 $NER3_DATA_DIR/labels_test.txt

输出如下：

在这里插入图片描述

IOB标签说明

NER数据集中的句子与标签是通过IOB(Inside, Outside, Beginning)标注对应的，我们再来回顾一下。

这种机制可以广泛用于多个命名实体类别的标注：

  • B-{CHUNK_TYPE}：实体块的开头词
  • I-{CHUNK_TYPE}：实体块中的词
  • O：非任何实体的词

在我们的案例中，我们只关心disease这个实体类型。其中B是疾病名称的开头词，I是疾病名称中的词，O是所有疾病名称之外的词

在这里插入图片描述

这些类别在labels.csv文件中定义：

# 查看标签ID定义
!head $NER3_DATA_DIR/label_ids.csv

输出:
O
B
I

如果我们需要识别多种命名实体(例如词性分析中的名词和动词)，可以使用五分类IOB标注方式：

  • B-N：名词短语的开头词
  • I-N：名词短语中的词
  • B-V：动词短语的开头词
  • I-V：动词短语中的词
  • O：所有名词和动词之外的词

我们的NCBI_ner-3疾病数据已经符合NeMo文档中对token classification的数据输入格式要求，因此可以开始查看配置文件。

1.2 配置文件

NER的配置文件 token_classification_config.yaml 指定了模型、训练与实验管理的细节，如数据路径、预训练模型、超参数等。该配置文件的结构与文本分类任务中的配置类似。我们继续使用OmegaConf工具查看每一部分的配置内容。

# 导入OmegaConf用于加载配置
from omegaconf import OmegaConf

CONFIG_DIR = "/dli/task/nemo/examples/nlp/token_classification/conf"
CONFIG_FILE = "token_classification_config.yaml"

config = OmegaConf.load(CONFIG_DIR + "/" + CONFIG_FILE)

# 打印模型部分配置
print(OmegaConf.to_yaml(config.model))

输出如下：

label_ids: null
class_labels:
  class_labels_file: label_ids.csv
dataset:
  data_dir: ???
  class_balancing: null
  max_seq_length: 128
  pad_label: O
  ignore_extra_tokens: false
  ignore_start_end: false
  use_cache: true
  num_workers: 2
  pin_memory: false
  drop_last: false
train_ds:
  text_file: text_train.txt
  labels_file: labels_train.txt
  shuffle: true
  num_samples: -1
  batch_size: 64
validation_ds:
  text_file: text_dev.txt
  labels_file: labels_dev.txt
  shuffle: false
  num_samples: -1
  batch_size: 64
test_ds:
  text_file: text_dev.txt
  labels_file: labels_dev.txt
  shuffle: false
  num_samples: -1
  batch_size: 64
tokenizer:
  tokenizer_name: ${model.language_model.pretrained_model_name}
  vocab_file: null
  tokenizer_model: null
  special_tokens: null
language_model:
  pretrained_model_name: bert-base-uncased
  lm_checkpoint: null
  config_file: null
  config: null
head:
  num_fc_layers: 2
  fc_dropout: 0.5
  activation: relu
  use_transformer_init: true
optim:
  name: adam
  lr: 5.0e-05
  weight_decay: 0.0
  sched:
    name: WarmupAnnealing
    warmup_steps: null
    warmup_ratio: 0.1
    last_epoch: -1
    monitor: val_loss
    reduce_on_plateau: false

另外，可以通过下面命令查看NeMo中支持的BERT类语言模型列表：

from nemo.collections import nlp as nemo_nlp
nemo_nlp.modules.get_pretrained_lm_models_list()

我们需要指定包含所有数据文件的dataset.data_dir路径。我们数据集的文件名已经yaml中的默认值。

对于语言模型来说，我们先将language_model.pretrained_model_name设为'bert-base-cased'，之后再与特定领域的'biomegatron-bert-345m-cased'进行对比。为节省内存，我们也会设置较小的max_seq_length与batch_size。

# 打印训练器配置项
print(OmegaConf.to_yaml(config.trainer))

输出如下：

gpus: 1
num_nodes: 1
max_epochs: 5
max_steps: null
accumulate_grad_batches: 1
gradient_clip_val: 0.0
amp_level: O0
precision: 16
accelerator: ddp
checkpoint_callback: false
logger: false
log_every_n_steps: 1
val_check_interval: 1.0
resume_from_checkpoint: null

为提升效率，我们可以设置amp_level为'O1'，并将max_epochs设置为较小值以减少训练时间。

# 打印实验管理器配置项
print(OmegaConf.to_yaml(config.exp_manager))

输出如下：

exp_dir: null
name: token_classification_model
create_tensorboard_logger: true
create_checkpoint_callback: true

暂时无需更改exp_manager的默认设置。

我们需要更改或覆盖的参数包括：

  • model.language_model.pretrained_model_name：设为'bert-base-cased'
  • model.dataset.data_dir：设为/dli/task/data/NCBI_ner-3
  • model.dataset.max_seq_length：设为64
  • model.train_ds.batch_size：设为32
  • model.val_ds.batch_size：设为32
  • model.test_ds.batch_size：设为32
  • trainer.amp_level：设为'O1'
  • trainer.max_epochs：设为3

2 模型训练和评估

本次实验需要用到的训练与评估的脚本文件如下：token_classification_train.py和token_evaluate.py，训练与评估在此任务中需要分别运行。

2.1 训练

和之前文本分类任务一样，运行token_classification_train.py训练脚本即可。

%%time
# 训练大约耗时2分钟
   
TOKEN_DIR = "/dli/task/nemo/examples/nlp/token_classification"

# 设置需要覆盖的配置值
PRETRAINED_MODEL_NAME = 'bert-base-cased'
DATA_DIR = '/dli/task/data/NCBI_ner-3'
MAX_SEQ_LENGTH = 64
BATCH_SIZE = 32
AMP_LEVEL = 'O1'
MAX_EPOCHS = 3

# 运行训练脚本，覆盖默认配置
!python $TOKEN_DIR/token_classification_train.py \
        model.language_model.pretrained_model_name=$PRETRAINED_MODEL_NAME \
        model.dataset.data_dir=$DATA_DIR \
        model.dataset.max_seq_length=$MAX_SEQ_LENGTH \
        model.train_ds.batch_size=$BATCH_SIZE \
        model.validation_ds.batch_size=$BATCH_SIZE \
        model.test_ds.batch_size=$BATCH_SIZE \
        trainer.amp_level=$AMP_LEVEL \
        trainer.max_epochs=$MAX_EPOCHS

训练结果：

在这里插入图片描述

特定领域训练

这次将model.language_model.pretrained_model_name设置为'biomegatron-bert-345m-cased'。这是一个拥有3.45亿参数的大模型，因此运行时间会更长。

%%time
# 训练大约耗时 5~6 分钟
   
TOKEN_DIR = "/dli/task/nemo/examples/nlp/token_classification"

# 设置我们要覆盖的值
PRETRAINED_MODEL_NAME = 'biomegatron-bert-345m-cased'
DATA_DIR = '/dli/task/data/NCBI_ner-3'
MAX_SEQ_LENGTH = 64
BATCH_SIZE = 32
AMP_LEVEL = 'O1'
MAX_EPOCHS = 3

# 运行训练脚本，使用 BioMegatron 语言模型
!python $TOKEN_DIR/token_classification_train.py \
        model.language_model.pretrained_model_name=$PRETRAINED_MODEL_NAME \
        model.dataset.data_dir=$DATA_DIR \
        model.dataset.max_seq_length=$MAX_SEQ_LENGTH \
        model.train_ds.batch_size=$BATCH_SIZE \
        model.validation_ds.batch_size=$BATCH_SIZE \
        model.test_ds.batch_size=$BATCH_SIZE \
        trainer.amp_level=$AMP_LEVEL \
        trainer.max_epochs=$MAX_EPOCHS

我们使用TensorBoard可视化结果。要比较多个模型的性能，可以选择f1分数作为观察指标。下图中，橙色线表示bert-base-cased模型，蓝色线表示biomegatron-bert-345m-cased模型。

在这里插入图片描述

BioMegatron模型收敛速度快，效果也更好，因为它更适合生物医学语料。五轮训练后f1分数略高。但最终使用哪个模型，还需根据你的显存、训练时间、性能要求综合考虑。你的实际结果可能会因训练随机性略有不同。

2.2 评估

# 重启 Notebook 内核
import IPython
app = IPython.Application.instance()
app.kernel.do_shutdown(True)

要在测试集上评估模型，我们需要指定训练得到的.nemo模型路径。每次实验会生成一个时间戳目录，保存在nemo_experiments下。进入checkpoints文件夹即可找到最终模型文件。

下面这段Python代码将获取所有训练模型路径，并选取最新的一个：

# 获取最近一次训练生成的 .nemo 模型路径
import glob

nemo_model_paths = glob.glob('nemo_experiments/token_classification_model/*/checkpoints/*.nemo')

# 最新的模型排在前面
nemo_model_paths.sort(reverse=True)
print("最新的模型路径为：\n{}".format(nemo_model_paths[0]))

你可以用以下两种方式评估模型：

方法1：使用token_classification_evaluate.py脚本

运行脚本，并设置如下参数，注意额外添加.nemo模型路径。

!python $TOKEN_DIR/token_classification_evaluate.py \
        model.dataset.data_dir=$DATA_DIR \
        model.dataset.max_seq_length=$MAX_SEQ_LENGTH \
        model.train_ds.batch_size=$BATCH_SIZE \
        model.validation_ds.batch_size=$BATCH_SIZE \
        model.test_ds.batch_size=$BATCH_SIZE \
        model.language_model.pretrained_model_name=$PRETRAINED_MODEL_NAME \
        pretrained_model=$LATEST_MODEL

方法2：在代码中加载模型并调用NeMo方法评估

我们使用这种方式进行演示。

# 从 .nemo 文件中加载训练好的模型
from nemo.collections import nlp as nemo_nlp

LATEST_MODEL = nemo_model_paths[0]
model = nemo_nlp.models.TokenClassificationModel.restore_from(LATEST_MODEL)

调用evaluate_from_file方法，在测试集上进行评估。设置add_confusion_matrix=True可以显示混淆矩阵图。

# 使用测试集进行评估，输出混淆矩阵
import os.path

DATA_DIR = '/dli/task/data/NCBI_ner-3'
OUTPUT_DIR = '/dli/task/nemo_experiments/token_classification_model/logs'
model.evaluate_from_file(
    text_file=os.path.join(DATA_DIR, 'text_test.txt'),
    labels_file=os.path.join(DATA_DIR, 'labels_test.txt'),
    output_dir=OUTPUT_DIR,
    add_confusion_matrix=True,
    normalize_confusion_matrix=True,
    batch_size=1
)

输出结果应类似如下：

在这里插入图片描述

最终混淆矩阵显示了明亮的对角线，说明预测标签与真实标签高度一致，识别准确率很高。

2.3 推理

要对新输入进行推理，使用训练好的模型并调用add_predictions()方法即可。

# 推理文本样本列表
queries = [
    "Clustering of missense mutations in the ataxia - telangiectasia gene in a sporadic T - cell leukaemia . ",
    "Ataxia - telangiectasia ( A - T ) is a recessive multi - system disorder caused by mutations in the ATM gene at 11q22 - q23 ( ref . 3 ) . ",
    "The risk of cancer , especially lymphoid neoplasias , is substantially elevated in A - T patients and has long been associated with chromosomal instability . ",
    "By analysing tumour DNA from patients with sporadic T - cell prolymphocytic leukaemia ( T - PLL ) , a rare clonal malignancy with similarities to a mature T - cell leukaemia seen in A - T , we demonstrate a high frequency of ATM mutations in T - PLL . ",
    "In marked contrast to the ATM mutation pattern in A - T , the most frequent nucleotide changes in this leukaemia were missense mutations . ",
    "These clustered in the region corresponding to the kinase domain , which is highly conserved in ATM - related proteins in mouse , yeast and Drosophila . ",
    "The resulting amino - acid substitutions are predicted to interfere with ATP binding or substrate recognition . ",
    "Two of seventeen mutated T - PLL samples had a previously reported A - T allele . ",
    "In contrast , no mutations were detected in the p53 gene , suggesting that this tumour suppressor is not frequently altered in this leukaemia . ",
    "Occasional missense mutations in ATM were also found in tumour DNA from patients with B - cell non - Hodgkins lymphomas ( B - NHL ) and a B - NHL cell line . "
]

# 对输入文本进行NER预测，结果写入 predictions.txt
results = model.add_predictions(queries, output_file='predictions.txt')

3 总结

这篇文章我们基于NeMo框架实现了医学领域的命名实体识别系统，涵盖了从数据加载、模型训练到推理评估的完整流程，并对比了通用模型与医学领域模型在任务表现上的差异。实验显示，领域模型如BioMegatron在识别准确率上更具优势，特别适用于处理专业性强的医学文本。

此外，当前模型仅识别疾病实体，未来可以扩展到多类别实体识别(如药物、症状、基因等)，并结合上下游任务如关系抽取，构建更完整的医学知识抽取系统。

Transformer大模型实战 TinyBERT 模型的蒸馏
AI智能涌现深度研究
07-20 852
1. 背景介绍 1.1 问题的由来 在深度学习的领域，Transformer模型已经成为了一种标准的模型架构。然而，尽管Transformer模型在许多任务上表现出了卓越的性能，但其模型的大小和计算复杂度已经成为了一个严重的问题。特别是在资源受限的环境下，如移动设备和边缘计算设备，如何在保持模型性能的同时
Tranformer的庐山真面目及它解决了哪些问题？
12-09 384
Transformer是一种基于自注意力机制的Encoder-Decoder模型，被广泛应用于自然语言处理等领域。在自然语言处理中，Transformer是一种用于序列到序列建模的神经网络架构。它由两个部分组成：编码器和解码器。编码器将输入序列转换为一个固定长度的向量，解码器则将该向量转换为输出序列。
基于Tranformer的NLP实战(4):BERT实战-文本分类与命名实体识别的数据结构
主要分享嵌入式软件、人工智能部分知识
07-03 1313
这篇文章主要探索了用于文本分类和命名实体识别任务的两个数据集结构。文本分类任务中，每条文本会被标注为某一类疾病(癌症、神经系统疾病或其他)NER 任务中，每个词都被标注为 I、O或B，以识别医学文献中的疾病实体。掌握了数据结构，就为后续构建 BERT 模型打下了坚实基础。下一篇文章，我们将正式进入模型构建部分，并了解如何使用 NVIDIA NeMo 工具包。
基于Tranformer的NLP实战(2):BERT原理与可视化
主要分享嵌入式软件、人工智能部分知识
06-26 943
BERT)，是基于 Transformer 模型编码器部分的模型。BERT 将输入文本映射到训练好的、带上下文的表示。具体来说，BERT 模型将两个句子作为输入，用特殊符号[SEP]掩码语言模型预测(下一句预测(为了将原始文本转换为数值表示，BERT 使用了一种名为WordPiece的子词分词算法(稍后介绍)。BERT 通常作为语言模型编码器使用。如下图所示，其预训练检查点可通过附加任务特定的层进行扩展。然后在下游任务上进行微调，如令牌分类(命名实体识别)、文本分类、问答等。
BERT原理-Pre-training of Deep Bidirectional Transformers for Language Understanding
traveler-leon的博客
03-14 1662
上图就是bert利用了transforemr的编码器结构，从最底层的结构可以看出，E2为原始的单词输入，最中输出的的E2对应的embedding向量T2其实已经综合考虑了上下文信息，因为在神经网络(编码器)内部，信息是交叉，而且特别的是，这个编码器结构恰好实现了和ELMo一样的效果，既能看到单词左边的信息，也能看到单词右边的信息，这就是自注意力的好处。官方虽然没说，但是官方的图展示了，句子的结尾其实也是加的[SEP]，至此所有的规则就讲完了，我先甩个图，然后把设计的所有点总结一下。
一文读懂BERT(原理篇)
热门推荐
程序猿废柴的博客
04-19 31万+
一文读懂BERT（从原理到实践） 2018年的10月11日，Google发布的论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》，成功在 11 项 NLP 任务中取得 state of the art 的结果，赢得自然语言处理学界的一片赞誉之声。 本文是对近期关于BERT论文、相关文章、代码进...
Tansformer-GPT-1,GPT-2,GPT-3,BERT&Instruct-GPT简介
weixin_46779338的博客
02-28 842
在多头注意力机制中，输入序列首先通过多个不同的线性层，分别映射到不同的维度空间中，然后对这些维度空间中的表示进行自注意力计算，得到多组加权表示。该方法使用了大规模的无监督数据进行预训练，并且在预训练的同时，还对多个任务进行了微调，从而使得模型可以同时完成多个任务。模型的基本结构，但在预训练和微调策略、模型规模、语料库选择等方面有所不同，因此在各自的应用场景中表现出了不同的优缺点。，这一系列预训练语言模型在文本生成、文本分类、问答系统等多个领域都有出色的表现，甚至已经超越了人类在某些任务上的表现。
【Transformer】Syntax-augmented Multilingual BERT for Cross-lingual Transfer 阅读笔记
Vincy_King
08-12 708
近年来，我们发现，通过使用许多语言的大型语料库来预训练多语言文本编码器来促进跨语言迁移学习。然而，由于不同语言的类型差异，跨语言迁移具有挑战性。然而，语言语法，例如语法依赖性，可以弥合类型上的差距。之前的研究表明，预先训练过的多语言编码器，如mBERT，可以捕获语言语法，帮助跨语言迁移。这项工作表明，显式地提供语言语法和使用一个辅助目标来编码通用依赖树结构来训练mBERT，有助于跨语言迁移。作者对四个NLP任务进行了严格的实验，包括文本分类、问答、命名实体识别和面向任务的语义解析。实验结果表明，语法增强的m
BERT 文章翻译
qq_41296039的博客
07-23 650
BERT翻译
【NLP】第七章：Transformer原理、计算流程以及代码实现-1
因为热爱所以坚持
12-20 1522
所以Transformer中的词嵌入是从头开始训练的，所以设置参数的时候，可能不会把单词的语义存储在前几个维度里，这样就避开了位置编码。这也是我的猜想，因为也有人说，即使sinusoidal位置编码本身拥有很好的形式，但位置编码和词嵌入向量相加进入attention模块后，首先进行的是一个线性变换，而这个线性变换就直接导致了。一个有效的、好的位置编码算法是要涉及大量的数学推导的，是要对数学公式有非常敏锐的数感的。一个好的起点意味着一个丝滑的迭代过程，如果你的起点就很糟糕，那你的训练过程势必也会很艰难。
大模型之BERT技术详解
m0_54854484的博客
05-18 624
AI大模型是通过深度学习算法和人工神经网络训练出的具有庞大规模参数的人工智能模型。这些模型使用大量的多媒体数据资源作为输入，并通过复杂的数学运算和优化算法来完成大规模的训练，以学习和理解到输入数据的模式和特征。这些模式和特征最终通过大模型中庞大的参数进行表征，以获得与输入数据和模型设计相匹配的能力，最终来实现更复杂、更广泛的任务，如语音识别、自然语言处理、计算机视觉等。大模型的训练过程是根据大量的输入数据，通过算法调整模型中庞大的参数来优化模型性能。
自然语言处理和大语言模型综述(12.2-12.8)
qq_60040306的博客
12-08 2953
这三个多月来，学习了吴恩达机器学习和李宏毅深度学习的相关课程。在吴恩达机器学习的课程中，了解了机器学习的相关概念，然后再深入了解了神经网络的结构和如何通过激活函数、梯度下降、偏差和方差等方法训练神经网络，了解了神经网络的完整周期，还学习到了决策树的构建以及剪枝操作。然后在李宏毅深度学习的课程中，学习了CNN、RNN、LSTM等网络结构和自注意力机制，在Seq2Seq结构中引出Transformer架构、BERT架构、T5等。
【RASA】DIET：Dual Intent and Entity Transformer
11-28 1651
最近工作中使用到rasa，其nlu部分有一个rasa自己提出的DIETClassifier框架组建，可用于意图分类与实体识别。今天有空，就来研究下它~ 论文地址：https://github.com/RasaHQ/DIET-paper 简介 先总结下DIET出彩的地方： DIET是一种用于意图分类和实体识别的多任务体系结构。 它能够以即插即用的方式结合语言模型的预训练单词嵌入，并将它们与单词和字符级 n-gram 稀疏特征结合起来。 实验表明，即使没有预训练的嵌入，仅使用单词和字符级 n-gram 稀疏特
大语言模型（LLM）训练的教师强制（Teacher Forcing）方法
frostmelody 全网同名，大家多多关注呀~ 持续分享优质内容！
07-16 646
准备数据：将一句话“大模型爱学习”转换成数字ID，并复制一份作为标签。inputslabels并行预测：模型接收inputs，并行为每个位置输出一个对下一个词的预测（logits移位对齐：将labels向左移一位，使得模型的预测logits[i]与正确答案对齐。计算损失：在每个位置上，使用交叉熵比较模型的预测和正确答案，计算出损失。累加损失：将所有位置的损失相加，得到总损失。更新模型：根据总损失，使用优化算法（如梯度下降）更新模型的内部参数，完成一次学习。
SFT：大型语言模型专业化定制的核心技术体系——原理、创新与应用全景
拒绝AI玄学，只聊真技术▲
07-16 887
SFT 是在预训练语言模型（如GPT、BERT）基础上，利用。
[论文阅读] 人工智能 + 软件工程 | 用大语言模型+排名机制，让代码评论自动更新更靠谱
张较瘦
07-14 1247
本文介绍了论文《LLMCup: Ranking-Enhanced Comment Updating with LLMs》的核心内容。代码评论常因未及时更新导致过时，现有方法存在准确率低、处理复杂场景能力弱等问题。LLMCup提出“更新-排名”范式，先用LLM生成多样化候选评论，再用CupRank模型筛选最优结果。实验显示，其准确率比现有方法提升49.0%-116.9%，语义贴合度更高，甚至超过人类更新的评论。LLMCup为代码评论自动更新提供了更可靠的解决方案，推动了软件开发效率的提升。
颠覆NLP十年范式！OpenCSG中文数据集助推CMU无分词器模型登顶SOTA
OpenCSG的博客
07-16 533
语言模型正迎来划时代的技术跃迁！传统Transformer架构依赖分词器（tokenizer）的范式即将被颠覆，一种全新的端到端建模方式正在崛起。最新研究表明，通过创新的动态分块技术和分层网络架构（H-Net），AI模型首次实现了从原始字节到语义理解的完整闭环，标志着大模型技术正式迈入"后分词时代"。这项突破性技术展现出三大革命性特征：架构革新：H-Net通过动态学习数据分块策略，彻底摒弃了传统分词流程，构建了首个真正意义上的端到端语言模型。
#Paper Reading# Apple Intelligence Foundation Language Models
John159151的专栏
07-14 791
论文大体内容 本文介绍了Apple AFM团队的2个基础大模型，分别可在服务端和客户端上运行。这两个大模型是Apple的基础模型，文中描述了从训练到评估模型的各个模块。 Motivation 这是Apple的基础大模型。 Contribution ①技术落地的完整性，本文详细描述了训练AFM的各个模块和步骤。 ②提出了从基础模型扩展到具体任务的整体框架，用于Apple后续各个应用的落地。 ③强调负责任的AI实践，包括整个流程的Principles，以及注重用户的隐私。
【现有资料整理】灵枢 - 用于医学领域的 SOTA 多模态大语言模型
最新发布
AllenLV的博客
07-18 788
摘要：阿里巴巴达摩院推出的医疗多模态大模型灵枢（Lingshu）在医学影像理解与文本推理任务中表现优异。该模型支持12种医学影像模态（如X光、CT、MRI），通过分层跨模态对齐技术，在MedBench等基准测试中超越GPT-4.1和Claude Sonnet 4。核心功能包括医学报告生成、跨模态诊断推理，提供7B/32B参数版本，开源模型权重与评估工具包。应用覆盖辅助诊断、交互问诊等场景，但存在罕见病数据不足的局限。技术亮点包括病灶级特征提取和SOTA级VQA性能，未来将扩展动态影像分析能力。
基于Tranformer的机器翻译
01-09
### 基于Transformer架构的机器翻译模型实现与应用 #### Transformer 架构概述 Transformer 是一种用于自然语言处理任务的深度学习模型架构，由 Vaswani 等人在 2017 年提出。该架构完全依赖于自注意力机制（self-attention mechanism），而不是传统的循环神经网络 (RNN) 或卷积神经网络 (CNN)，这使得 Transformer 能够并行化计算，在多个 NLP 任务上取得显著成功[^3]。 #### 编码器-解码器结构 在基于 Transformer 的机器翻译中，采用的是编码器-解码器框架。编码器负责接收源语言句子作为输入，并将其转化为一系列上下文向量；而解码器则利用这些上下文向量来生成目标语言中的相应表达。这种设计允许模型有效地捕捉长距离依赖关系，并且可以更好地处理不同长度之间的映射问题[^1]。 ```python import torch.nn as nn from transformers import BertTokenizer, EncoderDecoderModel tokenizer = BertTokenizer.from_pretrained('bert-base-multilingual-cased') model = EncoderDecoderModel.from_encoder_decoder_pretrained( 'bert-base-multilingual-cased', 'bert-base-multilingual-cased') def translate(text): inputs = tokenizer([text], return_tensors='pt', padding=True) outputs = model.generate(input_ids=inputs['input_ids']) translated_text = tokenizer.decode(outputs[0], skip_special_tokens=True) return translated_text ``` 这段代码展示了如何使用 Hugging Face 提供的 `transformers` 库加载一个多语种 BERT 模型来进行简单的机器翻译操作。需要注意的是实际生产环境中通常会选用专门针对特定语言对优化过的预训练模型如 MarianMT 来获得更好的效果[^2]。 #### 自注意力机制的作用 自注意力机制是 Transformer 中的核心组件之一。通过对序列内各个位置之间建立联系，它可以动态调整权重分配给不同的词元组合，从而增强对于重要信息的关注度。这一特性特别有利于解决多义词消歧以及复杂句法结构解析等问题，在提高翻译质量方面发挥了重要作用。 #### 多头注意力机制的应用 为了进一步提升性能表现，Transformer 还引入了多头注意力机制（Multi-head Attention）。通过将原始特征空间分割成若干子空间分别施加独立注意力建模后再拼接起来形成最终表示形式，这样不仅增加了模型容量还赋予其更强表征能力去适应更多样化的场景需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

tilblackout

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值