m0_60657960的博客

Transformer架构是一种深度学习模型，最初由Vaswani等人在2017年的论文《Attention Is All You Need》中提出。该模型在自然语言处理（NLP）领域特别流行，它通过引入自注意力（self-attention）机制，使得模型能够更加高效和有效地处理序列数据。Transformer架构主要由编码器和解码器组成。编码器用于将输入序列转换为一组向量表示，而解码器则将这些向量解码为输出序列。

我们观察事物时，之所以能够快速判断一种事物(当然允许判断是错误的), 是因为我们大脑能够很快把注意力放在事物最具有辨识度的部分从而作出判断，而并非是从头到尾的观察一遍事物后，才能有判断结果. 正是基于这样的理论，就产生了注意力机制.注意力机制是注意力计算规则能够应用的深度学习网络的载体, 同时包括一些必要的全连接层以及相关张量处理, 使其与应用网络融为一体. 使用自注意力计算规则的注意力机制称为自注意力机制.

¶# 定义特殊字符及其对应的索引值# 确保标记按其索引的顺序正确插入到词汇表中# 训练数据集的迭代器,# 数据集是用英文描述图像的英文语句, 然后人工将其翻译为德文的语句,有两个文件, 一个是train.de 一个是train.en文件,# 然后将其构建为(德文, 英文)的形式# 创建torchtext的vocab对象, 即词汇表。

命名实体识别是自然语言处理应用中的重要步骤， 它不仅检测出实体边界，还检测出命名实体的类型，是文本意义理解的基础。本文阐述了命名实体识别的研究进展，从早期基于规则和词典的方法，到传统机器学习的方法，到近年来基于深度学习的方法， 神经网络与 CRF 模型相结合的 NN-CRF 模型依旧是目前命名实体识别的主流模型。未来的研究中，数据标注和非正式文本（评论、论坛发言等未出现过的实体）仍会是两个挑战。

命名实体：通常我们将人名、地名、机构名等专有名词统称命名实体，如：周杰伦，黑山县，孔子学院，24方钢直机顾名思议，命名实体识别（简称NER）就是识别出一段文本中可能存在的命名实体举例：鲁迅，浙江绍兴人，五四新文化运动的重要参与者，代表作朝花夕拾鲁迅（人名） / 浙江绍兴（地名）人 / 五四新文化运动（专用名词） / 重要参与者 / 代表作 / 朝花夕拾（专有名词）