2、药物、疾病和临床实体识别的统一神经架构研究

药物、疾病和临床实体识别的统一神经架构研究

1. 模型训练与实现

在模型训练方面，针对每个任务会分别进行。训练时采用交叉熵损失函数，借助 Adam 技术来获取模型参数的优化值。在所有任务的训练中，小批量大小设定为 50。

实验中使用的参数如下：
- 预训练词嵌入：维度为 100，基于 PubMed 语料库使用 GloVe 进行训练。
- PoS 标签嵌入向量：维度为 10。
- 基于字符的词嵌入：长度为 20。
- 隐藏层大小：250。
- l2 正则化：参数值为 0.001。

这些超参数是通过疾病命名实体识别（Disease NER）任务的验证集确定的。在贪婪搜索调优超参数时，考虑了以下参数范围：
- 批量大小：25、50、75 和 100。
- 隐藏层大小：150、200、250 和 300。
- l2 正则化：0.1、0.01、0.001 和 0.0001。

整个实现使用 Python 语言和 TensorFlow 库完成。

2. 基准任务

为了评估 CWBLSTM 模型的性能，选取了三个标准任务，相关基准数据集的统计信息如下表所示：
| 数据集 | 语料库 | 训练集 | 测试集 |
| — | — | — | — |
| 疾病命名实体识别（Disease NER） | 句子 | 5661 | 961 |
| | 疾病 | 5148 | 961 |
| 药物命名实体识别（Drug NER） | 句子 | 6976 | 665 |
| | 药物 | 9369 | 347 |