15、孟加拉语命名实体识别与主题识别评分归一化方法

孟加拉语命名实体识别与主题识别评分归一化方法

孟加拉语命名实体识别

1. 命名实体识别概述

命名实体（NEs）在自然语言处理（NLP）中具有特殊地位，因为它们具有人类语言其他元素所没有的独特性质。例如，命名实体指的是世界上特定的事物或概念，并且未列在语法或词典中。自动识别和分类命名实体对文本处理有益，因为它们在文本文档中大量存在。命名实体识别（NER）旨在定位文本中的命名实体并将其分类到预定义的类别中，如人名、组织名、地名、时间表达、数量等。NER任务可视为一个两阶段过程：
- 识别实体边界
- 分类到正确类别

例如，如果“萨钦·滕杜尔卡”是语料库中的一个命名实体，首先需要识别该实体在句子中的起始和结束位置，然后将该实体分类到预定义的类别“人（PERSON）”中。

NER任务在许多NLP应用中具有重要意义，如机器翻译、问答系统、自动摘要、信息提取等。为印度语言（ILs）构建NER系统面临着与它们的语言特征相关的各种挑战，如无大小写区分、缺乏大型地名词典、相对自由的词序、拼写变化、丰富的词形变化、歧义等。

2. 相关工作

大多数先前的NER系统基于以下方法之一：
- 语言学方法：通常使用语言学家编写的手工语法规则。
- 机器学习（ML）方法：使用需要大量标注数据集进行训练和测试的学习算法，如隐马尔可夫模型（HMM）、条件随机场（CRF）、支持向量机（SVM）、最大熵（ME）等。
- 混合方法：结合了基于规则和统计方法的优点。

对于孟加拉语的NER，主要成功使用了ML和混合方法。虽然在英语中曾有少量使用Margin Infused Relaxed