35、意大利EVALITA与Lingsoft：语言资源与工具在欧洲语言网格的应用

意大利EVALITA与Lingsoft：语言资源与工具在欧洲语言网格的应用

1. 意大利EVALITA4ELG项目概述

在自然语言处理（NLP）领域，周期性的评估活动是为特定任务设定基准、推动可比系统发展以及促进研究进步的常用手段。EVALITA是意大利计算语言学协会（AILC）自2007年发起的一项倡议，旨在为意大利语的自然语言处理工具提供评估框架。

EVALITA4ELG项目的主要目标是系统地收集EVALITA评估活动中发布的资源，并通过欧洲语言网格（ELG）平台使其易于访问。该项目致力于实现多个目标：
- 对EVALITA七届活动中组织的任务进行调查，并以知识图谱的形式发布。
- 实施匿名化程序，以符合当前的数据标准政策。
- 将EVALITA期间开发的资源和系统集成到ELG平台。
- 创建一个统一的基准，用于评估意大利语自然语言理解（NLU）。
- 传播共享协议和最佳实践，以便将新资源和任务的元数据快速集成到欧洲语言网格。

2. EVALITA4ELG项目方法

2.1 调查EVALITA任务

自2007年以来，EVALITA一直致力于评估意大利语的NLP工具，为参与系统提供了一个共享框架，使其在不断增加的不同任务中进行评估。EVALITA的特点是任务种类广泛，从2007年的五任务发展到2020年的十四任务。任务类型也逐渐演变，包括更多面向语义和语用的练习。2016年的版本聚焦于社交媒体数据和跨任务共享数据的使用。组织者被鼓励合作，创建跨任务的共享测试集，并将所有资源分享给更广泛的受众，这促成了GitHub公共仓库的创建。

2.2 EVALITA知识图谱