25、基于字符串核的母语识别实验探究

基于字符串核的母语识别实验探究

1. 实验目的

本次实验主要有两个目的。一是证明在字符层面工作且受计算机视觉进展启发的技术，能够在母语识别（NLI）任务中达到最先进的性能，并且真正实现语言无关性。二是展示在NLI背景下，哪种内核和内核方法效果最佳。

2. 数据集描述

实验在五个数据集上进行，具体信息如下表所示：
| 语料库 | 第二语言（L2） | 第一语言（L1）数量 | 文档数量 |
| — | — | — | — |
| ICLEv2 | 英语 | 7 | 770 |
| TOEFL11 | 英语 | 11 | 12,100 |
| TOEFL11 - Big | 英语 | 11 | 87,502 |
| ALC子集 | 阿拉伯语 | 7 | 329 |
| ASK语料库子集 | 挪威语 | 7 | 1400 |

下面对各个数据集进行详细介绍：
- ICLEv2 ：由英语水平较高的非母语大学生撰写的论文语料库。实验使用的是经过尽可能标准化主题和字符编码的修改版本，包含来自保加利亚语、中文、捷克语、法语、日语、俄语和西班牙语等7种母语的论文，每种母语有110篇论文。
- TOEFL11 ：由Tetreault等人于2012年首次引入，并为2013年母语识别共享任务进行了扩展。该语料库包含来自阿拉伯语、中文、法语、德语、印地语、意大利语、日语、韩语、西班牙语、泰卢固语和土耳其语等11种语言的论文，且每种母语和每个主题的论文分布均衡。在共享任务中，12,100篇论文被分为9,900篇用于训练，